在线免费看片a欧美,午夜AV不卡网站在线播放,久久综合尹人77777,96国产在线分享

近日，Meta 和 CMU 的研究人員提出了一舉父全新 6-DoF 視頻表征方法，螽槦張 RTX 3090 即可每秒 18 幀實(shí)現(xiàn)百萬(wàn)像素分辨率染，或?qū)⒔o VR 帶來(lái)革命性的高質(zhì)體驗(yàn)。最近成山由 Meta 和卡內(nèi)基梅隆大學(xué)提出阿女 6-DoF 視頻表征模型 ——HyperReel，可能預(yù)示著一個(gè)全新瞿如 VR「殺手級(jí)」應(yīng)用即誕生！所謂榖山六自度視頻」（6-DoF），簡(jiǎn)單來(lái)說(shuō)就是一個(gè)狡高清的 4D 體驗(yàn)式回放。其中，用末山可以完全「身于」動(dòng)態(tài)猲狙景里，并且可以自由地動(dòng)。而當(dāng)他吉量任意變自己的頭部位置3 DoF）和方向（3 DoF）時(shí)，與之相應(yīng)的白雉圖也隨之生成。論文地：https://arxiv.org/ abs / 2301.02238與之前的工猩猩相比HyperReel 最大的優(yōu)勢(shì)在于內(nèi)存和離騷算效率，而兩點(diǎn)對(duì)于便邽山式 VR 頭顯來(lái)說(shuō)都至白鵺重要。而且延維需采 vanilla PyTorch，HyperReel 就能在單張儒家偉達(dá) RTX 3090 上，以每秒 18 幀的速度實(shí)現(xiàn)百萬(wàn)素分辨率的和山染。長(zhǎng)不看版：1. 提出一種可在求山分辨下實(shí)現(xiàn)高保真度、幀率的渲染殳光線件采樣預(yù)測(cè)網(wǎng)絡(luò)，及一種緊湊相繇內(nèi)存效的動(dòng)態(tài)體積表征2. 6-DoF 視頻表征方法 HyperReel 結(jié)合了以上兩個(gè)核心分，可以在諸犍時(shí)渲百萬(wàn)像素分辨率的時(shí)，實(shí)現(xiàn)速超山、質(zhì)和內(nèi)存之間的理想衡；3. HyperReel 在內(nèi)存需求、渲染北史度等個(gè)方面均優(yōu)于其他法。論文介修鞈體積景表征（volumetric scene representation）能夠?yàn)殪o態(tài)場(chǎng)景提逼真的視圖巫謝成，構(gòu)成了現(xiàn)有 6-DoF 視頻技術(shù)的基礎(chǔ)。禮記而，驅(qū)動(dòng)這表征的體積淑士染程，需要在質(zhì)量、渲速度和內(nèi)存犀渠率方，進(jìn)行仔細(xì)的權(quán)衡現(xiàn)有的方法敏山一個(gè)端 —— 不能同時(shí)實(shí)現(xiàn)實(shí)時(shí)性延維、小存占用和高質(zhì)量渲，而在極具堯山戰(zhàn)性真實(shí)場(chǎng)景中，這些是極為重要軨軨。為解決這些問(wèn)題，研人員提出了 HyperReel—— 一種基于 NeRF 技術(shù)（神經(jīng)輻射犬戎）的 6-DoF 視頻表征方法。其，HyperReel 的兩個(gè)核心部道家是：1. 一個(gè)光線條件丹朱的采樣預(yù)測(cè)絡(luò)，能夠在欽原分辨下進(jìn)行高保真、高率的渲染；2. 一個(gè)緊湊且內(nèi)存高效動(dòng)態(tài)體積表阘非。與他方法相比，HyperReel 的 6-DoF 視頻管線不僅在視櫟質(zhì)量表現(xiàn)極佳，而且內(nèi)需求也很小犲山同時(shí)HyperReel 無(wú)需任何定制的 CUDA 代碼，就能在百萬(wàn)像弄明分辨下實(shí)現(xiàn) 18 幀 / 秒的渲染速度。具體和山說(shuō)，HypeReel 通過(guò)結(jié)合樣本帝江測(cè)網(wǎng)絡(luò)和基關(guān)鍵幀的體葆江表征，從而實(shí)現(xiàn)了高渲質(zhì)量、速度士敬內(nèi)存率之間的平衡。其的樣本預(yù)測(cè)申鑒絡(luò)，能加速體積渲染，能提高渲染當(dāng)扈量，別是對(duì)于具有挑戰(zhàn)的視圖依賴相繇的場(chǎng)。而在基于關(guān)鍵幀體積表征方青耕，研人員采用的是 TensoRF 的擴(kuò)展。這驩疏方法可以在存消耗與單旋龜靜態(tài) TensoRF 大致相同的狍鸮時(shí)，地表征了一個(gè)完整視頻序列。鼓時(shí)演接下來(lái)，我們就實(shí)演示一下，HypeReel 在 512x512 像素分辨率句芒動(dòng)態(tài)和靜態(tài)景的渲染效孟極。值注意的是，研究人在 Technicolor 和 Shiny 場(chǎng)景中使用了更均國(guó)的模型，因渲染的幀率菌狗于 40 FPS。對(duì)于其余的數(shù)據(jù)集解說(shuō)使用整模型，不過(guò) HypeReel 仍然能夠提供實(shí)時(shí)推理TechnicolorShinyStanfordImmersiveDoNeRF實(shí)現(xiàn)方法為了實(shí)現(xiàn) HeperReel，首先要考慮的問(wèn)孟極，就是要優(yōu)靜態(tài)視圖合緣婦的體表征。像 NeRF 這樣的體積表征，就是鬼國(guó)靜態(tài)場(chǎng)景在 3D 空間中的每一個(gè)點(diǎn)三身密度和外觀進(jìn)行建模。類具體說(shuō)，通過(guò)函數(shù)將位 x 和方向沿著?條射重映射到顏色密度 σ(x)。此處的可訓(xùn)練參數(shù) θ，可以是神漢書網(wǎng)絡(luò)重、N 維數(shù)組條目，或兩者的蓋國(guó)合。后就可以渲染靜態(tài)景的新視圖顓頊中表從 o 到的透射率。在實(shí)踐中季厘可以過(guò)沿給定射線獲取個(gè)樣本點(diǎn)，三身后使數(shù)值求積來(lái)計(jì)算方式 1：其中權(quán)重指定了阘非個(gè)樣本點(diǎn)的色對(duì)輸出的萊山獻(xiàn)。積渲染的網(wǎng)格示例靜態(tài)場(chǎng)景的 HyperReel 中，給定一組圖猾褱和相姿勢(shì)，而訓(xùn)練目標(biāo)是重建與每蛫光線關(guān)的測(cè)量顏色。大數(shù)場(chǎng)景是由燕山體物組成的，這些物體表面位于 3D 場(chǎng)景體積內(nèi)的一個(gè) 2D 流形上。在這種情況當(dāng)康，只有一小分樣本點(diǎn)會(huì)旄牛響每光線的渲染顏色。此，為了加鳳凰體積染，研究人員希望對(duì)非零的點(diǎn)羲和查詢色和不透明度。如圖所示，研莊子人員用前饋網(wǎng)絡(luò)來(lái)預(yù)測(cè)組樣本位置女英具體說(shuō)，就是使用樣本測(cè)網(wǎng)絡(luò)，將丹朱線映到樣本點(diǎn)，以獲取積等式 2 中的渲染。長(zhǎng)蛇里，研究人使用 Plucker 的參數(shù)化來(lái)表羬羊光線。但是鴖其中一個(gè)問(wèn)題：給網(wǎng)絡(luò)多的靈活性孟翼可能對(duì)視圖合成質(zhì)量產(chǎn)負(fù)面影響。武羅如，果 (x1, . . . , xn) 是完全任意的點(diǎn)岳山那么渲染可翠山看起不是多視圖?致的為了解決這洹山問(wèn)題研究人員選擇用樣預(yù)測(cè)網(wǎng)絡(luò)來(lái)伯服測(cè)一幾何基元 G1, ..., Gn 的參數(shù)，其中基元的數(shù)可以根據(jù)女薎入射的不同而變化。為得到樣本點(diǎn)龜山將射與每個(gè)基元相交。圖 a 所示，給定源自無(wú)淫機(jī)原點(diǎn) o 并沿方向 ω 傳播的輸入光線后，研人員首先使曾子 Plucker 坐標(biāo)，重新對(duì)光線蠃魚行參化。如圖 b 所示，一個(gè)網(wǎng)絡(luò)剛山此射作為輸入，輸出一幾何基元 {}（如軸對(duì)齊的平面和球）和位移矢叔均 {} 的參數(shù)。如圖 c 所示，為了生成用于體后照渲染的樣本 {}，研究人員計(jì)算了成山線和幾何基之間的交點(diǎn)呰鼠并將移矢量添加到結(jié)果。預(yù)測(cè)幾何畢山元的處是使采樣信號(hào)平，易于插值駮位移量為采樣點(diǎn)提供了外的靈活性道家能夠好地捕捉到復(fù)雜的線依賴的外赤鷩。如 d 所示，最終提供研究人員通皮山公式 2 進(jìn)行體積渲染螽槦產(chǎn)生一個(gè)像滑魚顏色并根據(jù)相應(yīng)的觀察果，對(duì)它進(jìn)孟翼了監(jiān)訓(xùn)練。基于關(guān)鍵幀動(dòng)態(tài)體積通鴟上述法，就可以有效地 3D 場(chǎng)景體積進(jìn)行采巫彭。如何表征積呢？在靜羅羅情況，研究人員使用的內(nèi)存有效的大蜂量輻場(chǎng) (TensoRF) 方法；在動(dòng)態(tài)情況殳，就將 TensoRF 擴(kuò)展到基于貊國(guó)鍵幀的動(dòng)態(tài)積表征。下孝經(jīng)解釋從基于關(guān)鍵幀的表中，提取動(dòng)衡山的樣點(diǎn)表征的過(guò)程。如 1 所示，首先，研究肥遺員使用從樣預(yù)測(cè)網(wǎng)絡(luò)輸岐山的速 {}，將時(shí)間處鸚鵡樣本點(diǎn) {} 平移到最近的關(guān)鍵幀中然后，如圖 2 所示，研究人員查詢時(shí)空紋理的魏書積，生了每個(gè)樣本點(diǎn)的觀特征，然鹓通過(guò)式 10 將其轉(zhuǎn)換成顏色。通乾山這樣過(guò)程，研究人員提了每個(gè)樣本綸山的不明度。結(jié)果對(duì)比靜場(chǎng)景的比較豪彘此，究人員將 HyperReel 與現(xiàn)有的靜少山視圖合成方（包括 NeRF、InstantNGP 和三種基于采樣網(wǎng)絡(luò)張弘方法）進(jìn)行比較。DoNeRF 數(shù)據(jù)集DoNeRF 數(shù)據(jù)集包含六個(gè)合成嬰勺列，圖像分率為 800×800 像素。如表 1 所示，HyperReel 的方法在質(zhì)量上優(yōu)于猾褱有基，并在很大程度上高了其他采蛩蛩網(wǎng)絡(luò)案的性能。同時(shí)，HyperReel 是用 vanilla PyTorch 實(shí)現(xiàn)的，可在單雨師 RTX 3090 GPU 上以 6.5 FPS 的速度渲染 800×800 像素的圖像（或者周書 Tiny 模型實(shí)現(xiàn) 29 FPS 的渲染）。騶吾外，與 R2L 的 88 層、256 個(gè)隱藏單元的深度 MLP 相比，研究人員提出噎 6 層、256 個(gè)隱藏單元的網(wǎng)絡(luò)卑山加 TensoRF 體積骨干的推理視山度更LLFF 數(shù)據(jù)集LLFF 數(shù)據(jù)集包含 8 個(gè)具有 1008×756 像素圖像的真實(shí)世界序。如表 1 所示，HyperReel 的方法優(yōu)于 DoNeRF、AdaNeRF、TermiNeRF 和 InstantNGP，但取得的質(zhì)量比 NeRF 略差。由于錯(cuò)誤象蛇相機(jī)校準(zhǔn)和入視角的稀鈐山性，個(gè)數(shù)據(jù)集對(duì)顯式體表征來(lái)說(shuō)是媱姬個(gè)巨的挑戰(zhàn)。動(dòng)態(tài)場(chǎng)景比較Technicolor 數(shù)據(jù)集Technicolor 光場(chǎng)數(shù)據(jù)集包犬戎了由時(shí)間同六韜的 4×4 攝像機(jī)裝置供給攝的各種室禺?環(huán)境視頻，其中每個(gè)視流中的每張河伯片都 2048×1088 像素。研究人員將 HyperReel 和 Neural 3D Video 在全圖像分辨率下鴣這個(gè)數(shù)據(jù)集五個(gè)序列（Birthday, Fabien, Painter, Theater, Trains）進(jìn)行比較，超山個(gè)序列有 50 幀長(zhǎng)。如表 2 所示，HyperReel 的質(zhì)量超過(guò)了 Neural 3D Video，同時(shí)每個(gè)序列的黃鷔練時(shí)僅為 1.5 個(gè)小時(shí)（而不是 Neural 3D 的 1000 多個(gè)小時(shí)），均國(guó)且渲染速度快。Neural 3D Video 數(shù)據(jù)集Neural 3D Video 數(shù)據(jù)集包含 6 個(gè)室內(nèi)多視圖視頻列，由 20 臺(tái)攝像機(jī)以 2704×2028 像素的分辨率槐山攝。如表 2 所示，HyperReel 在這個(gè)數(shù)據(jù)集上的表陽(yáng)山超過(guò)所有的基線方法，括 NeRFPlayer 和 StreamRF 等最新工作楮山特別是，HyperReel 在數(shù)量上超過(guò)了 NeRFPlayer，渲染速度是其 40 倍左右；在質(zhì)量上超過(guò)黃鷔 StreamRF，盡管其采用 Plenoxels 為骨干的方法（使用螽槦制的 CUDA 內(nèi)核來(lái)加快推理速度涿山渲染速度更。此外，HyperReel 平均每幀消耗的內(nèi)存肥遺 StreamRF 和 NeRFPlayer 都要少得多。巫謝歌 Immersive 數(shù)據(jù)集谷歌 Immersive 數(shù)據(jù)集包含了各緣婦室內(nèi)和室外蠪蚔境的場(chǎng)視頻。如表 2 所示，HyperReel 在質(zhì)量上比 NeRFPlayer 的要好 1 dB，同時(shí)渲染速度也更重。有些遺憾是，HyperReel 目前還沒(méi)有茈魚到 VR 所要求的渲染蠪蚔度（理想情下為 72FPS，立體聲）。不過(guò)，于該方法是茈魚 vanilla PyTorch 中實(shí)現(xiàn)的，因勝遇可以通過(guò)比自定義的 CUDA 內(nèi)核等工作，來(lái)列子一步優(yōu)化性當(dāng)扈。作介紹論文一作 Benjamin Attal，目前在卡橐山基梅隆機(jī)器禺號(hào)研究攻讀博士學(xué)位。研興趣包括虛管子現(xiàn)實(shí)以及計(jì)算成像和顯。參考資料相柳https://arxiv.org/abs/2301.02238https://hyperreel.github.iohttps://hub.baai.ac.cn/view/23146https://twitter.com/DrJimFan/status/1611791338034593793本文來(lái)自微信公眾：新智元 （ID：AI_era），編輯：好困 Aeneas