不少人誤以為VR就一定是三維立體的,這其實大錯特錯。許多VR游戲的場景通過人工建模制成,確實是三維的,而且玩家還能在其中“自由”移動,但是那些通過VR攝像機實景拍攝的VR全景視頻,本質(zhì)上卻依然是平面的,觀眾當(dāng)然無法進入到這種二維世界里。下面我們就來聊聊二維的VR視頻如何轉(zhuǎn)換成三維場景,以及觀眾如何在其中“自由”移動、游覽。
為何不能在VR全景里行走
當(dāng)我們戴上眼鏡進入VR全景視頻(本文指實景拍攝的VR視頻)構(gòu)建的虛擬空間時,就恍如置身于立體的世界,可以上下左右自由環(huán)顧四周的風(fēng)景。但是很快我們就會發(fā)現(xiàn),在這個VR空間中“我”卻寸步難行。
為什么能隨意看卻不能隨意走?這是由VR全景視頻的本質(zhì)決定的。在觀看普通電影的時候,從來沒人奢望過能走進電影的世界里,因為我們都知道電影只是一塊幕布,是一個二維的平面,當(dāng)然走不進去。
其實VR全景視頻本質(zhì)上也是二維平面的“幕布”,所不同的是,它不只有一塊幕布,而是由很多塊幕布“縫合”而成,包圍在我們四周,這和我們觀看360度環(huán)幕電影時的感覺相似(圖1)。所以VR全景視頻產(chǎn)生的是360度的沉浸感,卻并非立體的影像。

圖1 環(huán)幕電影就是一個外化的VR全景視頻
VR攝影有專門的攝像機,一般由6臺獨立的相機組合而成(最少的由2臺相機組合,多的還可以是9臺、12臺等等),分別對著上下左右前后6個方向同時取景拍攝。每臺相機拍攝到的實際上就是一個普通的視頻,通過后期軟件將所有相機的視頻“縫合”在一起后,便生成了極具沉浸感的VR空間(圖2、圖3)。如上所述,沉浸感并非三維立體,本質(zhì)上它們還是二維平面的,所以觀眾當(dāng)然無法進入其中行走、瀏覽了。

圖2 VR攝像機從場景的不同角度同時拍攝

圖3 VR將不同角度的二維視頻“縫合”成一個整體
6DoF和空間自由度
在探索VR視頻如何進行三維重建之前,我們先來了解一個關(guān)鍵概念——自由度。自由度DoF是Degree of Freedom的英文縮寫,統(tǒng)計學(xué)中表示變量的個數(shù),而在物理力學(xué)系統(tǒng)中則表示的是獨立坐標(biāo)的個數(shù)。一個立體空間總共有X、Y、Z三條直角坐標(biāo)軸,這便是3個自由度。如果空間中的某個物體可以不受任何約束的運動,那么它沿著每條軸至少可以做平移和旋轉(zhuǎn)兩種運動,2乘以3等于6,所以這個物體在空間總共具備6個獨立的運動方式,這便是6個自由度了(6DoF),下面的圖片形象地說明了這一點(圖4)。

圖4 三條直角坐標(biāo)軸和兩種運動方式構(gòu)建6DoF(網(wǎng)上動圖示例:http://t.cn/E7cfa1G)
用這一概念對前文所述的內(nèi)容重新做個總結(jié),就是普通電影只有1DoF,無論我們前后左右的移動位置,所看到的電影畫面內(nèi)容是固定不變的。而VR全景視頻則有3DoF,當(dāng)我們的眼睛沿著X和Y兩條軸旋轉(zhuǎn)運動時(也就是上下左右看),可以看到不同的畫面內(nèi)容。
360度光場相機實現(xiàn)6DoF空間
普通的VR全景視頻中,觀賞者被賦予3DoF的旋轉(zhuǎn)運動能力,所以在固定的一點可以看到不同方向的場景。不過普通的VR全景視頻不具備3DoF的平移運動能力,所以無論我們?nèi)绾巫邉樱吹降漠嬅娑紱]有任何改變,這也就是我們在VR空間中沒有移動感的主要原因。
國外廠商推出一種360度光場相機(圖5),可以制作帶有深度信息的6Dof視頻。

圖5 光場相機產(chǎn)品圖
它的原理類似于地理上的三角測量法,因為光場相機是球面的,空間中的任意一點可以被多個相機觀測到,這便產(chǎn)生了許多重合區(qū)域,從而最大化記錄場景內(nèi)容,通過運算獲取被攝物體的深度信息(圖6)。當(dāng)我們觀看光場視頻時,隨著走動,這些深度信息轉(zhuǎn)化為相應(yīng)圖像顯示出來,便給了我們真實的移動感。

圖6 光場相機的拍攝原理
不過與VR游戲中通過軟件實現(xiàn)的3D建模不同,光場相機要受物理鏡頭的制約,它記錄下的三維信息非常有限,當(dāng)觀眾的移動超出一定范圍,因為沒有了更多新信息,便會導(dǎo)致畫面不再變化,也就意味著觀眾的行動“受阻”了,遠沒有VR游戲中的“自由”。
定位追蹤與6DoF三維重建
在最近的Oculus Connect5大會上,Oculus發(fā)布了首款能夠完全獨立運作6DoF的VR一體機Santa Quest,它可以在數(shù)千平米的范圍內(nèi)進行追蹤,具備三維空間建模能力,將VR與現(xiàn)實世界融為一體。
Santa Quest使用的Oculus Insight,是他們對負(fù)責(zé)追蹤和定位等各技術(shù)的統(tǒng)稱,通過放置在Santa Quest頭盔外側(cè)的四個超廣角鏡頭,配合特殊的算法實時追蹤用戶的位置,在我們于VR空間進行6DoF運動的時候,實時計算并顯示相應(yīng)的情景,這樣我們在這個虛擬世界中就獲得了真實的移動感,使得我們能在這個VR世界里任意走動,瀏覽不同的風(fēng)景(圖7)。

圖7 Santa Quest構(gòu)建的VR空間可以進行6DoF運動
Santa Quest的重要革新,不只是實現(xiàn)了6DoF,而在于它對場景的實時三維重建,它能識別出現(xiàn)實場景中的各種物體的形狀甚至是材質(zhì),然后通過創(chuàng)建三維點云地圖,讓我們在VR的環(huán)境中安全的走動,防止現(xiàn)實中的碰撞(圖8)。

圖8 Santa Quest進行三維重建
VR技術(shù)的熱潮已經(jīng)過去,現(xiàn)在是它的平穩(wěn)發(fā)展時期,未來它不只是會給我們帶來驚喜,更多將是有助于生活的實際應(yīng)用,值得我們隨時的關(guān)注。
|