XR技術(shù)分解--炫酷的XR場(chǎng)景如何實(shí)現(xiàn)?

時(shí)間：

2022-02-24

作者：

思成舞臺(tái)設(shè)計(jì)（轉(zhuǎn)載）

分類：

企業(yè)新聞

今年以來(lái)，XR技術(shù)開始進(jìn)入大眾視野，越來(lái)越多的演唱會(huì)、發(fā)布會(huì)、電影拍攝場(chǎng)景、電視節(jié)目等場(chǎng)景開始使用具有高科技感和真實(shí)感的XR技術(shù)，開辟了另一種全新的拍攝制作方式。眾所周知，XR技術(shù)是集AR、VR、MR技術(shù)于一體的擴(kuò)展顯示技術(shù)。XR技術(shù)是如何集成的，如何實(shí)現(xiàn)屏幕前的酷炫畫面？讓我們聽聽小編對(duì)XR技術(shù)的分解。

XR場(chǎng)景技術(shù)框架由幾大要素組成，如LED顯示屏組成的拍攝場(chǎng)地、攝像頭、物體位置跟蹤定位技術(shù)、實(shí)時(shí)圖形渲染引擎(AR技術(shù))、高速低時(shí)延網(wǎng)絡(luò)等。最后，增加了元素組合的內(nèi)容會(huì)傳輸?shù)斤@示屏上，成為一個(gè)酷炫逼真的XR場(chǎng)景?？傮w技術(shù)框架如下圖所示。

實(shí)現(xiàn)XR場(chǎng)景，首先將虛擬環(huán)境傳輸?shù)浆F(xiàn)場(chǎng)的LED顯示屏上，利用物體位置跟蹤定位技術(shù)對(duì)物體進(jìn)行跟蹤拍攝，并將素材送回實(shí)時(shí)圖形渲染引擎。同時(shí)，視頻服務(wù)器以本地化的操作邏輯運(yùn)算進(jìn)行人物手勢(shì)分析和圖形渲染，輸出立體逼真的AR內(nèi)容和拍攝素材進(jìn)行交互呈現(xiàn)，而呈現(xiàn)在屏幕前的內(nèi)容則是XR場(chǎng)景。值得注意的是，現(xiàn)場(chǎng)需要強(qiáng)大的網(wǎng)絡(luò)支持，為XR低時(shí)延交互、全動(dòng)態(tài)視頻大帶寬分發(fā)等內(nèi)容提供有力支持。簡(jiǎn)單來(lái)說(shuō)，XR場(chǎng)景是基于真實(shí)場(chǎng)景，與后臺(tái)酷炫的AR內(nèi)容進(jìn)行交互，所以XR技術(shù)被稱為AR、VR、MR技術(shù)的融合。

中國(guó)短片《只為夢(mèng)想遇見你》首次采用虛擬拍攝方式，將XR工作流程與影視行業(yè)工作流程相結(jié)合，實(shí)現(xiàn)最終內(nèi)容的輸出。短片沒有實(shí)景也沒有綠屏，場(chǎng)景實(shí)時(shí)渲染，演員在LED屏幕搭建的空間里表演。在場(chǎng)景渲染上，XR增強(qiáng)利用實(shí)時(shí)渲染引擎構(gòu)建拍攝場(chǎng)景，通過媒體服務(wù)器輸出合成，利用攝像機(jī)跟蹤系統(tǒng)定位空間位置信息，實(shí)時(shí)映射人物與場(chǎng)景的空間關(guān)系，利用實(shí)時(shí)渲染技術(shù)在LED屏幕上還原照片級(jí)動(dòng)態(tài)數(shù)字場(chǎng)景，實(shí)時(shí)呈現(xiàn)輸出一個(gè)無(wú)死角的虛擬場(chǎng)景，最終與XR場(chǎng)景形成短片。

此外，11月1日，英雄聯(lián)盟全球總決賽舞臺(tái)也采用了XR技術(shù)進(jìn)行直播。因?yàn)槭侵辈?，沒有機(jī)會(huì)再做了，所以一局幾十個(gè)攝像頭參與。場(chǎng)景中使用的都是紅外攝像頭，S10場(chǎng)景的墻壁上有大量這樣的圓點(diǎn)，是為了反射紅外線而設(shè)計(jì)的。所有的紅外攝像機(jī)都將配備一個(gè)特殊的模塊。當(dāng)攝像機(jī)移動(dòng)時(shí)，它們會(huì)根據(jù)這些點(diǎn)的反射和方向來(lái)跟蹤攝像機(jī)本身，然后實(shí)時(shí)反饋給計(jì)算機(jī)。這種技術(shù)方案使得虛擬與現(xiàn)實(shí)之間的誤差小于1毫米。此外，通過團(tuán)隊(duì)開發(fā)的插件，虛幻引擎中的燈光與實(shí)際的skypanel相匹配，這意味著引擎中的燈光會(huì)發(fā)生變化，與現(xiàn)實(shí)中的燈光同步，虛擬內(nèi)容與球場(chǎng)互動(dòng)，呈現(xiàn)出一種全新的賽事直播方式。

11月10號(hào)，我國(guó)"奮斗者"號(hào)載人潛水器成功坐底馬里亞納海溝的重要時(shí)刻，中央廣播電視總臺(tái)央視新聞?lì)l道、央視新聞新媒體通過xR虛擬演播進(jìn)行了同步科普講解。用虛擬環(huán)境將 LED 屏幕之外的現(xiàn)實(shí)環(huán)境實(shí)時(shí)覆蓋，并完成虛擬環(huán)境拓展的處理。詳細(xì)地說(shuō)就是，攝影機(jī)追蹤系統(tǒng) Mosys 的運(yùn)用使得直播中的現(xiàn)場(chǎng)攝像機(jī)與虛擬攝像機(jī)始終保持一致與同步，并在 XR 虛擬演播室現(xiàn)場(chǎng)使用了1臺(tái) disguise vx4 媒體服務(wù)器，作為虛擬渲染引擎增強(qiáng)渲染和控制，而工作流程將 AR 技術(shù)帶入環(huán)境之中，通過使用 Black Trax 動(dòng)態(tài)追蹤系統(tǒng)實(shí)時(shí)了解參演者和虛擬影像的位置，從而與 CG 內(nèi)容更好的互動(dòng)融合，給觀眾一種身臨其境的體驗(yàn)，將視覺效果的傳遞提升到一個(gè)新的維度，與全國(guó)觀眾全景體驗(yàn)大洋10909米處的至深之藍(lán)。

極具未來(lái)科技感的XR技術(shù)已經(jīng)在中國(guó)生根發(fā)芽，有的已經(jīng)開出了美麗的花朵。XR技術(shù)雖然剛剛興起，但應(yīng)用范圍已經(jīng)逐漸拓寬，技術(shù)也更加成熟。隨著小間距顯示技術(shù)的進(jìn)一步成熟和對(duì)點(diǎn)間距的進(jìn)一步探索，可以用肉眼實(shí)現(xiàn)高清細(xì)膩的3D顯示，可以是未來(lái)更好的背景板。5G網(wǎng)絡(luò)的進(jìn)一步落地，XR技術(shù)普及度的不斷提高，以及相關(guān)人員技術(shù)培訓(xùn)體系的完善，將推動(dòng)XR技術(shù)走向成熟。