虛幻引擎+XR+虛擬演播室技術(shù)，帶你親臨臺風(fēng)現場(chǎng)

　　9月6日，今年第11號臺風(fēng)“摩羯”登陸，成為史上登陸中國最強秋臺風(fēng)，也是繼2014年第9號臺風(fēng)“威馬遜”之后登陸中國的最強臺風(fēng)。

　　就在這樣的背景下，央視頻推出了一段前所未有的天氣預報視頻，瞬間刷爆了網(wǎng)絡(luò )。這段視頻，完全打破了傳統天氣預報的模式，運用虛擬現實(shí)技術(shù)將臺風(fēng)“摩羯”的破壞力生動(dòng)直觀(guān)地展現在觀(guān)眾面前。

　　01

　　沉浸式XR演播室

　　視頻中，主持人不僅僅是站在屏幕前講述天氣情況，而是"走入”了一個(gè)虛擬的場(chǎng)景中，親身演示臺風(fēng)的影響。例如當主持人手握雨傘走在虛擬街道上時(shí)，突如其來(lái)的狂風(fēng)將傘瞬間吹飛，狂風(fēng)暴雨中的真實(shí)感震撼了所有觀(guān)眾。此外，還有樹(shù)木倒塌的場(chǎng)景，甚至“砸”進(jìn)了演播室，主持人險些受傷。這樣的畫(huà)面讓觀(guān)眾更切實(shí)地感受到了自然災害帶來(lái)的巨大威脅。

　　那么，這樣一場(chǎng)視覺(jué)盛宴是如何誕生的呢?這背后，是虛幻引擎（Unreal Engine）這一強大游戲引擎的鼎力支持。 原本用于開(kāi)發(fā)高畫(huà)質(zhì)游戲的虛幻引擎，如今被巧妙地應用到了天氣預報領(lǐng)域，利用其強大的渲染能力和物理模擬技術(shù)，構建出了一個(gè)高度逼真的虛擬環(huán)境。

　　同時(shí)，擴展現實(shí)（XR）技術(shù)的加入，更是讓這一虛擬世界與現實(shí)世界無(wú)縫銜接。 觀(guān)眾不僅能夠看到臺風(fēng)在虛擬世界中的肆虐，還能通過(guò)XR技術(shù)感受到風(fēng)的力量、雨的滂沱，仿佛自己也成為了這場(chǎng)自然奇觀(guān)的一部分。對比上一代傳統虛擬演播室系統，XR技術(shù)節省了綠箱（藍箱）摳像、后期合成等環(huán)節，真正做到“所見(jiàn)即所得” 。

　　而虛擬演播室技術(shù)，則是整個(gè)系統的“靈魂”。它打破了傳統演播室的物理限制，讓主持人和虛擬環(huán)境能夠自由互動(dòng) ，創(chuàng )造出更加靈活、多樣的播報形式。無(wú)論是風(fēng)雨交加的臺風(fēng)現場(chǎng)，還是晴空萬(wàn)里的未來(lái)展望，都能夠在虛擬演播室內輕松實(shí)現。

　　XR演播系統利用LED大屏直接輸出預制背景 ，即把攝像機信號從后期摳像處理方式轉變?yōu)閿z像機實(shí)時(shí)預成像方式，直接生成帶有演員和嘉賓現場(chǎng)的虛實(shí)合成畫(huà)面。同時(shí)，在系統中后端部署虛擬前景合成服務(wù)器集群，通過(guò)顯示設備在大屏前植入CG圖文、虛擬AI主持人等，完成大屏范圍之外的畫(huà)面擴展補償 。

　　通過(guò)打造沉浸式三維立體演播空間，使參與者的表演更加自然，互動(dòng)更加精準，環(huán)境光照更加飽滿(mǎn)。 結合專(zhuān)業(yè)化舞美設計，系統可打通真實(shí)現場(chǎng)、真實(shí)人物、虛擬背景與虛擬植入之間的空間共存感，產(chǎn)生時(shí)空交錯、異地融合的奇妙效果，最大化地利用演播室或舞臺空間，為數字媒體制作提供新的技術(shù)手段。

　　02

　　賦能媒體創(chuàng )意生產(chǎn)

　　虛擬演播室技術(shù)是以計算機技術(shù)為基礎發(fā)展的，該技術(shù)能夠對現場(chǎng)環(huán)境進(jìn)行有效虛擬，即利用計算機技術(shù)虛擬出三維立體場(chǎng)景，并與現場(chǎng)畫(huà)面進(jìn)行數字化合成，以此獲得良好的播出效果。

　　在2022年兩會(huì )期間，央視網(wǎng)針對兩會(huì )期間的熱點(diǎn)話(huà)題，策劃并制作了一檔訪(fǎng)談直播節目《兩會(huì )C+時(shí)刻》，在直播過(guò)程中首次將虛擬數字人融入虛擬演播室系統，并且與真實(shí)嘉賓一起置身于虛擬場(chǎng)景中進(jìn)行實(shí)時(shí)互動(dòng)。該節目采用實(shí)拍植入的方式，加入了時(shí)下流行的虛擬數字人（央視網(wǎng)虛擬主播小C），同時(shí)利用面部捕捉和動(dòng)作捕捉技術(shù)，使虛擬數字人能夠實(shí)時(shí)地與現場(chǎng)嘉賓互動(dòng)。

　　隨著(zhù)人工智能的出現，還發(fā)展出了新的產(chǎn)物——虛擬數字人，通過(guò)不斷學(xué)習，以龐大的數據庫作支撐，最終成為和真人高度相似的虛擬人物。央視網(wǎng)采用真人驅動(dòng)虛擬人的方式實(shí)現虛擬數字人與虛擬演播室完美融合，在訪(fǎng)談話(huà)題的實(shí)時(shí)虛擬制作技術(shù)上是一次創(chuàng )新 ，踐行了“技術(shù)+創(chuàng )意”的理念，為嚴肅的兩會(huì )話(huà)題添加了活潑生動(dòng)的元素，讓年輕觀(guān)眾更容易接受。

　　XR沉浸式演播室無(wú)論是在技術(shù)上還是在行業(yè)的領(lǐng)域中，都超越了傳統演播室。2022年6月中央廣播電視總臺CGTN的超長(cháng)新媒體直播《雨林大冒險》將XR技術(shù)與異地連線(xiàn)應用場(chǎng)景相結合，讓連線(xiàn)嘉賓和主持人置于同一場(chǎng)景，突破“屏對屏”，實(shí)現“面對面”溝通。最終實(shí)現同一場(chǎng)景下的異地訪(fǎng)談、異地報道等，豐富了鏡頭語(yǔ)言表達形式，打破了時(shí)間與空間限制。

　　相比傳統直播連線(xiàn)技術(shù)，XR異地融合技術(shù)使整體節目效果更逼真，并且增強了節目的時(shí)空感、立體感、真實(shí)感，現場(chǎng)主持人更有“身臨其境”的沉浸式體驗。在2022年6月22日《雨林大冒險》的直播過(guò)程中，主持人在雨林XR背景中，通過(guò)技術(shù)切換讓其“穿梭”于世界各地的熱帶雨林，并且能和身處現場(chǎng)的前方同事實(shí)現身臨其境的異地同屏互動(dòng)。

　　CGTN此次采用的XR異地融合技術(shù)，將原先的二維圖像節目呈現方式進(jìn)行了突破升級，能夠將后期前置，更快速地實(shí)現虛實(shí)結合效果。 隨著(zhù)河南春晚、元宵晚會(huì )的屢次出圈，XR 技術(shù)逐漸被應用到許多節目制作中，也日益被大眾所接受。

　　除此之外，2020年3月中國聯(lián)通與中國傳媒大學(xué)成果轉化中心/動(dòng)畫(huà)學(xué)院共同推出XR內容開(kāi)發(fā)者計劃助力5G文創(chuàng )生態(tài)。2021年新華社智立方智能化演播室與天津中醫藥大學(xué)實(shí)驗室展開(kāi)了一場(chǎng)“異地同屏”的訪(fǎng)談，現場(chǎng)以L(fǎng)ED大屏作為交互媒介，實(shí)現人民大會(huì )堂和梅地亞會(huì )場(chǎng)之間“隔空對話(huà)”的效果。2022年11月，國家工業(yè)和信息化部批復組建國家虛擬現實(shí)創(chuàng )新中心、國家超高清視頻創(chuàng )新中心等3家國家制造業(yè)創(chuàng )新中心 。其中虛擬現實(shí)和超高清視頻的重要載體便是XR虛擬演播室。

　　XR虛擬演播室在真實(shí)空間中打造出無(wú)限可能的沉浸式虛擬環(huán)境，做到了“所見(jiàn)即所得”的拍攝效果，在場(chǎng)景還原方面明顯優(yōu)于傳統的直播演播室(實(shí)景裝修)和純虛擬演播室，在新媒體傳播、工業(yè)設計、娛樂(lè )互動(dòng)、主題場(chǎng)館等多種行業(yè)和領(lǐng)域廣泛應用。

　　現在XR虛擬演播技術(shù)可廣泛應用于廣告、電影、電視、綜藝節目、紀錄片、戲劇演出、發(fā)布會(huì )、演唱會(huì )、電競賽事、電商直播等各類(lèi)視聽(tīng)內容制作領(lǐng)域，服務(wù)對象由1變N。XR的未來(lái)正如其名字中的“X”一樣，技術(shù)+創(chuàng )意為媒體創(chuàng )作多樣化賦能，充滿(mǎn)了無(wú)限可能性，實(shí)現了現實(shí)世界與虛擬世界的交匯融合，提供無(wú)限創(chuàng )作空間，為觀(guān)眾營(yíng)造全新的視聽(tīng)體驗。