Wave Surround震撼預警：國內首個(gè)IAB 沉浸音處理系統試驗成功，部分代碼將開(kāi)源！

　　自 IAB 標準(SMPTE 2098系列)發(fā)布以后，Dolby、DTS 等公司相繼發(fā)布了其對于 IAB 格式 DCP/IMP 的支持和方案，Atmos、DTS:X、Auro 3D 等多種基于對象的沉浸式音頻技術(shù)，正在逐步轉向統一的互操作格式-IAB 。使得同一個(gè) DCP 可以應用到不同的沉浸式音頻系統上，目前該技術(shù)標準已經(jīng)在多個(gè)國家投入使用，中國大陸目前尚未開(kāi)始 IAB 的普及，我們經(jīng)過(guò)多年對 IAB音頻系統的研究，結合 Wave D-Cinema Server 可實(shí)現完整的 IAB 沉浸式音頻系統的部署和使用，該 IAB 音頻處理器不同于傳統的 FPGA 方案，使用通用計算架構，可實(shí)現遠超 FPGA 的音頻處理性能，同時(shí)，我們關(guān)注到從 Atmos 及其他空間音頻技術(shù)向 IAB 轉換的電影音頻工作流程需求，提供對應的沉浸式音頻制作工具，實(shí)現端到端的沉浸式音頻解決方案。

　　IAB (沉浸式音頻比特流)是一種由一組 SMPTE 標準定義的技術(shù)，所有符合沉浸式音頻標準的媒體播放器都遵循該標準。這包括投影儀內的集成媒體塊 (IMB) 和單獨的外部系統 (SMS)。

　　IAB 的 SMPTE ST 2098 標準最初于 2018 年發(fā)布，現在終于被電影行業(yè)采用。因此，內容所有者和內容服務(wù)提供商將開(kāi)始發(fā)行帶有 IAB 標簽的電影，這意味著(zhù)：

　　所有使用IAB沉浸式音頻標準的電影都將使用“IAB 兼容”

　　符合 IAB 標準的音頻將在其內容播放列表 (CPL) 中以及通過(guò) DCP 命名約定標記為“IAB”

　　電影院的媒體播放器、影院管理系統 (TMS) 或 SMS將開(kāi)始顯示標簽“IAB”，而不是 Atmos

　　影院經(jīng)營(yíng)者可能更熟悉在電影中看到 Atmos。未來(lái)將只使用 IAB

　　這不會(huì )改變 DCP 中的內容——杜比多年來(lái)一直在推出符合 SMPTE 標準的“IAB ”DCP

　　很快，您的 TMS 和 SMS 將只顯示“IAB ”。不會(huì )顯示“Atmos”字樣。

　　這什么時(shí)候會(huì )發(fā)生？

　　目前好萊塢影片Atmos版本已按照IAB格式提供，國產(chǎn)影片尚未開(kāi)始轉向IAB格式，相信在不久的將來(lái)，ATMOS和DTS都將使用IAB格式的DCP版本，影城需要確保設備準備就緒，需要確保其軟件得到更新。

　　(附圖為 ISDCF-DCNC 對 IAB 格式的命名規范)

　　關(guān)于 IAB ：IAB 代表I mmersive A udioB itstream 。比特流是一個(gè)計算機術(shù)語(yǔ)，簡(jiǎn)而言之，在標準音頻系統中，音頻從媒體服務(wù)器(IMB)開(kāi)始，進(jìn)入音頻處理器，然后直接在音響系統中播放。

　　SMPTE ST 2098-1：沉浸式音頻 比特流 (IAB Bitstream)： 定義了用于傳輸沉浸式音頻數據的比特流格式。它支持基于聲道 (Channel-based)、基于對象 (Object-based) 的音頻表示方法，以及它們的混合使用。注意：標準的IAB 規范里沒(méi)有關(guān)于基于場(chǎng)景音頻的約束，任何關(guān)于 HOA 在 IAB 中的應用都是非標準的做法，我們不建議使用 HOA 在電影院環(huán)境中。

　　基于聲道 (Channel-based)： 類(lèi)似于傳統的環(huán)繞聲，使用預定義的揚聲器位置來(lái)錄制和播放音頻。例如 5.1、7.1 聲道等。

　　基于對象 (Object-based)： 將音頻元素(例如對話(huà)、音效)作為獨立的“對象”進(jìn)行錄制和處理，并包含其在三維空間中的位置信息。播放時(shí)，渲染器會(huì )根據揚聲器的實(shí)際位置來(lái)渲染這些對象。

　　Dolby Atmos 是目前世界上使用最廣泛的 IAB 音頻品牌，Atmos 使用 VBAP(矢量幅度平移)算法進(jìn)行 IAB 渲染，目前 Dolby Atmos 已經(jīng)在商業(yè)影院部署超過(guò) 7000 影廳以上?？臻g音頻已經(jīng)快速進(jìn)入了大家的生活中，手機、汽車(chē)、電視等終端已經(jīng)支持對象聲的渲染，受限于其計算能力，專(zhuān)業(yè)影院的同時(shí)播放對象數量高達 118 個(gè)，而手機、汽車(chē)、電視這些終端的對象可能減少為十余個(gè)。

　　Atmos 增加了什么？

　　杜比全景聲系統為影廳引入了一個(gè)新概念。這個(gè)新發(fā)展被稱(chēng)為“對象”。

　　Atmos 系統仍然包含 5.1 或 7.1 聲道。它將這些稱(chēng)為 Bed Channels。

　　“Bed” 這個(gè)詞在音頻界有著(zhù)悠久的傳統。例如，如果你和樂(lè )隊混在一起，你會(huì )聽(tīng)到他們說(shuō)，“讓我們放一些  Bed track 吧”。這些是歌曲中節奏和與主要旋律元素和聲的基本音軌。因此，DCP 中的 Bed Tracks 是電影音頻的基本 5.1 或 7.1 聲道。

　　而對象則不同。它是一種聲音，但沒(méi)有特定的播放通道，也沒(méi)有特定的電纜供其傳輸。

　　物體在空間中有一個(gè)位置。它需要一個(gè) IAB 系統來(lái)告訴聲音物體“去往屏幕前方四米處，距離左側三米、距離天花板一米，要非常窄，但聲音要非常大。然后花 5 ms移動(dòng)到 3D 空間中的其他地方，并且要非常寬”。但是這些位置可能沒(méi)有揚聲器，對吧?因為如果有的話(huà)，揚聲器會(huì )遮擋屏幕上的畫(huà)面。

　　事實(shí)上，Atmos 和其他系統(AuroMax和DTS:X)都有很多額外的揚聲器。問(wèn)題是，較小的影廳可能只有 8 個(gè)額外的揚聲器加上床聲道，但另一個(gè)影廳可能有 20 個(gè)額外的揚聲器——而且它們被放置在禮堂的不同位置。事實(shí)上，揚聲器的總組合可以是 64 個(gè)。所以，也許那個(gè)位置有一個(gè)揚聲器，……但可能沒(méi)有。

　　要做到這一點(diǎn)需要大量的計算機算力來(lái)支撐。

　　IAB 基于對象的音頻是如何記錄音頻位置的？

　　IAB 最大可以 118 個(gè)對象同時(shí)渲染，這些對象是聲音在物理環(huán)境中的某個(gè)發(fā)聲單元，比如人在說(shuō)話(huà)的時(shí)候，人是對象，馬路上行走汽車(chē)的噪音，天空中的飛機飛過(guò)的聲音，這都是一個(gè)個(gè)音頻對象。音頻對象位置元數據使用笛卡爾坐標系指示音頻對象的位置。使用三個(gè)正交軸(x、y、z)來(lái)定位空間中相對于所選原點(diǎn)的點(diǎn)。x 坐標應表示左右維度，y 坐標應表示前后維度，z 坐標應表示上下維度，如圖 1 所示。

　　對象在空間中的位置是用笛卡爾坐標系來(lái)描述的，對于空間中的某個(gè)位置以及對象本身的大小，ST2098-1 中均有相關(guān)定義，渲染時(shí)需要按照 IAB 中描述的要求進(jìn)行渲染，以保證達到制作人的目的。

　　IAB 渲染-最重要的部分：

　　(IAB 音頻播放架構)

　　SMPTE ST 2098?2 沉浸式音頻比特流 (IAB) 定義了一種用于承載沉浸式音頻的比特流。它設計了許多前瞻性功能， 其中一些功能目前不受影院IAB渲染器的支持。為了有效地開(kāi)始向行業(yè)推出 IAB DCP，需要為 IAB 制定一套約定的約束。“IAB Application Profile#1” 將這些要求和支持的功能編入標準。配置文件 1 基于截至 2020 年 2 月 影院中沉浸式音頻渲染器所實(shí)施的功能。我們通常認為：杜比ATMOS遵循的渲染器約束就是“IAB Profile 1”，杜比公司提供了從ATMOS向IAB的轉換工具，影片制作工作室可無(wú)損的將ATMOS數字資產(chǎn)轉換為IAB資產(chǎn)。IAB 配置文件1規定了對最大10個(gè)床聲道、118個(gè)對象同時(shí)進(jìn)行渲染的詳細約束。

　　如何將IAB沉浸音中記錄的聲音對象位置準確的在有限的影廳揚聲器布局中渲染出來(lái)是非常有挑戰的工作，比較推薦的做法是使用VBAP(矢量幅度平移)方法，聲音的對象從一個(gè)點(diǎn)到下一個(gè)點(diǎn)的移動(dòng)速率約為5ms，每個(gè)對象的定位最少需要3只揚聲器來(lái)實(shí)現定位，渲染器的工作就是不斷的將聲音對象通過(guò)影廳空間最適合的三個(gè)揚聲器來(lái)重新計算每個(gè)揚聲器或者揚聲器組需要播出的音頻數據，同時(shí)，渲染器需要考慮人類(lèi)聽(tīng)覺(jué)的特性，進(jìn)行實(shí)時(shí)的解相關(guān)運算，通過(guò)調節音頻的相位達到更佳的體驗，與傳統的音頻處理應用不同，渲染器相當于將音頻工作站由工作室搬到了影廳的機房，根據不同的影廳尺寸進(jìn)行密集的實(shí)時(shí)計算，單是FIR處理一項，傳統的DSP芯片就難以勝任，影院音頻處理呈現高帶寬、高算力要求。

　　Dolby的IAB處理方案采用FPGA計算平臺，與傳統的DSP哈佛架構芯片不同，我們的音頻處理方案創(chuàng )新的使用通用計算平臺，結合CPU與GPU的強大計算能力，可提供超越FPGA架構十倍的處理能力，除了音頻渲染、音頻處理外，Wave Surround解決方案支持實(shí)時(shí)進(jìn)行房間混響計算，這將為較小的空間實(shí)現“大劇院”、“演唱會(huì )”、“大禮堂”、“巨幕廳”的聲音效果成為可能。

　　Wave Surround 支持更靈活的音響布局，支持7.1.4、5.1.4、9.1OH、11.1HT、13.1HT、9.1.6、11.1.4等靈活布局，得益于強大的計算架構，該音頻解決方案Filter部分使用FIR高階濾波(大于1024Taps)進(jìn)行音頻濾波處理，可以做到非常好的相位響應，在類(lèi)似LED電影屏的B環(huán)還音應用中，可以靈活應對。Wave Surround 已就相關(guān)技術(shù)申請專(zhuān)利保護。

　　我們的方案-Wave Surround 沉浸式終極音頻解決方案

　　從 2019 年開(kāi)始，我們就在關(guān)注 IAB 音頻相關(guān)技術(shù)的發(fā)展，在Pierre-Anthony Lemieux等人的幫助與指導下，我們于 2024 年完成了IAB 沉浸式音頻的產(chǎn)品研究和開(kāi)發(fā)工作，與我們的 Wave D-Cinema 媒體服務(wù)器一樣，我們的 IAB 音頻處理器同樣采用通用計算架構，而不是 Dolby 的 FPGA 架構。計算性能遠遠超過(guò) FPGA。

　　Wave IAB Processor Features：

　　符合ST 430-10 標準的 IMB 通信要求，支持由 IMB 控制的 IAB 音頻播放管理功能

　　友好易用的 Web UI 設計，提供 Restful API 供集成

　　靈活的 DAC 布局，使用 AES67 協(xié)議，支持外置 DAC

　　符合 ST2098 系列 IAB 標準，支持多達十余種揚聲器布局

　　全 LCD 觸控屏操作，無(wú)物理實(shí)體按鍵

　　支持 OTA，可通過(guò)軟件更新提升硬件價(jià)值

　　支持低音陣列及低音管理

　　可靈活使用 IIR/FIR 分頻和濾波，FIR 可支持更高 Taps 濾波，超越專(zhuān)業(yè)級音頻設備的品質(zhì)

　　徹底解決 LED 電影屏透聲問(wèn)題，使用 高階FIR提供極好的相位響應。

　　支持自動(dòng) EQ 校準

　　最大可支持輸出 128 路數字音頻

　　最后：

　　使用通用架構進(jìn)行IAB音頻處理是一項充滿(mǎn)挑戰的工作，在麥克盧漢卓越研究開(kāi)發(fā)團隊的不懈努力下，該IAB音頻解決方案得以成功通過(guò)試驗，我們歡迎國際、國內音頻產(chǎn)業(yè)的相關(guān)公司參與共創(chuàng )合作，Wave Surround 計劃將IAB的制作、渲染、音頻處理等核心代碼開(kāi)源，如有對空間音頻、數字影院音頻處理感興趣的團隊，可通過(guò)公眾號與我們聯(lián)系，共同打造極致的媒體娛樂(lè )體驗。