V2視頻會(huì )議多畫(huà)面軟件設計與分析

　　上世紀90年代中期，視頻會(huì )議進(jìn)入中國，威速V2視頻會(huì )議從1999年開(kāi)始創(chuàng )辦，到2001年正式成立公司，V2視頻會(huì )議發(fā)展之初到現在擁有15年視頻會(huì )議行業(yè)經(jīng)驗?？梢哉f(shuō)是經(jīng)歷了視頻會(huì )議從無(wú)到有、從不成熟到基本成熟的過(guò)程。在這個(gè)發(fā)展過(guò)程中，又相繼出現了電視會(huì )議、桌面會(huì )議、多媒體會(huì )議等多種遠程會(huì )議系統。視頻會(huì )議系統發(fā)展的關(guān)鍵技術(shù)之一是視頻編碼。利用低比特率的視頻編解碼方案H.263 建議，可將視頻圖像最少壓縮到大約20 kbps，以使其能在普通電話(huà)線(xiàn)上通過(guò)28.8 kbps 的V.34Modem 傳送音頻信號。事實(shí)上，在音視頻編碼協(xié)議不斷改進(jìn)與發(fā)展的同時(shí)，視頻會(huì )議本身的協(xié)議也實(shí)現了更新?lián)Q代，目前已出現了基于分組交換網(wǎng)的H.323 建議。視頻會(huì )議向高性能、多功能、協(xié)同性、智能化和集成化方向發(fā)展的另一個(gè)關(guān)鍵技術(shù)是多畫(huà)面合成技術(shù)。

　　V2視頻會(huì )議具有豐富的功能，包括攝像頭遠程遙控、組播、電視墻、多組會(huì )議并發(fā)、大容量視頻會(huì )議等用戶(hù)可根據自己的需要選擇適當的模塊，構建一個(gè)完整的視頻會(huì )議平臺。V2視頻會(huì )議數據應用工具如電子白板、應用程序共享、桌面共享、即時(shí)消息、文件傳送等也一應俱全。V2視頻會(huì )議還能支持PDF、txt、 PowerPoint、Word、Excel等各種OFFICE文檔以及圖片等多種形式的文件，并支持超過(guò)500頁(yè)的超大文檔，高效實(shí)時(shí)的屏幕共享技術(shù)，支持網(wǎng)頁(yè)等程序共享，同時(shí)還支持桌面共享功能。

　　由于傳統采用RGB 格式存儲數據流以用于多畫(huà)面合成的方法十分浪費資源。因此，為了在有限的頻帶條件下最大限度地提高資源利用率，本文提出了一種在不影響畫(huà)面質(zhì)量的同時(shí)解決其資源利用問(wèn)題的新方案。事實(shí)上。視頻會(huì )議多畫(huà)面軟件已經(jīng)應用到生活的諸多領(lǐng)域。而且將會(huì )有更廣泛地使用。

　　1 數據流的捕獲

　　Windows 下捕獲數據包的結構如圖l 所示，其中NDIS 的NDIS (Network Driver Interface

　　Specification)是Microsoft 和3Com 公司聯(lián)合制定的網(wǎng)絡(luò )驅動(dòng)規范，該規范提供有大量的操作函數。它可為上層的協(xié)議驅動(dòng)提供服務(wù)，從而屏蔽了下層各種網(wǎng)卡的差別。NDIS 向上可支持多種網(wǎng)絡(luò )協(xié)議，例如TCP/IP、NWLink IPX/SPX、NETBEUI 等，向下則可支持不同廠(chǎng)家生產(chǎn)的多種網(wǎng)卡。

　　捕獲數據包的結構

　　利用 winpcap 進(jìn)行網(wǎng)絡(luò )數據包的捕獲和過(guò)濾的設計步驟如下：

　　(1)打開(kāi)網(wǎng)卡，設置網(wǎng)卡為混雜模式;

　　(2)回調函數Network Tap，得到監聽(tīng)命令后從網(wǎng)絡(luò )設備驅動(dòng)程序處收集數據包，并把監聽(tīng)到的數據包傳送給過(guò)濾程序;

　　(3)當Packet filter 監聽(tīng)到數據包到達時(shí)，NDIS 中間驅動(dòng)程序調用分組驅動(dòng)程序，該程序可將數據傳遞給每一個(gè)參與進(jìn)程的分組過(guò)濾程序;

　　(4)由Packet filter過(guò)濾程序決定丟棄或接收數據包，并將接收的數據拷貝到相應的程序;

　　(5)通過(guò)分組過(guò)濾器后，再將未過(guò)濾掉的數據包提交給核心緩沖區，當系統緩沖區滿(mǎn)后，再將數據包拷貝到用戶(hù)緩沖區。監聽(tīng)程序可以直接從用戶(hù)緩沖區中讀取捕獲的數據包;

　　(6)關(guān)閉網(wǎng)卡。

　　2 視頻數據流的解碼

　　捕獲到的視頻數據流。通常在網(wǎng)絡(luò )傳輸中都采用H.263視頻編碼建議，其圖像格式為CIF格式。H.263-CIF格式的數據流是一種壓縮編碼圖像格式，這種格式在網(wǎng)絡(luò )傳輸過(guò)程中可節省頻帶資源，可在有限的帶寬下最大限度地提高資源利用率。但是，CIF格式必須經(jīng)過(guò)處理才能應用于多畫(huà)面合成。只有通過(guò)解碼使捕獲到的視頻數據流變成YUV(RGB)格式后，此圖像格式才可直接運用于多畫(huà)面合成，而且此格式的圖像合成也比較方便、快捷。為了使圖像由 H.263格式轉變?yōu)閅UV(RGB)格式，應運用H.263解碼器進(jìn)行解碼。

　　3 多畫(huà)面合成

　　視頻數據流經(jīng)過(guò)解碼之后，可將其變成YUV(RGB)格式。下一環(huán)節即是視頻數據流的合成(多畫(huà)面合成)，這也是本文的關(guān)鍵技術(shù)。在視頻會(huì )議系統中，參加會(huì )議的與會(huì )者或許不只兩、三個(gè)，所有與會(huì )者可能分布全國乃至世界各地。為了使每個(gè)與會(huì )者都能進(jìn)行面對面的直接交流，就需要在同一時(shí)間看到所有的與會(huì )者，因此，多畫(huà)面合成技術(shù)必不可少。通過(guò)多畫(huà)面合成能使N個(gè)不同的視頻畫(huà)面實(shí)時(shí)地在同一臺顯示器上顯示，這樣，每一位與會(huì )者就都可以運用該軟件看到其他成員。

　　YUV主要的采樣格式有YCbCr4：2：O、YCbCr4：2：2、YCbCr4：1：1和YCbCr4：4.：4。其中YCbCr4：1：1比較常用，其含義是每個(gè)點(diǎn)保存一個(gè)8 bit的亮度值(也就是Y值)，每2x2個(gè)點(diǎn)保存一個(gè)Cr和Cb值，這樣，圖像在人的視覺(jué)中不會(huì )起太大的變化。RGB (R，G，B都是8 bit unsigned)模型的4個(gè)點(diǎn)需要8×3=24 bits，而現在僅需要8+(8/4)+(8/4)=12 bits，平均每個(gè)點(diǎn)占12 bits。這樣就把圖像的數據壓縮至一半。YUV411為每個(gè)像素都提取Y分量，UV分量在水平方向上每4個(gè)像素采樣一次。YUV420并非V分量采樣為 0，而只是跟YUV411相比，在水平方向上提高了一倍的色差采樣頻率，并在垂直方向上以U/V間隔的方式減小了一半色差采樣。