視頻會議與會場音視頻技術(shù)發(fā)展概述

視頻會議與會場音視頻技術(shù)發(fā)展概述張利濱

（中國電子科技集團公司第三研究所，北京100015）

0引言

近幾年，在云計算、人工智能、5G和大數(shù)據(jù)等技術(shù)的推動下，視頻會議呈現(xiàn)出爆發(fā)式增長趨勢。從各級政府、大型企事業(yè)單位、公安、軍隊，到金融證券、能源交通和醫(yī)療教育等行業(yè)，視頻會議均有廣泛應(yīng)用。本文從云視頻、會議終端、波速話筒以及一體化攝像機等方面介紹視頻會議技術(shù)發(fā)展現(xiàn)狀，從會場音視頻整體技術(shù)發(fā)展趨勢、會場音頻系統(tǒng)網(wǎng)絡(luò)化發(fā)展以及會場視頻系統(tǒng)技術(shù)發(fā)展方面介紹會場音視頻技術(shù)的最新發(fā)展成果。

1視頻會議技術(shù)發(fā)展

1.1云視頻會議

云視頻會議以云計算為核心，結(jié)合新一代音視頻編碼技術(shù)（H.265/H.264SVC柔性分層編碼標準），以公有云、專有云、私有云等交付方式，支持大規(guī)模、高彈性、高可用連接。云視頻會議服務(wù)提供商建設(shè)云計算中心，用戶企業(yè)無需購買多點控制單元（MultipointControlUnit，MCU），無需大規(guī)模改造網(wǎng)絡(luò)，就能實現(xiàn)在會議室、個人電腦或移動狀態(tài)下進行多方視頻會議溝通，并能實現(xiàn)與傳統(tǒng)會議室的互聯(lián)互通[1]。云視頻會議具有以下優(yōu)勢。

（1）平臺云化。云視頻會議面向互聯(lián)網(wǎng)架構(gòu)，支持分布式部署，支持系統(tǒng)災(zāi)備，能夠?qū)崿F(xiàn)多中心業(yè)務(wù)備份，方便靈活。

（2）彈性服務(wù)。云視頻服務(wù)的規(guī)?？煽焖偕炜s，可以跨平臺共享和協(xié)作，隨時入會連接到世界的每一個角落，進行視頻面對面的溝通。

（3）接入多樣化。平臺支持公有云、專有云、私有云部署模式，終端部署簡單快速、易使用，可以接入多種形式的終端設(shè)備，如云視頻會議終端、傳統(tǒng)硬件視頻會議終端、電腦、智能手機以及智能大屏等。

（4）功能多樣性。云視頻會議具有會議記錄、語音轉(zhuǎn)寫、文檔資料實時分享等功能，并具有多種高效便捷的會議功能，如會議預(yù)定、通知、簽到、錄音、錄像、投票、控制、分組討論以及協(xié)同辦公等。

1.2會議終端

近幾年，視頻會議終端技術(shù)水平不斷提升，終端產(chǎn)業(yè)得到強有力的發(fā)展，主要表現(xiàn)在如下方面。

（1）SVC柔性編碼技術(shù)發(fā)展成熟，一次編碼可以產(chǎn)生多層不同分辨率、幀率、質(zhì)量的視頻碼流，讓每個視頻會議的使用方都可以根據(jù)自己的網(wǎng)絡(luò)帶寬、設(shè)備性能、屏幕分辨率獲得適合自己的視頻流。這種更為高效先進的編碼算法為新一代智能云視頻會議發(fā)展奠定了技術(shù)基礎(chǔ)。

（2）目前正在興起的H.265編解碼器具有壓縮效率高、圖像質(zhì)量好的特點。隨著4K超高清視頻會議的發(fā)展應(yīng)用，H.265標準的編解碼器將成為視頻會議的應(yīng)用主流[2]。

（3）智能編碼技術(shù)也稱“內(nèi)容感知編碼”，是通過使用深度學(xué)習(xí)方式，對每個場景的視頻圖像進行智能分析，來確定優(yōu)質(zhì)圖像所采用的最低比特率編碼，達到智能圖像編碼。

（4）發(fā)展高質(zhì)量4K超高清視頻編解碼器，支持10bit、4∶2∶2@4KP60、超低延遲、高可靠性或國產(chǎn)AVS2、AVS3高性能編解碼器。

基于技術(shù)的發(fā)展，視頻會議終端的功能越來越豐富，目前主要有以下主流的功能與特性：

（1）流暢的超高清視頻，提供4K超高清雙流體驗，視頻圖像清晰流暢，細節(jié)呈現(xiàn)更全面、更生動，能夠帶來極致視頻體驗；

（2）清晰的音頻享受，支持多種寬帶音頻編碼技術(shù)，采用回聲消除（AcousticEchoCancelling，AEC）、噪聲抑制、增益控制及語音增強等技術(shù)，可提供清晰純正的高保真聲效；

（3）強大的網(wǎng)絡(luò)適應(yīng)性，能夠根據(jù)網(wǎng)絡(luò)質(zhì)量和應(yīng)用需求優(yōu)化圖像質(zhì)量，支持超強糾錯、丟包重傳、視頻前向糾錯、動態(tài)調(diào)速、自動QoS設(shè)置、自動碼流平滑調(diào)整等網(wǎng)絡(luò)傳輸技術(shù)，優(yōu)化各種網(wǎng)絡(luò)環(huán)境下的視頻會議效果；

（4）完善的安全機制，內(nèi)置硬件加密芯片，支持國密算法，內(nèi)置128/256位AES等多重安全加密措施，充分保證會議內(nèi)容的安全性和保密性，具有本地登陸認證與授權(quán)機制，并支持對用戶權(quán)限分級管理，保障視頻會議系統(tǒng)安全穩(wěn)定運行；

（5）智能的會議操控，內(nèi)置智能語音助手，提供便捷的會議操控服務(wù)；支持同聲字幕、會議紀要；內(nèi)置協(xié)作模塊，可外接觸控屏幕，采用圖形化觸控界面，可輕松完成視頻會議操控。

1.3波束話筒

波束成形話筒是近幾年視頻會議設(shè)備中發(fā)展較快的產(chǎn)品之一，其功能特點是：使用簡單，只需放置在桌面上或固定到天花板上，連接好話筒電纜即可開始使用；某些型號的話筒具有自動校準功能，簡化了系統(tǒng)參數(shù)配置，并可使用管理軟件通過網(wǎng)絡(luò)進行話筒參數(shù)設(shè)置；參數(shù)設(shè)置簡單，管理集中，無需單獨供電[3]。波束話筒的主要技術(shù)特點如下。

（1）波束成形技術(shù)。將使用會場設(shè)定為多個區(qū)域，每個區(qū)域（約有5～10m遠拾音距離）采用波束跟蹤技術(shù)主動跟蹤并拾取講話人聲音信號，通過使用高性能數(shù)字信號處理技術(shù)與語音處理算法相結(jié)合，輸出所需要的聲音信號。

（2）增益控制。如果講話人與話筒之間發(fā)生小距離移動，話筒自動增益控制可調(diào)節(jié)輸出信號的電平值，在一定范圍內(nèi)保持聲音信號輸出一致。

（3）智能降噪。波束成形話筒均具有背景噪聲降噪處理算法，能明顯減少會場環(huán)境噪音。

（4）回聲抑制。話筒具有AEC處理模塊，能夠有效抑制視頻會議的回聲。

（5）自動校準。話筒會產(chǎn)生一個音頻測試信號，并由會場內(nèi)的揚聲器發(fā)出，通過話筒內(nèi)置數(shù)字音頻處理器計算并自動配置會場音頻系統(tǒng)參數(shù)，獲得較佳的聲場拾音效果。

（6）網(wǎng)線或USB傳輸。話筒可通過一根網(wǎng)線或USB接口與第三方設(shè)備連接，支持Dante或AES67協(xié)議和有源以太網(wǎng)（PowerOverEthernet，POE）供電。

1.4一體化攝像機

攝像機在視頻會議領(lǐng)域的發(fā)展趨勢是小型化、4K超高清、與會議話筒和揚聲器集成為一體化。一體化攝像機正成為視頻會議中小型會議室的主流產(chǎn)品，其具有以下技術(shù)特點。

（1）超高清成像技術(shù)，采用800萬～1240萬高品質(zhì)圖像傳感器，最大分辨率可達4K，呈現(xiàn)清晰逼真的視頻效果。

（2）AI視頻處理技術(shù)，如弱光補償、視頻降噪、自動對焦、自動白平衡等，攝像頭能自動跟蹤拍攝、減少背光和眩光影響，并保持畫面亮度。

（3）EPTZ電子云臺，電子云臺沒有可見的機械轉(zhuǎn)動部件，通過在攝像機內(nèi)部控制鏡頭的視角和變焦，從而清晰捕捉遠處的景物。圖像被放大時，可進行模擬水平旋轉(zhuǎn)/俯仰的裁切輸出，為不同角度的拍攝提供最大的靈活性。

（4）圖像剪切輸出。使用4K超高清分辨率拍攝的圖像既可以完整輸出，同時還可以對這些圖像的某些局部進行同步裁剪輸出。裁剪輸出可通過攝像機控制器進行控制，簡便快捷。

（5）視頻輸出接口豐富，支持高清多媒體接口（HighDefinitionMultimediaInterface，HDMI）、數(shù)字分量串行接口（SerialDigitalInterface，SDI）、USB3.0以及局域網(wǎng)（LocalAreaNetwork，VLAN）等多種方式輸出視頻。

一體化攝像機的人工智能（ArtificialIntelligence，AI）功能與視頻會議室結(jié)合，顯著提高了中小型會議室的智能化程度，實現(xiàn)了以前只有某些高端會議室才具有的獨有功能，具體如下。

（1）自動喚醒。當(dāng)有人走進會議室時，系統(tǒng)會“自動喚醒”，并可通過參會人員的隨身移動設(shè)備識別其身份。

（2）智能會議。自動取景和發(fā)言者跟蹤，按需自動拍攝，屏幕亮度智能顯示，話筒自動跟蹤，音質(zhì)出色。

（3）雙屏體驗。雙屏幕、雙內(nèi)容源、無線共享和兩個屏幕同時顯示不同的遠端會場。

（4）會議室人數(shù)統(tǒng)計，幫助會議管理者充分了解會議室的利用率并優(yōu)化資源分配。

（5）同時支持云部署和本地部署，硬件面向云平臺運行環(huán)境，可提供出色的共享會議室和共享空間體驗。

2會場音視頻技術(shù)發(fā)展

2.1會場音視頻系統(tǒng)整體發(fā)展

近幾年，視頻會議會場音視頻系統(tǒng)發(fā)展迅速，出現(xiàn)了一些具有代表性的發(fā)展趨勢，主要有以下特點。

（1）簡潔化。會場設(shè)備追求簡單實用，硬件設(shè)備越來越少，設(shè)備和線纜網(wǎng)絡(luò)化；使用功能簡潔易用，讓會議變得更高效；安裝靈活便捷，對空間的依賴性沒有那么強，更能適應(yīng)現(xiàn)代工作的快節(jié)奏。

（2）標準化。標準化主要表現(xiàn)在四個方面，即產(chǎn)品標準化、設(shè)計標準化、施工標準化以及服務(wù)標準化。標準化已貫穿會場設(shè)計、實施和售后服務(wù)的全過程。采用標準化的系統(tǒng)方案，能使施工工藝統(tǒng)一，施工進度能得到保證，工作量會大大降低。標準化能夠優(yōu)化工程管理方式，為用戶提供更加科學(xué)、高效的培訓(xùn)服務(wù)、售后服務(wù)及設(shè)備維修等。

（3）智能化。隨著會場智能化水平逐步提升，會議系統(tǒng)在使用時，屏幕可自動調(diào)節(jié)亮度、攝像頭自動跟蹤拍攝、話筒自動拾音、語音指令能控制設(shè)備、遠程可檢測診斷故障等，這些智能功能讓用戶的使用越來越方便，維護也越來越自如。

（4）網(wǎng)絡(luò)化。隨著越來越多的數(shù)字音視頻設(shè)備具備IP功能，專業(yè)音視頻系統(tǒng)的物理架構(gòu)發(fā)生重大變化。目前已經(jīng)出現(xiàn)一大批帶有IP接口的數(shù)字調(diào)音臺、功率放大器、有源揚聲器等，而且發(fā)展呈上升趨勢。一根超五類或六類網(wǎng)線可以容納數(shù)以百計的高質(zhì)量、無壓縮、低延遲音頻通道。如果將這些IP設(shè)備通過網(wǎng)絡(luò)交換機連接到一起，便組成了一個規(guī)模巨大的音視頻系統(tǒng)。網(wǎng)絡(luò)化音視頻系統(tǒng)都已具備了主備冗余的功能，通過成熟的網(wǎng)絡(luò)備份技術(shù)，就能應(yīng)對安全性要求極高的會場。將音視頻、控制等諸多信息元素全部數(shù)字化、網(wǎng)絡(luò)化，傳輸方式采用標準的IP網(wǎng)絡(luò)，減少大三芯、卡儂頭等專用接口的使用，使物理連接大大簡化，給工程設(shè)計者和使用者提供了一個全新的音視頻網(wǎng)絡(luò)化整體解決方案。

（5）數(shù)據(jù)化。會場音視頻設(shè)備在整體網(wǎng)絡(luò)化架構(gòu)中，會成為大數(shù)據(jù)產(chǎn)生、搜集、分析的節(jié)點。大數(shù)據(jù)是智能化、智慧化的基礎(chǔ)，當(dāng)足夠多的數(shù)據(jù)被搜集、分析和使用，這些數(shù)據(jù)將成為優(yōu)化會場系統(tǒng)的重要支撐。例如，依靠數(shù)據(jù)化建立的一體化運維管控平臺，可以把系統(tǒng)所有運行設(shè)備在線集中監(jiān)控管理起來，將設(shè)備的狀態(tài)與用戶使用情況相結(jié)合，分析設(shè)備及用戶的有效規(guī)律，配合智能化算法和人工智能模型進行趨勢分析及預(yù)測，掌握預(yù)防性維護的規(guī)律，將傳統(tǒng)的會場音視頻系統(tǒng)進化為一個集管理、操控、監(jiān)測、運維于一體的智能化運維管控平臺，確保系統(tǒng)穩(wěn)定可靠運行，并提供一套有效的科學(xué)維護管理方法。

2.2會場音頻系統(tǒng)網(wǎng)絡(luò)化發(fā)展

隨著會場音頻網(wǎng)絡(luò)化技術(shù)的發(fā)展，在一根以太網(wǎng)線中可以傳輸數(shù)百路音頻信號，采用多播路由就可以省掉大量音分設(shè)備，使用商用交換機和管理軟件即可替代傳統(tǒng)的音頻矩陣。網(wǎng)絡(luò)化音頻系統(tǒng)將設(shè)有統(tǒng)一的運管平臺，經(jīng)運管平臺集中完成設(shè)備在線參數(shù)配置、路由、監(jiān)測、診斷等管理任務(wù)，能夠通過軟件來定義各類會議場景的應(yīng)用，以前只能對單一設(shè)備進行場景的預(yù)設(shè)和加載，而今后則可以對整個音頻系統(tǒng)所有設(shè)備進行統(tǒng)一的參數(shù)設(shè)置和功能切換，通過運管平臺能集中監(jiān)測系統(tǒng)內(nèi)各設(shè)備的實時工作狀態(tài)，并具備故障自動報警，系統(tǒng)應(yīng)急切換等功能[4]。下面介紹幾種具有代表性的音頻網(wǎng)絡(luò)化技術(shù)。

2.2.1Dante

Dante是Audinate公司定義的網(wǎng)絡(luò)音頻解決方案，是基于3層的IP網(wǎng)絡(luò)技術(shù)，能提供一個簡化的、自配置和即插即用的使用百兆或千兆互聯(lián)網(wǎng)協(xié)議的數(shù)字音頻網(wǎng)絡(luò)化技術(shù)。Dante技術(shù)具有延時小、采用IEEE1588精密時鐘協(xié)議進行時鐘同步、采用zeroconf（ZeroConfigurationNetworking）協(xié)議、網(wǎng)絡(luò)具有高兼容性、傳輸模式可以是單播或是多播模式等優(yōu)勢，可應(yīng)用于專業(yè)音響、公共廣播、視頻會議等系統(tǒng)。產(chǎn)品經(jīng)歷了從早期的模塊化產(chǎn)品到后來的芯片化，到現(xiàn)在的軟件化方向發(fā)展。

2.2.2AVB

AVB的全稱是以太網(wǎng)音視頻橋（EthernetAudio/VideoBridging）技術(shù)，是一項新的IEEE802標準。其在傳統(tǒng)以太網(wǎng)絡(luò)基礎(chǔ)上，通過保障帶寬，限制延遲和精確時鐘同步，提供完美的服務(wù)質(zhì)量，來支持各種基于音頻、視頻的網(wǎng)絡(luò)多媒體應(yīng)用。AVB是一種架構(gòu)在以太網(wǎng)二層網(wǎng)絡(luò)基礎(chǔ)上傳輸專業(yè)非壓縮音頻、視頻信號的協(xié)議技術(shù)，能夠支持目前大多數(shù)的專業(yè)視頻信號格式，支持多達512通道的無壓縮音頻信號。

2.2.3Q-LAN

Q-LAN是美國QSC音頻產(chǎn)品公司為Q-Sys音頻網(wǎng)絡(luò)處理平臺開發(fā)的第三代IP化音頻（AudiooverIP，AOIP）專有技術(shù)，相關(guān)產(chǎn)品包括Q-SysCore核心處理單元、I/O接口單元以及管理軟件等，主要應(yīng)用場合是會議擴聲、視頻會議、會控中心以及大型游樂場地等。

2.2.4AES67

音頻工程協(xié)會（AudioEngineeringSociety，AES）在2022年12月啟動了一項多個音頻網(wǎng)絡(luò)協(xié)議可互通的項目，以實現(xiàn)不同廠商AoIP設(shè)備之間的互操作。該標準于2022年9月正式頒布，此后又經(jīng)過了一次修訂，現(xiàn)在的版本是AES67-2022。AES67標準從同步、媒體時鐘、傳輸、碼流、會話描述、發(fā)現(xiàn)服務(wù)及連接管理等方面闡明并規(guī)范了AoIP的機制和具體細則，特別是對基于IEEE1588v2的同步機制和RTP流的單組播傳輸方案作了明確的定義，使得不同廠商的AoIP設(shè)備和系統(tǒng)之間的時鐘對接和音頻數(shù)據(jù)流對接成為可能。目前世界主要的AoIP體系均支持AES67標準。

2.2.5AES70

AES于2022年1月發(fā)布了AES70-2022標準，它的全稱是《面向網(wǎng)絡(luò)音頻應(yīng)用的開放式控制架構(gòu)》，以IP方式在入網(wǎng)的數(shù)字音頻設(shè)備及非音頻設(shè)備之間傳遞各類控制信號，以達到監(jiān)測、控制及管理的目的。AES70標準提供了一個非常完備的基于IP網(wǎng)絡(luò)的音頻系統(tǒng)監(jiān)管框架，具備良好的安全性、可用性、魯棒性、兼容性、可擴容性以及可分析性。AES67、AES70兩者的結(jié)合，成就了一個完美的AoIP音頻網(wǎng)絡(luò)系統(tǒng)。

2.3會場視頻系統(tǒng)技術(shù)發(fā)展

隨著4K超高清視頻技術(shù)、視頻網(wǎng)絡(luò)化技術(shù)以及設(shè)備軟件定義功能等技術(shù)的不斷發(fā)展，會場4K超高清視頻系統(tǒng)有以下幾種技術(shù)可供選擇[5]。

2.3.1HDBaseT接口技術(shù)

HDBaseT技術(shù)是高清數(shù)字傳輸?shù)娜驑藴手?。它通過普通的CAT5e/6網(wǎng)線進行無壓縮傳輸，支持最高20Gb·s-1的傳輸速率，采用RJ-45接頭連接，傳輸距離可達到100m。此外，它還提供以太網(wǎng)功能，具備100W的供電能力（PoE）和控制信號通道，支持HDMI1.4，HDMI2.0及HDMI2.1接口協(xié)議，同時完全兼容高帶寬數(shù)字內(nèi)容保護（High-bandwidthDigitalContentProtection，HDCP）技術(shù)。對于常用的點對點使用方式，它具有低功耗、易于使用等特點，已被許多的音視頻制造商廣泛應(yīng)用。市場上采用此技術(shù)協(xié)議接口的產(chǎn)品很多，如視頻會議終端、攝像機、視頻多格式混合矩陣等，通過HDBaseT接口設(shè)備與視頻多格式混合矩陣相結(jié)合的方式，實現(xiàn)會場4K超高清視頻系統(tǒng)的功能。

2.3.212G-SDI技術(shù)

隨著12G-SDI技術(shù)在廣播電視領(lǐng)域的廣泛應(yīng)用，12G-SDI系統(tǒng)具有系統(tǒng)架構(gòu)熟悉、設(shè)備性能穩(wěn)定、施工方便等優(yōu)勢，被認為是目前4K超高清會場視頻系統(tǒng)的最佳解決方案。12G-SDI是電影電視工程師協(xié)會（TheSocietyofMotionPictureandTelevisionEngineers，SMPTE）制定的基于SDI傳輸4K超高清視頻接口標準（SMPTEST-2082），其定義是12Gb·s-1的傳輸速率，帶寬是3G-SDI的4倍，能夠支持高達4Kp60分辨率，兼容HD/3G-SDI等之前的標準。12G-SDI只要1根傳輸線纜，就能直接傳輸4K超高清顯示信號。這樣的傳輸方式，之前的SDI架構(gòu)不變，系統(tǒng)升級改造更方便。目前支持12G-SDI接口的4K超高清設(shè)備日益增多，基本能夠滿足會場4K超高清系統(tǒng)的使用需要。

2.3.3NDI網(wǎng)絡(luò)化技術(shù)

網(wǎng)絡(luò)設(shè)備接口（NetworkDeviceInterface，NDI）協(xié)議是NewTek公司推出的開放式IP網(wǎng)絡(luò)設(shè)備接口協(xié)議。它以一種全新的網(wǎng)絡(luò)應(yīng)用層，通過IP網(wǎng)絡(luò)進行超低延時、無損傳輸、交互控制，使系統(tǒng)的構(gòu)建以及系統(tǒng)內(nèi)各種信號的傳輸、調(diào)用變得簡單。該協(xié)議產(chǎn)品具有高質(zhì)量、低延遲、精準同步的特點，非常適合在會場視頻系統(tǒng)中進行調(diào)度切換使用。NDI使系統(tǒng)設(shè)計和應(yīng)用變得簡單和靈活，協(xié)議支持4K@60視頻信號，并支持網(wǎng)絡(luò)時鐘協(xié)議（NetworkTimeProtocol，NTP），可在多部設(shè)備之間同步。NDI協(xié)議分為全NDI和NDI/HX兩種協(xié)議版本，NDI/HX協(xié)議支持H.264/H.265編碼，兩種協(xié)議的產(chǎn)品具有廣播級的視頻圖像質(zhì)量，既可以應(yīng)用在會場視頻系統(tǒng)，也能進行遠距離傳輸。目前支持該協(xié)議的產(chǎn)品種類有攝像機、切換控制臺、多畫面分割器、矩陣以及轉(zhuǎn)換器等。

2.3.4SDI網(wǎng)絡(luò)化（SDIoverIP）技術(shù)

SMPTEST2022是SMPTE（電影電視工程師協(xié)會）于2022年公布的SDI網(wǎng)絡(luò)