視頻會議與會場音視頻技術發(fā)展概述

視頻會議與會場音視頻技術發(fā)展概述張利濱

（中國電子科技集團公司第三研究所，北京100015）

0引言

近幾年，在云計算、人工智能、5G和大數(shù)據(jù)等技術的推動下，視頻會議呈現(xiàn)出爆發(fā)式增長趨勢。從各級政府、大型企事業(yè)單位、公安、軍隊，到金融證券、能源交通和醫(yī)療教育等行業(yè)，視頻會議均有廣泛應用。本文從云視頻、會議終端、波速話筒以及一體化攝像機等方面介紹視頻會議技術發(fā)展現(xiàn)狀，從會場音視頻整體技術發(fā)展趨勢、會場音頻系統(tǒng)網(wǎng)絡化發(fā)展以及會場視頻系統(tǒng)技術發(fā)展方面介紹會場音視頻技術的最新發(fā)展成果。

1視頻會議技術發(fā)展

1.1云視頻會議

云視頻會議以云計算為核心，結合新一代音視頻編碼技術（H.265/H.264SVC柔性分層編碼標準），以公有云、專有云、私有云等交付方式，支持大規(guī)模、高彈性、高可用連接。云視頻會議服務提供商建設云計算中心，用戶企業(yè)無需購買多點控制單元（MultipointControlUnit，MCU），無需大規(guī)模改造網(wǎng)絡，就能實現(xiàn)在會議室、個人電腦或移動狀態(tài)下進行多方視頻會議溝通，并能實現(xiàn)與傳統(tǒng)會議室的互聯(lián)互通[1]。云視頻會議具有以下優(yōu)勢。

（1）平臺云化。云視頻會議面向互聯(lián)網(wǎng)架構，支持分布式部署，支持系統(tǒng)災備，能夠實現(xiàn)多中心業(yè)務備份，方便靈活。

（2）彈性服務。云視頻服務的規(guī)模可快速伸縮，可以跨平臺共享和協(xié)作，隨時入會連接到世界的每一個角落，進行視頻面對面的溝通。

（3）接入多樣化。平臺支持公有云、專有云、私有云部署模式，終端部署簡單快速、易使用，可以接入多種形式的終端設備，如云視頻會議終端、傳統(tǒng)硬件視頻會議終端、電腦、智能手機以及智能大屏等。

（4）功能多樣性。云視頻會議具有會議記錄、語音轉寫、文檔資料實時分享等功能，并具有多種高效便捷的會議功能，如會議預定、通知、簽到、錄音、錄像、投票、控制、分組討論以及協(xié)同辦公等。

1.2會議終端

近幾年，視頻會議終端技術水平不斷提升，終端產(chǎn)業(yè)得到強有力的發(fā)展，主要表現(xiàn)在如下方面。

（1）SVC柔性編碼技術發(fā)展成熟，一次編碼可以產(chǎn)生多層不同分辨率、幀率、質(zhì)量的視頻碼流，讓每個視頻會議的使用方都可以根據(jù)自己的網(wǎng)絡帶寬、設備性能、屏幕分辨率獲得適合自己的視頻流。這種更為高效先進的編碼算法為新一代智能云視頻會議發(fā)展奠定了技術基礎。

（2）目前正在興起的H.265編解碼器具有壓縮效率高、圖像質(zhì)量好的特點。隨著4K超高清視頻會議的發(fā)展應用，H.265標準的編解碼器將成為視頻會議的應用主流[2]。

（3）智能編碼技術也稱“內(nèi)容感知編碼”，是通過使用深度學習方式，對每個場景的視頻圖像進行智能分析，來確定優(yōu)質(zhì)圖像所采用的最低比特率編碼，達到智能圖像編碼。

（4）發(fā)展高質(zhì)量4K超高清視頻編解碼器，支持10bit、4∶2∶2@4KP60、超低延遲、高可靠性或國產(chǎn)AVS2、AVS3高性能編解碼器。

基于技術的發(fā)展，視頻會議終端的功能越來越豐富，目前主要有以下主流的功能與特性：

（1）流暢的超高清視頻，提供4K超高清雙流體驗，視頻圖像清晰流暢，細節(jié)呈現(xiàn)更全面、更生動，能夠帶來極致視頻體驗；

（2）清晰的音頻享受，支持多種寬帶音頻編碼技術，采用回聲消除（AcousticEchoCancelling，AEC）、噪聲抑制、增益控制及語音增強等技術，可提供清晰純正的高保真聲效；

（3）強大的網(wǎng)絡適應性，能夠根據(jù)網(wǎng)絡質(zhì)量和應用需求優(yōu)化圖像質(zhì)量，支持超強糾錯、丟包重傳、視頻前向糾錯、動態(tài)調(diào)速、自動QoS設置、自動碼流平滑調(diào)整等網(wǎng)絡傳輸技術，優(yōu)化各種網(wǎng)絡環(huán)境下的視頻會議效果；

（4）完善的安全機制，內(nèi)置硬件加密芯片，支持國密算法，內(nèi)置128/256位AES等多重安全加密措施，充分保證會議內(nèi)容的安全性和保密性，具有本地登陸認證與授權機制，并支持對用戶權限分級管理，保障視頻會議系統(tǒng)安全穩(wěn)定運行；

（5）智能的會議操控，內(nèi)置智能語音助手，提供便捷的會議操控服務；支持同聲字幕、會議紀要；內(nèi)置協(xié)作模塊，可外接觸控屏幕，采用圖形化觸控界面，可輕松完成視頻會議操控。

1.3波束話筒

波束成形話筒是近幾年視頻會議設備中發(fā)展較快的產(chǎn)品之一，其功能特點是：使用簡單，只需放置在桌面上或固定到天花板上，連接好話筒電纜即可開始使用；某些型號的話筒具有自動校準功能，簡化了系統(tǒng)參數(shù)配置，并可使用管理軟件通過網(wǎng)絡進行話筒參數(shù)設置；參數(shù)設置簡單，管理集中，無需單獨供電[3]。波束話筒的主要技術特點如下。

（1）波束成形技術。將使用會場設定為多個區(qū)域，每個區(qū)域（約有5～10m遠拾音距離）采用波束跟蹤技術主動跟蹤并拾取講話人聲音信號，通過使用高性能數(shù)字信號處理技術與語音處理算法相結合，輸出所需要的聲音信號。

（2）增益控制。如果講話人與話筒之間發(fā)生小距離移動，話筒自動增益控制可調(diào)節(jié)輸出信號的電平值，在一定范圍內(nèi)保持聲音信號輸出一致。

（3）智能降噪。波束成形話筒均具有背景噪聲降噪處理算法，能明顯減少會場環(huán)境噪音。

（4）回聲抑制。話筒具有AEC處理模塊，能夠有效抑制視頻會議的回聲。

（5）自動校準。話筒會產(chǎn)生一個音頻測試信號，并由會場內(nèi)的揚聲器發(fā)出，通過話筒內(nèi)置數(shù)字音頻處理器計算并自動配置會場音頻系統(tǒng)參數(shù)，獲得較佳的聲場拾音效果。

（6）網(wǎng)線或USB傳輸。話筒可通過一根網(wǎng)線或USB接口與第三方設備連接，支持Dante或AES67協(xié)議和有源以太網(wǎng)（PowerOverEthernet，POE）供電。

1.4一體化攝像機

攝像機在視頻會議領域的發(fā)展趨勢是小型化、4K超高清、與會議話筒和揚聲器集成為一體化。一體化攝像機正成為視頻會議中小型會議室的主流產(chǎn)品，其具有以下技術特點。

（1）超高清成像技術，采用800萬～1240萬高品質(zhì)圖像傳感器，最大分辨率可達4K，呈現(xiàn)清晰逼真的視頻效果。

（2）AI視頻處理技術，如弱光補償、視頻降噪、自動對焦、自動白平衡等，攝像頭能自動跟蹤拍攝、減少背光和眩光影響，并保持畫面亮度。

（3）EPTZ電子云臺，電子云臺沒有可見的機械轉動部件，通過在攝像機內(nèi)部控制鏡頭的視角和變焦，從而清晰捕捉遠處的景物。圖像被放大時，可進行模擬水平旋轉/俯仰的裁切輸出，為不同角度的拍攝提供最大的靈活性。

（4）圖像剪切輸出。使用4K超高清分辨率拍攝的圖像既可以完整輸出，同時還可以對這些圖像的某些局部進行同步裁剪輸出。裁剪輸出可通過攝像機控制器進行控制，簡便快捷。

（5）視頻輸出接口豐富，支持高清多媒體接口（HighDefinitionMultimediaInterface，HDMI）、數(shù)字分量串行接口（SerialDigitalInterface，SDI）、USB3.0以及局域網(wǎng)（LocalAreaNetwork，VLAN）等多種方式輸出視頻。

一體化攝像機的人工智能（ArtificialIntelligence，AI）功能與視頻會議室結合，顯著提高了中小型會議室的智能化程度，實現(xiàn)了以前只有某些高端會議室才具有的獨有功能，具體如下。

（1）自動喚醒。當有人走進會議室時，系統(tǒng)會“自動喚醒”，并可通過參會人員的隨身移動設備識別其身份。

（2）智能會議。自動取景和發(fā)言者跟蹤，按需自動拍攝，屏幕亮度智能顯示，話筒自動跟蹤，音質(zhì)出色。

（3）雙屏體驗。雙屏幕、雙內(nèi)容源、無線共享和兩個屏幕同時顯示不同的遠端會場。

（4）會議室人數(shù)統(tǒng)計，幫助會議管理者充分了解會議室的利用率并優(yōu)化資源分配。

（5）同時支持云部署和本地部署，硬件面向云平臺運行環(huán)境，可提供出色的共享會議室和共享空間體驗。

2會場音視頻技術發(fā)展

2.1會場音視頻系統(tǒng)整體發(fā)展

近幾年，視頻會議會場音視頻系統(tǒng)發(fā)展迅速，出現(xiàn)了一些具有代表性的發(fā)展趨勢，主要有以下特點。

（1）簡潔化。會場設備追求簡單實用，硬件設備越來越少，設備和線纜網(wǎng)絡化；使用功能簡潔易用，讓會議變得更高效；安裝靈活便捷，對空間的依賴性沒有那么強，更能適應現(xiàn)代工作的快節(jié)奏。

（2）標準化。標準化主要表現(xiàn)在四個方面，即產(chǎn)品標準化、設計標準化、施工標準化以及服務標準化。標準化已貫穿會場設計、實施和售后服務的全過程。采用標準化的系統(tǒng)方案，能使施工工藝統(tǒng)一，施工進度能得到保證，工作量會大大降低。標準化能夠優(yōu)化工程管理方式，為用戶提供更加科學、高效的培訓服務、售后服務及設備維修等。

（3）智能化。隨著會場智能化水平逐步提升，會議系統(tǒng)在使用時，屏幕可自動調(diào)節(jié)亮度、攝像頭自動跟蹤拍攝、話筒自動拾音、語音指令能控制設備、遠程可檢測診斷故障等，這些智能功能讓用戶的使用越來越方便，維護也越來越自如。

（4）網(wǎng)絡化。隨著越來越多的數(shù)字音視頻設備具備IP功能，專業(yè)音視頻系統(tǒng)的物理架構發(fā)生重大變化。目前已經(jīng)出現(xiàn)一大批帶有IP接口的數(shù)字調(diào)音臺、功率放大器、有源揚聲器等，而且發(fā)展呈上升趨勢。一根超五類或六類網(wǎng)線可以容納數(shù)以百計的高質(zhì)量、無壓縮、低延遲音頻通道。如果將這些IP設備通過網(wǎng)絡交換機連接到一起，便組成了一個規(guī)模巨大的音視頻系統(tǒng)。網(wǎng)絡化音視頻系統(tǒng)都已具備了主備冗余的功能，通過成熟的網(wǎng)絡備份技術，就能應對安全性要求極高的會場。將音視頻、控制等諸多信息元素全部數(shù)字化、網(wǎng)絡化，傳輸方式采用標準的IP網(wǎng)絡，減少大三芯、卡儂頭等專用接口的使用，使物理連接大大簡化，給工程設計者和使用者提供了一個全新的音視頻網(wǎng)絡化整體解決方案。

（5）數(shù)據(jù)化。會場音視頻設備在整體網(wǎng)絡化架構中，會成為大數(shù)據(jù)產(chǎn)生、搜集、分析的節(jié)點。大數(shù)據(jù)是智能化、智慧化的基礎，當足夠多的數(shù)據(jù)被搜集、分析和使用，這些數(shù)據(jù)將成為優(yōu)化會場系統(tǒng)的重要支撐。例如，依靠數(shù)據(jù)化建立的一體化運維管控平臺，可以把系統(tǒng)所有運行設備在線集中監(jiān)控管理起來，將設備的狀態(tài)與用戶使用情況相結合，分析設備及用戶的有效規(guī)律，配合智能化算法和人工智能模型進行趨勢分析及預測，掌握預防性維護的規(guī)律，將傳統(tǒng)的會場音視頻系統(tǒng)進化為一個集管理、操控、監(jiān)測、運維于一體的智能化運維管控平臺，確保系統(tǒng)穩(wěn)定可靠運行，并提供一套有效的科學維護管理方法。

2.2會場音頻系統(tǒng)網(wǎng)絡化發(fā)展

隨著會場音頻網(wǎng)絡化技術的發(fā)展，在一根以太網(wǎng)線中可以傳輸數(shù)百路音頻信號，采用多播路由就可以省掉大量音分設備，使用商用交換機和管理軟件即可替代傳統(tǒng)的音頻矩陣。網(wǎng)絡化音頻系統(tǒng)將設有統(tǒng)一的運管平臺，經(jīng)運管平臺集中完成設備在線參數(shù)配置、路由、監(jiān)測、診斷等管理任務，能夠通過軟件來定義各類會議場景的應用，以前只能對單一設備進行場景的預設和加載，而今后則可以對整個音頻系統(tǒng)所有設備進行統(tǒng)一的參數(shù)設置和功能切換，通過運管平臺能集中監(jiān)測系統(tǒng)內(nèi)各設備的實時工作狀態(tài)，并具備故障自動報警，系統(tǒng)應急切換等功能[4]。下面介紹幾種具有代表性的音頻網(wǎng)絡化技術。

2.2.1Dante

Dante是Audinate公司定義的網(wǎng)絡音頻解決方案，是基于3層的IP網(wǎng)絡技術，能提供一個簡化的、自配置和即插即用的使用百兆或千兆互聯(lián)網(wǎng)協(xié)議的數(shù)字音頻網(wǎng)絡化技術。Dante技術具有延時小、采用IEEE1588精密時鐘協(xié)議進行時鐘同步、采用zeroconf（ZeroConfigurationNetworking）協(xié)議、網(wǎng)絡具有高兼容性、傳輸模式可以是單播或是多播模式等優(yōu)勢，可應用于專業(yè)音響、公共廣播、視頻會議等系統(tǒng)。產(chǎn)品經(jīng)歷了從早期的模塊化產(chǎn)品到后來的芯片化，到現(xiàn)在的軟件化方向發(fā)展。

2.2.2AVB

AVB的全稱是以太網(wǎng)音視頻橋（EthernetAudio/VideoBridging）技術，是一項新的IEEE802標準。其在傳統(tǒng)以太網(wǎng)絡基礎上，通過保障帶寬，限制延遲和精確時鐘同步，提供完美的服務質(zhì)量，來支持各種基于音頻、視頻的網(wǎng)絡多媒體應用。AVB是一種架構在以太網(wǎng)二層網(wǎng)絡基礎上傳輸專業(yè)非壓縮音頻、視頻信號的協(xié)議技術，能夠支持目前大多數(shù)的專業(yè)視頻信號格式，支持多達512通道的無壓縮音頻信號。

2.2.3Q-LAN

Q-LAN是美國QSC音頻產(chǎn)品公司為Q-Sys音頻網(wǎng)絡處理平臺開發(fā)的第三代IP化音頻（AudiooverIP，AOIP）專有技術，相關產(chǎn)品包括Q-SysCore核心處理單元、I/O接口單元以及管理軟件等，主要應用場合是會議擴聲、視頻會議、會控中心以及大型游樂場地等。

2.2.4AES67

音頻工程協(xié)會（AudioEngineeringSociety，AES）在2022年12月啟動了一項多個音頻網(wǎng)絡協(xié)議可互通的項目，以實現(xiàn)不同廠商AoIP設備之間的互操作。該標準于2022年9月正式頒布，此后又經(jīng)過了一次修訂，現(xiàn)在的版本是AES67-2022。AES67標準從同步、媒體時鐘、傳輸、碼流、會話描述、發(fā)現(xiàn)服務及連接管理等方面闡明并規(guī)范了AoIP的機制和具體細則，特別是對基于IEEE1588v2的同步機制和RTP流的單組播傳輸方案作了明確的定義，使得不同廠商的AoIP設備和系統(tǒng)之間的時鐘對接和音頻數(shù)據(jù)流對接成為可能。目前世界主要的AoIP體系均支持AES67標準。

2.2.5AES70

AES于2022年1月發(fā)布了AES70-2022標準，它的全稱是《面向網(wǎng)絡音頻應用的開放式控制架構》，以IP方式在入網(wǎng)的數(shù)字音頻設備及非音頻設備之間傳遞各類控制信號，以達到監(jiān)測、控制及管理的目的。AES70標準提供了一個非常完備的基于IP網(wǎng)絡的音頻系統(tǒng)監(jiān)管框架，具備良好的安全性、可用性、魯棒性、兼容性、可擴容性以及可分析性。AES67、AES70兩者的結合，成就了一個完美的AoIP音頻網(wǎng)絡系統(tǒng)。

2.3會場視頻系統(tǒng)技術發(fā)展

隨著4K超高清視頻技術、視頻網(wǎng)絡化技術以及設備軟件定義功能等技術的不斷發(fā)展，會場4K超高清視頻系統(tǒng)有以下幾種技術可供選擇[5]。

2.3.1HDBaseT接口技術

HDBaseT技術是高清數(shù)字傳輸?shù)娜驑藴手?。它通過普通的CAT5e/6網(wǎng)線進行無壓縮傳輸，支持最高20Gb·s-1的傳輸速率，采用RJ-45接頭連接，傳輸距離可達到100m。此外，它還提供以太網(wǎng)功能，具備100W的供電能力（PoE）和控制信號通道，支持HDMI1.4，HDMI2.0及HDMI2.1接口協(xié)議，同時完全兼容高帶寬數(shù)字內(nèi)容保護（High-bandwidthDigitalContentProtection，HDCP）技術。對于常用的點對點使用方式，它具有低功耗、易于使用等特點，已被許多的音視頻制造商廣泛應用。市場上采用此技術協(xié)議接口的產(chǎn)品很多，如視頻會議終端、攝像機、視頻多格式混合矩陣等，通過HDBaseT接口設備與視頻多格式混合矩陣相結合的方式，實現(xiàn)會場4K超高清視頻系統(tǒng)的功能。

2.3.212G-SDI技術

隨著12G-SDI技術在廣播電視領域的廣泛應用，12G-SDI系統(tǒng)具有系統(tǒng)架構熟悉、設備性能穩(wěn)定、施工方便等優(yōu)勢，被認為是目前4K超高清會場視頻系統(tǒng)的最佳解決方案。12G-SDI是電影電視工程師協(xié)會（TheSocietyofMotionPictureandTelevisionEngineers，SMPTE）制定的基于SDI傳輸4K超高清視頻接口標準（SMPTEST-2082），其定義是12Gb·s-1的傳輸速率，帶寬是3G-SDI的4倍，能夠支持高達4Kp60分辨率，兼容HD/3G-SDI等之前的標準。12G-SDI只要1根傳輸線纜，就能直接傳輸4K超高清顯示信號。這樣的傳輸方式，之前的SDI架構不變，系統(tǒng)升級改造更方便。目前支持12G-SDI接口的4K超高清設備日益增多，基本能夠滿足會場4K超高清系統(tǒng)的使用需要。

2.3.3NDI網(wǎng)絡化技術

網(wǎng)絡設備接口（NetworkDeviceInterface，NDI）協(xié)議是NewTek公司推出的開放式IP網(wǎng)絡設備接口協(xié)議。它以一種全新的網(wǎng)絡應用層，通過IP網(wǎng)絡進行超低延時、無損傳輸、交互控制，使系統(tǒng)的構建以及系統(tǒng)內(nèi)各種信號的傳輸、調(diào)用變得簡單。該協(xié)議產(chǎn)品具有高質(zhì)量、低延遲、精準同步的特點，非常適合在會場視頻系統(tǒng)中進行調(diào)度切換使用。NDI使系統(tǒng)設計和應用變得簡單和靈活，協(xié)議支持4K@60視頻信號，并支持網(wǎng)絡時鐘協(xié)議（NetworkTimeProtocol，NTP），可在多部設備之間同步。NDI協(xié)議分為全NDI和NDI/HX兩種協(xié)議版本，NDI/HX協(xié)議支持H.264/H.265編碼，兩種協(xié)議的產(chǎn)品具有廣播級的視頻圖像質(zhì)量，既可以應用在會場視頻系統(tǒng)，也能進行遠距離傳輸。目前支持該協(xié)議的產(chǎn)品種類有攝像機、切換控制臺、多畫面分割器、矩陣以及轉換器等。

2.3.4SDI網(wǎng)絡化（SDIoverIP）技術

SMPTEST2022是SMPTE（電影電視工程師協(xié)會）于2022年公布的SDI網(wǎng)絡