音視頻通信基礎(chǔ)知識(shí)

1、音視頻基礎(chǔ)知識(shí)目錄視頻分辨率和幀率視頻接口音頻接口協(xié)議標(biāo)準(zhǔn)視頻會(huì)議視頻分辨率和幀率 視頻分辨率：代表圖像靜態(tài)清晰度的參數(shù)完整表述用象素“長(zhǎng)*寬”（1920*1080），簡(jiǎn)要表述用寬（1080P）視頻會(huì)議常用分辨率：CIF、4CIF（DVD）、720P（HD）、1080P（FullHD）、4K視頻分辨率4K=3840*2160或=4096*21601080P=1920*1080720P=1280*7204CIF=704*576=DVDVCD=CIF=352*2881專用詞分辨率XGA1024768WXGA (Wide XGA)1280768 1280800 1366768WSXGA (Wide

2、Super-XGA)1280854Quad-VGA1280960WXGA+ (Wide XGA+)1440900SXGA (Super-XGA)12801024WXGA+ (Wide XGA+)1600900SXGA+14001050WSXGA+ (Wide Super-XGA+)16801050UXGA (Ultra-XGA)16001200WUXGA (Wide Ultra-XGA)19201200QXGA (Quad-XGA)20481536WQXGA (Wide Quad-XGA)25601600QSXGA (Quad-Super-XGA)25602048QUXGA (Quad-Ult

3、ra-XGA)320024004K2K40962048VESA標(biāo)準(zhǔn)分辨率VESA（Video Eletronics Standard Association，視頻電子標(biāo)準(zhǔn)協(xié)會(huì)）視頻會(huì)議雙流中，Content經(jīng)常會(huì)遇到這些分辨率1P還是I？1080P和1080i，有什么不同呢P：逐行掃描顯示屏顯示圖像進(jìn)行掃描時(shí)，從屏幕左上角的第一行開始逐行進(jìn)行，整個(gè)圖像掃描一次完成。因此圖像顯示畫面閃爍小，顯示效果好。目前先進(jìn)的顯示器大都采用逐行掃描方式i：隔行掃描一幅圖像分兩次掃描，即分兩場(chǎng)，第一場(chǎng)掃1、3、5(單數(shù)行)，稱為奇數(shù)場(chǎng)，第二場(chǎng)掃2、4、6(雙數(shù)行)，稱為偶數(shù)場(chǎng)。奇數(shù)場(chǎng)和偶數(shù)場(chǎng)組合起來，就構(gòu)成一幅

4、完整的圖像。缺點(diǎn)當(dāng)圖像上下兩行的對(duì)比度差別很大時(shí)產(chǎn)生行間閃爍1視頻幀率視頻幀率：代表圖像動(dòng)態(tài)流暢度的參數(shù)，幀率越高越流暢視頻會(huì)議主流幀率：30/60（NTSC制）、25/50（PAL制）PAL電視標(biāo)準(zhǔn)，每秒25幀，電視掃描線為625線，奇場(chǎng)在前，偶場(chǎng)在后，標(biāo)準(zhǔn)的數(shù)字化PAL電視標(biāo)準(zhǔn)分辨率為720*576,24比特的色彩位深，畫面的寬高比為4：3,PAL電視標(biāo)準(zhǔn)用于中國(guó)、歐洲等國(guó)家和地區(qū)。NTSC電視標(biāo)準(zhǔn)，每秒29.97幀（簡(jiǎn)化為30幀），電視掃描線為525線，偶場(chǎng)在前，奇場(chǎng)在后，標(biāo)準(zhǔn)的數(shù)字化NTSC電視標(biāo)準(zhǔn)分辨率為720*486,24比特的色彩位深，畫面的寬高比為4：3。NTSC電視標(biāo)準(zhǔn)用于美

5、、日等國(guó)家和地區(qū)中國(guó)的行貨設(shè)備 一般為PAL制，主要參數(shù)表現(xiàn)是25幀/50幀請(qǐng)注意，NTSC30幀與PAL制25幀實(shí)現(xiàn)效果是一樣的1視頻接口將視頻信號(hào)中的亮度信號(hào)（Y）、色度信號(hào)（C），和同步信號(hào)復(fù)合傳輸和存儲(chǔ)的方式復(fù)合視頻（Composite）通常采用黃色的RCA（蓮花插座）接頭 也可用BNC接頭（同軸電纜）“復(fù)合”含義是同一信道中傳輸亮度和色度信號(hào)的模擬信號(hào)PALz720*576/50i和NTSC720*480/60i 復(fù)合視頻接口（CVBS）2VGA（Video Graphics Array）也稱作D-SubVGA接口共有15針，是顯卡及顯示器上應(yīng)用最為廣泛的接口它傳輸紅、綠、藍(lán)模擬信號(hào)

6、以及同步信號(hào)（水平和垂直信號(hào)）支持高清視頻信號(hào)的輸出： WUXGA（19201200）、WQXGA（25601600）由于是模擬信號(hào)，線材質(zhì)量及接頭質(zhì)量不好都可能引起圖像中出現(xiàn)虛影、拖尾VGA接口2色差分量接口色差分量（Component）接口采用YPbPr和YCbCr兩種標(biāo)識(shí) - YPbPr：逐行掃描色差輸出 - YCbCr：表示隔行掃描色差輸出用紅、綠、藍(lán)三種顏色來標(biāo)注每條線纜和接口 - 綠色線纜（Y），傳輸亮度信號(hào) - 藍(lán)色和紅色線纜（Pb/Cb 和Pr/Cr）傳輸?shù)氖穷伾顒e信號(hào)色差分量接口是模擬接口，支持視頻信號(hào)： - 480i/480p/576p/720p/1080i/1080p2

7、 有DVI-A、DVI-D和DVI-I三種不同的接口形式DVI-D數(shù)字接口，24+1PIN,只傳數(shù)字信號(hào)，DVI-I有數(shù)字和模擬接口， 24+5PIN,兼容DVI-D和DVI-A，兼容與VGA直接轉(zhuǎn)換是一種國(guó)際開放的接口標(biāo)準(zhǔn)，在PC、DVD、高清晰電視（HDTV）、高清投影儀等設(shè)備上有廣泛的應(yīng)用DVI-D單通道： 1920 x1200,60HzDVI-D雙通道： 2560 x1600,60Hz/1920 x1080,120HzVGA： 2048x1536,60HzDVI-DDVI-IDVI接口24+1PIN24+5PINDVI（Digital Visual Interface），即數(shù)字視頻接口

8、2HDMI高清晰度多媒體接口（High Definition Multimedia Interface）傳輸全數(shù)字信號(hào)不僅能傳輸高清數(shù)字視頻信號(hào)，還可以同時(shí)傳輸高質(zhì)量的音頻信號(hào)HDMI端口支持4K、1080P，720P的高清格式視頻輸出HDMI 1.4帶寬10.2Gbps,最高支持38402160（4K）30FPS幀率HDMI 2.0帶寬擴(kuò)充到了18Gbps，可以支持38402160（4K） 50FPS、60FPS幀率HDMI接口2SDI接口是數(shù)字分量串行接口(serial digital interface)接口速率- 標(biāo)準(zhǔn)清晰度SD-SDI：速率分別是270Mb/s- 高清標(biāo)準(zhǔn)HD-SDI

9、： 1.485Gb/s- 3G-SDI：2.97Gb/s支持1080P，720P的高清格式視頻輸出SDI信號(hào)中嵌入數(shù)字音頻信號(hào)物理介質(zhì)使用75歐姆同軸電纜SDI接口2DP接口DisplayPort也是一種高清數(shù)字顯示接口標(biāo)準(zhǔn)，20針可以同時(shí)傳輸視頻和音頻，可以連接電腦和顯示器，也可以連接電腦和家庭影院 作為HDMI的競(jìng)爭(zhēng)對(duì)手和DVI的潛在繼任者，DisplayPort贏得了AMD、Intel、NVIDIA、戴爾、惠普、聯(lián)想、三星等業(yè)界巨頭的支持，而且它是免費(fèi)使用的。最大支持10.8Gb/S的傳輸帶寬全尺寸DP接口Mini DP接口HDMI與DP對(duì)比2USB3.0接口USB 3.0是一種USB規(guī)

10、范，該規(guī)范由英特爾等公司發(fā)起USB2.0的最大傳輸帶寬為480MbpsUSB3.0的最大傳輸帶寬高達(dá)5.0GbpsUSB3.0 引入全雙工數(shù)據(jù)傳輸。新增5根線路中2根用來發(fā)送數(shù)據(jù)，另2根用來接收數(shù)據(jù)，還有1根是地線可外接高分辨率的視頻攝像機(jī)；USB接口的數(shù)碼相機(jī)、數(shù)碼攝像機(jī)；2常見視頻輸入輸出設(shè)備HD-SDIHDMIDVI-DUSB3.0VGAHDMIVGAHDMIYPbPrCVBSHD-SDIHDMIDVI-DVGAVGADVI-DHDMIHD-SDIHDMI2音頻接口XLR（卡農(nóng)）插頭輸出/輸入平衡信號(hào)，高阻抗。分“公”、“母”兩種“公”用于輸出信號(hào)，比如將信號(hào)輸入給調(diào)音臺(tái)“母”用與接受信

11、號(hào)，比如接受話筒的信號(hào)等36.35mm音頻插頭TRS插頭，俗稱“大三芯”，音頻設(shè)備連接插頭用于平衡信號(hào)的傳輸（此時(shí)功能與卡農(nóng)插頭一樣）或者用于不平衡的立體聲信號(hào)的傳輸TS插頭，俗稱“大二芯”，單聲道信號(hào)的傳輸比大三芯少一個(gè)環(huán)（Ring），可以直接通過芯對(duì)芯，屏蔽層對(duì)屏蔽層的焊接與RCA，BNC等用于單聲道的接頭實(shí)現(xiàn)轉(zhuǎn)換只能傳輸非平衡信號(hào)33.5mm音頻插頭3.5mm插頭是直徑為3.5mm的同軸音頻插頭最常見的立體聲耳機(jī)分三芯，也有兩芯的，每一層都有對(duì)應(yīng)的功能31. MIC卡儂插座：連接麥克風(fēng)2. Line in線路輸入端：高阻輸入部分，要用 6.35cmTRS立體聲接頭作平衡輸入小魚聲卡輸出對(duì)

12、接線路輸入端（Line）調(diào)音臺(tái)連接方法3.MAIN OUT： L-R主聲道輸出，XLR卡儂或TRS大三芯4.AUX OUT：輔助輸出，監(jiān)聽、錄音或連接輔助音箱小魚聲卡輸入接口對(duì)接AUX輸出3音頻輸入?yún)^(qū)MIC(XLR卡儂)Line in(TRS大三芯)TAPE in (RCA)音頻輸出區(qū)MAIN OUT：主輸出MONITOR：監(jiān)聽輸出AUX OUT:輔助輸出音效調(diào)節(jié)區(qū)音量調(diào)節(jié)區(qū)重要提示:需要在調(diào)音臺(tái)上小魚對(duì)應(yīng)的輸入通道，將AUX的旋鈕調(diào)制0小魚聲卡輸入接口對(duì)接AUX輸出小魚聲卡輸出接口對(duì)接Line in輸入33AUX1回聲產(chǎn)生的機(jī)制InOut常用音頻設(shè)備及接口調(diào)音臺(tái)XLR卡儂TS大二芯TRS大三

13、芯RCA音箱RCA-3.5mm無線麥克風(fēng)XLR卡儂TS大二芯TRS大三芯鵝頸麥克風(fēng)XLR卡儂-TRS大三芯全向麥克風(fēng)XLR卡儂-TRS大三芯麥克混音器XLR卡儂TRS大三芯3協(xié)議標(biāo)準(zhǔn)通信網(wǎng)絡(luò)如ISDN，E1，ATM，IP專網(wǎng)，互聯(lián)網(wǎng)等通信標(biāo)準(zhǔn)H.320,H.323,SIP,私有通信標(biāo)準(zhǔn)等系統(tǒng)設(shè)備視頻會(huì)議終端（T),多點(diǎn)控制單元（MCU）,多媒體網(wǎng)關(guān)（GW），網(wǎng)閘/網(wǎng)守（GK）視頻會(huì)議系統(tǒng)組成4通信協(xié)議：H.323和SIPH.320基于電路交換在ISDN和E1線路使用已經(jīng)被H.323取代H.323ITU-T組織提出分組交換，IP網(wǎng)絡(luò)為視頻會(huì)議而生，由H.320發(fā)展而來定義完整嚴(yán)格細(xì)致，擴(kuò)展困難成

14、熟穩(wěn)定，目前主流90%以上SIPIETF組織提出一開始是在VOIP中使用定義基礎(chǔ)開放，容易擴(kuò)展互連互通容易，穩(wěn)定性慢慢被認(rèn)可Terminal終端Gateway網(wǎng)關(guān)MCU多點(diǎn)控制單元Gatekeeper網(wǎng)守IP網(wǎng)PSTN4實(shí)時(shí)傳輸協(xié)議RTP（Real-time Transport Protocol）該協(xié)議提供的信息包括：時(shí)間戳（用于同步）、序列號(hào)（用于丟包和重排序檢測(cè)）、以及負(fù)載格式（用于說明數(shù)據(jù)的編碼格式）RTP被認(rèn)為是在IP網(wǎng)絡(luò)中傳輸音頻和視頻的基本標(biāo)準(zhǔn)可視為傳輸層的子層，介于傳輸層及應(yīng)用層之間視頻通信常用的傳輸協(xié)議4Video CodecH.264,H.263Audio CodecG.71

15、1,G.729ReceivePathDelaySystem ControlH.245 ControlCall ControlH.225.0RAS ControlH.225.0復(fù)用/解復(fù)用H.225/H.221LAN接口視頻 I/O 設(shè)備音頻 I/O 設(shè)備用戶數(shù)據(jù)應(yīng)用T.120系統(tǒng)控制用戶接口 發(fā)端，從輸入接口獲取的視頻和音頻信號(hào)，經(jīng)編碼器壓縮后，同步和復(fù)用處理，通過網(wǎng)絡(luò)發(fā)送； 收端，來自網(wǎng)絡(luò)的數(shù)據(jù)包首先被解復(fù)用，獲得視頻、音頻壓縮數(shù)據(jù)，經(jīng)解碼后送入輸出設(shè)備，用戶數(shù)據(jù)和控制數(shù)據(jù)也得到了相應(yīng)的處理。H.323終端架構(gòu)4視頻編解碼算法H.261/263/263+/263+標(biāo)清時(shí)代的視頻算法H.264

16、 AVC（H.264HP）高清視頻會(huì)議主流算法，其中high profile大幅降低了帶寬需求，讓高清普及H.264SVC/ H.265主流技術(shù)發(fā)展趨勢(shì)4H.264/SVC時(shí)間上可擴(kuò)展一次編碼產(chǎn)生不同的幀速率，例如：7.5幀、15幀、30幀空間上可擴(kuò)展一次編碼產(chǎn)生不同的分辨率，例如：180p、360p、720p、1080P視頻質(zhì)量擴(kuò)展一次編碼產(chǎn)生不同質(zhì)量等級(jí)的視頻H.264 SVC（Scalable Video Coding，可分級(jí)編碼）視頻編解碼：H.264 SVC是H.264標(biāo)準(zhǔn)的一個(gè)擴(kuò)展SVC的編碼復(fù)雜度要超過AVC對(duì)于DSP性能或者CPU性能 要求更高對(duì)異構(gòu)系統(tǒng)的適應(yīng)性更好MCU的計(jì)算

17、壓力降低，適合云服務(wù)4傳統(tǒng)視頻協(xié)議(H.264/AVC)SVC視頻協(xié)議(H.264/SVC)視頻會(huì)議可以容忍的網(wǎng)絡(luò)丟包率20%對(duì)網(wǎng)絡(luò)的要求專線共享線路視頻會(huì)議延遲:視頻會(huì)議效果400毫秒實(shí)時(shí)性一般 200毫秒實(shí)時(shí)交互異構(gòu)系統(tǒng)的兼容性兼容性差兼容性極佳視頻編解碼：H.264 SVC小魚采用的是更牛一些的H.264 SVC4H.265旨在有限帶寬下傳輸更高質(zhì)量的網(wǎng)絡(luò)視頻相比H.264,提高了壓縮率，可節(jié)省39%-44%的帶寬相比H.264提升了錯(cuò)誤恢復(fù)能力，對(duì)網(wǎng)絡(luò)的適應(yīng)性也顯著提升H.265支持4K、8K的超高清視頻。視頻編解碼：H.265/HEVC4G.711帶寬：64K采樣率：8KHZ帶寬高、

18、壓縮比小、延時(shí)短G.728帶寬：16K/8K采樣率：8KHZ延時(shí)短，算法復(fù)雜G.729/G.729A帶寬：8K采樣率：8KHZ帶寬小，低時(shí)延，運(yùn)算要求高付費(fèi)音頻編解碼：窄頻語音4G.722帶寬：48K-64K頻寬：7K-14KCD級(jí)音質(zhì)G.722.1C來自POLYCOMG.719帶寬：64-128K頻寬：20K劇院級(jí)音效當(dāng)前主流AAC帶寬：96-128 kbps采樣率：44KHZ20KHZ以上寬頻語音Opus發(fā)展趨勢(shì)音頻編解碼：寬頻語音4適用于網(wǎng)絡(luò)上的實(shí)時(shí)聲音傳輸?shù)痛a率下Opus完勝曾經(jīng)優(yōu)勢(shì)明顯的HE AAC，中碼率就已經(jīng)可以媲敵碼率高出30%左右的AAC格式，而高碼率下更接近原始音特點(diǎn)6 k

19、b /秒到510 kb / s的比特率采樣率從8 kHz（窄帶）到48 kHz（全頻）支持恒定比特率（CBR）和可變比特率（VBR）從窄帶到全頻段的音頻帶寬支持單聲道和立體聲可動(dòng)態(tài)調(diào)節(jié)比特率，音頻帶寬和幀大小網(wǎng)絡(luò)適應(yīng)性好音頻編解碼OPUS:互聯(lián)網(wǎng)工程任務(wù)組（IETF）開發(fā)，RFC 6716小魚采用OPUS音頻編解碼4視頻會(huì)議視頻會(huì)議主要解決異地之間的溝通問題利用計(jì)算技術(shù)和通信設(shè)備，通過傳輸信道在兩點(diǎn)或多個(gè)地域之間建立可視通信，實(shí)現(xiàn)數(shù)據(jù)、語音、圖像的多方互動(dòng)視頻會(huì)議簡(jiǎn)介520世紀(jì)70年代80年代90年代中期2000年以后2015年模擬視頻會(huì)議黑白圖像兩點(diǎn)之間會(huì)議數(shù)字視頻會(huì)議出現(xiàn)出現(xiàn)了統(tǒng)一的協(xié)議得以廣泛應(yīng)用視頻會(huì)議進(jìn)入中國(guó)基于E1專線鏈路H.320協(xié)議，電路交換H.323會(huì)議系統(tǒng)快速發(fā)展視頻會(huì)議在中國(guó)普遍應(yīng)用主要在政府及央企使用互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)迅猛發(fā)展視頻應(yīng)用已經(jīng)深入各行各業(yè)Saas服務(wù)模式成為新的應(yīng)用趨勢(shì)視頻會(huì)議發(fā)展歷史模擬數(shù)字H.320H.323云