視頻音頻基礎(chǔ)知識

視音頻基礎(chǔ)知識深圳市迪威視訊股份有限公司羅欽騎2主要內(nèi)容一、音頻基礎(chǔ)知識二、視頻基礎(chǔ)知識三、視頻會議終端及高清視

頻接口簡介一、音頻基礎(chǔ)知識音頻基本特性音頻特性

音頻信號由許多頻率不同的聲波組成。音頻信號的兩個基本參數(shù)是頻率（音調(diào)）和幅度（聲強(qiáng)）。人發(fā)音器官聲音頻頻率范圍：80~3400Hz。人耳感知音頻頻率范圍：20~20000Hz。

音頻信號數(shù)字化模擬信號與數(shù)字信號處理對比

時間上離散-采樣幅度上離散-量化語音質(zhì)量與采樣頻率

Nyquist原理語音質(zhì)量與采樣精度

量化噪聲與量化比特數(shù)語音質(zhì)量與數(shù)據(jù)率音頻壓縮的必要性人耳可以聽到最高頻率約20KHz。根據(jù)奈奎斯特抽樣定理，為保證數(shù)字化的音頻信號正確還原，采樣頻率必須大于等于音頻信號的2倍，即40KHz。每樣本用16比特量化，立體聲碼率達(dá)40K*2*16＝

1.28Mbps聲音的靜聽域靜聽閾是隨頻率變化的，人耳對2KHz～5KHz的聲音比較敏感各人的聽覺閾值不同聲音的頻域遮蔽現(xiàn)象一種頻率的聲音會阻礙聽覺系統(tǒng)感受另一種頻率的聲音，這種現(xiàn)象稱為聲音的頻域掩蔽效應(yīng)。聲音的時域掩蔽效應(yīng)除了同時發(fā)出的聲音之間有掩蔽現(xiàn)象之外，在時間上相鄰的聲音之間也有掩蔽現(xiàn)象，稱為時域掩蔽。時域掩蔽又分為超前掩蔽和滯后掩蔽。產(chǎn)生時域掩蔽的主要原因是人的大腦處理信息需要花費一定的時間，也就是說，一個強(qiáng)音發(fā)生時，除了提高同一時刻的聽覺閾值外，還會提高強(qiáng)音發(fā)生前和發(fā)生后一段時期的聽覺閾值。一般來說，超前掩蔽很短，只有大約5～20ms，而滯后掩蔽可以持續(xù)50～200ms。音頻壓縮的可行性 由于人耳對聲音的感知存在這些掩蔽效應(yīng)，我們可以利用人耳心理模型對聲音進(jìn)行分析，將被掩蔽的信號去除，或用少量比特進(jìn)行量化，只要保證量化噪聲低于聽覺閾值，則人耳聽不出還原后的聲音與原始聲音的差別。子帶編碼技術(shù)就是利用這種掩蔽效應(yīng)來實現(xiàn)的。音頻壓縮技術(shù)時域壓縮技術(shù)子帶壓縮技術(shù)變換壓縮技術(shù)時域壓縮技術(shù) 直接針對音頻PCM碼流的樣值進(jìn)行處理，通過靜音檢測、非線性量化、差分編碼等手段對碼流進(jìn)行壓縮。算法復(fù)雜度低，聲音質(zhì)量一般，壓縮比小，編解碼延時最短，一般多用于語音壓縮、低碼率應(yīng)用場合。主要包括G.711、ADPCM（G.721，自適應(yīng)差分脈沖編碼）、LPC（線性預(yù)測編碼）、CELP（碼激勵線性預(yù)測）等子帶壓縮技術(shù)

首先把時域中的聲音數(shù)據(jù)變換到頻域，對頻域內(nèi)的子帶分量分別進(jìn)行量化和編碼，然后根據(jù)心理聲學(xué)模型確定樣本的精度，從而達(dá)到壓縮數(shù)據(jù)量的目的。這種壓縮方式會引入大量的量化噪聲。然而根據(jù)人類的聽覺掩蔽曲線，在解碼后，這些噪聲被有用的聲音信號掩蔽掉了，人耳無法察覺。技術(shù)復(fù)雜，編碼效率、聲音質(zhì)量也高，編碼延時相應(yīng)增加，目前廣泛應(yīng)用于數(shù)字聲音節(jié)目的存儲、制作和數(shù)字化廣播中。典型的代表有G.722、MPEG-1層Ⅰ、層Ⅱ子帶壓縮技術(shù)輸入PCM音頻信號經(jīng)過一個多相濾波器組變換到頻域里的多個子帶中。輸入聲音信號同時經(jīng)過心理聲學(xué)模型，計算噪聲掩蔽閾值，然后分析輸入信號和子帶中的信號以確定每個子帶里的信號能量與掩蔽閾值的比率，即信掩比。量化/編碼部分根據(jù)信掩比決定分配給子帶信號的量化位數(shù)，使量化噪聲低于掩蔽閾值。最后通過成幀器將量化的子帶樣本和其他數(shù)據(jù)按照幀結(jié)構(gòu)組裝成位數(shù)據(jù)流。變換壓縮技術(shù) 它與子帶壓縮技術(shù)的不同之處在于該技術(shù)對一段音頻數(shù)據(jù)進(jìn)行“線性”的變換，對所獲得的變換域參數(shù)進(jìn)行量化、傳輸，而不是把信號分解為幾個子頻段。通常使用的變換有DFT、DCT、MDCT等。根據(jù)信號的短時功率譜對變換域參數(shù)進(jìn)行合理的動態(tài)比特分配可以使音頻質(zhì)量獲得顯著改善，而相應(yīng)付出的代價則是計算復(fù)雜度的提高。有代表性的變換壓縮編碼技術(shù)有DolbyAC-2音頻壓縮標(biāo)準(zhǔn)標(biāo)準(zhǔn)采樣率(KHZ)碼率(Kbps)G711864G7221664/56/48G728816G72988MPEG1-L2(MUSICAM)32/44.1/4832~384MPEG4-AAC32/44.1/4864/96/128注：96Kbps碼率AAC的音頻質(zhì)量超過了128Kbps的MP3（MPEG1-L3）格式二、視頻基礎(chǔ)知識視頻的色度空間三基色原理：任何顏色均由紅（R）、綠（G）、蘭（B）三種顏色分量組成；在電視領(lǐng)域，用亮度（Y）、藍(lán)色差（U）、紅色差（V）三個分量表示。兩種方法相互之間的轉(zhuǎn)換： Y=0.3R+0.59G+0.11B U=B–Y V=R–Y視頻信號的數(shù)字化標(biāo)清標(biāo)準(zhǔn)：ITU-RBT.601

Y、U、V三分量的抽樣頻率分別為13.5MHz、6.75MHz、6.75MHz。 每個樣點的量化比特數(shù)用于演播室為10bit,用于傳輸為8bit。

Y、U、V三分量樣點之間比例為4:2:2。高清標(biāo)準(zhǔn)：ITU-RBT.709

720P及1080i的Y、U、V三分量的抽樣頻率分別為74.25MHz、37.125MHz、37.125MHz。1080P50/60高達(dá)148.5M、74.25MHz、74.25MHz4:2:2采樣4:2:0采樣視頻格式標(biāo)清： PAL：隔行，720×576，50Hz NTSC：隔行，720×480，60Hz高清： 720P：逐行，1280×720，25/30/50/60Hz 1080i：隔行，1920×1080，50/60Hz 1080P：逐行，1920×1080，24/25/30/50/60Hz逐行與隔行逐行與隔行Kell系數(shù)=0.9Kell系數(shù)=0.7垂直分解力=行數(shù)xKell系數(shù)視頻信號波形視頻分辨率720P為標(biāo)清的2.2倍，1080P為標(biāo)清的5倍視頻壓縮的必要性標(biāo)清數(shù)據(jù)量（720+360+360）×576×25×8＝

165.888Mbps，加上行、場同步、消隱等時基信號，則碼率高達(dá)216Mbps高清數(shù)據(jù)量（含時基信號） 720P/1080i：74.25×2×8=1.188Gbps 1080P50/60：148.5×2×8=2.376Gbps視頻壓縮的可行性時間冗余性相鄰幀對應(yīng)象素點的值往往相近或相同,具有很強(qiáng)的相關(guān)性視覺冗余性對亮度敏感，對色度不敏感對低頻敏感，對高頻不敏感

空間冗余性一幅視頻圖像相鄰各點的取值往往相近或相同,相鄰像素之間具有很強(qiáng)的相關(guān)性圖像信號中存在的冗余Time時間冗余1sec2sec3sec4sec5sec6sec7sec空間冗余視頻壓縮的基本技術(shù)正交變換去掉空間冗余性，主要采用DCT

運動估計/補(bǔ)償去掉時間冗余性色度下采樣（4:2:0）去掉視覺冗余性MPEG2編碼框圖32DCT離散余弦變換1TVline(64us)720pixels“Luminance”700mV0mVfrequency1TVline(64us)720pixels“Luminance”0mVfrequencyDCT變換Y分量原始數(shù)據(jù)DCT系數(shù)以8x8塊為單位，反變換后可完全復(fù)原原始數(shù)據(jù),無損。量化量化是針對DCT系數(shù)進(jìn)行的，量化過程就是以某個量化步長（QP）去除DCT系數(shù)。量化步長的大小稱為量化精度，量化步長越小，量化精度就越細(xì)，則量化造成的失真就越小。去除視覺上不敏感的數(shù)據(jù)，是變換編碼中的真正對數(shù)據(jù)進(jìn)行有效壓縮的步驟。不可逆過程，有損。CBR（恒定碼率，QP變化）VBR（變碼率，QP固定）量化Z型掃描15,0,-2,-1,-1,0,0,-1,0,0,0,0,0,0,…游程編碼掃描后的DCT系數(shù)中存在很多零系數(shù)，可以只告訴解碼器那些非零系數(shù)，并告之兩個非零系數(shù)之間有多少個零，則解碼器可通過插入零系數(shù)的方法恢復(fù)數(shù)據(jù)，這種方法稱為游程長度編碼。15,3,0,0,0,2,0,0,0,0,0,1,0,0,0,0,0,0,1…(0,15),(0,3),(3,2),(5,1),(6,1）…VLC編碼

頻繁出現(xiàn)的數(shù)據(jù)用較短的碼字表示，不經(jīng)常出現(xiàn)的數(shù)據(jù)用較長的碼字表示，則平均碼字長度最小。15,3,0,0,0，2,0,0,0,0,0,1,0,0,0,0,0,0,1(0,15),(0,3),(3,2),(5,1),(6,1）VLC：11111111,0111,00100110,000111,0000110--33比特原始：11111111,00000011,00000000,…,00000001--152比特運動估計運動估計以宏塊（16x16）為單位進(jìn)行在參考幀搜索匹配塊，計算被壓縮圖像與參考圖像對應(yīng)位置上的宏塊間的位置偏移，即運動矢量參考幀當(dāng)前編碼幀（-6，-1）運動補(bǔ)償根據(jù)運動矢量，計算參考塊與當(dāng)前編碼塊之間的誤差對誤差進(jìn)行DCT、量化、VLC編碼解碼時將該誤差與參考塊疊加，得到當(dāng)前圖像

幀間編碼類型

I幀B幀P幀編碼序列12345678910IBBPBBPBBPBBPBBPBB原始圖像順序編解碼圖像順序色度下采樣

4

5

0

1

2

3YCrCb編碼的塊噪聲

碼率越低，量化步長越大，則塊噪聲越明顯。圖像分辨率、幀率與碼率的關(guān)系視頻編碼標(biāo)準(zhǔn)標(biāo)準(zhǔn)分辨率碼率應(yīng)用范圍H.261176144～35228864kb/s～2.048Mb/s窄帶電視會議、可視電話MPEG13522881.5Mb/sVCDH.262/MPEG-2352288～192011521.5～50Mb/s數(shù)字視頻廣播（DVB），DVD,高清電視（HDTV），寬帶電視會議H.263/H.263+12896～14081152協(xié)議本身沒有對碼率進(jìn)行限制，碼率取決于傳輸通道。同等圖像質(zhì)量下，碼率是H.261的一半，比MPEG-2節(jié)省30%主要面向窄帶應(yīng)用，但碼率在600kb/s時可極大提高圖像質(zhì)量，現(xiàn)在基本上取代了H.261，應(yīng)用于窄帶電視會議、視頻監(jiān)控等場合視頻編碼標(biāo)準(zhǔn)三基色原理：任何顏色均由紅（R）、綠（G）、蘭（B）三種顏色分量組成；在電視原理里，用亮度（Y）、藍(lán)色差（U）、紅色差（V）三個分量表示。兩種方法相互之間的轉(zhuǎn)換：Y=0.3R+0.59G+0.11BU=B–YV=R–YR=Y+V標(biāo)準(zhǔn)分辨率碼率應(yīng)用范圍MPEG-4176144～19201088移動視頻編碼速率為5～64kb/s，影視(352288～720576)應(yīng)用速率可達(dá)15Mb/s。對于19201080的應(yīng)用可達(dá)38.4Mb/s。比H.263節(jié)省17%,比MPEG-2節(jié)省43%。主要面向多媒體應(yīng)用，如低比特率移動多媒體通信，流媒體，基于內(nèi)容的交互多媒體數(shù)據(jù)庫檢索。監(jiān)控場合應(yīng)用較多。H.264/MPEG-4AVC12896～19201152同等圖像質(zhì)量下，碼率比H.263節(jié)省50％，比MPEG-4ASP節(jié)省28%，比MPEG-2節(jié)省64%視頻通訊（如電視會議、可視電話）,數(shù)字電視廣播，視頻存儲播放，監(jiān)控H.264SVCH.264SVC編碼器產(chǎn)生的碼流包含一個或多個可以單獨解碼的子碼流，子碼流可以具有不同的碼率，幀率和空間分辨率。分級的類型：時域可分級（Temporalscalability）：可以從碼流中提出具有不同幀頻的碼流。空間可分級（Spatialscalability）：可以從碼流中提出具有不同圖像尺寸的碼流。質(zhì)量可分級（Qualityscalability）：可以從碼流中提出具有不同圖像質(zhì)量的碼流。H.264SVCH.264SVC時域分級空域分級層間幀內(nèi)預(yù)測：圖像紋理復(fù)雜并且?guī)g搜索匹配不好的宏塊，如果基本層采用的是幀內(nèi)預(yù)測，增強(qiáng)層可以采用層間幀內(nèi)預(yù)測模式提高編碼效率。具體做法是把基本層的I塊重建上采樣得到增強(qiáng)層的預(yù)測，增強(qiáng)層只需要傳原始圖像和層間幀內(nèi)預(yù)測的殘差。EL（Enhancement

Layer）的參考，可以是來源于同一層的其他幀，也可以是低層上采樣的幀。但是不可以是更高層的幀，那樣的話丟棄高層的nalu會導(dǎo)致低層無法解碼。三、視頻會議終端及

高清視頻接口簡介5354FOCUS3800 FOCUS3800是迪威公司集合先進(jìn)的視頻編解碼和傳輸通信技術(shù)，根據(jù)最新的視頻會議終端流行趨勢，推出功能強(qiáng)大的一款會議電視終端。該終端同時支持H.264、H.263算法，適應(yīng)各種帶寬和應(yīng)用場合，可以達(dá)到FULLHD圖像質(zhì)量，色彩鮮明，畫面清晰，音質(zhì)優(yōu)美。FOCUS3800具備IP和專線E1接口，對網(wǎng)絡(luò)有更大的適應(yīng)能力。FOCUS3800還支持雙流，可以讓數(shù)據(jù)應(yīng)用更方便地融入。FOCUS3800會議電視終端和FOCUS8600MCU組成一個系統(tǒng)，適用于政府機(jī)關(guān)、軍隊、公安、教育、金融及電