視頻質(zhì)量要點

1、目前視頻質(zhì)量的評價算法主要有2種，主觀評價法和客觀評價法。根據(jù)各算法所引用的源素材多少，可把視頻質(zhì)量客觀評價分為3類：全參考評價體系、部分參考評價體系、無參考評價體系。全參考評價體系：要求占有完整的源素材信息，是目前客觀評價3大體系中發(fā)展較為成熟的部分，其現(xiàn)狀代表當(dāng)前客觀評價技術(shù)的最高水平。1. 基于全像素失真統(tǒng)計的評價方法：以統(tǒng)計理論為基礎(chǔ)，逐幀、逐像素比較參考源和測試源的數(shù)據(jù)差異。通過獲得原數(shù)據(jù)和待測數(shù)據(jù)間的總體誤碼累計，體現(xiàn)像素噪聲層面上的絕對誤碼率，從而反映視頻質(zhì)量。該類評價方法能敏感捕獲兩端視頻在像素層面上的細(xì)微失真，具有很高的敏感性。此為，其數(shù)學(xué)方法簡單，物理含義清晰，是目前應(yīng)用最

2、廣泛的評價方法。但它們都是從整體上反映原始圖像和恢復(fù)圖像像素層面上的差別，其評價機(jī)制無法體現(xiàn)出視頻圖像數(shù)據(jù)所承載的不同于一般數(shù)據(jù)的內(nèi)容信息，常造成評價結(jié)果與主觀感受相偏離，并不能較好滿足客觀評價的應(yīng)用需求。該類評價方法的主要代表有：PSNR和MSE等。 其中，Xi和Xi，分別為原始與重建圖像中對應(yīng)的像素值，N2為NN圖像的總像素數(shù)。其中MN為圖像大小，Qmn和rmn分別代表原始圖像和失真圖像在點(m，n)處的像素值。圖為PSNR模型進(jìn)行客觀評價的程序流程圖。2基于人眼視覺系統(tǒng)(HVS)的評價方法。人眼自身的“生理特點”和人關(guān)注內(nèi)容的“心理特點”都對絕對誤碼效果產(chǎn)生不同程度的掩蔽效果，使得圖像質(zhì)

3、量好壞的理解并不僅僅依賴絕對誤碼損耗。當(dāng)前，基于HVS的評價方法主要可劃分成以下2類主流算法模型：“基于視覺感知的算法模型”和“基于視覺興趣加權(quán)的算法模型”。2.1 基于視覺感知的算法模型。人眼“生理特性”主要有：視覺非線性(Weber定律)、視覺靈敏度差異、視覺多通道和掩蓋效應(yīng)等。利用這些特性，通過模擬視覺感知，將絕對差值映射成能被人眼覺察的JND(Just noticeable difference)單位。如差錯高于視覺的敏感門限，則表示所產(chǎn)生的絕對誤碼可被察覺；否則差錯不足以引起人眼感知，可忽略不計。當(dāng)前的視覺感知算法則需綜合多方面視覺感知能力，如根據(jù)所研究視頻圖像的特點（靜止或運動、黑

4、白或彩色等）模擬人眼對（空、時、色域等的）各種失真總體上的差錯感知能力。Teo等針對視覺掩蔽現(xiàn)象的神經(jīng)系統(tǒng)響應(yīng)進(jìn)行增益控制模擬，仿生HVS的視覺感知機(jī)制，其結(jié)構(gòu)如圖A所示。在輸入端，被提取的源圖像和參考圖像的亮度分量經(jīng)過后續(xù)時域濾波器處理，模擬人眼對連續(xù)序列的響應(yīng)。研究表明HVS的時域響應(yīng)機(jī)制既有瞬態(tài)(帶通)的，也有穩(wěn)態(tài)(低通)的。總而言之，基于HVS視覺感知的算法模型因綜合模擬了人眼的各項特性，具有較好的評價結(jié)果，但其算法實現(xiàn)相對復(fù)雜，運算量較大而難以實際應(yīng)用。此外，目前對HVS機(jī)制的認(rèn)知有限，算法模型不能對所有場景都具有較好的主觀相似性仍需繼續(xù)深入研究。2.2 基于視覺興趣加權(quán)的算法模型。

5、目前，人眼感興趣區(qū)域(Region of Interest，ROI)判別思路主要有：域變換(小波或DCT)及邊緣濾波兩種思路。域變換(小波或DCT)后所得的子帶與HVS興趣特性非常近似，可根據(jù)特點對較重要的域失真給以大的加權(quán)系數(shù)體現(xiàn)；邊緣濾波(如Sobel等)可有效提取人眼較敏感的區(qū)域信息，通過合理選擇濾波的閾值門限，亦可達(dá)到興趣區(qū)的有效劃分。權(quán)值大小選擇則需根據(jù)實測修正，不斷總結(jié)并選擇合適的經(jīng)驗權(quán)?？傮w上看，基于ROI加權(quán)的算法模型在如何合理劃分興趣域及如何調(diào)整權(quán)值等的關(guān)鍵技術(shù)上還有待進(jìn)一步研究。2.3 基于圖像理解和模糊處理的評價方法。應(yīng)用圖像理解技術(shù)，先對視頻圖像進(jìn)行分層或分割預(yù)處理；其

6、后提取待測序列中相關(guān)的客觀特征參數(shù)，并根據(jù)模糊處理理論選擇事先存放于場景庫中合適的特征參數(shù)比對歸類；最后，用場景中的先驗加權(quán)值修正待測序列的擬和系數(shù)，推導(dǎo)評價分。其主要代表模型有兩類：分層模型和分割模型。分層算法模型主要如Hamada等提出的三層噪聲分層算法，該算法模型認(rèn)為人對圖像理解不是一次性看清，而只是看到其中注視點附近的一個點域，并依賴這個點附近一些混在紋理結(jié)構(gòu)中噪聲的程度和特點，來識別這個點域的紋理結(jié)構(gòu)和質(zhì)量，由此，把圖像劃分成噪聲層、紋理層和目標(biāo)層，針對每個層特點進(jìn)行加權(quán)修正；分割算法模型主要有Pessoa等提出的分割算法模型,它把圖像按其表達(dá)的內(nèi)容,分割成平坦區(qū)、紋理區(qū)、邊緣區(qū)，為

7、每個區(qū)計算一套客觀參數(shù)，然后把客觀參數(shù)映射到已得到的主觀評價結(jié)果的相關(guān)場景庫中，最后推演出測試序列的分?jǐn)?shù)。部分參考評價體系：部分參考客觀評價體系則不需要完整的源視頻，而是先提取能體現(xiàn)“源視頻”性質(zhì)的“源視頻特征”，并把它和“視頻數(shù)據(jù)”一起傳輸，在接收端再將它們分離，按相同的方法從“宿視頻數(shù)據(jù)”中提取“宿視頻特征”，并與接收到的“源視頻特征”比對，找出差異。獲得視頻傳輸?shù)牧踊|(zhì)量，其參考結(jié)構(gòu)框圖見圖部分參考評價體系除了傳輸視頻文件本身的信息外，還需通過“RR特征信道鏈路”，傳輸“源視頻特征。根據(jù)傳輸中添加的參考信息是否來源于原始數(shù)據(jù)本身，可把部分參考體系劃分成兩大類評價方法：“基于源數(shù)據(jù)的信息提

8、取方法”和“基于非源數(shù)據(jù)的信息添加方法”。1.基于原數(shù)據(jù)的信息提取方法。 該方法主要通過提取視頻源本身的特征信息作為質(zhì)量評價依據(jù)。特征提取方法主要包含了2種類型：非期望特征提取算法和期望特征提取算法。非期望特征主要指反映視頻損傷程度的特征，常用方塊效應(yīng)、圖像模糊、色度失真、邊緣忙亂、圖像拖尾、蚊蟲效應(yīng)、圖像停頓和圖像抖動等表示。非期望特征提取算法模型從損傷角度出發(fā)，通過對傳輸前后的反映視頻損傷的特征值(亦稱非期望特征)的檢測，把握視頻在傳輸過程中引入的損傷度，而獲得視頻質(zhì)量的評價分。期望特征主要指反映視頻固有特性的特征，主要分為：頻域、空域、時域、色域和結(jié)構(gòu)等特征。期望特征提取算法模型從視頻組

9、成的固有特征角度人手，通過傳輸前后這些固有特征的差別，區(qū)分其視頻質(zhì)量。目前主要通過亮度、對比度、結(jié)構(gòu)失真3個獨立特征信息，綜合反映質(zhì)量。此外，還有一些為某類應(yīng)用場合設(shè)計的專用特征信息，如DCT域特征提取，小波域特征提取，針對塊狀效應(yīng)和邊緣模糊的特征提取等?；谔卣魈崛〉脑u價法原始視頻在進(jìn)入編碼器和傳輸通道前進(jìn)行特征提取，將能夠反映視頻質(zhì)量的特征參數(shù)提取出來，通過補充信道發(fā)送到接收端。在接收端，解碼器輸出的視頻信號也進(jìn)行同樣的特征提取，得到接收端的視頻質(zhì)量特征參數(shù)。將兩份特征數(shù)據(jù)進(jìn)行比較運算，可得到接收端的視頻質(zhì)量。特征提取過程以HVS為基礎(chǔ)，抽取對主觀視頻影響最大的空間信息特征(SI)、時間信

10、息特征(TI)作為視頻質(zhì)量特征參數(shù)。SI特征代表了圖像邊緣或空間梯度的活動性。利用SI特征可對數(shù)字視頻信號中的諸如模糊、塊效應(yīng)、邊緣忙亂等損傷進(jìn)行檢測和定量描述。1I特征代表了連續(xù)幀之問的差別變化或時間梯度的活動性。利用TI特征可對數(shù)字視頻信號中諸如抖動、量化噪聲、錯誤像塊等損傷進(jìn)行檢測和定量描述?；谔卣魈崛〉脑u價方法在測量時不需要提供完整的視頻源，由于提取特征數(shù)據(jù)量少，占用帶寬不大，因此可將其與經(jīng)過編碼的圖像一起傳送，或者用一個窄帶的補充信道傳輸，可實現(xiàn)在線服務(wù)情況下的質(zhì)量測量?；谔卣魈崛〉脑u價方法的可靠性來源于提取特征的圖像范圍以及提取特征數(shù)據(jù)與人眼視頻系統(tǒng)的相關(guān)程度，它降低了運算數(shù)據(jù)

11、量，提供了實時監(jiān)測視頻質(zhì)量的可能性，但是同時也犧牲了一定的可靠性。2 基于非原數(shù)據(jù)的信息添加方法(基于數(shù)字水印的部分參考視頻質(zhì)量評估)。在發(fā)送端(或編碼端)添加非原始圖像數(shù)據(jù)的額外信息，在接收端則通過分析這些信息的損耗程度，側(cè)面反映視頻圖像質(zhì)量。在發(fā)送端(或編碼端)添加非原始圖像數(shù)據(jù)的額外信息，在接收端則通過分析這些信息的損耗程度，側(cè)面反映視頻圖像質(zhì)量。根據(jù)添加信息的特點，可分成無意義信息添加和有意義信息添加2類算法模型。無意義信息添加算法主要通過偽隨機(jī)數(shù)等數(shù)據(jù)作為添加物，并不反映具體內(nèi)容和意義。如把隨機(jī)序列作為標(biāo)志序列添加于圖像上，在接收端通過檢測標(biāo)志物的誤碼率，從側(cè)面估計視頻傳輸質(zhì)量。有意

12、義信息添加算法主要通過數(shù)字水印技術(shù)，將含有具體內(nèi)容的水印圖案添加到視頻序列中，通過檢測水印圖案的劣化程度，了解信道對視頻數(shù)據(jù)的損傷情況數(shù)字水印是利用多媒體數(shù)據(jù)(如音頻、圖像、視頻)中存在的冗余度和人的視覺特性，在多媒體數(shù)據(jù)中添加某些標(biāo)記信息，以達(dá)到版權(quán)保護(hù)目的的一種技術(shù)。從視頻處理的角度上講，嵌入水印可以視為在強背景(原始圖像)下疊加一個弱信號(水印)。由于人類視覺系統(tǒng)的分辨率有限，只要疊加信號產(chǎn)生的失真幅度低于視覺系統(tǒng)的對比度門限，人就無法感覺到水印的存在，從而實現(xiàn)了信息隱藏?；跀?shù)字水印視頻質(zhì)量評估的算法川一般包括水印嵌入、水印媒體傳輸、水印提取和質(zhì)量評估4個過程，原理框圖如圖三所示。原始

13、媒體嵌入水印后在傳輸過程中最容易失真，可能發(fā)生數(shù)據(jù)丟失或疊加了噪聲，接受端從有損的媒體中提取出水印信號，和參考水印比較，就可得到媒體傳輸質(zhì)量的評價?？梢钥闯?，原數(shù)據(jù)信息添加方法能根據(jù)具體的內(nèi)容進(jìn)行特征提取，特征信息與數(shù)據(jù)內(nèi)容具有較好的對應(yīng)性和時效性，但其特征信息隨視頻數(shù)據(jù)內(nèi)容改變而不同，較難用統(tǒng)一的擬合調(diào)整策略將特征差異映射為評價等級分；而非原數(shù)據(jù)的信息添加方法克服了原數(shù)據(jù)提取特征信息易變的問題，可事先對已知的添加內(nèi)容進(jìn)行研究，通過實現(xiàn)的訓(xùn)練策略，建立損耗程度和主觀評分間的映射關(guān)系，因此，可把基于視頻內(nèi)容的各異特征參量歸一化成事先已知的特征參量形式（如某類水印圖案等)，能很好地利用已建映射關(guān)系

14、準(zhǔn)確了解添加圖像的劣化程度，從而把握視頻/圖像的傳輸質(zhì)量，但設(shè)計穩(wěn)健、通用、不易造成附加噪聲的添加信息是該方法的主要難點。3 基于結(jié)構(gòu)相似性的質(zhì)量評價方法ZWang等提出的結(jié)構(gòu)相似質(zhì)量度量法(SSIM)，通過亮度、對比度、結(jié)構(gòu)失真3個獨立特征信息綜合反映視頻質(zhì)量，其基本框圖見圖所示假設(shè)原始圖像為X，評價圖像為Y。首先，分別提取原始和評價圖像的亮度變化信息，后提取圖像的對比度變化信息，再提取圖像的結(jié)構(gòu)變化信息，對以上提取的三種變化進(jìn)行相似性比較，最后對其比較結(jié)果進(jìn)行綜合，得到一種相似性度量指標(biāo)，以此作為圖像質(zhì)量好壞的評價尺度。SSIM法的依據(jù)是HVS高度適合于提馭視覺場景中的結(jié)構(gòu)信息，使測量結(jié)構(gòu)

15、信息的改變與感知圖像質(zhì)量的變化非常接近，該方法與主觀評價結(jié)果的致性好。但不一定完全與主觀評價一致，也有可能存在兩個信號對同一個原始信號具有相同的結(jié)構(gòu)相似值，而這兩個信號的主觀質(zhì)量仍有差別。不同分辨力的圖像質(zhì)量評價算法對于2個不同分辨力的視頻圖像進(jìn)行質(zhì)量測量時。一般可以采用2種方法：1)直接對2種視頻序列進(jìn)行特征提取然后通過對特征參數(shù)的統(tǒng)計分析來測量視頻圖像質(zhì)量；2)先將2種視頻序列調(diào)整成相同的分辨力，然后再進(jìn)行質(zhì)量評價。1 直接提取特征參數(shù)來比較質(zhì)量差異在圖像壓縮過程中會產(chǎn)生各種類型損傷，例如塊效應(yīng)、模糊等。因此，可以通過對圖像進(jìn)行邊緣提取來測量圖像的損傷程度。該算法實現(xiàn)結(jié)構(gòu)簡單，但由于邊緣提

16、取算法中所用到的不同邊緣檢測算子的性能會隨著圖像分辨力降低而下降，邊緣檢測算子對不同分辨力圖像中的灰度、對比度變化等方面的敏感程度也是不同的。因此這種方法的測量準(zhǔn)確性取決于邊緣檢測算子的選擇。2 先調(diào)整分辨力再測量質(zhì)量通過調(diào)整分辨力，該方法可以將不同分辨力圖像間的質(zhì)量評價轉(zhuǎn)換為一般的圖像質(zhì)量評價研究。因此，可以在分辨力調(diào)整后選擇成熟的評價算法來實現(xiàn)對圖像質(zhì)量的準(zhǔn)確評價。在本文的研究中，采用這種調(diào)整分辨力的方法來實現(xiàn)對不同分辨力視頻圖像的質(zhì)量評價實驗流程如圖所示，算法包括2個主要模塊：分辨力調(diào)整模塊和客觀評價模塊?；趫D像清晰度的客觀質(zhì)量評價1 基于無方向邊緣能量的清晰度評估這種方法采用無方向性

17、的邊緣提取算子計算圖像的邊緣能量通過計算處理前后邊緣能量的差異來度量圖像清晰度的變化。使用的無方向邊緣算子包括CannyLog(Laplacian of Gaussian)，SobelPrewitt以及Roberts等等。基于無方向邊緣能量，定義了相應(yīng)的清晰度評估參數(shù)6：其中：分子為輸出視頻的邊緣能量分母為輸入視頻的邊緣能量。XX表示使用的邊緣提取算子，比如：Canny、LogSobelPrewitt以及Roberts等等。該參數(shù)反映了輸出視頻與輸入視頻邊緣能量的偏離，而這個偏離與視頻的主觀和客觀質(zhì)量密切相關(guān)。2 基于方向性邊緣能量的清晰度評估在視頻數(shù)據(jù)壓縮過程中，方塊效應(yīng)是一種常見的失真。特

18、別在基于網(wǎng)路應(yīng)用的視頻系統(tǒng)中，多采用基于塊的壓縮算法方塊效應(yīng)相對更加嚴(yán)重。方塊效應(yīng)的產(chǎn)生會導(dǎo)致圖像水平豎直方向邊緣能量增加，由此不難看出：方塊效應(yīng)會導(dǎo)致圖像出現(xiàn)很強水平邊緣和垂直邊緣，而這些邊緣本身不能反映圖像清晰度的損失。因此考慮僅計算非水平、非豎直方向的邊緣能量來衡量圖像清晰度的變化，于是提出了基于方向性邊緣的清晰度評估方法。Sobel算子是邊緣檢測常用的算子之一，它通過兩個卷積核分別對圖像的水平和垂直邊緣進(jìn)行檢測復(fù)雜度較低嗍。因此利用Sobel邊緣檢測可以更有效地估計非水平豎直方向邊緣能量的損失。用兩個1 3 X 1 3的模板對測試序列每一幀圖像進(jìn)行卷積得到圖像像素點(i，j)梯度的水平

19、分量H(I,j)與垂直分量V(I,j)進(jìn)而計算該點梯度矢量的大小E(I,j)與方向(I,j).為反映圖像在映非水平豎直方向的邊緣能量定義了一個方向性能量參數(shù)HV(ij)：在此基礎(chǔ)上，我們定義一個基于方向性邊緣能量的清晰度評估參數(shù)：其中分子分母分別是輸入序列與輸出序列各幀圖像非水平堅直方向邊緣能量參數(shù)HV(ij)的累加。這個參數(shù)的大小同樣反映了測試序列與原始序列邊緣能量的偏離，也在定程度上反映了測試視頻質(zhì)量。3 基于小波變換的視頻圖像清晰度客觀評價小波變換是一種信號時間尺度分析方法，具有多分辨率分析的特點，在時頻兩域具有表征信號局部特征的能力，在低頻部分具有較高的頻率分辨率和時間分辨率，在高頻部

20、分具有較高的時間分辨率和較低的頻率分辨率。是一種時間窗和頻率窗均可變的時頻局部化分析方法。信號經(jīng)過小波變換，首先被分解成低頻L1與高頻H1兩個部分在分解中，低頻中失去的信息由高頻捕獲。在下一層的分解中將L1進(jìn)一步分解成低頻L2與高頻H2，低頻L2中失去的信息由高頻H2捕獲以此類推進(jìn)行更深層次的分解。以此，小波變換將圖像信息劃分為不同尺度下的擁有原圖像不同方向和頻率成分的子帶圖像。經(jīng)過一次小波變換圖像被分解為四個獨立的塊如圖所示。其中LL保留圖像低頻信息；LHHL分別為圖像水平與豎直方向高頻信息；HH則為圖像斜方向的高頻信息。圖像高頻信息通常是指圖像細(xì)節(jié)，如邊緣等。上文提到非水平豎直方向邊緣能量能更加準(zhǔn)確的反映圖像清晰度因此圖像斜方向的高頻信息是否豐富，對圖像清晰度應(yīng)有十分重要的影響。基于這一觀點，本文定義了一個基于小波變換的圖像清晰度評估參數(shù)：其中，分子分母分別是輸入序列與輸出序列各幀圖像經(jīng)小波變換獲得斜方向高頻信息能量。該參數(shù)反映了圖像斜方向高頻信息能量的偏離，即圖像細(xì)節(jié)的變化，從而一定