數(shù)字視頻圖像質(zhì)量客觀測(cè)量方法的改進(jìn)與實(shí)現(xiàn)

1、數(shù)字視頻圖像質(zhì)量客觀測(cè)量方法的改進(jìn)與實(shí)現(xiàn)發(fā)布時(shí)間:2006年11月25日 點(diǎn)擊次數(shù):246 來(lái)源:電子設(shè)計(jì)信息網(wǎng)- 作者:黃文輝 陳仁雷 張家謀 摘要:本文在傳統(tǒng)的圖像客觀測(cè)試峰值信噪比的基礎(chǔ)上,對(duì)比了重建圖像與原始圖像,改進(jìn)了測(cè)試模糊及方塊效應(yīng)等關(guān)鍵質(zhì)量指標(biāo)的算法,同時(shí)提出了預(yù)處理的方案. 實(shí)用中可與圖像質(zhì)量主觀評(píng)價(jià)的MOS(mean opinion score)對(duì)應(yīng),并可用于測(cè)試與評(píng)價(jià)圖像傳輸系統(tǒng)的質(zhì)量. 關(guān)鍵詞: 圖像質(zhì)量客觀測(cè)試; 峰值信噪比; 模糊; 方塊效應(yīng) 引言圖像質(zhì)量評(píng)價(jià)分為主觀評(píng)價(jià)和客觀評(píng)價(jià),主觀評(píng)價(jià)是以人作為觀察者,而圖像最終是給人看的,所以人(

2、特別是專(zhuān)業(yè)人員) 的評(píng)定是具有權(quán)威性的. 但主觀測(cè)試具有局限性,時(shí)間長(zhǎng),不利于日常的研究. 同時(shí),人的視覺(jué)反應(yīng)到主觀感覺(jué)上有其心理因素,結(jié)果因人(甚至因時(shí)) 而異,很難形成統(tǒng)一的模型,因而需要尋找簡(jiǎn)單易行且能得到公認(rèn)的客觀測(cè)試方法,并根據(jù)主觀評(píng)定定出指標(biāo),對(duì)圖像、視頻的質(zhì)量做出定量的客觀評(píng)價(jià). 即這些客觀測(cè)試方法的指標(biāo)應(yīng)該與主觀評(píng)價(jià)對(duì)應(yīng)起來(lái). 研究數(shù)字圖像質(zhì)量的傳統(tǒng)方法是求出重建圖像與原始圖像的差別,將這些差別統(tǒng)一認(rèn)為是噪波,并以峰值信噪比( PSNR ) 的分貝數(shù)作為指標(biāo)客觀地表征數(shù)字圖像質(zhì)量. 但是PSNR只是一個(gè)綜合的結(jié)果,它并不能反應(yīng)是哪一種原因造成圖像的降質(zhì),因而在實(shí)際中很有必要再分

3、項(xiàng)深入研究能表征圖像降質(zhì)原因的方法,也就是為常見(jiàn)的公認(rèn)的數(shù)字圖像的各種失真尋找出相應(yīng)的測(cè)試方法. 而這些方法至少有下列3 條原則是必需滿(mǎn)足的: 與主觀質(zhì)量評(píng)價(jià)相一致; 能突出表征一種失真造成的后果而不受或盡量少受其他失真因素的影響; 對(duì)失真程度的數(shù)量表征明顯,并盡量有線性的相關(guān)性等. 本文提出以PSNR 為總的測(cè)試指標(biāo),以模糊系數(shù)、方塊效應(yīng)、運(yùn)動(dòng)補(bǔ)償、幀速為分量的測(cè)試方案,并在文獻(xiàn) 1 的基礎(chǔ)上對(duì)PSNR、模糊及方塊效應(yīng)提出了改進(jìn)方案. 1 PSNR 計(jì)算PSNR 公式中原始圖像(輸入圖像) 的信號(hào)幅度多取255 ,認(rèn)為原始圖像信號(hào)處于理想的滿(mǎn)幅度狀態(tài),圖像中亮度(或色度) 最大處為峰值255

4、 ,亮度(或色度) 最小處為谷值0. 這些值經(jīng)過(guò)處理后成了重建圖像(輸出圖像) ,信號(hào)值產(chǎn)生了偏離,導(dǎo)致了圖像失真. 這種計(jì)算方法約定俗成已成定式,但是仔細(xì)分析后,實(shí)際的圖像很難達(dá)到如此理想的狀態(tài). 即在一幅實(shí)際圖像中,并不一定(或很難) 都存在最亮點(diǎn)或最暗點(diǎn),此時(shí)若一概以輸入圖像的幅值為255 計(jì)算則顯然是不正確的. 在這種情況下應(yīng)以輸入圖像實(shí)際存在的亮度(或色度) 最大值和最小值進(jìn)行計(jì)算才是正確的. 故本文建議采取如下公式計(jì)算PSNR(下列的計(jì)算以圖像亮度為例) : 均方差為 其中, N 為輸入圖像或輸出圖像第k 幀的像素總數(shù); yi ( i , j , k) 為輸入圖像第k 幀的第i 行

5、、第j 列的像素亮度值; yo ( i , j , k) 為輸出圖像第k 幀的第i行、第j 列的像素亮度值; Yo ,max ( k) 、Yo ,min ( k) 分別為輸出圖像第k 幀中最大、最小像素亮度的值. 有些學(xué)者認(rèn)為, 如果輸入圖像的幅度差達(dá)不到255 ,只要先歸一化到255 , 仍可以用輸入圖像信號(hào)幅度為255 的公式計(jì)算PSNR. 實(shí)際上,這不符合實(shí)際圖像的傳輸幅度, 而在傳輸過(guò)程中卻免不了有非線性的存在, 導(dǎo)致了計(jì)算誤差. 因此, 直接與輸入圖像最大值與最小值之差相比, 更能反映實(shí)際的PSNR. 2 斜空間濾波求模糊系數(shù) 圖像清晰度是視頻圖像最根本的指標(biāo),一幅圖像是否清晰并被觀

6、看者認(rèn)可是該圖像系統(tǒng)成敗的關(guān)鍵. 當(dāng)然,決定圖像清晰度的根本是圖像的像素含量,怎樣在有限的像素?cái)?shù)的限制下取得更高的清晰度,是廣大相關(guān)專(zhuān)業(yè)的科技工作者孜孜以求的. 圖像清晰度的下降源于圖像信號(hào)中高頻成份的損失,一般表現(xiàn)為邊緣模糊和細(xì)節(jié)減弱. 實(shí)用中,由于圖像格式(像素?cái)?shù)) 不同, 圖像清晰度的客觀測(cè)試只能是測(cè)量與原始圖像(輸入圖像) 相比清晰度的下降程度. 在前人研究成果的基礎(chǔ)上,文獻(xiàn) 1 選擇了一種求清晰度的方式, 即分別對(duì)原始圖像和重建圖像用微分型空間濾波器提取其高頻成份, 再求二者的相對(duì)差值,定義為“模糊系數(shù)”. 經(jīng)過(guò)實(shí)際應(yīng)用,發(fā)現(xiàn)它存在2 個(gè)問(wèn)題: 與圖像清晰度下降的主觀感覺(jué)相關(guān)性不好,

7、且受圖像內(nèi)容影響太大,不同的圖像得出的值相差較遠(yuǎn)(見(jiàn)表1) ; 受圖像方塊效應(yīng)的影響太大. 方塊效應(yīng)造成了附加的垂直與水平邊緣,增加了圖像的高頻成份,影響了測(cè)試結(jié)果. 為此,改為用斜空間濾波求模糊系數(shù),算法流程如圖1 所示.圖1 模糊系數(shù)計(jì)算流 考慮到圖像傳輸系統(tǒng)對(duì)邊緣和細(xì)節(jié)的傳輸一般是無(wú)方向性的,因此斜方向邊緣和細(xì)節(jié)的傳輸系數(shù)可以代表垂直、水平方向的細(xì)節(jié)傳輸,而由于輸出圖像的水平、垂直細(xì)節(jié)與方塊效應(yīng)混在一起,不易代表模糊程度, 故選斜方向的微分型空間濾波器(見(jiàn)圖2) ,只比較斜方向邊緣和細(xì)節(jié)的傳輸,即可代表整個(gè)圖像邊緣和細(xì)節(jié)的傳輸系數(shù),即模糊系數(shù): 其中斜邊緣能量特征為其中yf ( i ,

8、j , k) 為第k 幀、第i 行、第j 列的亮度值經(jīng)過(guò)斜方向微分型空間濾波器處理后得到的值. 圖2 斜方向微分型空間 可見(jiàn), Kblur為輸出的邊緣能量和輸入邊緣能量比值. 假定圖像序列無(wú)其他失真,那么k 值的范圍一般在01 之間, k 值越接近于1 , 圖像清晰度越高,結(jié)果表現(xiàn)越鮮明. 該方案實(shí)現(xiàn)方法簡(jiǎn)單,只用一個(gè)濾波模板就可以計(jì)算模糊程度,而且結(jié)果簡(jiǎn)明扼要. 3 正空間濾波求方塊效應(yīng) 無(wú)論是H 系列還是M系列圖像壓縮編碼標(biāo)準(zhǔn)均是以二維余弦變換即DCT 變換為核心算法,為此對(duì)圖像分塊(8 8 、16 16 等) 是必要的. 隨著壓縮比的增大,圖像中的塊效應(yīng)會(huì)增加,導(dǎo)致在圖像中出現(xiàn)馬賽克(M

9、osaic) . 塊效應(yīng)的出現(xiàn)增加了重建圖像中的垂直和水平邊緣, 如果單純用微分型垂直和水平二維空間濾波器濾出垂直與水平方向的邊緣, 則必與圖像內(nèi)容中真正存在的垂直與水平邊緣混在一起,因而必需去除這部分,剩下的才是塊效應(yīng)導(dǎo)致的垂直與水平邊緣. 即輸出圖像的水平、垂直邊緣可視為2 部分: 輸入圖像中本來(lái)就有的水平垂直邊緣; 方塊效應(yīng)產(chǎn)生的水平垂直邊緣. 前面已經(jīng)提到,設(shè)一般的傳輸系統(tǒng)對(duì)圖像邊緣的響應(yīng)沒(méi)有方向性,則可以先用微分型正空間濾波器(見(jiàn)圖3) 求出輸入圖像的垂直與水平邊緣和細(xì)節(jié)值, 乘以前面求出的邊緣與細(xì)節(jié)傳輸系數(shù)Kblur ,得到重建圖像無(wú)方塊效應(yīng)邊緣在內(nèi)的圖像垂直與水平的邊緣與細(xì)節(jié)值,

10、再用微分型正空間濾波器求出重建圖像垂直與水平總的邊緣與細(xì)節(jié)值, 兩值相減即可得到屬于方塊效應(yīng)的垂直與水平邊緣值,取相對(duì)值表示如下.方塊效應(yīng)系數(shù):其中為一幀圖像經(jīng)正空間濾波器得到的水平垂直方向的邊緣能量和. 此方案Kblock系數(shù)的大小一般在01 之間,方塊效應(yīng)越明顯,該系數(shù)就越接近于1 ,方塊效應(yīng)越小系數(shù)越接近于0. 圖3 正方向微分型空間 4 圖像的預(yù)校正 為了對(duì)實(shí)際的視頻圖像傳輸系統(tǒng)進(jìn)行客觀測(cè)量,必需用計(jì)算機(jī)采集輸入圖像(原始圖像) 和輸出圖像(重建圖像) ,然后再研究二者之間的差別并求出相關(guān)的客觀測(cè)量指標(biāo). 但實(shí)際采集到的輸出圖像相對(duì)于輸入圖像已有很多變化, 必需進(jìn)行預(yù)校正. 圖像對(duì)位

11、由于傳輸時(shí)延和采集顯示誤差等原因都會(huì)導(dǎo)致輸出與輸入圖像之間的錯(cuò)位, 必需按像素進(jìn)行精確地對(duì)位,才能進(jìn)一步計(jì)算二者的差值. 為此應(yīng)該用估計(jì)二者均方差的辦法使二者準(zhǔn)確對(duì)位. 增益與直流偏置校正 實(shí)際的傳輸系統(tǒng)會(huì)使輸出圖像的增益和直流偏置發(fā)生變化,需用以下公式進(jìn)行校正.設(shè)原始圖像的亮度為Yin , 重建圖像的亮度為Yout ,傳輸通道的亮度增益gy 可定義為 求出gy 和Iy 之后應(yīng)對(duì)重建圖像作如下處理: 其中Yout為經(jīng)過(guò)增益與直流偏置修正后的重建圖像序列. 5 實(shí)驗(yàn)結(jié)果 使用Visual C + + 編程實(shí)現(xiàn)了所提出的模糊、方塊效應(yīng)的算法. 選取suzie. cif 、child. cif 和r

12、rn. cif 3 個(gè)不同特征的原始序列作為實(shí)驗(yàn)對(duì)象,對(duì)這些原始序列采用H.264 協(xié)議按照不同的參數(shù)分別進(jìn)行編解碼生成不同圖像質(zhì)量的重建序列, 將重建圖像和原始圖像的質(zhì)量進(jìn)行比較得出模糊、方塊效應(yīng)的質(zhì)量評(píng)價(jià).實(shí)驗(yàn)環(huán)境設(shè)定如下: GOP (groop of pictures)為12 ; 測(cè)試的幀數(shù)為45 幀,最后的測(cè)試結(jié)果取前45 幀的平均值; 播放速度為30 幀/ s , 用于主觀測(cè)試. 將本文的算法與傳統(tǒng)的算法進(jìn)行比較, 結(jié)果如表1 、表2 所示. 新方法中序列的前45 幀結(jié)果的均值、sobel 模版求模糊系數(shù)和方塊效應(yīng)系數(shù)的算法請(qǐng)參考文獻(xiàn) 1 . 關(guān)于PSNR 的實(shí)驗(yàn)環(huán)境,本實(shí)驗(yàn)取1幀測(cè)試,其他測(cè)試環(huán)境與模糊、方塊效應(yīng)測(cè)試環(huán)境類(lèi)似,結(jié)果如表13 所示. 表2 方塊效應(yīng)測(cè)試結(jié)果的對(duì)比 表3 PSNR測(cè)試結(jié)果的對(duì)比 以上為suzie. cif 、child. cif 和rrn. cif 經(jīng)過(guò)H. 264編解碼得到的重建圖像的質(zhì)量評(píng)價(jià),重建圖像質(zhì)量的主觀評(píng)價(jià)分別為5 分、4 分和3 分,將本文提出的算法與文獻(xiàn) 1 的