關(guān)于圖像質(zhì)量評(píng)價(jià)的思考

關(guān)于圖像質(zhì)量評(píng)價(jià)的思考

1基于結(jié)構(gòu)相似度的圖像質(zhì)量評(píng)價(jià)方法在圖像壓縮、通信、存儲(chǔ)、存儲(chǔ)、增強(qiáng)和圖像打印等應(yīng)用中，圖像質(zhì)量的評(píng)估與成像質(zhì)量有關(guān)。評(píng)估指標(biāo)可用作參考參數(shù)或測(cè)量源，或使用算法優(yōu)化和參數(shù)優(yōu)化。圖像最終是為人所觀看的,故其質(zhì)量最準(zhǔn)確的評(píng)價(jià)方法是主觀方法。但是主觀方法在實(shí)際應(yīng)用中存在諸多問(wèn)題,因此人們迫切需要設(shè)計(jì)客觀的評(píng)價(jià)方法來(lái)近似反映主觀感受。客觀圖像質(zhì)量評(píng)價(jià)方法根據(jù)對(duì)原始圖像的依賴程度可以分為:全參考型、無(wú)參考型和介于兩者之間的部分參考型。本文重點(diǎn)研究全參考型的方法,即原始圖像已知且被認(rèn)為是完好的參照?qǐng)D像。在各種全參考型客觀圖像質(zhì)量評(píng)價(jià)方法中,均方誤差(meansquarederror,MSE)和峰值信噪比(peaksignal-to-noiseratio,PSNR)兩個(gè)指標(biāo)由于計(jì)算簡(jiǎn)單,且有明確的物理意義,在實(shí)際中獲得了廣泛應(yīng)用。但實(shí)際上這些簡(jiǎn)單的評(píng)價(jià)測(cè)度并不能很好地反映人對(duì)圖像質(zhì)量的主觀感受。近些年來(lái),人們開(kāi)始利用已知的一些人類視覺(jué)系統(tǒng)HVS(humanvisualsystem)的特性來(lái)研究圖像質(zhì)量評(píng)價(jià)的新方法,其中有代表性的兩個(gè)模型是dalyvisibledifferencespredictor和sarnoffvisualdiscriminationmodel。它們主要是通過(guò)生理和心理學(xué)實(shí)驗(yàn)獲得人類視覺(jué)系統(tǒng)的前端特征構(gòu)建視覺(jué)模型,從而模擬人的視覺(jué)來(lái)對(duì)圖像質(zhì)量進(jìn)行客觀評(píng)價(jià)。但這些方法與PSNR的效果相比并沒(méi)有顯著的改善。這主要是因?yàn)?基于人類視覺(jué)系統(tǒng)的方法是建立在許多很強(qiáng)的假設(shè)基礎(chǔ)上的,存在諸多不足。Wang在分析了上述問(wèn)題的基礎(chǔ)上,提出了一種新的觀點(diǎn):人眼的主要作用是為了提取視場(chǎng)中的結(jié)構(gòu)信息,而且人類視覺(jué)系統(tǒng)也非常適用于這個(gè)目的。根據(jù)這一思想,Wang等提出了基于結(jié)構(gòu)相似度(structuralsimilarity,SSIM)的圖像質(zhì)量測(cè)度——平均結(jié)構(gòu)相似度(meanSSIM,MSSIM),實(shí)驗(yàn)表明此測(cè)度與主觀評(píng)價(jià)有較好的相關(guān)性。不過(guò)文獻(xiàn)則認(rèn)為:圖像的降質(zhì)程度主要是由降質(zhì)圖像和原圖像誤差的結(jié)構(gòu)、位置和數(shù)量信息來(lái)決定的。為了融合更多的信息建立更為合理有效的圖像質(zhì)量評(píng)價(jià)測(cè)度,我們通過(guò)對(duì)圖像內(nèi)容的分析,利用文獻(xiàn)中的方法將其劃分為邊緣、紋理和平坦區(qū)域,并利用模糊積分方法融合各區(qū)域中逐像素鄰域的結(jié)構(gòu)相似度,給出了一種圖像質(zhì)量的綜合評(píng)價(jià)指標(biāo)。新的評(píng)價(jià)測(cè)度充分利用了圖像的結(jié)構(gòu)、位置和數(shù)量信息,被稱為基于內(nèi)容的圖像質(zhì)量評(píng)價(jià)方法。大量實(shí)驗(yàn)結(jié)果表明,該測(cè)度與主觀評(píng)價(jià)的一致程度較MSSIM更好。2結(jié)構(gòu)相似度度量從圖像形成的角度上講,結(jié)構(gòu)信息反映了場(chǎng)景中物體的結(jié)構(gòu),它應(yīng)獨(dú)立于圖像的亮度和對(duì)比度。文獻(xiàn)中將兩幅灰度圖像中相同位置處,對(duì)應(yīng)的圖像塊x,y的亮度、對(duì)比度和結(jié)構(gòu)的相似度分別定義為l(x,y)=2μxμy+C1μ2x+μ2y+C1c(x,y)=2σxσy+C2σ2x+σ2y+C2s(x,y)=σx,y+C3σxσy+C3(1)l(x,y)=2μxμy+C1μ2x+μ2y+C1c(x,y)=2σxσy+C2σ2x+σ2y+C2s(x,y)=σx,y+C3σxσy+C3(1)其中,μx為圖像塊x的均值,反映其亮度信息;σx為x的方差,反映其對(duì)比度信息;σx,y為x,y的相關(guān)系數(shù),反應(yīng)其結(jié)構(gòu)信息的相似性。C1,C2和C3均為很小的正數(shù),以避免分母為零或接近零時(shí)造成的奇異性。聯(lián)合這3種相似性準(zhǔn)則而構(gòu)成的x和y的相似性測(cè)度為(2)其中,α>0,β>0,γ>0。作為相似性測(cè)度,它滿足:(1)對(duì)稱性:SSIM(x,y)=SSIM(x,y)。(2)有界性:SSIM(x,y)≤1。(3)唯一最大值:SSIM(x,y)=1當(dāng)且僅當(dāng)x=y取得最大值。若取C1=(K1L)2,C2=(K2L)2,C3=C2/2,K1?1,K2?1,L是圖像中像素灰度的動(dòng)態(tài)范圍,α=β=γ=1,則式(2)的一種特殊的形式為SSΙΜ(x,y)=(2μxμy+C1)(2σx,y+C2)(μ2x+μ2y+C1)(σ2x+σ2y+C2)(3)SSIM(x,y)=(2μxμy+C1)(2σx,y+C2)(μ2x+μ2y+C1)(σ2x+σ2y+C2)(3)文獻(xiàn)中,首先,通過(guò)一個(gè)11×11的中心對(duì)稱高斯加權(quán)窗W=wi|Ν∑i=1wi=1,i=1,2,?,Ν(N為窗口中的像素個(gè)數(shù))在圖像上逐點(diǎn)計(jì)算以該點(diǎn)位中心的鄰域圖像塊的μx,σx和σx,yμx=Ν∑i=1wixiσx=(Ν∑i=1wi(xi-μx)2)1/2σx,y=Ν∑i=1wi(xi-μx)(yi-μy)(4)則由式(3)可計(jì)算出各點(diǎn)對(duì)應(yīng)圖像塊的SSIM(邊緣點(diǎn)除外)并可映射為一幅圖像來(lái)描述降質(zhì)圖像的降質(zhì)信息,稱這幅圖像為SSIM索引圖。這里采用高斯加權(quán)窗是為了避免出現(xiàn)分塊效應(yīng)。最后,用平均結(jié)構(gòu)相似度作為對(duì)整體圖像質(zhì)量的評(píng)價(jià)測(cè)度,其中N為SSIM索引圖中的點(diǎn)的個(gè)數(shù)。ΜSSΙΜ=1ΝΝ∑j=1SSΙΜ(xj,yj)(5)3質(zhì)量綜合評(píng)價(jià)測(cè)度為了構(gòu)造更有效合理的圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn),根據(jù)文獻(xiàn)觀點(diǎn):圖像降質(zhì)的主要因素有誤差的數(shù)量、誤差的位置和誤差的結(jié)構(gòu)。本文提出了一種基于內(nèi)容的圖像質(zhì)量綜合評(píng)價(jià)測(cè)度(content-basedmetric,CBM)。CBM測(cè)度以SSIM為基礎(chǔ),首先提取圖像像素的結(jié)構(gòu)信息,然后將它們按內(nèi)容劃分到邊緣、紋理和平坦區(qū)域,再利用模糊積分獲得各個(gè)區(qū)域的相似度,最后通過(guò)加權(quán)平均融合圖像的結(jié)構(gòu)、位置和數(shù)量信息,對(duì)圖像質(zhì)量做出全面的評(píng)價(jià)結(jié)果?；贑BM測(cè)度的圖像質(zhì)量評(píng)價(jià)系統(tǒng)框圖如圖1所示,主要包括3個(gè)基本步驟:(1)結(jié)構(gòu)信息提取;(2)區(qū)域分類;(3)數(shù)量信息融合。3.1融合的必要性見(jiàn)表1這一步的主要功能是利用基于SSIM的方法提取被評(píng)價(jià)圖像與參考圖像之間的對(duì)應(yīng)圖像塊x,y的結(jié)構(gòu)相似度SSIM(x,y)值并構(gòu)造SSIM索引圖。在結(jié)構(gòu)相似性測(cè)度中,l(x,y)和c(x,y)的取值范圍均為,而s(x,y)的值域則為[-1,1],不利于后續(xù)的模糊積分操作和信息融合。比如,圖2(b)所示為圖2(a)的負(fù)片(灰度翻轉(zhuǎn))。從圖像信息表達(dá)的角度來(lái)看,圖2(b)保留了圖2(a)的所有細(xì)節(jié),即結(jié)構(gòu)信息。從信息傳遞的角度講,我們完全可以認(rèn)為兩幅圖像所表達(dá)的結(jié)構(gòu)信息完全相同,它們的不同在于亮度和對(duì)比度信息。因此,這里重新定義了圖像的結(jié)構(gòu)信息相似度為?s(x,y)=|σx,y|+C3σxσy+C3(6)這樣,s(x,y)的值域變?yōu)椤SIM中的另外兩個(gè)相似成份,l(x,y)和c(x,y)保持不變。這樣新的基于結(jié)構(gòu)相似度的圖像質(zhì)量測(cè)度可以表示為根據(jù)式(7)計(jì)算計(jì)算兩幅灰度圖的逐點(diǎn)像素對(duì)(x,y)的SSIMnew,便可構(gòu)成SSIMnew索引圖。3.2圖像梯度區(qū)和大小區(qū)這一步將一幅圖像按內(nèi)容劃分成邊緣、紋理和平坦區(qū)域3個(gè)部分,分別用RE(下角E代表edge),RT(下角T代表texture)和RF(下角F代表flat,下同)表示。在人的感知領(lǐng)域,它們的重要程度依次降低,即邊緣最重要,紋理次之,平坦區(qū)域最低。由于3種區(qū)域的梯度幅度值具有依次降低的規(guī)律,因此可以用梯度的幅度值的大小進(jìn)行分類。這里仍采用文獻(xiàn)的方法來(lái)將圖像按內(nèi)容劃分成上述3個(gè)區(qū)域:(1)用Sobel算子提取原圖像和降質(zhì)圖像的梯度場(chǎng)。并分別逐點(diǎn)計(jì)算原圖像和降質(zhì)圖像梯度場(chǎng)的幅度;(2)確定分割規(guī)則中所涉及的閾值為T1=0.12grmax,T2=0.06grmax,其中g(shù)rmax是原圖像中梯度幅度的最大值;(3)在原圖和降質(zhì)圖像中的對(duì)應(yīng)位置上的點(diǎn)(i,j)處,原圖像的梯度幅度為po(i,j),降質(zhì)圖像的梯度幅度為pr(i,j),則這點(diǎn)屬于RE,RT和RF3個(gè)區(qū)域中的哪一個(gè)根據(jù)以下規(guī)則確定:R1:如果po(i,j)>T1或pr(i,j)>T1,則(i,j)∈RE;R2:如果po(i,j)<T2且pr(i,j)≤T1,則(i,j)∈RF;R3:如果T1≥po(i,j)≥T2且pr(i,j)≤T1,則(i,j)∈RT;根據(jù)SSIMnew索引圖中各點(diǎn)在原圖像中的對(duì)應(yīng)位置所在區(qū)域即可將SSIMnew索引圖中的各點(diǎn)分別劃分到邊界、紋理或平坦區(qū)域,構(gòu)成SSIMnew邊緣索引圖E、SSIMnew紋理索引圖T和SSIMnew平坦區(qū)域索引圖F。3.3模糊積分ssim-ndg模糊積分理論是由Sugeno提出的。模糊積分是在模糊測(cè)度的基礎(chǔ)上建立起來(lái)的,它常常被用來(lái)融合多個(gè)信息源的模糊測(cè)度來(lái)生成綜合評(píng)判。定義3.1設(shè)X是一任意集合,B是X的Borel場(chǎng)。定義在B上一個(gè)集合函數(shù)g,如果它滿足以下3個(gè)條件,則它是一個(gè)模糊測(cè)度:(1)有界性:g(?)=0,g(X)=1;(2)單調(diào)性:如果A1?A2,且A1,A2∈B,則有g(shù)(A1)≤g(A2);(3)連續(xù)性:如果A1?A2?…?An?…?An∈B,則g(∞∪n=1An)=limn→∞g(An)。定義3.2設(shè)(X,B,g)為一模糊空間,f:X→為一B-可測(cè)函數(shù),則某一集合A?X上的基于模糊測(cè)度g的Sugeno模糊積分定義為(S)∫Af(x)dg=supE?X[min(minx∈Ef(x),g(A∩E))]=supα?[min(α,g(A∩Fα(f))](8)其中,Fα(f)={x|f(x)≥α}。模糊測(cè)度和模糊積分的詳細(xì)介紹及應(yīng)用參見(jiàn)文獻(xiàn)。設(shè)X={xi|i=1,2,?,Ν}?Y={yi|i=1,2,?,Ν}?xi和yi分別表示原圖像和降質(zhì)圖像中相同位置對(duì)應(yīng)的圖像塊,N為圖像區(qū)域分類中,所劃分的某一個(gè)SSIMnew區(qū)域索引圖M∈{E,T,F}中的點(diǎn)數(shù)。令Μ={mi=SSΙΜnew(xi,yi)|i=1,2,?,Ν},則由式(8)第2個(gè)等式可得,集合M所對(duì)應(yīng)區(qū)域的整體相似度為RSΙΜ(Μ)=(S)∫ΜSSΙΜnew(xi,yi)dg=supmi∈Μ[min(mi,g(Fmi(Μ)))](9)其中,Fmi(Μ)={mk|mk≥mi,mk∈Μ}?g(Κ)=|Κ|/Ν?|Κ|表示集合K中的元素個(gè)數(shù)。這樣就分別得到了邊界、紋理和平坦區(qū)域的相似度:RSIM(E),RSIM(T)和RSIM(F)?？梢赃@樣理解模糊積分在這里的作用:某個(gè)區(qū)域中的任意一點(diǎn)的SSIMnew可以看成是評(píng)價(jià)該區(qū)域圖像質(zhì)量的一個(gè)信息源,模糊積分則融合這些信息源來(lái)生成對(duì)這個(gè)區(qū)域的綜合評(píng)判。而每個(gè)信息源的模糊測(cè)度表示至少具有這種評(píng)判的信息源在該區(qū)域中所占的比例。隨著SSIMnew增大,g單調(diào)不增。當(dāng)SSIMnew與g的值最接近時(shí),取兩者中較小的那個(gè)就是模糊積分最終得到評(píng)判。由此可以看出,模糊積分實(shí)際上是對(duì)SSIMnew和g的一種權(quán)衡。此外,這里可以利用SSIMnew和g的上述單調(diào)關(guān)系,快速找到它們最接近的點(diǎn),從而減少計(jì)算量。最后對(duì)上面得到的3個(gè)區(qū)域的相似度進(jìn)行加權(quán)求和得到圖像質(zhì)量測(cè)度為其中,wE+wT+wF=1。CBM的值域?yàn)?當(dāng)被評(píng)價(jià)圖像與原圖像完全相同時(shí)取得最大值1。4實(shí)驗(yàn)三:客觀主觀地理動(dòng)力量的質(zhì)量為了測(cè)試CBM測(cè)度的合理性和有效性,我們?cè)O(shè)計(jì)了以下3組測(cè)試實(shí)驗(yàn):一是所提出的客觀測(cè)度與主觀感知的一致性實(shí)驗(yàn);二是該客觀測(cè)度的有效性實(shí)驗(yàn);三是客觀測(cè)度的靈敏度測(cè)試實(shí)驗(yàn)。實(shí)驗(yàn)中計(jì)算SSIMnew時(shí)采用的鄰域圖像塊大小均為11×11。根據(jù)文獻(xiàn)中的給出的參數(shù),并將文獻(xiàn)中給出的邊緣、紋理和平坦區(qū)域的重要性歸一化,本文實(shí)驗(yàn)中使用的參數(shù)如表1所示。4.1實(shí)驗(yàn)結(jié)果和分析使用LIVE圖像質(zhì)量評(píng)估數(shù)據(jù)庫(kù)。在這個(gè)數(shù)據(jù)庫(kù)中29幅高分辨率的RGB圖像被壓縮成175幅JPEG圖像和169幅JPEG2000圖像。其中還包括它們的原圖像和主觀評(píng)價(jià)數(shù)據(jù)和其他詳細(xì)信息。首先,計(jì)算各降質(zhì)圖像由客觀測(cè)度得出的客觀成績(jī),并用非線性回歸分析與主觀評(píng)價(jià)成績(jī)(meanopinionscore,MOS)進(jìn)行擬合,然后使用文獻(xiàn)定義的以下3個(gè)評(píng)價(jià)標(biāo)準(zhǔn)來(lái)衡量客觀預(yù)測(cè)和主觀評(píng)價(jià)的一致程度:其一為非線性回歸分析后的主客觀成績(jī)相關(guān)系數(shù)(correlationcoefficient,CC),它反映了客觀測(cè)度預(yù)測(cè)的精確性;其二為Spearman等級(jí)次序相關(guān)系數(shù)(rankordercorrelationcoefficient,ROCC),它反映了客觀測(cè)度預(yù)測(cè)的單調(diào)性;其三為非線性回歸分析后的離出率(outlierratio,OR),即經(jīng)非線性回歸后超出對(duì)應(yīng)主觀成績(jī)2倍方差的客觀成績(jī)的比例,它反映了客觀測(cè)度預(yù)測(cè)的穩(wěn)定性。此外,還使用了非線性回歸分析后的客觀測(cè)度與主觀感知的均方誤差(rootmeansquare,RMS)和平均絕對(duì)誤差(meanabsoluteerror,MAE)作為評(píng)價(jià)該算法有效性的測(cè)度。客觀測(cè)度包括CBM和PSNR用第1節(jié)介紹的MSSIM算法對(duì)該數(shù)據(jù)庫(kù)中的全部圖像進(jìn)行測(cè)試所得到的對(duì)比實(shí)驗(yàn)結(jié)果如表2和圖3所示。CBM的與主觀成績(jī)的CC、ROCC均高于其他3種測(cè)度,而MAE、RMS和OR則低于其他3種測(cè)度。由此可見(jiàn),CBM與主觀評(píng)價(jià)結(jié)果更一致。4.2密度和信噪比變化實(shí)驗(yàn)的測(cè)試圖像為標(biāo)準(zhǔn)的“Lena”圖像分別用窗口大小為W×W的平均窗模糊,加入密度為D的椒鹽噪聲和加入方差為V的零均值高斯噪聲,以及進(jìn)行壓縮比為R的JPEG壓縮后所形成的一系列降質(zhì)圖像組。圖4分別給出了隨著這四種降質(zhì)強(qiáng)度增加,CBM逐漸下降的曲線圖,這與我們所預(yù)期的一樣。由此可見(jiàn),CBM對(duì)這4種降質(zhì)類型都是有效的。4.3圖像質(zhì)量的對(duì)比將圖5(a)所示的“Couple”圖像經(jīng)過(guò)不同處理后得到的降質(zhì)圖像如圖5(b)～圖5(