邊緣區(qū)域約束引導(dǎo)的運(yùn)動(dòng)模糊圖像復(fù)原算法

邊緣區(qū)域約束引導(dǎo)的運(yùn)動(dòng)模糊圖像復(fù)原算法

如果你用相機(jī)拍攝物體，物體運(yùn)動(dòng)、相機(jī)振動(dòng)和物體失焦將導(dǎo)致圖像模糊，降低圖像的視覺(jué)質(zhì)量。一個(gè)好的去除模糊算法可以恢復(fù)這些模糊圖像中失去的高頻細(xì)節(jié)，并恢復(fù)原始清晰圖像。過(guò)去幾十年中人們已提出大量去模糊算法.早期工作中,Kundur等總結(jié)了利用圖像頻域信息估計(jì)模糊核及去模糊的算法,這些算法易受噪聲影響,且恢復(fù)的圖像存在大量振鈴.近年來(lái),針對(duì)去模糊問(wèn)題的不適定性,大量算法引入各種先驗(yàn)來(lái)約束目標(biāo)圖像的解空間.這些算法按先驗(yàn)約束形式的不同分為兩大類:加入圖像統(tǒng)計(jì)先驗(yàn)[5,6,7,8,9,10,11,12,13];利用多幅圖像或者硬件設(shè)備獲取先驗(yàn).Huang等提出引入自然圖像小波系數(shù)的統(tǒng)計(jì)先驗(yàn)約束圖像的解空間.Roth等提出一種FOE(fieldsofexperts)框架來(lái)學(xué)習(xí)自然圖像先驗(yàn).Levin和Fergus等最早將這些先驗(yàn)引入到去模糊中.其中,Levin利用自然圖像梯度服從Laplacian分布的先驗(yàn)估計(jì)模糊核;Fergus等進(jìn)一步利用此分布對(duì)目標(biāo)圖像建立概率模型,然后最大化后驗(yàn)概率估計(jì)模糊核.Shan等將圖像噪聲、圖像梯度以及模糊核等的先驗(yàn)分布應(yīng)用到文獻(xiàn)的模型中,有效地抑制了振鈴現(xiàn)象.此外,圖像梯度Hyper-Laplacian先驗(yàn)、content-aware先驗(yàn)、圖像稀疏先驗(yàn)以及多種圖像噪聲先驗(yàn)均被用來(lái)約束目標(biāo)圖像.對(duì)于這類算法,雖然更多統(tǒng)計(jì)先驗(yàn)的加入會(huì)使結(jié)果有所提高,但算法卻更復(fù)雜,問(wèn)題的求解更困難.Rav-Acha等利用連續(xù)2幀模糊圖像之間的約束來(lái)估計(jì)模糊核;Nayar等、Tai等利用從一個(gè)攝像機(jī)的視頻序列估計(jì)到的模糊核來(lái)恢復(fù)另一個(gè)攝像機(jī)的模糊圖像;Yuan等利用一幅噪聲圖像來(lái)估計(jì)另外一幅模糊圖像的模糊核.另外,Levin等通過(guò)在普通相機(jī)鏡頭中插入一張卡片來(lái)區(qū)分不同的失焦程度,進(jìn)而估計(jì)出模糊核;Joshi等利用攝像機(jī)附帶的運(yùn)動(dòng)傳感器來(lái)記錄運(yùn)動(dòng)信息并以此來(lái)約束模糊核:上述算法雖然模糊核估計(jì)精度高、恢復(fù)效果好,但卻需要同時(shí)拍攝多幅圖像或者安裝額外設(shè)備,限制了其使用范圍.對(duì)于單幅圖像去模糊,2類算法中只有第一類合適.但Levin等指出,此類算法在同時(shí)求解目標(biāo)圖像與模糊核時(shí)會(huì)陷入局部最優(yōu),得不到理想的結(jié)果.然而通過(guò)觀察發(fā)現(xiàn),模糊圖像通常都存在模糊階躍邊緣,這些邊緣為模糊核提供了大量約束條件,可利用它們準(zhǔn)確估計(jì)出模糊核.基于以上分析,本文提出一種利用邊緣區(qū)域估計(jì)模糊核然后反卷積恢復(fù)運(yùn)動(dòng)模糊圖像的算法.該算法自動(dòng)選取模糊圖像的邊緣區(qū)域,然后利用邊緣區(qū)域與模糊核之間的區(qū)域約束關(guān)系用RANSAC算法直接估計(jì)出模糊核,最后反卷積得到清晰圖像.1模糊核估計(jì)算法圖像模糊一般被看作清晰圖像卷積模糊核得到模糊圖像的過(guò)程,其模型為B=Ι*Κ+Ν(1)其中,B為模糊圖像,I為清晰圖像,K為模糊核,N為圖像噪聲,*表示卷積運(yùn)算.若沒(méi)有其他約束條件,則有多組{I,K}滿足式(1),這是一個(gè)不適定問(wèn)題.一般的解決算法是在模型中引入I和K的先驗(yàn),然后最大化后驗(yàn)概率P(I,K|B)求解,即maxΙ,ΚΡ(Ι,Κ|B)∝Ρ(B|Ι,Κ)Ρ(Ι)Ρ(Κ)(2)定義能量函數(shù)E(I,K)=-log(P(I,K|B)),則式(2)轉(zhuǎn)化為最小化能量函數(shù)minΙ,ΚE(Ι,Κ)=f(Ν)+λ1γ(Ι)+λ2γ(Κ)(3)其中,f(N),γ(I),γ(K)分別為噪聲N、清晰圖像I與模糊核K的能量項(xiàng);λ1,λ2為權(quán)重系數(shù).利用式(3)恢復(fù)清晰圖像I時(shí),模糊核K將至關(guān)重要.若K未知,則E(I,K)一般為非凸函數(shù),解可能為局部最優(yōu)解而非真實(shí)解.即使解能達(dá)到全局最優(yōu),但由于一般都采用圖像梯度Laplacian先驗(yàn),導(dǎo)致式(3)會(huì)選擇梯度小的目標(biāo)圖像而非邊緣梯度大的真實(shí)圖像.如果能得到準(zhǔn)確的K,那么通過(guò)選取合適的噪聲模型與圖像先驗(yàn)?zāi)Ｐ?如N服從高斯分布,I的梯度服從Laplacian分布,則E(I,K)為I的凸函數(shù),最小化式(3)能得到I唯一的全局極值解.以上2種情況可以從圖1中看出,當(dāng)模糊核未知時(shí),用Shan等的去模糊算法得到的如圖1b所示的結(jié)果中存在大量振鈴;而模糊核已知時(shí),Shan等恢復(fù)的如圖1e所示的結(jié)果中振鈴要少很多.考慮到模糊核在去模糊中的重要性,本文提出了一種準(zhǔn)確估計(jì)模糊核的算法.首先提取模糊邊緣區(qū)域的模糊核約束條件,然后求解此約束條件估計(jì)出準(zhǔn)確的模糊核.目前已有一些與本文相關(guān)的工作:Jia利用模糊邊緣區(qū)域透明度與模糊核之間的關(guān)系估計(jì)模糊核,它需要手動(dòng)選取邊緣區(qū)域;Xu等利用銳化后的模糊圖像估計(jì)模糊核,它容易受到邊緣銳化結(jié)果的影響;Joshi等通過(guò)提取模糊圖像的邊緣來(lái)估計(jì)模糊核,它受邊緣定位精度的影響.與之相比,本文算法自動(dòng)選取邊緣區(qū)域,不需要人工交互;利用邊緣區(qū)域的信息,不需要精確定位邊緣,因而對(duì)噪聲不敏感;此外,采用RANSAC算法求解,去除了一些不滿足約束條件的區(qū)域,使模糊核的估計(jì)更魯棒.2模糊核儲(chǔ)備本節(jié)定義了模糊核的邊緣區(qū)域約束,然后給出邊緣區(qū)域約束的參數(shù)估計(jì)算法以及基于約束的模糊核求解算法.2.1模糊階躍邊緣區(qū)域的約束與許多去模糊算法的假設(shè)一致,本文假設(shè)清晰圖像通常都存在階躍邊緣區(qū)域,而這些區(qū)域在模糊之后會(huì)得到模糊階躍邊緣區(qū)域.基于此,對(duì)于只由運(yùn)動(dòng)方向和速度決定的運(yùn)動(dòng)模糊核,下面給出它在模糊階躍邊緣區(qū)域中滿足的約束條件.如圖2所示,設(shè)清晰階躍邊緣區(qū)域I由被直線階躍邊緣分開的、灰度值分別為μ1和μ2的區(qū)域構(gòu)成.運(yùn)動(dòng)模糊核K的運(yùn)動(dòng)方向?yàn)棣?運(yùn)動(dòng)速度為l,其向量表示為(lx,ly).由I*K生成的模糊區(qū)域R的邊緣梯度值為?R=(Rx,Ry),則關(guān)系|Rxlx+Ryly|=|μ1-μ2|(4)成立.該關(guān)系稱為模糊核的邊緣區(qū)域約束,詳細(xì)證明見附錄A.對(duì)于某些模糊區(qū)域R,如果它對(duì)應(yīng)的清晰區(qū)域I不是階躍邊緣區(qū)域,則式(4)不成立,這些區(qū)域?yàn)橥恻c(diǎn)區(qū)域.2.2模糊核的區(qū)域劃分從圖像提取出模糊邊緣區(qū)域之后,每個(gè)區(qū)域R都對(duì)應(yīng)一個(gè)區(qū)域約束,但其中的參數(shù)Rx,Ry,μ1和μ2未知.下面用單高斯和混合高斯模型來(lái)求解這些參數(shù),求解示意圖如圖3所示.首先將區(qū)域R劃分為邊緣部分RE與非邊緣部分RˉE,其區(qū)域mask的值Rmask分別為1和0,如圖3c所示;然后分別從RE中估計(jì)Rx和Ry,從RˉE中估計(jì)μ1和μ2.理想情況下,RE的梯度為常數(shù),但受噪聲等的影響,它們近似服從高斯分布,如圖3c,3e所示,因此分別取RE水平梯度和垂直梯度的均值作為Rx,Ry的取值.與RE類似,在理想情況下,RˉE中的灰度值只取μ1和μ22個(gè)值,但實(shí)際中它近似服從2個(gè)成分的混合高斯分布,如圖3f所示,因此取2個(gè)高斯成分的均值作為μ1和μ2的取值.區(qū)域劃分.利用RE梯度值大、RˉE梯度值小的性質(zhì),選取R中梯度值小的點(diǎn)作為RˉE.利用RˉE得到μ1與μ2,然后選取RE使其與μ1,μ2相差較大.Rmask的取值為求解mask時(shí),T1和T2的取值越大,則邊緣部分RE的范圍越小.實(shí)驗(yàn)中,T1和T2的值固定,T1取為4,T2取為10,不同T1,T2的值對(duì)結(jié)果的影響見第4節(jié).對(duì)每一個(gè)模糊邊緣區(qū)域R,均存在一個(gè)區(qū)域約束式(4).從圖像提取到M個(gè)模糊區(qū)域之后,則可得如下關(guān)于模糊核K的約束方程組為{|R1xlx+R1yly|=|μ11-μ12||R2xlx+R2yly|=|μ21-μ22|?|RΜxlx+RΜyly|=|μΜ1-μΜ2|(5)其中,Rix,Riy,μi1和μi2表示第i個(gè)區(qū)域的約束方程參數(shù).2.3ransac算法求解式(5)可通過(guò)最小化目標(biāo)函數(shù)求解.但此算法存在一些問(wèn)題.如圖4所示,從圖4b中提取的一些邊緣區(qū)域?yàn)橥恻c(diǎn)區(qū)域,如圖4c所示;圖4c中第1列為模糊區(qū)域,第2列為對(duì)應(yīng)的清晰區(qū)域,可以看出,清晰區(qū)域不存在階躍邊緣,這就導(dǎo)致式(4)不成立,從而使得利用這些區(qū)域的約束方程組估計(jì)模糊核會(huì)出現(xiàn)偏差.為了去除這些外點(diǎn)區(qū)域的影響,本文采用對(duì)外點(diǎn)魯棒的RANSAC算法求解.具體求解步驟如下:Step1.初始解給定.對(duì)M個(gè)區(qū)域中的任意2個(gè)區(qū)域,如果它們的階躍邊緣方向大于一定的角度,則利用它們得到一個(gè)非奇異的方程組{|Rxilx+Ryily|=|μ1i-μ2i||Rxjlx+Ryjly|=|μ1j-μ2j|(6)求解該方程組則可得2組初始解.Step2.內(nèi)點(diǎn)區(qū)域確定.分別對(duì)Step1得到的2組解計(jì)算其他M-2個(gè)區(qū)域滿足約束的程度eRi=||Rxilx+Ryily|-|μ1i-μ2i||?把eRi值最小的前幾個(gè)區(qū)域以及原來(lái)的2個(gè)區(qū)域一起作為內(nèi)點(diǎn)區(qū)域.Step3.重新估計(jì).最小化內(nèi)點(diǎn)區(qū)域的目標(biāo)函數(shù),得到解(lx,ly),即minlx,ly∑i||Rxilx+Ryily|-|μ1i-μ2i||?其中Ri為內(nèi)點(diǎn)區(qū)域.Step4.計(jì)算代價(jià).計(jì)算新解(lx,ly)下內(nèi)點(diǎn)區(qū)域的代價(jià).Step5.遍歷所有區(qū)域?qū)?然后選取代價(jià)最小的解作為模糊核.在圖4d中,第1行是從圖4b中隨機(jī)選擇的模糊區(qū)域?qū)?yīng)的清晰區(qū)域,其中的虛框區(qū)域?yàn)橥恻c(diǎn)區(qū)域;第2行是RANSAC算法選擇的區(qū)域,可以看出,它有效地去除了外點(diǎn)區(qū)域.3模糊圖像的估計(jì)本文解決由相機(jī)抖動(dòng)產(chǎn)生的全局一致運(yùn)動(dòng)模糊,算法流程如圖5所示.首先從模糊圖像中提取階躍邊緣區(qū)域,然后利用這些區(qū)域的區(qū)域約束估計(jì)模糊核,最后反卷積得到清晰圖像.3.1圖像內(nèi)邊緣質(zhì)中n/p值的計(jì)算時(shí)市模糊圖像的階躍邊緣區(qū)域可以通過(guò)人工交互提取,但這會(huì)導(dǎo)致算法的通用性差.本文采用自動(dòng)提取區(qū)域的算法,從模糊圖像預(yù)測(cè)出可能的清晰圖像,然后選擇清晰圖像的階躍邊緣區(qū)域.首先對(duì)模糊圖像用shockfilter得到邊緣銳化的圖像I,然后選取圖像I中梯度大且梯度方向一致的區(qū)域.定義區(qū)域R是否存在邊緣的度量為其中?I表示圖像I的梯度.當(dāng)區(qū)域R中存在階躍邊緣時(shí),則SR的值較大;而當(dāng)區(qū)域R是紋理區(qū)域或者平滑區(qū)域時(shí),SR的值較小.從圖6c可以看出,模糊圖像邊緣的SR較大,所以算法選取SR大的區(qū)域作為候選區(qū)域.但是,如果提取的各個(gè)區(qū)域的階躍邊緣方向相同,則式(6)奇異,因此提取的區(qū)域需包含各個(gè)方向.選取區(qū)域時(shí),算法首先遍歷圖像的各個(gè)區(qū)域,確定其邊緣方向,然后分別在每個(gè)方向中選取SR最大的前幾個(gè)區(qū)域作為最終提取的區(qū)域.圖6b給出了提取的邊緣區(qū)域.圖6d所示第1行中的一些模糊區(qū)域所對(duì)應(yīng)的清晰區(qū)域見第2行,可以看出清晰區(qū)域存在階躍邊緣,第3行所示為這些區(qū)域?qū)?yīng)的mask,表明利用這些區(qū)域可以得到合理的區(qū)域約束.所有實(shí)驗(yàn)中選取8個(gè)邊緣方向,每個(gè)方向取SR最大的前5個(gè)區(qū)域.選取區(qū)域的大小與模糊核的大小有關(guān),模糊核越大,則區(qū)域越大,第4節(jié)將給出區(qū)域大小對(duì)模糊結(jié)果的影響.3.2產(chǎn)生振鈴的噪聲模型從區(qū)域中估計(jì)出模糊核之后,現(xiàn)有的大量去卷積算法可以去模糊,本文采用能有效抑制振鈴的Shan等的算法.Shan等指出傳統(tǒng)算法產(chǎn)生振鈴的主要原因在于沒(méi)有對(duì)圖像噪聲建立合理的模型,為此他們提出了一種新的噪聲模型;同時(shí)還引入了圖像局部先驗(yàn)來(lái)去除平滑區(qū)域的振鈴.這兩部分工作使得該算法在模糊核估計(jì)準(zhǔn)確時(shí)能有效地抑制振鈴.但是,Shan等的算法在模糊核估計(jì)不準(zhǔn)確時(shí)結(jié)果會(huì)存在大量振鈴.因此,本文采用基于邊緣區(qū)域約束的算法直接估計(jì)出準(zhǔn)確的模糊核,再利用Shan等的算法恢復(fù)出清晰圖像,結(jié)果的振鈴會(huì)少很多.4實(shí)驗(yàn)與結(jié)果分析本文實(shí)驗(yàn)包括兩部分:1)本文算法去模糊結(jié)果,并與其他算法進(jìn)行比較;2)模糊核估計(jì)中各種參數(shù)選擇對(duì)結(jié)果的影響.4.1跨境模糊對(duì)比實(shí)驗(yàn)本文從視覺(jué)效果和數(shù)值評(píng)價(jià)兩方面與Fergus,Shan以及Xu的算法進(jìn)行了比較.圖7～9所示為4種算法去模糊后圖像的視覺(jué)比較結(jié)果.這些算法均使用作者提供的程序,并對(duì)其中的參數(shù)進(jìn)行調(diào)整以達(dá)到最優(yōu)效果,Fergus算法采用圖7～9中的框來(lái)確定模糊核.設(shè)原始清晰圖像為I,恢復(fù)后的圖像為I*,圖像的大小為m×n,則2幅圖像的均方差(meansquareerror,MSE)為ΜSE=1mn∑i=1m∑j=1n[Ι(i,j)-Ι*(i,j)]2.設(shè)圖像的最大可能灰度值為Imax,一般取為255,則峰值信躁比(peaksignaltonoiseratio,PSNR)的定義為ΡSΝR=10lg(Ιmax2ΜSE).1)視覺(jué)效果.圖7所示為一組去除小模糊的對(duì)比實(shí)驗(yàn)結(jié)果.其中,Fergus算法振鈴明顯,主要原因是模糊核估計(jì)不準(zhǔn)確,同時(shí)其使用Richardson-Lucy(RL)算法帶來(lái)了大量振鈴;Shan算法噪聲較多,可從圖7d所示放大的圖像部分看到,這是由于去模糊求解時(shí)陷入了局部極值;Xu算法有效地去除了模糊,但對(duì)另外一些圖像(如圖8c)的效果不好;而本文算法振鈴很少,噪聲也不明顯,這是因?yàn)楣烙?jì)的模糊核比較準(zhǔn)確,同時(shí)采用的Shan算法有效地抑制了振鈴.圖8所示為去除小模糊的另外一組對(duì)比實(shí)驗(yàn)結(jié)果.此模糊圖像存在大量階躍邊緣,非常有利于估計(jì)模糊核,因此本文算法適合去除該圖像的模糊,實(shí)驗(yàn)結(jié)果也驗(yàn)證了這一點(diǎn).Fergus算法存在大量模糊,這是由于模糊核的估計(jì)不準(zhǔn)確造成的,Xu算法存在較明顯的重影,而Shan算法噪聲較多,只有本文算法恢復(fù)出了既沒(méi)有重影又噪聲小的圖像,模糊圖像中無(wú)法辨認(rèn)的“灣”字在采用本文算法去模糊后也得以辨認(rèn).圖9所示為一組較大模糊時(shí)的對(duì)比實(shí)驗(yàn)結(jié)果.其中,本文算法和Shan算法的結(jié)果明顯好于Fergus算法與Xu算法;但Shan算法的耳朵和眼睛部分存在大量塊狀現(xiàn)象,而本文結(jié)果比它平滑,沒(méi)有塊狀現(xiàn)象.以上3組實(shí)驗(yàn)驗(yàn)證了本文算法的有效性,更多實(shí)驗(yàn)結(jié)果如圖10所示.由這些實(shí)驗(yàn)結(jié)果可以看出,本文算法特別適合于去除包含大量階躍邊緣的圖像的模糊,比如汽車牌照等.2)數(shù)值評(píng)價(jià).為了進(jìn)行定量評(píng)價(jià),表1給出了4種算法對(duì)圖7～93幅圖像去模糊結(jié)果的PSNR.可以看出,本文算法的PSNR比其他3種算法大,進(jìn)一步說(shuō)明了本文算法的有效性.4.2ransac仿真實(shí)驗(yàn)下面給出模糊核估計(jì)中參數(shù)T1,T2以及區(qū)域大小對(duì)結(jié)果的影響.1)參數(shù)T1和T2.T1,T2主要影響區(qū)域的邊緣部分和非邊緣部分的劃分,它們的取值越大,則邊緣部分的范圍越小,而非邊緣部分的范圍越大,反之亦然.因此它們?nèi)≈堤蠡蛱《紝⑹沟肦mask求解出現(xiàn)偏差,從而導(dǎo)致區(qū)域約束參數(shù)估計(jì)錯(cuò)誤.但是,在一定范圍內(nèi),區(qū)域約束參數(shù)受T1,T2的影響不大.本文實(shí)驗(yàn)中測(cè)試了{(lán)T1,T2}的5組值:{2,10},{4,10},{6,10},{4,6}和{4,14}.在這5組值下,分別估計(jì)區(qū)域參數(shù)X∈{Rx,Ry,μ1,μ2},得到5組參數(shù)估計(jì)值Xi(i=1,…,5).設(shè)X的均值為E(X),E(X)=15∑i=15Xi;方差為V(X),V(X)=15∑i=15(Xi-E(X))2.則區(qū)域參數(shù)X受T1,T2的影響可用Q(X)=V(X)E(X)度量.若Xi受T1,T2的影響而變化大,則Q(X)值大.圖11所示為一組實(shí)驗(yàn)結(jié)果,其中圖11a所示為模糊圖像及提取的邊緣區(qū)域,圖11b所示為這些區(qū)域的約束參數(shù)Rx,Ry,μ1和μ2的Q值.從圖11b可以看出,大多數(shù)區(qū)域的Q值都很小,只有少數(shù)幾個(gè)區(qū)域的Q值較大,說(shuō)明大多數(shù)區(qū)域的區(qū)域約束參數(shù)受T1,T2的影響不大.那些Q值大的區(qū)域可能是外點(diǎn)區(qū)域,本文采用RANSAC算法可以去除這些區(qū)域.因此,T1,T2在一定范圍內(nèi)的取值對(duì)模糊核估計(jì)的影響不大,所有實(shí)驗(yàn)中T1為4,T2為10.2)區(qū)域大小.區(qū)域大小對(duì)去模糊結(jié)果有直接的影響,如果區(qū)域太小,則區(qū)域中沒(méi)有非邊緣部分,導(dǎo)致無(wú)法從非邊緣部分得到μ1和μ2;否則,區(qū)域可能包含多個(gè)邊緣,其對(duì)應(yīng)的清晰區(qū)域不是階躍邊緣區(qū)域,從而不滿足式(4).所以,區(qū)域大小的選擇要合理.一般地