Single Image Haze Removal Using Dark Channel Prior中文版剖析

1、SingleImageHazeRemovalUsingDarkChannelPriorKaimingHe,JianSun,XiaoouTangTheChineseUniversityofHongKongMicrosoftResearchAsia基于暗原色先驗(yàn)的單一圖像去霧方法何愷明，孫劍，湯曉鷗香港中文大學(xué)微軟亞洲研究院摘要在這篇論文當(dāng)中，我們提出了一種簡單但是有效的圖像先驗(yàn)規(guī)律暗原色先驗(yàn)來為單一輸入圖像去霧。暗原色先驗(yàn)來自對戶外無霧圖像數(shù)據(jù)庫的統(tǒng)計(jì)規(guī)律，它基于經(jīng)觀察得到的這么一個(gè)關(guān)鍵事實(shí)絕大多數(shù)的戶外無霧圖像的每個(gè)局部區(qū)域都存在某些至少一個(gè)顏色通道的強(qiáng)度值很低的像素。利用這個(gè)先驗(yàn)建立的去霧模

2、型，我們可直接估算霧的濃度并且復(fù)原得到高質(zhì)量的去除霧干擾的圖像。對戶外各種不同的帶霧圖像的處理結(jié)果表明了darkchannelprior的巨大作用。同時(shí)，作為去霧過程中的副產(chǎn)品，我們還可獲得該圖像高質(zhì)量的深度圖。1引言戶外景物的圖像通常會因?yàn)榇髿庵械幕鞚岬拿浇椋ū热绶肿樱蔚龋┒蒂|(zhì)，霧靄、蒸氣都因大氣吸收或散射造成此類現(xiàn)象。照相機(jī)接收到景物反射過來的光線經(jīng)過了衰減。此外，得到的光線還混合有大氣光（經(jīng)大氣分子反射的周圍環(huán)境的光線）。降質(zhì)的圖像的對比度和顏色的保真度有所下降，如圖1所示。由于大氣散射的程度和景點(diǎn)到照相機(jī)的距離有關(guān)，圖像降質(zhì)是隨著空間變化的。在消費(fèi)計(jì)算攝影業(yè)和計(jì)算機(jī)視覺領(lǐng)域，圖像

3、去霧有著廣泛的需求。首先，去霧能顯著地提高景象的清晰度并且改正因空氣而帶來的色移。一般的，去除霧干擾的圖片看起來要更加舒服。其次，大多數(shù)的計(jì)算機(jī)視覺算法，從低級別的圖像分析，到高級別的目標(biāo)識別，一般會假定輸入圖像即景物的原始光線會聚所成。視覺算法（例如特征檢測、濾波、光度分析等）的實(shí)現(xiàn)會不可避免地因?yàn)槠?、低對比度圖像而不理想。再次，去霧可產(chǎn)生圖像的深度信息，有助于視覺算法和高級的圖像編輯。通常意義下不好的霧也能派上用場，作為深度的線索能加深人們對景像的理解。然而，去霧是一項(xiàng)有挑戰(zhàn)性的課題，因?yàn)榇髿庵徐F所依賴的深度信息是未知的。而在只有一幅圖像可分析的情況下，解決這一問題又受到了制約。因此，很

4、多使用多張圖像或其他更多輔助信息的去霧方法被提出。在14,15中用多幅圖像從不同程度的偏振光的角度來去除霧的干擾。在8,10,12里通過從同一景象在不同天氣情況下的照片獲得更多的對比度的信息來去霧。5,11中基于深度的方法則需要來自對應(yīng)圖片或者已知的3D模型的大致深度信息。最近，基于單一圖像的去霧取得了很大的進(jìn)展。這些方法的成功往往得益于一個(gè)強(qiáng)有力的先驗(yàn)或假設(shè)。Tan16觀察到無霧圖像比有霧圖像具有更高的對比度，他通過擴(kuò)大復(fù)原圖像的局部對比度來達(dá)到去霧的效果。這樣得到的結(jié)果在視覺上是很吸引人的，但實(shí)際上在光學(xué)原理上達(dá)到去霧。Fattal2通過假定透射率和表面投影在局部是不相關(guān)的，估算景物的反射

5、率，來推斷景物光在空氣中傳播時(shí)的透射率。Fattal的的做法比較準(zhǔn)確，并且能產(chǎn)生很好的去霧結(jié)果。然而他的方法在霧濃度較大的時(shí)候便顯得無能為力，尤其是當(dāng)他的假想一旦失效的時(shí)候。在這篇文章，我們提出一種新的先驗(yàn)規(guī)律暗原色先驗(yàn)，來用于單一圖像去霧。暗原色先驗(yàn)是對戶外無霧圖像庫的統(tǒng)計(jì)得出的規(guī)律。我們發(fā)現(xiàn)，在不包括天空的絕大部分局部區(qū)域，總會存在一些我們稱之為“darkpixels"的像素，至少有一個(gè)顏色通道具備很低的強(qiáng)度值。在被霧干擾的圖像里，這些暗像素的強(qiáng)度值會被大氣中的白光成分所充斥而變得較高。因此，這些暗像素能夠直接用來評估霧光的透射信息。結(jié)合一個(gè)已有的霧成像模型和插值法摳圖修復(fù)，我們

6、可以得到高質(zhì)量的去霧圖像和很好的深度圖。我們實(shí)現(xiàn)的去霧不僅在物理上有效，而且能夠處理包括在霧濃度很大情況下的遠(yuǎn)距離物體。我們沒有依靠輸入圖像透射率或表面投影的顯著變化，結(jié)果基本沒有人工的痕跡或者暈影。和任何其他利用先驗(yàn)規(guī)律實(shí)現(xiàn)的算法一樣，我們的實(shí)現(xiàn)也有其限制因素。當(dāng)取景對象在較大范圍內(nèi)和天空接近并且沒有陰影覆蓋的時(shí)候，暗原色的猜想將不成立。盡管我們的去霧處理對大多數(shù)戶外帶霧圖像都有較好成果，在一些極限情況下還是會失效。我們相信，從不同的角度來發(fā)展這一先驗(yàn)，并且將其組合能使得這一工作更加完善。2背景在計(jì)算機(jī)視覺和計(jì)算機(jī)圖形中，下述方程所描述的霧圖形成模型被廣泛使用16,2,8,9:(1)l(x)

7、二J(x)t(x)+AG-1(x)I是指觀測到的圖像的強(qiáng)度，J是景物光線的強(qiáng)度，A是全球大氣光成分，t用來描述光線通過媒介透射到照相機(jī)過程中沒有被散射的部分，去霧的目標(biāo)就是從I中復(fù)原J,A,t。方程右邊的第一項(xiàng)J(x)t(x)叫做直接衰減項(xiàng)16,第二項(xiàng)A(l-t(x)則是大氣光成分。直接衰減項(xiàng)描述的是景物光線在透射媒介中經(jīng)衰減后的部分，而大氣光則是由前方散射引起的，會導(dǎo)致景物顏色的偏移。因?yàn)榇髿鈱涌煽闯筛飨蛲缘?，透射率t可表示為：(2)t(x)二e-也(x)貝塔大氣的散射系數(shù)，該式表明景物光線是隨著景物深度d按指數(shù)衰減的。霧圖形成模型方程意味著，在RGB色彩空間中，向量A，J(x)，I(x)

8、從幾何學(xué)來看是共面的，它們的端點(diǎn)則是共線的，透射系數(shù)t是兩條線段長度之比(3)|AI(xjAcIc(x)|A-J(x)Ac-Jc(x)cer,g,b，是顏色通道的index在這個(gè)模型上，Tan的方法16集中在增強(qiáng)圖像的清晰度/能見度上。在透射率t可近似看作不變的區(qū)域內(nèi)，由于t<1，輸入圖像的可見度(梯度之和)在霧的干擾之下減少：工|VI(x)卜t工|VJ(x)|<工|VJ(x)|xxx在一個(gè)局部區(qū)域內(nèi)，透射率函數(shù)t是通過擴(kuò)大圖像可見度并且使對比度滿足J(x)的強(qiáng)度低于A的方法來估測的。一個(gè)MRF模型被用來進(jìn)一步規(guī)范該結(jié)果。這一嘗試將進(jìn)一步揭開霧成像的一些細(xì)節(jié)和結(jié)構(gòu)上的奧秘。然而，這

9、一方法會產(chǎn)生更大的飽和值因?yàn)樗鼉H僅集中在可見度的增強(qiáng)而并沒有從物理上去復(fù)原原始景物的光線。此外，在靠近深度不連續(xù)的部位可能會包含一些光環(huán)效應(yīng)。在當(dāng)中，F(xiàn)ttal提出了一種基于獨(dú)立成分分析(ICA)的實(shí)現(xiàn)方法。首先，局部區(qū)域的反射率被假定為一個(gè)恒定的向量R。因而，在該區(qū)域內(nèi)所有的J(x)擁有相同的方向向量R,如圖2所示。其次，通過假定在一個(gè)局部表面投影J(x)和透射率函數(shù)t(x)在統(tǒng)計(jì)學(xué)上是相互獨(dú)立的，可以用ICA來估算R。再次，由輸入的彩色圖像建立的MRF模型可應(yīng)用來推斷整幅圖像的結(jié)果。這一實(shí)現(xiàn)手段是基于物理的并能結(jié)合一幅優(yōu)質(zhì)的深度圖來產(chǎn)生自然的無霧圖像。不足的是，該手段因?yàn)槔昧艘粋€(gè)局部區(qū)域

10、的統(tǒng)計(jì)學(xué)獨(dú)立的假設(shè)，需要在相互獨(dú)立的成分之間差異很大的時(shí)候才能有顯著效果。任意差異性的匱乏或者過低的信噪比都會使得統(tǒng)計(jì)結(jié)果不可靠。還有，統(tǒng)計(jì)規(guī)律是根據(jù)圖像的顏色信息得出的，因此對灰度圖像無效。在霧濃度較大時(shí)，該方法也無能為力，因?yàn)闈忪F一般沒有色彩，傾向于成為噪聲。在本文下一部分，我們將展示一種新的先驗(yàn)規(guī)律暗原色先驗(yàn)，并用來直接評估戶外帶霧的圖像的透射率分布。3暗原色先驗(yàn)暗原色先驗(yàn)是通過對戶外無霧圖像的觀察得出的：在絕大多數(shù)非天空的局部區(qū)域里，某一些像素總會有至少一個(gè)顏色通道具有很低的值。換言之，該區(qū)域光強(qiáng)度的最小值是個(gè)很小的數(shù)。用公式描述，對于一幅圖像J,我們定義Jdarkmin(x)=min

11、cer,g,bvyeQ(x)(5)Jc代表J的某一個(gè)顏色通道，而0(x)是以x為中心的一塊方形區(qū)域。我們觀察得出，除了天空方位，Jdark的強(qiáng)度總是很低并且趨近于0。如果J是戶外的無霧圖像，我們把Jdark稱為J的暗原色，并且把以上觀察得出的經(jīng)驗(yàn)性規(guī)律稱為暗原色先驗(yàn)。造成暗原色中低通道值主要有三個(gè)因素：a)汽車、建筑物和城市中玻璃窗戶的陰影，或者是樹葉、樹與巖石等自然景觀的投影；b)色彩鮮艷的物體或表面，在RGB的三個(gè)通道中有些通道的值很低(比如綠色的草地、樹、植物，紅色或黃色的花朵、葉子，或者藍(lán)色的水面)；C)顏色較暗的物體或者表面，例如灰暗色的樹干和石頭?？傊?，自然景物中到處都是陰影或者彩

12、色，這些景物的圖像的暗原色總是很灰暗的。為了驗(yàn)證暗原色先驗(yàn)正確與否，我們從fliCkr.Com和其他一些圖片搜索引擎上使用flickr用戶標(biāo)記的150個(gè)最熱門的標(biāo)簽，收集了一個(gè)戶外圖像的數(shù)據(jù)庫，因?yàn)殪F主要出現(xiàn)在戶外景物或者城市中，我們從下載到的圖像中主要選出了這兩部分景區(qū)的無霧圖像。另外，我們只研究了白天的圖像。我們隨機(jī)選擇了5,000張圖像并手工去掉了包括天空區(qū)域的部分。它們均被剪裁成500*500的大小，計(jì)算的步長是15*15。圖3顯示了幾幅圖像以及相應(yīng)的暗原色。圖4(a)是超過5,000幅圖像的暗原色強(qiáng)度直方圖，圖4(b)是相應(yīng)的累計(jì)直方圖。我們可以看到暗原色當(dāng)中約有75%的像素強(qiáng)度值為

13、0，大概90%的像素強(qiáng)度值低于25。該統(tǒng)計(jì)結(jié)果強(qiáng)有力地支持了暗原色先驗(yàn)的合理性。我們同時(shí)還計(jì)算了每幅圖像暗原色像素的平均強(qiáng)度值，其直方圖如圖4(c)所示。同樣，大多的暗原色都具有比較低的平均強(qiáng)度值。這就意味著只有極少數(shù)的戶外無霧圖像不符合我們的先驗(yàn)規(guī)律。由于附加的大氣光，圖像被霧干擾之后往往要比其本身亮度更大，透射率t一般較小。所以被濃霧覆蓋的圖像的暗原色具有較高的強(qiáng)度值。視覺上看來，暗原色強(qiáng)度值是霧濃度的粗略近似(見圖3的右邊)。在下一部分，我們將利用這一性質(zhì)來估算透射和大氣光線的影響。可以看到，我們忽視了天空區(qū)域因?yàn)樵撎師o霧圖像的暗原色具有較高的強(qiáng)度值。幸好，可以利用霧圖形成模型方程(1)

14、結(jié)合我們所提出的先驗(yàn)謹(jǐn)慎地處理天空區(qū)域的問題。沒有必要明確地在圖像中去除天空區(qū)域，我們將在4.1討論這個(gè)方面。我們的暗原色先驗(yàn)的提出部分得益于眾所周知的廣泛用于多光譜傳感系統(tǒng)的dark-objectsubtraction技術(shù)。在1中，通過減去場景中最暗的點(diǎn)所對應(yīng)的一個(gè)常數(shù)來去除空間各向同性的霧。我們從這個(gè)想法中歸納得到了我們的新的去霧途徑。4通過暗原色先驗(yàn)去霧4.1 估測透射率分布我們首先假設(shè)大氣光因子A是給定的，在4.4中我們會展示一種自動評估大氣光的途徑。進(jìn)一步假定在一個(gè)局部區(qū)域的透射率是恒定不變的在方程(5)中使用取最小運(yùn)算符得到：minGc(y)=t(x)minGc(y)+(1-1(x

15、)AcyeQ(x)ywQ(x)注意到取最小運(yùn)算是對三個(gè)顏色通道單獨(dú)進(jìn)行操作的，該方程等價(jià)于Ic(y)?()-min=t(x)minyeQ(x)AcywQ(x)+(1-1(x)(6)(7)11這樣，在三個(gè)顏色通道中使用最小操作運(yùn)算，我們得到(8)Ic(y)Jc(y)min(min()=t(x)min(min()+(1-1(x)cym(x)AccyeQ(x)Ac根據(jù)暗原色先驗(yàn)的規(guī)律，無霧自然圖像的暗原色項(xiàng)Jdark應(yīng)該是接近于0的:Jdark(X)=minmin(Jc(y)cVywQ(x)丿(9)Ac總是正的,導(dǎo)致:(10)Jc(y)min(min()=0cyeQ(x)Ac把方程(10)帶入方程(

16、8)，我們可以簡單地估算出透射率t(11)Jc(y)t(x)=1-min(min()cyeQ(x)AcJc(y)Jc(y)事實(shí)上，min(min(-乂)是規(guī)格化的霧圖亠的暗原色。它直接提供了透射信息。如cyeO(x)AcAc前所述，暗原色先驗(yàn)對天空區(qū)域不成立，但幸好在帶霧的圖像中天空的顏色總是同大氣光A非常接近，所以在天空區(qū)域我們有：Jc(y)min(min()T1，和t(x)t0cym(x)Ac又因?yàn)樘炜展鈦碜詿o窮遠(yuǎn)處，其透射率趨近于0，所以式子(11)能較好地同時(shí)處理包含或者不包含天空的區(qū)域。我們并不需要事先把天空部分單獨(dú)加以處理?，F(xiàn)實(shí)中，即使是很晴朗的天氣，空氣中總會不可避免地包含一些雜

17、質(zhì)分子。所以當(dāng)我們看遠(yuǎn)處的物體時(shí)霧依然是存在的。而且，霧的存在是人們感知深度的一個(gè)基本線索3,13。這一現(xiàn)象被稱為空間透視。如果我們徹底地移除霧的存在，圖像會看起來不真實(shí)，并且深度感會丟失。所以我們可以通過在方程(11)中引進(jìn)一個(gè)常數(shù)o(0<OW1),有針對性的保留一部分覆蓋遙遠(yuǎn)景物的霧：(12)Jc(y)t(x)=1-min(min()cyeQ(x)Ac這一修正具有優(yōu)美的特性，對于遠(yuǎn)處的物體，它能相應(yīng)地保留更多的霧。o的值根據(jù)具體情況而定。在本文中，我們對所有的處理選取了一個(gè)定值：0.95。圖5(b)是通過用15*15的步長處理輸入霧圖(圖5(a)得到的透射率估測圖。由于透射率在一個(gè)局

18、部區(qū)域內(nèi)并不總是恒定的，所以該圖雖然大體上過得去，但包含一些塊效應(yīng)。在下一節(jié)，我們將通過一種軟修復(fù)的方法完善這一映射。4.2 軟圖像摳圖我們注意到霧圖形成模型方程(1)和摳圖方程在形式上很相似。透射率的分布其實(shí)就是阿爾法的分布。因此，我們應(yīng)用了一種軟摳圖算法7來完善透射率分布函數(shù)。記完善后的透射率函數(shù)映射為(X).把t(x)和(t(x)的用向量形式重新寫成t和t,把以下的代價(jià)函數(shù)最小化：E(t)=tTLt+九(tt)T(tt)(13)L是Levin7提出的摳圖拉普拉斯矩陣,九是一個(gè)修正后的參數(shù)。第一項(xiàng)是平滑項(xiàng),第二項(xiàng)是數(shù)據(jù)項(xiàng)，元素(ij)和矩陣L定義如下：工(5|(i,j良ij(1+(I廠卩k

19、)T(Lk+U)-1(1-卩)O3jkk(14)I和I是輸入圖像I在i、j像素處的色彩,ijq是Kroneckerdelta,卩和ijk工k分別是窗口3中色彩矩陣的平均值和方差。U是一個(gè)3*3的單位矩陣，8是一個(gè)修正參數(shù)，k3k是窗口3中像素的數(shù)目。k最優(yōu)的t可以通過解下面的稀疏線性系統(tǒng)得到：(L+九U)t=Xt(15)U是一個(gè)和L大小相等的單位矩陣。我們給九設(shè)置一個(gè)很小的值(在我們的實(shí)驗(yàn)中為104),因此t與t相關(guān)。Levin的軟摳圖修復(fù)方法在Hsuetal.4用來處理空間變量的白平衡問題。在Levin和Hsu兩人的工作中，t只在稀疏區(qū)域是已知的。Softmatting用來傳輸項(xiàng)推斷未知區(qū)域

20、的值。在本文中，我們使用softmatting粗略地完善填充了整幅圖像的t。圖5(c)是對5(b)的數(shù)據(jù)項(xiàng)進(jìn)行軟摳圖的結(jié)果。我們可以看到，修復(fù)后的透射率分布能抓住尖銳邊緣的不連續(xù)性，并且勾勒出物體的輪廓。4.3 復(fù)原物體光線有了透射分布，我們可以通過方程(1)復(fù)原物體的原始圖像。但當(dāng)t(x)接近0的時(shí)候，直接衰減項(xiàng)J(x)t(x)也會接近0。直接復(fù)原得到的原始圖像傾向于包含噪音。因此，我們把透射因子t(x)設(shè)定了一個(gè)下限t°。這意味著某些霧稠密的區(qū)域仍然保留著一定數(shù)量的霧。最終的復(fù)原J(x)通過下式實(shí)現(xiàn)：J(x)=I(x)-Amax(t(x),t°)+A(16)t0的一個(gè)典

21、型值是0.1。由于物體光線的亮度通常不及大氣光線，經(jīng)去霧處理后的圖像看起來要黯淡一些。因此我們在顯示時(shí)增加了J(x)的曝光。圖5(d)是我們最終的復(fù)原圖像。4.4估測大氣光從前的大多數(shù)單一圖像去霧方法當(dāng)中，大氣光成分A通常是從不透明的含霧的像素中測得。例如，在16中，最大強(qiáng)度值的像素被看成是大氣光。2完善這一做法。但在實(shí)際的圖像中，最明亮的像素點(diǎn)有可能是一輛白色的汽車或者是白色的建筑物。如我們在第三部分提到的，霧圖的暗原色能夠得到還算理想的霧濃度的粗略值(見圖6(b)。我們可以通過暗原色來提高大氣光的估測。首先選取暗原色中亮度最大的0.1%的像素，這些像素大都是不透明的(圖6(b)中以黃線為界

22、)。在以上像素當(dāng)中，輸入圖像I中強(qiáng)度最大的像素點(diǎn)被選定為大氣光。這些像素都在圖6(a)中的紅色三角形內(nèi)。注意到它們并不一定是整幅圖像里最亮的點(diǎn)。這一基于暗原色先驗(yàn)的簡單方法與“最明亮像素”方法相比，要更加健壯。我們利用它自動地估測本文中引用的所有圖像的大氣光成分。5實(shí)驗(yàn)結(jié)果在我們的實(shí)驗(yàn)當(dāng)中，我們使用了MarcelvanHerk的快速算法17來實(shí)現(xiàn)求出局部區(qū)域最小值的操作，該算法的時(shí)間復(fù)雜度為圖像面積的線性階。對一幅600*400的圖像我們使用了15*15的卷積核。在軟摳圖中，我們使用了預(yù)處理共軛梯度(PCG)算法求解。在一臺處理器為3.0GHz的IntelPentium4Processor的PC機(jī)上處理一幅600*400的圖像，用了1020秒鐘。圖1和圖7顯示了我們的去霧結(jié)果以及復(fù)原得到的深度圖。該深度圖是由方程(2)計(jì)算得出，其結(jié)果依賴于一個(gè)未知比例的參數(shù)。這些圖像的大氣光均是通過4.4中所提到的方法自動測得的?？梢钥吹剑词箤?shí)在霧濃度較大的地方，我們的算法也能較好地得到一些細(xì)節(jié)的信息并且還原出生動的彩色圖像。同時(shí)得到的深度圖也和輸入圖像保持一致性。在圖8中，我們對我們的方法與Tan的工作進(jìn)行了比較，他的處理結(jié)果的一些色彩經(jīng)常會出現(xiàn)過度飽和，因?yàn)門an的算法沒有基于實(shí)際理論并且忽視了透射率。我們的方法在結(jié)構(gòu)上復(fù)原的同時(shí)沒有犧牲色彩