單幅圖像去霧翻譯(Kaiming He))

1、單幅圖像基于暗通道先驗(yàn)的去霧Kaiming He, Jian Sun, and Xiaoou Tang, Fellow, IEEE摘要:在本篇論文中,我們提出了一種簡(jiǎn)單但是有效的圖像先驗(yàn)條件暗通道先驗(yàn)去從一幅輸入圖像中去霧。暗通道先驗(yàn)是一種對(duì)于大量戶外有霧圖像的統(tǒng)計(jì)結(jié)果，它最重要的一個(gè)觀察結(jié)果是戶外無霧圖像的絕大部分區(qū)域包含某些像素的亮度值至少在某一個(gè)通道上是非常低的。結(jié)合這個(gè)先驗(yàn)條件與霧天圖像模型，我們可以直接估計(jì)霧的厚度并且回復(fù)一幅高質(zhì)量的無霧圖像。基于各種各樣的有霧圖像的實(shí)驗(yàn)去霧結(jié)果證明了所提出先驗(yàn)條件的有效性。并且，一幅高質(zhì)量的圖像深度圖可作為圖像去霧的附帶產(chǎn)品。索引詞：去霧，去霾，圖

2、像復(fù)原，深度估計(jì)一、 介紹戶外場(chǎng)景圖像通常會(huì)因?yàn)榭諝庵械臏啙峤橘|(zhì)降質(zhì)（比如，顆粒和小水滴），霧，霾，煙都是由于大氣吸收或散射引起的現(xiàn)象。順著視線的場(chǎng)景輻射在到照相機(jī)后已經(jīng)減弱，并且，入射光混合了空氣光【1】通過大氣粒子反射到視線中的環(huán)境光。降質(zhì)圖像損失了對(duì)比度和圖像保真度，如圖 1a 所示。由于散射數(shù)量取決于攝像機(jī)鏡頭的距離，其退化是空間上的變化。圖像去霧在消費(fèi)者/計(jì)算機(jī)圖像處理和計(jì)算機(jī)視覺等應(yīng)用中都具有很高的需求。首先，去霧之后可以顯著的提高場(chǎng)景的可見度并糾正由于大氣光引起的顏色偏移。通常情況下，無霧圖像給人的視覺感官更好。其次，大多數(shù)計(jì)算機(jī)視覺算法，無論是低水準(zhǔn)的圖像分析或是高水平的物體識(shí)

3、別，通常都假設(shè)輸入圖像（經(jīng)過輻射矯正后）是場(chǎng)景的輻射。許多視覺算法（比如特征檢測(cè)，濾波，光度分析）都會(huì)不可避免的因?yàn)閳?chǎng)景輻射的偏移和低對(duì)比度而失效。最后，圖像去霧可以提供深度信息并且對(duì)許多視覺算法和現(xiàn)金的圖像編輯都是有益的。霧或者霾可以成為一個(gè)對(duì)場(chǎng)景理解有用的深度線索。一幅濃霧圖像一樣也可以被投入到使用中。然而，圖像去霧是一個(gè)具有挑戰(zhàn)性的問題因?yàn)殪F通常都具有未知的深度。如果輸入僅是單幅有霧圖像的話這個(gè)問題是無法限定約束條件的。因此，有許多方法提出通過使用多幅圖像或者通過額外信息來解決這個(gè)問題?；谄竦姆椒ㄍㄟ^從不同的偏振度拍攝兩幅或更多的圖像來去除霧的影響【3】，【4】。在【5】，【6】，【

4、7】中，通過從同一個(gè)場(chǎng)景在不同的天氣條件下的圖像獲得更多的約束條件?；谏疃鹊姆椒ㄖ小?】，【9】需要一些深度信息從輸入圖像或一些已知的 3D 模型。最近，單幅圖像的去霧已經(jīng)取得了顯著的進(jìn)步【10】，【11】。這些方法的成功點(diǎn)在于使用了強(qiáng)有力的先驗(yàn)條件或者假設(shè)。Tan【11】觀察到一個(gè)無霧圖像相比于輸入的有霧圖像必然會(huì)有更高的對(duì)比度所以他最大化了恢復(fù)圖像的局部對(duì)比度。這個(gè)結(jié)果在視覺上是令人覺得信服的，但是在實(shí)際原理上不一定站得住腳。 Fattal【10】基于傳輸率和表面著色是局部無關(guān)的假設(shè)，估計(jì)了場(chǎng)景的反射率和介質(zhì)傳輸率。這一方法在原理上聽著可行在結(jié)果上也看著不錯(cuò)，但是它不可以很好的處理濃霧圖

5、像并且當(dāng)假設(shè)不成立時(shí)很可能失敗。在這篇文章中，我們提出了一個(gè)新奇的先驗(yàn)條件暗通道先驗(yàn)專為單幅圖像的去霧。暗通道先驗(yàn)是基于戶外無霧圖像的一種統(tǒng)計(jì)結(jié)果。我們發(fā)現(xiàn)，除去天空區(qū)域外的大多數(shù)局部區(qū)域的有些像素（暗像素）總是在 RGB 通道中至少有一個(gè)通道有非常小的亮度值。在有霧圖像中，這些暗像素的亮度值主要被大氣光所貢獻(xiàn)。因此，這些暗像素可以直接提供一個(gè)霧的傳輸率的精確估計(jì)。結(jié)合霧的成像模型和軟摳圖插值方法，我們可以恢復(fù)出一幅高質(zhì)量的無霧圖像和一幅好的景深圖。圖 1 （a）輸入有霧圖像 （b）用我們的方法去霧后的圖像 （c）我們恢復(fù)出的景深圖我們的方法是物理可行的并且可以處理遠(yuǎn)距離的物體即使是濃霧情況下

6、。我么并不依賴于顯著變換的傳輸率或表面著色。處理結(jié)果會(huì)包含少量的光暈現(xiàn)象。和其它任一使用強(qiáng)假設(shè)的方法類似，我們的方法也有自己的限制性。在一個(gè)大的局部區(qū)域中當(dāng)場(chǎng)景物體和大氣光具有內(nèi)在相似性（比如一個(gè)雪地或者白墻）并且沒有陰影投影在上時(shí)，暗通道先驗(yàn)這個(gè)方法也許會(huì)失效。盡管我們的方法對(duì)于絕大多數(shù)戶外有霧圖像的去霧效果都不錯(cuò)，但也會(huì)在某些極端條件下失效。幸運(yùn)的是，在這樣的情況下去霧已經(jīng)不是關(guān)鍵的事情了因?yàn)殪F已經(jīng)幾乎不可見了。我們相信逐漸發(fā)展的從不同角度出發(fā)的新奇的先驗(yàn)條件的結(jié)合會(huì)使去霧更加進(jìn)一步。二、 背景在計(jì)算機(jī)視覺和計(jì)算機(jī)圖形中，廣泛應(yīng)用來描述霧天圖像成型的公式是【2】，【5】，【10】，【11】

7、:I（x）=J（x）t(x)+A（1-t(x)）；（1）在公式中 I（x）是觀察到的有霧圖，J（x）是場(chǎng)景的無霧圖，A 是全局大氣光，t 是描述無法散射并到達(dá)照相機(jī)的光的介質(zhì)傳輸率。 達(dá)到去霧的目的是要從已知的 I 中解出未知的 J，A，t，這是一個(gè)未限定方程，是不可解的。在（1）中，等式右邊 J（x）t(x)叫做直接衰減【11】，A（1-t(x)）【1】，【11】叫做空氣光（大氣遮罩）。直接衰減描述了場(chǎng)景輻射和其在介質(zhì)中的衰減，空氣光來自于之前所提的散射的光并會(huì)導(dǎo)致場(chǎng)景顏色的偏移。直接衰減對(duì)場(chǎng)景輻射是一種乘性變形，空氣光是一種加性變形。當(dāng)大氣介質(zhì)是均勻的時(shí)候，傳輸率 t 可以表示為：t（x）

8、=e-d（x） （2）是大氣散射系數(shù)，d 是景深。這個(gè)等式表明場(chǎng)景輻射是與景深成指數(shù)衰減的關(guān)系。如果我們可惡意恢復(fù)傳輸率，我們也可以恢復(fù)景深。幾何上來說，（1）說明了在 RGB 顏色空間中，向量 A，I（X）和 J（x）是共面的，他們的最后一點(diǎn)是共線的（見圖 2a） 傳輸率 t 是兩個(gè)線性段的比值：t（x）=|𝐴𝐼(𝑥)| = 𝐴𝑐𝐼𝑐(𝑥) ,(3)C 是 RGB 通道的索引。|𝐴𝐽(𝑥)|𝐴w

9、888;𝐽𝑐(𝑥)圖 2 （a）霧圖成像模型 （b）Fattal 的恒定反射率模型【10】圖 3.暗通道的計(jì)算 （a）任意一幅圖像 （b）計(jì)算每一個(gè)像素的（r,g,b）三通道最小值(C)對(duì) b 使用最小值濾波得到 J 的暗通道圖。 圖片大小 800x551， 通道大小為 15x15.基于這個(gè)模型，Tan 的方法【11】專注于提高圖像的可見度。對(duì)于一個(gè)通道內(nèi)具有相同傳輸率 t，可視性（梯度之和）被霧所減弱了因?yàn)?t<1:𝑥 |𝐼(𝑥)| = 𝑡 𝑥 |Ү

10、69;(𝑥)| < 𝑥 |𝐽(𝑥)|(4)在 J（x）的亮度不可能大于 A 的亮度的約束條件下，通過最大化通道的可視度來估計(jì)一個(gè)局部通道的傳輸率 t。一個(gè) MRF 模型是用來修正結(jié)果的，這個(gè)方法可以很好的揭示霧圖的細(xì)節(jié)和結(jié)構(gòu)。然而， 輸出圖像通常會(huì)具有更高的飽和度值因?yàn)檫@個(gè)方法僅僅注意提升可視度但是并沒有物理上的還原場(chǎng)景輻射。而且，結(jié)果可能會(huì)在景深不連續(xù)處產(chǎn)生光暈效果。Fattal【10】提出了一種基于獨(dú)立部分分析(ICA)的方法。首先，局部區(qū)域的反射率被假設(shè)為一個(gè)恒定的向量 R，如圖 2b 所示。 第二，通過假設(shè)表面著色|

11、J（x）|和傳輸率 t(x)在局部區(qū)域是相獨(dú)立的，R 的方向可以用 ICA 估計(jì)。最后，利用輸入顏色圖像引導(dǎo)的 MRF 模型，對(duì)整個(gè)圖像進(jìn)行推斷。這種方法是基于物理的，并且可以生成一個(gè)自然的無霧圖像和一個(gè)好的深度映射。但是，由于統(tǒng)計(jì)獨(dú)立的假設(shè)，這種方法要求獨(dú)立的部分有很大的差異。任何缺乏變化或低信噪比（通常在稠密的霾區(qū)）都會(huì)產(chǎn)生統(tǒng)計(jì)數(shù)據(jù)不可靠。此外，由于統(tǒng)計(jì)數(shù)據(jù)是基于顏色信息的，所以對(duì)于灰度圖像來說，它是無效的并且難以處理無色的濃密煙霧。在下一節(jié)中，我們將介紹一個(gè)新的先驗(yàn)條件暗通道先驗(yàn)從一個(gè)室外的朦朧圖像直接估算出它的傳輸率。三、 暗通道先驗(yàn)暗通道先驗(yàn)是基于以下戶外無霧圖像的觀察：在大多數(shù)非天

12、空區(qū)域，至少有一些像素的最少一個(gè)通道有非常低接近于 0 的亮度值。正式的描述這個(gè)觀察結(jié)果，我們首先定義了關(guān)于暗通道的概念。，對(duì)于任意一幅圖像 J，它的暗通道Jdark 可表示為： Jdark（x）=𝑚𝑖𝑛𝑦𝛺(𝑥) (𝑚𝑖𝑛𝑐𝑟,𝑔,𝑏𝐽𝑐(𝑦),(5)Jc 表示 J 的一個(gè)顏色通道，（x）是一個(gè)在 x 處的局部區(qū)域。一個(gè)暗通道是兩個(gè)最小符的

13、取值結(jié)果：𝑚𝑖𝑛𝑐𝑟,𝑔,𝑏表現(xiàn)如圖 3b，𝑚𝑖𝑛𝑦𝛺(𝑥)表示一個(gè)最小值濾波（圖 3c），兩個(gè)最小符可以互相交換順序。使用暗通道的概念，我們的觀察發(fā)現(xiàn)如果 J 是一個(gè)戶外無霧圖像，除了天空區(qū)域，J 的暗通道亮度是非常低的并且趨近于 0：Jdark->0. (6) 我們稱此為暗通道先驗(yàn)。暗通道的低亮度主要是因?yàn)槿缦氯齻€(gè)因素：1.陰影，比如果，汽車，建筑的陰影，城市景觀的內(nèi)部， 或是樹

14、，巖石，輸液的投影。2 彩色物體表面 比如一個(gè)物體在某個(gè)顏色通道具有非常低的反射性（綠色的草、植被，紅黃的花，藍(lán)色的水面）將會(huì)導(dǎo)致暗通道 3.暗的物體或表面，比如黑的樹干和石頭。因?yàn)樽匀坏膽敉鈭D像通常都五顏六色并且有很多陰影，在這些圖片中暗通道的值很低！為了驗(yàn)證暗通道先驗(yàn)的優(yōu)越性，我們從 F 和其它搜索引擎上收集了很多圖像做實(shí)驗(yàn)。由于戶外和城市區(qū)域是霧的多發(fā)地帶，我們選取了 5000 多張無霧圖片，然后剪切掉了天空區(qū)域，并且重新設(shè)置大小為 500X500，窗口大小為 15x15.圖 4,顯示了幾幅戶外圖像和與之相對(duì)應(yīng)的暗通道圖。圖 4.（a）我們的無霧圖像數(shù)據(jù)庫(kù)中的示例圖像 （b）與之對(duì)應(yīng)的暗

15、通道 （c）一幅有霧圖像和它的暗通道圖 5a 是 5000 多張圖片的暗通道亮度直方圖，圖 5b 是對(duì)應(yīng)的累積分布。我們可以看到大約 75%的暗通道中的像素值為 0,90%的像素值低于 25.這個(gè)數(shù)據(jù)結(jié)果強(qiáng)有力的支持了我們的暗通道先驗(yàn)。我們也計(jì)算了每個(gè)暗通道的平均亮度值并且作了與之對(duì)應(yīng)的直方圖（圖 5c）。所以，大多數(shù)暗通道有非常低的平均亮度，顯示只有非常小的一部分戶外無霧圖像不符合我們的先驗(yàn)條件。由于加性的大氣光，一個(gè)有霧的圖像要比一個(gè)傳輸率低的無霧圖像明亮。所以，有霧圖像的暗通道會(huì)在有霧區(qū)域有更高的亮度（見圖 4c）顯而易見地，安通的的亮度值是一個(gè)關(guān)于霧的厚度的粗略估計(jì)。在下一節(jié)，我們會(huì)使

16、用一些特性來估計(jì)傳輸率和大氣光。注意我們忽略天空區(qū)域因?yàn)闊o霧圖像的暗通道可能會(huì)在天空區(qū)域有很高的亮度。幸運(yùn)的是，我們可以很優(yōu)雅的用霧圖模型（1）和先驗(yàn)條件來處理天空區(qū)域。不必非常清楚的把天空區(qū)域去除。我們會(huì)在 4.1 節(jié)討論這個(gè)問題。我們的暗通道先驗(yàn)是部分受啟發(fā)于在多光譜遠(yuǎn)程感應(yīng)系統(tǒng)廣為使用的知名的暗物體摳除技術(shù)【12】， 在【12】中，空間同性的霧是通過減去一個(gè)對(duì)應(yīng)場(chǎng)景中最暗物體的恒定值。我們綜合了這個(gè)想法并且為自然圖片去霧提出了這個(gè)新奇的先驗(yàn)。圖 5.暗通道的統(tǒng)計(jì)結(jié)果 （a）5000 個(gè)暗通道的像素亮度直方圖（每位代表 16 個(gè)灰度級(jí)）（b）累積分布 （c）每個(gè)暗通道的平均亮度直方圖四、

17、用暗通道先驗(yàn)去霧4.1 估計(jì)傳輸率我們假設(shè)大氣光 A 已知。在 4.3 節(jié)已提出了一個(gè)方法估計(jì) A。我們首先歸一化霧圖等式（1）：𝐼𝑐(𝑥)( ) 𝐽𝑐(𝑥)( )( )𝐴𝑐= 𝑡 𝑥𝐴𝑐+ 1 𝑡 𝑥 .7注意我們對(duì)每個(gè)顏色通道獨(dú)立進(jìn)行歸一化。我們更進(jìn)一步假設(shè)在局部窗口（x）中為恒定的。我們?cè)O(shè)這個(gè)傳輸率為t(x), 我們計(jì)算了（7）等式兩邊的暗通道，并在兩邊同時(shí)取最小值：

18、𝑚𝑖𝑛𝑦𝛺(𝑥) (𝑚𝑖𝑛𝑐𝐼𝑐(𝑦)𝐴𝑐 ) = 𝑡(𝑥)𝑚𝑖𝑛𝑦𝛺(𝑥) (𝑚𝑖𝑛𝑐𝐽𝑐(𝑦)𝐴&#

19、119888; ) + 1 𝑡（𝑥）(8)因?yàn)閠（x）在局部區(qū)域是恒定的，它可以放在最小符外面。因?yàn)?J 是無霧圖像，所以 J 的暗通道由于先驗(yàn)是趨近于 0 的：𝐽𝑑𝑎𝑟𝑘(𝑥) = 𝑚𝑖𝑛𝑦𝛺(𝑥)(𝑚𝑖𝑛𝑐𝐽𝑐(𝑦) = 0(9).因?yàn)?#119860;

20、19888;永遠(yuǎn)是正的，所以可以推出: 𝑚𝑖𝑛𝑦𝛺(𝑥)(𝑚𝑖𝑛𝑐𝐽𝑐(𝑦) = 0(10)𝑐𝐴將（10）代入（8），我們可以消去乘性項(xiàng)，并且粗略估計(jì)傳輸率 t：t(x)=1-𝑚𝑖𝑛𝑦𝛺(𝑥)(𝑚𝑖𝑛𝑐

21、;𝐽𝑐(𝑦) (11)𝐴𝑐事實(shí)上，𝑚𝑖𝑛(𝑚𝑖𝑛 𝐽𝑐(𝑦)是𝐼𝑐(𝑦) 的歸一化后的暗通道。它可以直接估計(jì)傳輸率。𝑦𝛺(𝑥)𝑐 𝐴𝑐𝐴𝑐正如我們之前所提過的，暗通道先驗(yàn)對(duì)于天空區(qū)域是不適用的。幸運(yùn)的

22、是，一幅有霧圖像中天空的顏色往往非常接近于天空光 A，所以，在天空區(qū)域，我們可以設(shè)：𝑚𝑖𝑛𝑦𝛺(𝑥)(𝑚𝑖𝑛𝑐𝐽𝑐(𝑦) 1,𝑐𝐴并且由（11）可以得出t(x)->0. 因?yàn)樘炜帐菬o限遠(yuǎn)的所以它的傳輸率事實(shí)上是接近于 0（見（2），（11）式巧妙的同時(shí)處理了天空區(qū)域與非天空區(qū)域，所以我們不需要事先分離天空區(qū)域。事實(shí)上，即使在晴朗的日子大氣也并非是完全沒

23、有霧沒有任何粒子的。所以當(dāng)我們看向遠(yuǎn)處的物體時(shí)候霧是事實(shí)存在的。更確切的說，因?yàn)殪F的存在使得人們能夠辨別景深【13】，【14】，這個(gè)現(xiàn)象叫做空間透視。如果我們完全移除了霧，這個(gè)圖像可能會(huì)顯得不自然，我們也感受不到景深。所以我們有選擇的保持了非常少量的霧，通過在（11）引入一個(gè)恒定參數(shù) （0<1）：t(x)=1-𝑚𝑖𝑛𝑦𝛺(𝑥)(𝑚𝑖𝑛𝑐𝐽𝑐(𝑦)（12）)𝐴w

24、888;這個(gè)改進(jìn)好的一點(diǎn)是我們可以可調(diào)節(jié)的為遠(yuǎn)處的物體保留霧，這個(gè) 的值視實(shí)際應(yīng)用而定，在本文中，我們一律使用 0.95.在（11）的推導(dǎo)中，暗通道先驗(yàn)對(duì)于消除在霧霾成像模型（1）中的乘性項(xiàng)（直接傳輸率）是至關(guān)重要的。只有加性項(xiàng)還殘留。這個(gè)策略與之前【10】【11】中所提到的非常依賴乘性項(xiàng)單幅圖像圖像去霧方法完全不同，之前的方法非常依賴乘性項(xiàng)改變圖像對(duì)比度【11】和色彩變化【10】的因素。對(duì)比之下，我們注意到加性項(xiàng)改變暗像素的亮度。有了暗通道先驗(yàn)后，我們可以不用管乘性項(xiàng)而只使用加性項(xiàng)去估計(jì)傳輸率。我們可以更進(jìn)一步總結(jié)（1）:I（x）=J(x)t1(x)+A(1-t2(x), (13)而在這之中

25、 t1，t2 沒必要相同。使用（11）中推導(dǎo)的方法，我們可以估計(jì) t2 并且分理處加性項(xiàng)。這個(gè)問題就簡(jiǎn)化為一個(gè)乘性項(xiàng)（J（x）t1）,而其他的約束項(xiàng)或先驗(yàn)條件可以進(jìn)一步求解這個(gè)項(xiàng)。在人類視覺研究的文獻(xiàn)中【15】，加性項(xiàng)被稱作光度耗散，而式（13）可用來表達(dá)透過霧或耀眼的亮光看場(chǎng)景。圖 6b 顯示了通過（12）估計(jì)的傳輸率圖。圖 6d 顯示了與之對(duì)應(yīng)的還原的圖像。 我們可以看到， 暗通道先驗(yàn)有效的還原了顏色和被遮住的低對(duì)比度物體。傳輸率圖顯示的非常合理，不過主要的問題是有光暈和黑點(diǎn)，主要是因?yàn)閭鬏斅什⒉豢偸窃诰植亢愣?，我們將在下一?jié)介紹一個(gè)軟摳圖方法去修復(fù)傳輸率圖。圖 6 圖像去霧 （a）輸入有

26、霧圖像（b）軟摳圖之前傳輸率圖估計(jì)（c）軟摳圖之后傳輸率圖估計(jì)（d），（e）對(duì)應(yīng)（b）（c）還原的圖像4.2 軟摳圖我們注意到霧圖成像等式（1）與摳圖等式有一個(gè)類似的形式：I=Fa+B（1-a）， （14）F 和 B 分別是前景和背景顏色，a 是前景不透明度。一個(gè)有霧圖像等式的傳輸率圖正是 alpha 圖。因此我們可以應(yīng)用一個(gè)封閉的摳圖框架【16】來修復(fù)傳輸率。改善后的傳輸率圖表示為 t（x），我們把 t（x）和t（x）重寫為他們的向量形式 t，t，最小化下面的損失函數(shù)：E（t）=tTLt+（t-t）T（t-t）（15）這里的第一項(xiàng)為平滑項(xiàng)，第二項(xiàng)是帶權(quán)重的數(shù)據(jù)項(xiàng)。矩陣 L 稱作摳圖拉普拉斯矩

27、陣。它的（i，j）元素定義為：（16）Ii,Ij 是輸入圖像 I 在像素 i，j 處的顏色，ij 是克羅內(nèi)克三角，k 和 𝑘是k 窗口中顏色的均值和協(xié)方差矩陣， 是規(guī)范化參數(shù)，|k|是k 窗口內(nèi)的像素?cái)?shù)。理想的 t 可以通過解下面的系數(shù)線性系統(tǒng)得到：（L+U）t=t（17）其中 U 是一個(gè)與 L 具有相同尺寸的單位矩陣。我們?cè)O(shè)置一個(gè)很小的值（實(shí)驗(yàn)為 10-4），以至于t 是 t 的軟約束。摳圖拉普拉斯矩陣的推導(dǎo)是基于顏色線假設(shè)的：前景/背景顏色在小的局部區(qū)域中在 RGB 空間上是在同一行的。顏色線假設(shè)在去霧問題中，同樣是合法的。首先，場(chǎng)景輻射 J 是自然圖像，自然圖像滿足顏色線

28、模型。其次，大氣光 A 是一個(gè)常量，當(dāng)然也滿足假設(shè)。因此，在去霧問題中使用摳圖拉普拉斯矩陣作為平滑項(xiàng)是正確的。解決線性系統(tǒng)（18）后，我們?cè)?t 上執(zhí)行雙邊濾波來平滑較小的紋理。這樣，光暈和塊失真就被抑制了。改善的傳輸系數(shù)圖設(shè)法捕捉不連續(xù)的銳利邊緣，畫出了對(duì)象的輪廓線。4.3 估計(jì)大氣光我們已經(jīng)假設(shè)大氣光 A 是已知的。在本節(jié)中，我們提出了一個(gè)方法去估計(jì) A。在之前的工作中，霧最濃的區(qū)域的顏色被用來當(dāng)做 A【11】或者最為 A 的初始猜測(cè)【10】。然而，卻很少關(guān)注怎么檢測(cè)哪里是霧最濃的區(qū)域。在 Tan 的研究中，霧霾圖像中的最亮像素作為最濃霧區(qū)域，這只是在陰天的時(shí)候并且陽光可以忽略的時(shí)候才是可

29、行的。在這種場(chǎng)景下，大氣光是場(chǎng)景的唯一光源，因?yàn)槊總€(gè)顏色通道的場(chǎng)景輻射為：J(x)=R（x）A （18）其中 R1 是場(chǎng)景的反射率。這樣（1）可以寫成：I(x)=R(x)At(x)+A(1-t(x)A （19）當(dāng)圖像中存在無窮遠(yuǎn)距離的像素時(shí)，最亮的 I 就是最濃霧區(qū)域了，大約等于 A。不過，現(xiàn)實(shí)中很少能忽略陽光，考慮到陽光 S，我們修改（18）可得：J(x)=R(x)(A+S)(20)I(x)=R(x)St(x)+R(x)At(x)+A(1-t(x)(21)在這種情況下，整個(gè)圖像的最亮像素要比大氣光更亮。最亮像素也許在一個(gè)白色汽車或白色大樓上（圖 7d，7e）。正如在第三節(jié)中討論過的，霧霾圖像

30、的暗通道可以看做霧霾的密度的近似（圖 7b）。因此，我們可以用暗通道來檢測(cè)最濃霧區(qū)域，提高對(duì)大氣光的估計(jì)。我們首先在暗通道里挑選出 0.1%的最亮像素。這些像素通常就是最濃霧區(qū)域的（圖 7b 中黃色線包圍區(qū)域）。這些像素對(duì)應(yīng)的額輸入圖像 I 的最亮的像素值作為大氣光，這些像素在圖 7a 中為紅色矩形中的像素。主義，這些像素可能不是整個(gè)輸入圖像的最亮的像素。這種方法即使在圖像中不存在無限距離像素的情況下，也能工作的很好。在圖 8b 中，我們的方法成功檢測(cè)到了最濃霧區(qū)域。然而 t 并不在這里接近于 0，所以這些區(qū)域的顏色可能會(huì)不同于 A。幸運(yùn)的是，t 在這些最濃霧區(qū)域是很小的，所以陽光的影響是很小

31、的（21）。因此，這些區(qū)域可以提供一個(gè)關(guān)于 A 的估計(jì)。去霧效果見圖 8c這個(gè)簡(jiǎn)單的基于暗通道先驗(yàn)的方法比“最亮像素”方法更好。4.4 恢復(fù)場(chǎng)景輻射有了大氣光和傳輸系數(shù)，我們就可以根據(jù)（1）復(fù)原場(chǎng)景輻射。但是，當(dāng)傳輸系數(shù) t（x）接近于 0 的時(shí)候，直接衰減項(xiàng) J（x）t（x）也接近于 0.這樣直接復(fù)原的場(chǎng)景輻射容易產(chǎn)生噪音。因此，我們給t（x）一個(gè)下線 t0，我們?cè)陟F很濃的地方保留少量的霧霾。最終的場(chǎng)景輻射根據(jù)下式得到：J(x) =𝐼(𝑥)𝐴max(𝑡(𝑥),𝑡0)+ 𝐴(22)t

32、0 的典型值為 0.1.由于場(chǎng)景輻射通常沒有大氣光亮，去霧后的圖像顯得微暗。因此可以增強(qiáng) J（x） 的曝光束更好的顯示。圖 7.估計(jì)大氣光 （a）輸入圖像 （b）暗通道和最濃霧區(qū)域（c）我們的方法自動(dòng)獲取大氣光的局部區(qū)域（d）（e）2 個(gè)部分比大氣光含有更高亮度像素圖 8 （a）輸入圖像 (b)暗通道。紅色像素是用我們的方法檢測(cè)出的最濃霧區(qū)域（c）我們的去霧效果圖（d）Fattal 的去霧效果【10】圖 9 一幅無霧圖像（600x400）和它的暗通道各自使用 3x3 和 15x15 通道4.5 窗口大小在我們的算法中一個(gè)關(guān)鍵的參數(shù)就是窗口的大?。?1）。一方面，暗通道先驗(yàn)采用大的窗口會(huì)比較好因

33、為這樣窗口內(nèi)含有暗像素的概率會(huì)提高，見圖 9：窗口大小更大，暗通道更暗。相對(duì)應(yīng)的，小窗口會(huì)導(dǎo)致（9）更不精確，恢復(fù)的場(chǎng)景圖會(huì)有過飽和現(xiàn)象（圖 10b）。另一方面，如果窗口過大，傳輸率恒定這一假設(shè)將不再成立，并且光暈現(xiàn)象會(huì)在景深邊緣處變大（圖 10c）。圖 11 表示了用不同窗口大小的去霧結(jié)果。圖片大小為 600x400. 在圖 11b 中，窗口大小為 3x3.有些灰色的表面看上去過飽和了（第一行的建筑和第二三行的子圖像）。在圖 11c 和圖 11d 中，窗口大小使 15x15 和 30x30，這些結(jié)果看上去比圖 11b 的更加自然。這證明如果窗口大小選擇的合適，我們的方法是有效的。軟摳圖技術(shù)可

34、以除去這些光暈。我們也注意到圖 11d 似乎比圖 11c 要顯得霧多一些（尤其是遠(yuǎn)處區(qū)域），但是這些區(qū)別很小。我們?cè)诒疚闹卸际褂?15x15 的窗口。5. 實(shí)驗(yàn)結(jié)果在我們的實(shí)驗(yàn)中，我們用 van Herk 的快速算法【20】計(jì)算了最小值濾波，該算法的復(fù)雜度與圖像尺寸成線性關(guān)系。在軟摳圖步驟中，我們使用了 Preconditioned Conjugate Gradient(PCG)，花了大概 10-20 秒去處理一幅 600x400 的圖像，我們的配置是 3.0GHz Intel Pentium 4 Processor.圖 1 和 12 展示了恢復(fù)圖像和深度圖。深度圖是根據(jù)（2）并且是根據(jù)一個(gè)未

35、知的測(cè)量參數(shù)。大氣光的估計(jì)方法采用 4.3 節(jié)所介紹的。正如所見到的，我們的方法可以揭示圖像細(xì)節(jié)并且將圖像從濃霧區(qū)域還原。估計(jì)的深度圖在景深邊緣尖銳并且與輸入圖像保持一致。我們的方法也可以用于灰度圖像處理如果有足夠的陰影的話。城市景觀的圖像通常滿足這個(gè)條件，如此我們忽略運(yùn)算符 minc。圖 13 為例。在圖 14 中，我們將我們的方法與 Tan 的方法【11】做了個(gè)比較。他的結(jié)果有過飽和的顏色因?yàn)樽畲蠡牧藢?duì)比度意味著過大估計(jì)霧層。我們的方法沒有這種現(xiàn)象并且光暈現(xiàn)象也小很多。我們將我們的方法與 Fattal 的方法做了比較，在圖 8，我們的結(jié)果相比于 Fattal 的結(jié)果。在圖 15， 我們展

36、示了我們的方法結(jié)果比 Fatttal 的方法在處理濃霧時(shí)更好。他的方法是基于局部數(shù)據(jù)并且提供充足的顏色信息與方差。當(dāng)霧很濃時(shí)，顏色會(huì)變淡而且方差會(huì)變小不足以支撐用他的方法去估計(jì)傳輸率。圖 15b 和圖 15c 顯示了他的結(jié)果在經(jīng)過 MRF 插值前后的結(jié)果，因?yàn)橹挥胁糠謧鬏斅驶謴?fù)的是可靠的，而經(jīng)過插值后有些區(qū)域依舊太暗（山）而有些霧仍舊沒有去處（城市的遠(yuǎn)處）。我們的方法給出了更好更自然的結(jié)果。（圖 15d）我們也將我們的方法與 Kopf et al.的方法【8】做了比較（圖 16）。他們使用了場(chǎng)景的 3D 模型與紋理圖來去霧。他們的信息來自于 Google Earth 和衛(wèi)星圖像，我們不需要這么

37、多額外信息也可以得到類似的結(jié)果。在圖 17 中，我們更進(jìn)一步比較了我們的方法與之前的一些方法。圖 17e 顯示了 Photoshop 的 auto curve 功能。它和暗物體去除方法應(yīng)用到每個(gè)顏色通道【12】相同。圖 10 （a）一幅 600x400 的有霧圖像（b）用 3x3 窗口恢復(fù)的圖像（c）用 15x15 窗口恢復(fù)的圖像 （沒有軟摳圖） 用小窗口恢復(fù)的圖像有過飽和現(xiàn)象，而大窗口恢復(fù)的圖像有光暈現(xiàn)象。圖 11.用不同窗口大小處理圖像（軟摳圖之后）（a）輸入圖像（b）用 3x3 窗口大?。╟）用 15x15 窗口（d）用 30x30 窗口圖 12 去霧結(jié)果 （a）輸入霧圖（b）還原的無霧

38、圖像（c）深度圖 頂行紅框表示我們實(shí)際取大氣光的位置圖 13 一幅灰度圖像 （a）輸入圖像（b）我們的結(jié)果（c）恢復(fù)的深度圖圖 14，與 Tan 的比較（a）輸入圖像（b）Tan 的結(jié)果（c）我們的結(jié)果圖 15 與 Fattal 的比較（a）輸入圖像（b）插值前的結(jié)果，用 Fattal 的方法，在黑色區(qū)域的傳輸率無法估計(jì)（c）Fattal 的結(jié)果（插值后）（d）我們的結(jié)果圖 16與 Kopf 等人的工作進(jìn)行比較。（a）-（d）輸入圖像，Kopf 等人的結(jié)果，我們的結(jié)果，和我們恢復(fù)的深度圖圖 17。與其他方法進(jìn)行比較。(a)輸入圖像。（b）Kopf 等人的結(jié)果【8】。(c)Tan 的結(jié)果11。(

39、d)Fattal 的結(jié)果10。(e)Photoshop 的 auto curve。 (f)ps 的 Unsharp mask。(g)直方圖均衡化。（h）我們的結(jié)果。（i）我們找到的深度圖。圖 18 暗通道先驗(yàn)的失敗例子 （a）輸入圖 (b)我們的結(jié)果（c）我們的傳輸圖，大理石的傳輸率被低估了圖 19，成霧模型的失敗例子 （a）輸入圖 （b）我們的結(jié)果 （c）暗通道紅色框表示我們估計(jì)大氣光的位置 （d）傳輸圖估計(jì)6. 討論在本文中，我們提出了一種非常簡(jiǎn)單但功能強(qiáng)大的前一種方法，即暗通道先驗(yàn)，用于單個(gè)圖像去霧處理。暗通道先驗(yàn)是基于戶外無圖像圖像的統(tǒng)計(jì)數(shù)據(jù)。將先驗(yàn)條件與霾成像模型相結(jié)合，單一圖像模糊

40、處理更簡(jiǎn)單和更有效。因?yàn)榘低ǖ老闰?yàn)是一種經(jīng)過統(tǒng)計(jì)數(shù)據(jù)得出的結(jié)論，所以它可能不適用于某些特定的圖像。當(dāng)場(chǎng)景中的物體與大氣的光線內(nèi)在相似的時(shí)候，并且沒有陰影投射在它們上（如圖 18 中的白色大理石），暗通道先驗(yàn)是無效的。在這類物體附近，暗通道的亮度是高的。因此，我們的方法將會(huì)低估這些物體的傳播率并高估了霾層。還有，我們的方法是依賴于霧圖成像模型的（1），當(dāng)模型不成立時(shí)可能會(huì)失效。首先，恒定的大氣光可能不適用于當(dāng)陽光十分構(gòu)成影響的情況。 在圖 19a，大氣光在左側(cè)很充足而右側(cè)很按。 我們自動(dòng)估計(jì)的 A（圖 19c）實(shí)際并不是其它區(qū)域的 A，所以回復(fù)出來的天空區(qū)域會(huì)比它原本要暗（圖 19b） 更加先進(jìn)

41、的模型【14】可以用來描述這種復(fù)雜的情況。第二，傳輸率 t 具有波長(zhǎng)依賴性如果空氣中的粒子很小而物體很遠(yuǎn)（很薄的霧）【7】。在這種情況下，傳輸率在不同顏色通道中是不同的。這就是為什么接近地平線的物體會(huì)比較藍(lán)（圖 19a）因?yàn)槌伸F模型假設(shè)所有通道的傳輸率相同，所以我們的方法也可能會(huì)對(duì)遠(yuǎn)處物體場(chǎng)景輻射還原失效。我們把這個(gè)問題留給以后的研究。文獻(xiàn)引用1 H. Koschmieder, “Theorie der Horizontalen Sichtweite,” Beitr.Phys. Freien Atm., vol. 12, pp. 171-181, 1924.2 S.G. Narasimhan

42、and S.K. Nayar, “Vision and the Atmosphere,”Intl J. Computer Vision, vol. 48, pp. 233-254, 2002.3 Y.Y. Schechner, S.G. Narasimhan, and S.K. Nayar, “Instant Dehazing of Images Using Polarization,” Proc. IEEE Conf. Computer Vision and Pattern Recognition, vol. 1, pp. 325-332, 2001.4 S. Shwartz, E. Nam

43、er, and Y.Y. Schechner, “Blind Haze Separation,” Proc. IEEE Conf. Computer Vision and Pattern Recognition, vol. 2, pp. 1984-1991, 2006.5 S.G. Narasimhan and S.K. Nayar, “Chromatic Framework for Vision in Bad Weather,” Proc. IEEE Conf. Computer Vision and Pattern Recognition, vol. 1, pp. 598-605, Jun

44、e 2000.6 S.K. Nayar and S.G. Narasimhan, “Vision in Bad Weather,” Proc. Seventh IEEE Intl Conf. Computer Vision, vol. 2, pp. 820-827, 1999.7 S.G. Narasimhan and S.K. Nayar, “Contrast Restoration of Weather Degraded Images,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 25, no. 6 pp. 71

45、3-724, June 2003. 8 J. Kopf, B. Neubert, B. Chen, M. Cohen,D. Cohen-Or, O. Deussen, M. Uyttendaele, and D. Lischinski, “Deep Photo: Model-Based Photograph Enhancement and Viewing,” ACM Trans. Graphics, vol. 27, no. 5, pp. 116:1-116:10, 2008.9 S.G. Narasimhan and S.K. Nayar, “Interactive Deweathering

46、 of an Image Using Physical Models,” Proc. IEEE Workshop Color and Photometric Methods in Computer Vision, in Conjunction with IEEE Intl Conf. Computer Vision, Oct. 2003.10 R. Fattal, “Single Image Dehazing,” Proc. ACM SIGGRAPH 08, 2008.11 R. Tan, “Visibility in Bad Weather from a Single Image,” Proc. IEEE Conf. Computer Vision and Pattern Recognition, June 2008.12 P. Chavez, “An Improved Dark-Object Subtraction Technique for Atmospheric Scattering Correction of Multispectral Data,” Remote Sensing of Environment, vol. 24, pp. 450-479, 1988.13 E.B. Goldstein, Sensation an