基于大氣散射模型的去霧方法概述

1、基于大氣散射模型的實時視頻去霧方法研究 摘 要：近年來，我國空氣質(zhì)量大幅下降，導致霧霾天氣日漸頻繁。在霧霾天氣情況下，大氣中存在著很多混濁介質(zhì)（如，顆粒、水滴等），戶外場景的視頻圖像出現(xiàn)了退化和降質(zhì)，表現(xiàn)為清晰度和對比度低、色彩失真、細節(jié)特征模糊不清等特點。視頻圖像的降質(zhì)退化使得戶外視覺系統(tǒng)不能正常發(fā)揮效用，降低了工作效率及其可靠性。例如，在霧霾天氣情況下，能見度降低，航拍視頻中目標不可見，且色彩及對比度等特征嚴重衰減，無法滿足航拍工作系統(tǒng)的災害監(jiān)測預警等后續(xù)要求。因而，在計算機視覺這一領(lǐng)域內(nèi)，有霧視頻的清晰化是一個重要的問題。 本文對霧天視頻圖像的退化和降質(zhì)進行了詳細的分析，闡述了霧天視頻圖

2、像降質(zhì)的原因，研究了國內(nèi)外研究人員在視頻圖像去霧方面的成果，分析了各研究人員去霧方法的理論基礎(chǔ)和核心技術(shù)，在此基礎(chǔ)上，詳細研究了基于大氣散射模型的暗通道先驗去霧方法，并且進行改進和完善，作出創(chuàng)新。本文建立基于大氣散射原理的視頻圖像去霧模型，以暗通道先驗去霧方法為基礎(chǔ)，用導向濾波進行改進，采用VS2013和Opencv編寫去霧算法程序，實現(xiàn)單幅圖像去霧，然后進行CUDA加速，使對常用的19201080大小的視頻圖像進行去霧處理的運算速率達到每秒15幀以上，實現(xiàn)實時視頻去霧。最后，將本文的去霧算法與其他算法進行比較，對比不同去霧方法得到的恢復圖的效果，以及不同方法的利弊，完善細節(jié)，將該算法應用于實

3、際待去霧的視頻中。關(guān)鍵詞：圖像降質(zhì)；圖像去霧；暗通道先驗；大氣散射模型第1章 緒 論1.1 課題研究背景和意義 一般情況下，獲得清晰的視頻圖像是戶外視覺系統(tǒng)正常工作和發(fā)揮效用的前提，因此，它對于天氣情況非常敏感。然而，近年來，我國空氣質(zhì)量大幅下降，多地頻繁出現(xiàn)霧霾天氣。霧天條件下，戶外場景的視頻圖像受到嚴重影響，這是由于大氣中存在著許多混濁介質(zhì)，包括顆粒、水滴等，這些介質(zhì)會吸收和散射部分可見光，使成像設(shè)備接收到的光的強度產(chǎn)生衰減，這導致獲取的視頻圖像產(chǎn)生退化和降質(zhì)。與無霧圖像相比，降質(zhì)圖像表現(xiàn)為清晰度、對比度和能見度降低，細節(jié)特征模糊不清，色彩產(chǎn)生失真和偏移等特性1。 以上視覺效果較差的降質(zhì)視

4、頻圖像丟失了部分有用的信息，這給確定目標和獲取視頻圖像細節(jié)信息造成了很大的困難，直接影響戶外視覺系統(tǒng)的正常工作，例如公路交通智能監(jiān)控，軍事航空監(jiān)測，戶外目標追蹤，航拍工作系統(tǒng)等重要的視覺系統(tǒng)。以災害監(jiān)測航拍工作系統(tǒng)為例，在霧天情況下，戶外場景能見度低。航拍視頻中的目標難以準確追蹤鎖定，目標顏色和對比度等特征嚴重衰減，導致航拍災害監(jiān)測預警以及后續(xù)搜救等工作難以正常進行，情況嚴重的話可能帶來巨大的損失2。因此，如果能對霧霾天氣下的降質(zhì)視頻圖像進行去霧處理，就能使戶外視覺系統(tǒng)適用于各種惡劣的天氣，增加其可靠性，獲取更加精確和有效的信息，提高視覺系統(tǒng)的工作效率，降低成本。同時，隨著計算機技術(shù)的發(fā)展，計

5、算機視覺系統(tǒng)在人們的日常生活和安全監(jiān)測方面得到了更加廣泛的應用，深入地研究高效的視頻圖像去霧技術(shù)有著很重要的社會價值，也是當前社會所迫切需要的。 視頻去霧技術(shù)是以圖像去霧為基礎(chǔ)的，圖像去霧即用各種技術(shù)和算法去除圖像中的霧?，F(xiàn)階段，在計算機視覺領(lǐng)域里，已經(jīng)有很多圖像去霧算法被提出，根據(jù)去霧的基本原理不同，將圖像去霧算法分為兩大類：一種是基于圖像增強的方法，一種是基于模型的圖像復原的方法。這兩種方法都可用于改善降質(zhì)有霧圖像的質(zhì)量，使其在視覺上有更好的效果，但兩種方法的機理不同3。在本文中，重點研究對象是圖像復原的方法，主要研究了基于大氣散射模型的去霧方法，并在此基礎(chǔ)之上做出了某些方面的改進。1.2

6、 本課題國內(nèi)外研究現(xiàn)狀 現(xiàn)階段，去霧在攝影和計算機視覺領(lǐng)域都是非常需要的。首先，去霧可以顯著增強場景的能見度并改善色彩偏移，無霧視頻圖像能增加人視覺上的愉悅感；其次，大部分計算機視覺算法，通常都假定輸入圖像獲取的是現(xiàn)場實時光照，視覺算法的運行（如：光照度分析，特征監(jiān)測及濾波）難以避免出現(xiàn)偏差。最后，去霧能產(chǎn)生一些深度信息，使得很多高級圖像編輯和視覺算法獲益。因此，基于現(xiàn)實需要，很多圖像去霧方法被提出來了。L.Bissonnette等研究人員早在1992年就對雨天和霧天條件下的降質(zhì)圖像進行了去霧的研究4；Southerly和John P.Oakley等人1998年對航拍的有霧天氣條件下的圖像進行

7、去霧處理，最終得到了一些研究成果5。在各研究人員二十多年的研究中，圖像去霧的技術(shù)取得了非常大的進步。 上一節(jié)中提到現(xiàn)階段有霧圖像的處理方法可分為兩大類：基于圖像增強及基于圖像復原的方法?；趫D像增強的方法是對圖像的對比度、邊緣、輪廓等特征進行一些處理，來顯示出圖像的細節(jié)信息，從而使其在視覺上更加清晰，然后應用到去霧領(lǐng)域即在視覺效果方面對圖像進行改善6。這種方法雖然適應性較廣泛，計算上也比較簡單，但它沒有考慮圖像退化降質(zhì)的根本原因，只是通過一些處理來使人在視覺上方便查看或者進一步進行處理和分析；另外，圖像增強的方法在處理局部的場景深度的變化細節(jié)方面存在著不足，并且可能會產(chǎn)生一定程度的顏色失真。由

8、此可知，圖像增強的方法只能減輕一定程度的霧的影響，而不能從根本上消除圖像中的霧。圖像復原去霧方法，則是通過建立霧天圖像成像模型，從中還原出無霧圖像。由于圖像復原方法去霧是根據(jù)霧天退化圖像成像的根本原理研究出來的，因此，現(xiàn)階段基于模型的圖像復原方法應用得較廣泛且取得了不錯的成果。1.2.1 基于圖像增強的去霧方法 現(xiàn)階段，圖像增強方法中兩個主要方法是直方圖均衡算法及Retinex（視網(wǎng)膜皮層理論）算法。 直方圖均衡化算法的原理是變換和處理霧天圖像的直方圖，使其趨于均勻分布，因為當數(shù)據(jù)趨于均值時，圖像的對比度會被增強，表現(xiàn)的信息較豐富，清晰度也更強。這種方法是根據(jù)圖像中像素的個數(shù)的分布狀況來對圖像

9、的直方圖進行調(diào)整使其分布趨向于均勻7。全局直方圖均衡化方法是最先被研究的，這種方法從整體上研究霧天圖像的灰度均衡化，它分析處理全局上統(tǒng)計的灰度信息，得到灰度調(diào)整函數(shù)。然而在很多實際的工程應用中，局部區(qū)域才是某些圖像處理算法需要處理的。因此，局部直方圖均衡化的方法應運而生，即AHE方法，這種方法要先對圖像進行分塊，然后設(shè)置一個局部窗口，將設(shè)置的窗口的中心像素點置于待操作的局部塊像素點處，對其進行直方圖均衡化處理，再把該窗口依次移到其他待處理的像素點處，直到完成整個圖像的處理。然而，這種重疊處理運算量非常大。翟藝書在此基礎(chǔ)上提出局部重疊的均衡化算法，但這種方法的分塊處理比較復雜；J B Zimme

10、rman等提出插值均衡化算法，消除了一部分塊效應8；Stark提出廣義的均衡化方法，擴大了AHE方法的使用范圍9。 Retinex算法是Land以顏色恒定型為基礎(chǔ)提出的理論。Retinex表示的是視網(wǎng)膜皮層理論，表明人的視覺系統(tǒng)與視網(wǎng)膜及大腦皮層有關(guān)系。該算法有顏色恒常性和動態(tài)范圍壓縮的特點。顏色恒常性指的是，人類在感知外界事物時，無論事物周圍的環(huán)境如何變化，人的視覺系統(tǒng)都能保持色彩恒定10。對于Retinex算法的研究已經(jīng)取得了很多的成果，Land等研究人員最早提出自由路徑的Retinex算法，但由于運算中路徑的個數(shù)和長度等難以加以確定，導致這個算法運算復雜?，F(xiàn)階段，中心環(huán)繞Retinex算

11、法是該領(lǐng)域的研究重點，該算法認為，周圍像素和中心像素的距離變化，會導致周圍像素對中心像素的影響產(chǎn)生變化，這個算法在運算上復雜度較低，而且能較好地增強圖像對比度。在應用方面，美國國家航空航天局在2004年對航拍的圖像進行了單尺度的Retinex實時性增強處理，獲得了很好的去霧效果。1.2.2 基于模型的圖像復原去霧方法 近年來，越來越多的研究人員對霧天圖像的成像機理進行研究，從這個角度入手，建立圖像退化降質(zhì)模型，從中恢復出無霧圖像。 最初，Oakley等基于這種機理構(gòu)造了一個多個參數(shù)的退化衰減模型。這個模型考慮設(shè)備和場景中多個不確定的因素，去霧效果較好，但它需要測量的參數(shù)太多，運算太復雜，實用性

12、不強5。后來Narasimhan S G在此基礎(chǔ)上對同一個場景不同天氣情況下形成的圖像進行研究，運用不同天氣情況的圖像間的差異獲取景深信息，提取該場景的三維結(jié)構(gòu)，然后復原出無霧圖像。這種方法的去霧效果取得了一定的進步，但由于條件的限制，一般情況下，獲得同一場景不同天氣情況下的圖像有一定的困難，對于實時系統(tǒng)來說也無法進行實時性的去霧11。 受到條件的限制，研究人員開始對單幅圖像的去霧技術(shù)進行研究，他們在大氣散射模型的基礎(chǔ)上，根據(jù)先驗條件還原出單幅圖像的無霧圖像。 Tan假定同一個場景的晴天圖像的對比度比霧天圖像更高，并且隨著場景深度增加，大氣光的變化趨于穩(wěn)定。根據(jù)這一先驗，Tan通過增加霧天圖像

13、的局部對比度以達到最大來對圖像進行去霧12。然而這種方法可能產(chǎn)生光暈效應，它在視覺上可能是有效的，但在物理上是無效的。Ktatz假定景深和場景輻射在統(tǒng)計上是各自獨立的。在此基礎(chǔ)上，建立一個重尾先驗的冪函數(shù)作為場景反射率的模型，具體的場景決定場景深度，依據(jù)景物特征，建立一個高斯平滑函數(shù)或者分段常數(shù)函數(shù)的模型，再求最大后驗估計13。運用獨立成分分析法，F(xiàn)attal認為在局部上，透射率被與物體深度是無關(guān)的，結(jié)合局部上的最優(yōu)解實現(xiàn)圖像去霧14。但這種方法在缺乏顏色信息及差異性，或者濃霧天氣情況時，是不適用的。Tarel提到對單幅圖像快速去霧的算法，他假定在可行區(qū)域內(nèi)，大氣耗散函數(shù)局部的變化較為平緩穩(wěn)定

14、且趨向于最大值，然后對中值濾波變化形式，最后估計出大氣耗散函數(shù)15。Kaiming He等研究人員用暗通道先驗對單輸入圖像進行去霧，他發(fā)現(xiàn)無霧戶外圖像中大部分的局部圖像塊都包含了一些強度非常低的，至少有一個色彩通道的像素。他將這種先驗通道應用于無霧圖像模型，可直接估算出霧濃度并恢復高品質(zhì)的無霧圖像，同時高質(zhì)量的深度圖也可以作為其副產(chǎn)品16。1.3 本文研究內(nèi)容與方法 對于霧天條件下，由于入射到成像設(shè)備的目標物體反射的光和環(huán)境光被空氣中懸浮的大氣微粒散射而減弱，導致視頻圖像發(fā)生退化和降質(zhì)這個問題，本文進行了研究和分析。霧天視頻圖像清晰度和對比度降低，細節(jié)信息模糊，基于這些特性，本文在大氣散射模型

15、的基礎(chǔ)上解決這些問題，研究分析了基于大氣散射模型的圖像去霧方法，重點研究了Kaiming He提出的暗通道先驗去霧方法，He提出暗通道先驗這一概念，在這個概念的基礎(chǔ)上，估算透射率和大氣光值，得到透射率圖，并且用軟摳圖方法進行細化，本文在此基礎(chǔ)之上對He的方法進行了改進，提出用導向濾波的方法代替軟摳圖的方法來細化透射率圖，并用實驗結(jié)果驗證了該方法的效果。最后研究了基于CUDA的實時視頻圖像去霧，概述了CUDA的基本原理和架構(gòu)，將CUDA并行方法應用到本文去霧方法中，實現(xiàn)高效率的視頻圖像去霧，然后將本算法與傳統(tǒng)算法的去霧速度進行了比較，驗證CUDA并行方法的效率。本文共分為五章，各章安排如下： 第

16、一章 緒論。開頭先介紹了視頻圖像去霧這一課題的背景及意義，然后總結(jié)了本課題現(xiàn)階段國內(nèi)外的研究現(xiàn)狀，將本課題的研究方法分為兩大部分，分別總結(jié)歸納，并進行比較，最后概括了本文的研究內(nèi)容與方法，及各章節(jié)的內(nèi)容安排。 第二章 霧天圖像成像理論分析。闡述了霧和霾的形成原理，以及大氣散射模型，包括其中的環(huán)境光模型和入射光衰減模型，重點闡述了有霧圖像成像模型，并且分析了霧天降質(zhì)視頻圖像的特性，最后對本章進行總結(jié)。 第三章 基于大氣散射模型的圖像去霧。首先對基于大氣散射模型的去霧方法進行概述，然后介紹了基于暗通道先驗的去霧方法，對暗通道先驗去霧方法不足的地方用導向濾波進行改進，并對改進前后的實驗結(jié)果進行比較分

17、析，最后對本章進行總結(jié)。 第四章 實時視頻去霧。首先介紹了CUDA的基本原理及架構(gòu)，然后將CUDA實時視頻去霧方法應用到實際視頻圖像中，分析其結(jié)果，最后進行總結(jié)。 第五章 總結(jié)與展望。對全文內(nèi)容進行總結(jié)，概括了本文所做的主要工作，并且分析了本文的缺陷和不足，對不足的地方進行展望，指出未來的研究工作的方向。第2章 霧天圖像成像理論分析2.1 霧和霾的形成原理 霧是在和地面較為接近的大氣空間中懸浮著的大量微小的冰晶顆粒物或者水滴，實質(zhì)上是一種乳白色的氣溶膠。霧滴的尺寸通常比較大，一般在1微米到60微米之內(nèi)，并且其分布較為均勻。由于人的視覺系統(tǒng)能觀察到的光波長在380nm到780nm之內(nèi)，故人眼可以

18、觀察到大氣空間中的霧滴。霾是由于空氣中存在著大量有機碳氫化合物、煙、塵等粒子，而使大氣變得混濁的現(xiàn)象。它是由大氣中的微小煙粒、塵粒等組成的集合體，當大氣的凝結(jié)核長大，并且空氣中的濕度比較大時，在與地面較為接近的大氣空間中會形成細小的水滴懸浮在空中。相對人眼可以感知的光波長來說，組成霾的顆粒非常小，因此肉眼是無法分辨的。當空氣中出現(xiàn)霾時，會導致能見度降低，視野變得模糊17。 那么為什么會形成霧霾天氣呢？根據(jù)研究，霧霾天氣形成的原因包括以下幾種：一是空氣濕度，二是溫度的變化，三是大氣中顆粒物形成的凝結(jié)核。首先，接近地面上方的大氣空間中，空氣中濕度較大促使大氣中的水汽凝結(jié)，另外，大氣中可以容納的水汽

19、的數(shù)量隨著溫度的升高會增多，這會使水汽的凝結(jié)加速，在一定的溫度下，大氣中的水汽出現(xiàn)飽和時，多余的水汽就會凝結(jié)。同時，大氣中存在著很多顆粒物，這些顆粒物形成凝結(jié)核，當溫度適宜時，顆粒物形成的凝結(jié)核就會吸附和凝結(jié)水汽，若溫度下降，它們又會凝結(jié)成懸浮在大氣空間的細小的冰晶或者水滴。2.2 大氣散射模型光傳播時會接觸大氣中懸浮的顆粒物，有一部分光被顆粒物散射，接收的光會減弱。散射和懸浮顆粒的大小、類型、分布及方向有很緊密的關(guān)系。依據(jù)Mie米氏散射理論，McCartney在1975年提出大氣散射模型18,19。這個模型分析了霧天圖像成像降質(zhì)退化的機理，把散射對光學傳感器接受到的光的影響分為兩個部分：一部

20、分是目標物體反射的光，反射光在從目標物體傳播到傳感器的過程中，被大氣中懸浮著的大量顆粒物吸收和散射，因此輸入成像設(shè)備的光產(chǎn)生直接衰減；另外一個部分是周圍的環(huán)境光，在成像過程中，環(huán)境光也作為成像的一部分輸入光，同樣地，在環(huán)境光傳播到成像設(shè)備傳感器的過程中也會被大氣中的顆粒物散射，導致環(huán)境光的衰減。這兩部分可以分別用入射光衰減模型和環(huán)境光模型來表述。但大氣散射模型要成立，也是需要一定的條件的，首先成像設(shè)備與目標物體的距離不能過遠，一般在幾千公里的范圍內(nèi)；其次，大氣中懸浮的微粒的類型及密度是趨向于均勻分布的。接下來，我們將詳細分析大氣散射模型。如下圖2.1就是McCartney的大氣散射模型示意圖。

21、圖2.1 大氣散射模型 2.3.1衰減模型 如圖2.2所示為入射光的衰減模型。圖2.2 衰減模型 由上圖，入射光在從目標物體傳播到成像設(shè)備的過程中，接觸到大氣中懸浮的微粒，其路徑發(fā)生改變，從目標物體反射的光本來是直線傳播的，遇到顆粒物后，發(fā)生散射，改變了其傳播方向，有一部分光在這個過程中衰減了，余下部分的光進入成像設(shè)備。對這個過程進行數(shù)學建模，如下圖2.3的平行光衰減模型，假定有一空間，這個空間中與大氣相同，有懸浮著的微粒，其橫截面積等于單位面積，且其厚度設(shè)為dx。圖2.3 平行光衰減模型 假設(shè)一束光線平行入射通過該空間，那么這束平行光在傳播過程中變化的能量dE表述為 （2.1） 設(shè)成像設(shè)備與

22、目標物體的距離為d，在2.1式兩邊對x從0到d求積分可以得到 （2.2）2.2式即為求成像設(shè)備所接收到的剩余的光照度，簡化該式可得： （2.3）其中表示波長，d表示景深，是目標物體的反射光被反射后剩余的到達成像設(shè)備的光的強度，表示在x為0時的散射的強度，表示單位體積內(nèi)大氣中的微粒對光線散射的能力，即散射系數(shù)，散射能力越強，的值越大。由2.3式可以知道，散射導致的直接衰減為指數(shù)型衰減，且其強度與場景深度緊密相關(guān)。2.3.2 環(huán)境光模型 在霧天圖像成像過程中，周圍的環(huán)境光也參與圖像的成像過程，如下圖2.4所示，太陽光、地面反射的光、天空散射的光、除了成像的目標物體之外的其他物體反射的光等都屬于環(huán)境

23、光，這些光線在傳播過程中也會與大氣中懸浮的微粒接觸，改變了原來的路徑，使得到達成像設(shè)備的環(huán)境光被削弱，環(huán)境光和目標景物的反射光一起傳播到成像裝置。與反射光的直接衰減不同的是，環(huán)境光的成分隨著目標與光學傳感器的距離增大而增加，因為當距離越大時，在長距離的傳播過程中，會有越來越多的環(huán)境光參與進來。圖2.4 環(huán)境光模型同樣地，對其進行數(shù)學建模。如下圖2.5：圖2.5 參與成像的環(huán)境光圖如圖2.5，假設(shè)形成的立體角為，距離x處的體積元表示為： （2.4）在該體積元處，大氣散射得到的光通量微元表示為： （2.5）環(huán)境光經(jīng)過散射后，成像設(shè)備接收到的光的輻照度： （2.6）單位角上的光強度為： （2.7）在

24、上式兩邊對x從0到d積分，則目標物體到光學傳感器的環(huán)境光光強為： （2.8）在距離為0時，環(huán)境光強度為0，d趨向于無窮大時，光照強度最大，此時，因此，距離為任意的d時，其光照強度為： （2.9）替換得 （2.10）這就是環(huán)境光模型。2.3.3 有霧圖像成像模型 依據(jù)McCartney的大氣散射模型，有霧圖像成像的原因包括目標物體反射光的散射及環(huán)境光的散射導致的圖像降質(zhì)退化。故光學傳感器接收到的光的強度包括目標景物反射的光及環(huán)境光發(fā)生散射后剩余的傳播到光學傳感器的光的強度的總和，也即： （2.11）為了方便，作出替換，使，得到： （2.12）這就是有霧圖像的成像退化模型，I（x）是有霧圖像，J（

25、x）是待還原無霧圖像，t(x)是透射率，描述到達相機的這部分光透射霧的能力，這種能力越大，t值越大，A是大氣光，通常是全局上的常量。去霧就是從I中恢復J。 霧成像方程（1）意味著，幾何上，在RGB顏色空間里，向量I（x），A和J（x）的端點是共線的且它們共面。如圖2.6所示，透射率t是兩個線段的比例： （2.13）其中C R，G，B顏色通道指數(shù)。圖2.6 有霧圖像成像模型 現(xiàn)階段，有霧圖像成像模型是應用得最廣泛的基本模型，在此基礎(chǔ)上，得到了很多有效的去霧方法，本文要研究的就是在此基礎(chǔ)上提出的暗通道先驗去霧的方法。2.3 霧天條件下降質(zhì)圖像的特性 根據(jù)前面的分析我們了解到，霧天情況下，因為大氣微

26、粒的散射，使得霧天視頻圖像發(fā)生了變化，具有了與晴天條件下的無霧圖像不同的特性，包括以下幾點： 一是由于入射光產(chǎn)生直接衰減，使得灰度值改變，因此圖像中的細節(jié)被模糊化，特征較難分辨，且圖像的清晰度和分辨率降低，信噪比較低，可見度和對比度也非常低，動態(tài)范圍很小等。 二是可能會產(chǎn)生色彩的偏移或者色差等，或者圖像整體呈現(xiàn)出灰白化，視覺上圖片色彩飽和度不夠等。 三是在頻域上，圖像中重點體現(xiàn)細節(jié)邊緣信息的是高頻分量，而霧天圖像高頻分量減少，低頻分量增加，因此霧天圖像的邊緣信息模糊。 四是時域上的特性，有霧圖像的直方圖灰度級趨向于平均值，集中分布，因此其動態(tài)范圍非常小，視覺上，圖像只有較為模糊的細節(jié)信息2。

27、如圖2.7即為有霧圖像及無霧圖像與其各自的直方圖的比較。有霧圖像(a)中，道路上各種細節(jié)都看不清楚，后面一輛車只能看見車燈，路旁的建筑等都被霧模糊了，而無霧圖像（c）中，遠處的山和樹林，草地都清晰可見。對應兩幅圖像的直方圖，有霧圖像的直方圖中，像素值集中分布于均勻值，無霧圖像的直方圖分布較分散，范圍較大，其動態(tài)范圍和對比度更大。 （a）霧天圖像 （b）霧天圖像的直方圖 （c）無霧圖像 （d）無霧圖像的直方圖圖2.7 有霧與無霧圖像及其直方圖對比圖2.4 圖像去霧質(zhì)量評價指標 本文研究的是對霧天視頻圖像進行清晰化處理，那么在對視頻圖像去霧處理后，如何評價其恢復圖像的質(zhì)量呢？在工程實踐中，又如何確

28、定去霧后的質(zhì)量是否滿足工程實踐的要求呢？為了解決這一問題，本節(jié)將討論評價去霧圖像質(zhì)量的指標。圖像去霧質(zhì)量的評價指標分為主觀評價和客觀評價兩種方法2。2.4.1 主觀評價方法 主觀評價方法比較直接，這種方法是從人的主觀視覺角度來評價去霧圖像的質(zhì)量，其中應用最廣泛的是主觀質(zhì)量評分法，這種方法歸一化各個觀察人員的評價，不同的評價結(jié)果對應不同的評價層級，共分為i個評價層級。 主觀評價方法的統(tǒng)計結(jié)果相對比較可靠，實現(xiàn)的難度也不大，但在工程實踐中，這種方法不能滿足其實時性，會耗費大量的時間和精力，且影響因素也很多，所以對于實時視頻去霧來說，這種方法不太適用。2.4.2 客觀評價方法 客觀評價方法是通過建立

29、一個模型，來模擬人的視覺系統(tǒng)，用相應的算法對去霧后的圖像質(zhì)量做出評價?？陀^評價方法中應用得較為廣泛的指標有以下幾種： 一是均方差。均方差表現(xiàn)圖像各像素灰度值與平均灰度值偏離多少，均方差較大時，圖像的灰度信息更加豐富，對比度更大，圖像質(zhì)量更好。均方差通過下式獲得： （2.14）其中M是行數(shù)，N是列數(shù)，I（i,j）是像素的灰度值，表示灰度均值。 二是信息熵。信息熵與圖像中的信息量有關(guān)，可以反映圖像中信息是否豐富。信息熵較大時，圖像信息量較為豐富，質(zhì)量較好。其定義如下式： （2.15）其中，L是灰度等級，p(g)表示灰度值為g的像素數(shù)和總像素數(shù)的比值。 三是平均梯度。平均梯度是用來表現(xiàn)圖像的相對清晰

30、度的，它分析圖像里細節(jié)的變化速率。平均梯度較大時，圖像較清晰。其定義如下式： （2.16）其中，M為圖像總的行數(shù)，N為總的列數(shù)，是i行j列的灰度值。 通過上面的分析，我們了解到，客觀評價指標也是以主觀評價為基礎(chǔ)的，客觀評價指標能滿足實時視頻去霧所要求的實時性，能夠較好地模擬人的視覺系統(tǒng)，并且效率也較高，在本文中，我們用它們來作為評價圖像去霧后的質(zhì)量的指標。2.5 本章小結(jié) 這一章主要分析了霧天圖像成像的機理，為后面的討論分析做出理論基礎(chǔ)鋪墊。首先分析霧、霾的形成原理，了解下這種天氣下大氣中微小顆粒的存在，然后研究了McCartney提出的大氣散射理論，其中有環(huán)境光模型，入射光衰減模型，及最重要

31、的霧天圖像的成像模型，了解到霧天圖像退化是由于目標物體反射的光及環(huán)境光接觸到空氣中的顆粒物發(fā)生散射作用，部分光改變了傳播方向，導致傳播到成像設(shè)備的光強被削弱，這個原理是后面所有研究的基礎(chǔ)。然后分析了霧天圖像的幾個特性，并對有霧圖像和無霧圖像進行了對比，也對各自的直方圖進行了說明和對比，具體地表現(xiàn)了霧圖像的特性。最后分析了去霧圖像質(zhì)量評價指標，為后面幾章的研究分析打下了基礎(chǔ)。第3章 基于大氣散射模型的圖像去霧3.1 基于大氣散射模型的去霧方法概述 基于大氣散射模型的有霧視頻圖像去霧方法，是根據(jù)上一章中討論的大氣散射模型得到的有霧圖像成像模型，根據(jù)降質(zhì)圖像的成像過程，求逆過程，恢復出無霧圖像。也就

32、是說，這種方法以有霧圖像退化降質(zhì)的原理為理論基礎(chǔ)，分析霧天圖像成像的原因及其過程，根據(jù)成像模型建立一個回歸模型，利用反演這個回歸過程得到所需要的返回值。這個方法從圖像降質(zhì)的物理機理出發(fā)，優(yōu)于其他的復原方法，因此現(xiàn)階段是應用得較為廣泛的，并且取得了顯著成果。 基于大氣散射模型的圖像復原方法依據(jù)圖像降質(zhì)退化的基本原理及物理特性建立一個數(shù)學模型，為得到霧圖像的原始本質(zhì)圖像，對這個模型求逆。這個模型在圖像去霧領(lǐng)域取得了很好的效果，但這個退化模型參數(shù)很多，比較復雜，研究分析中需要掌握大氣條件，場景深度以及其他的一些先驗信息。在本章中，將對何凱明的基于大氣散射模型的暗通道先驗方法進行研究分析，并在此基礎(chǔ)上

33、進行改進。3.2 基于暗通道先驗的去霧方法3.2.1 暗通道先驗 暗通道先驗是kaiming He等研究人員提出的一種理論16。這個理論是基于以下的關(guān)于無霧戶外圖像的觀察統(tǒng)計：在圖像的大多數(shù)非天空部分中，RGB三通道中至少有一個顏色通道在某些像素上具有非常低的強度，換句話說，在這樣一個部分的最低強度應該有一個非常低的值。對于圖像J，在形式上定義： （3.1）其中是J的一個色彩通道，是集中于x的局部塊，觀察表明，如果J是無霧戶外圖像，除了天空區(qū)域，的強度低并趨向于0，即為J的暗通道。 暗通道中的低強度包括以下一些因素：建筑物、汽車等城市景觀中的陰影，彩色物體表面的色彩通道上缺乏顏色，或者黑暗的物

34、體表面等。戶外圖像一般存在很多陰影和色彩，所以這些圖案的暗通道非常暗。如下圖3.1，展示了無霧的戶外圖像和有霧戶外圖像及其對應的暗通道圖，可以發(fā)現(xiàn)暗通道圖大部分區(qū)域都呈現(xiàn)出黑色。 （a）無霧戶外圖像 （b）無霧圖像對應的暗通道圖 （c）有霧戶外圖像 （d）有霧圖像對應的暗通道圖圖3.1 無霧和有霧戶外圖像及其暗通道圖 為了驗證暗通道先驗，He從若干圖像搜索引擎中收集了一個戶外圖像集，挑選了白天的無霧風景圖和城市景觀圖，從中隨機選擇了5000幅圖像，裁剪掉天空區(qū)域。它們的大小被重置了，因此最大高度和寬度是500像素，暗通道使用1515的局部區(qū)域來計算。圖3.2（a）是所有五千個暗通道強度的直方圖

35、，圖3.2（b）是相應的累積直方圖，可以看到，暗通道中，大約75%的像素是零值，90%的像素強度低于25，所以大部分暗通道有非常低的平均強度，這意味著只有一小部分無霧戶外圖像偏離了我們的先驗。 由于霧在一般情況下呈現(xiàn)灰白色，原本較暗的通道由于額外的灰白色的光，強度會變大，因此有霧圖像比其無霧版本的圖像更加明亮，有霧圖像的暗通道在密集的有霧區(qū)域會有更高的強度。暗通道的強度在視覺上是霧濃度的粗略近似值，這個特性可以用來評估透射率和大氣光。 Kaiming He之前的研究人員大多數(shù)是從增加圖像的對比度角度來實現(xiàn)圖像的清晰化，但He從一全新的角度對圖像去霧進行研究，提出了暗通道先驗，這種方法簡單高效，

36、可直接估算霧濃度并恢復高品質(zhì)的無霧圖像。接下來我們的研究分析就要在此理論基礎(chǔ)之上進行。 （a） （b）圖3.2 暗通道強度的直方圖及累積直方圖3.2.2 估算透射率 在這里，先假定大氣光A是已經(jīng)給出的，進一步假設(shè)局部區(qū)域的透射率是恒定的，設(shè)為t（x），在局部區(qū)域上對霧天圖像成像方程（2.12）兩邊進行最小值操作得到： （3.2）注意最小值操作在RGB三通道上時獨立執(zhí)行的，上式等價于： （3.3）在RGB三色彩通道上在上述等式中再采取一次最小值操作得到： （3.4）根據(jù)暗通道先驗，J的暗通道應該趨向于零，即有： （3.5）由于總為正數(shù)，因此： （3.6）將方程（3.6）代入方程（3.4），可以簡

37、單估算透射率： （3.7）事實上是正?；撵F圖像的暗通道，它直接給出了透射率的估量。 正如前面提到的，暗通道先驗對天空區(qū)域來說不是一個好的先驗。好在在霧天圖像中，天空的顏色類似于大氣光A。在天空區(qū)域，有：且天空是無限的，其透射率趨向于0，故方程（3.7）很好地處理了天空區(qū)域和非天空區(qū)域，不需要預先區(qū)分開天空區(qū)域。 事實上，即使是在晴朗的日子里，大氣中也不是絕對沒有任何粒子，故而當我們看遠處物體時，霧依然存在。而且，霧是人感知深度的根本線索，這種現(xiàn)象被稱為空氣透視。假設(shè)我們徹底去霧，圖像可能看起來不自然而且深度感可能會喪失，所以我們可以通過將一個常數(shù)參量 (01) 引入方程（11）來為遠處物體隨

38、意地保留非常少量的霧： （3.8）這種改動的好處是我們可以自適應地為遠處物體保留更多的霧。的值是基于應用的。將文中所有報告的結(jié)果都固定到0.95。 雖然這樣估算的透射率圖大致上是可行的，但是卻包含了一些塊效應，因為局部上透射率不總是恒定的，因此He接下來用軟摳圖對透射率圖進行改進。3.2.2 軟摳圖 注意到霧成像方程（2.12）與圖像摳圖方程有相似的形式，所以將軟摳圖方法應用于細化傳輸圖。用t（x）表示細化傳輸圖。將t(x)和重寫成它們的矢量形式t和，最小化下列價值函數(shù)： （3.9）其中L是萊文提出的摳圖Laplace矩陣，是正則化參數(shù)。前一項為平滑項，后一項為數(shù)據(jù)項。矩陣L的（i，j）元素被

39、定義為： （3.10）其中，在像素i和j上I的顏色是和，是Kronecker函數(shù)，和是平均值和協(xié)方差矩陣，是正則化參數(shù)，是3x3的單位矩陣，是中的像素數(shù)。 t的最優(yōu)解可以通過解決以下的稀疏線性系統(tǒng)來得到： （3.11）其中U是與L同樣大小的單位矩陣，給設(shè)置一個小的值，因此t由簡單限制了。如圖3.3（c）是用3.3（b）作為數(shù)據(jù)項的軟摳圖結(jié)果，正如所看到的，精細透射率圖設(shè)法捕捉鋒利邊沿的間斷性和概括物體的輪廓。 （a）有霧圖像 （b）透射率估計圖 （c）經(jīng)過軟摳圖的精細透射率圖 （d）最終的無霧圖像圖3.3 細化透射率圖 上述軟摳圖方法，使用了高精度的插值用稀疏線性系統(tǒng)來求大型稀疏矩陣，因此其運

40、算量非常大。并且雖然軟摳圖的效果顯著，但從圖3.3中經(jīng)細化的透射率圖可以看出，仍然存在著一些光暈效應，因此本文后面的部分將在He的軟摳圖方法上作出一些改進。3.2.3 估算大氣光 前面提到，霧圖像的暗通道很接近霧的濃度，可以用暗通道來提高大氣光估量的準確性。首先選擇暗通道中最亮的0.1%的像素，這些像素是最不透明的霧區(qū)域。在這些像素里，I中具有最大強度的像素被選作大氣光。在整個圖像中，這些像素也許不是最亮的。這個簡單有效的暗通道方法比“最亮像素”方法更優(yōu)，用它來自動估算文中展示的所有圖像的大氣光。3.2.4 恢復無霧圖像 通過透射率圖，可以根據(jù)方程（2.12）恢復無霧圖像。但是當透射率t（x）

41、接近于零時，J(x)t（x）可能非常接近于零。直接恢復場景輻射J容易產(chǎn)生噪聲。因此，He限制透射率t（x）的下限為，這意味著一定少量的霧被保存在非常密集的霧區(qū)域。最后的無霧圖像J（x）被恢復： （3.12）的典型值是0.1。因為一般沒有大氣光那么明亮，故去霧后的圖像看起來很暗淡。所以，為了視覺效果，提高了J（x）的曝光。圖3.3（d）是恢復的無霧圖像。3.3 改進的基于大氣散射模型的視頻圖像去霧方法 由上一節(jié)對何凱明提出的暗通道先驗算法的分析，我們了解到，暗通道先驗方法在圖像去霧方面有著顯著的效果，操作簡單。但這個算法也存在著一些問題，其中最顯著的問題就是運用軟摳圖對透射率圖進行細化運算太復雜

42、，這在很大程度上降低了圖像去霧的效率。雖然在對透射率圖進行細化的過程中，軟摳圖的效果很好，但是軟摳圖要求解一個很大的稀疏矩陣線性化方程，這個運算過程耗費了大量的內(nèi)存和時間。例如，在用軟摳圖細化一幅750450的圖像的透射率圖時，要生成一個維數(shù)達到（750450）2的矩陣，這個過程耗費的時間超過15秒，并且對內(nèi)存有很高的要求。由此可見，在暗通道去霧的算法中，全部的運算時間有一大部分就會耗費在軟摳圖方面，這對于單幅圖像去霧來說是一個很大的缺陷。因此本文在這一節(jié)中，對這個問題進行改進，用另外一種更高效的方法來對透射率圖進行細化，這種方法就是導向濾波法。3.3.1 導向濾波 導向濾波是一種效率較高的算

43、法，它把輸入的圖像或者是其他圖像用作導向圖來提取邊緣信息或結(jié)構(gòu)信息，然后對輸入圖像濾波。導向濾波方法可以平滑去噪，并且可以很好地使圖像的邊緣特性得到保持。導向濾波得到的圖像邊緣信息特征較顯著、清晰，它對透射率圖的細化效果和軟摳圖不相上下，但效率卻遠比軟摳圖方法高20。導向濾波的濾波過程的模型用下式表示： （3.13） 其中，q是輸出圖像，I是導向圖，p是輸入圖像，i、j是像素坐標，是導向圖的一個函數(shù)，即濾波核，它與p不相關(guān)，p和I是給定的。設(shè)輸出濾波圖像q與導向圖I的關(guān)系表述為： （3.14） 現(xiàn)在問題的關(guān)鍵就是要求出上述線性關(guān)系式的兩個系數(shù)和，是一個窗口，其半徑為r，、是在這個窗口中恒定的常

44、數(shù)系數(shù)。在這個模型中，存在，所以能保證輸出圖像q的邊緣只存在于導向圖I的邊緣存在的時候。那么線性系數(shù)、如何獲得呢？它們是通過限制待濾波圖像p來獲得的，定義過濾輸出圖像q是待濾波圖像p減去不必要的紋理和噪聲得到的，如下式： （3.15） 現(xiàn)在，要保持（3.14）線性模型并且使得p和q的差別不大，應該對以下的代價函數(shù)做最小化處理： （3.16）其中是一個用來保證不會過大的正則化參數(shù)，這是一個線性回歸模型，求得： （3.17） （3.18）其中，是中的像素的個數(shù)，在窗口中，是導向圖I的方差，是導向圖I的均值，是內(nèi)p的均值，有，則濾波輸出為： （3.19）其中，（,)的梯度值遠小于圖I的強邊緣，有，在

45、濾波后的圖q中，像素變化較大的導向圖I中的部分被保持了。 事實上，（3.17）中的可以寫為，是以導向圖I為依賴的權(quán)重，同理： （3.20）有，導向濾波的核的權(quán)重表述為： （3.21）通過上式，可以理解邊緣保持平滑的屬性。，處于邊緣同一邊時，與符號一致，不在同一邊時，符號是相反的。在（3.21）中，對于，不同側(cè)像素比同側(cè)像素該式的值要遠小，所以邊緣上都是不平均的。3.3.1 運用導向濾波細化透射率圖 導向濾波能夠使圖像邊緣更加平滑，更加結(jié)構(gòu)化，并且能夠平滑去噪。導向濾波的時間復雜度和濾波核的亮度和尺寸無關(guān)，與像素的個數(shù)有關(guān)，為O（N），所以相比軟摳圖方法，導向濾波效率大大提高了。運用導向濾波去霧

46、，要先得到霧圖像的RGB最小值圖，用作導向圖，以及暗通道圖作為導向濾波的輸入圖像，通過導向濾波得到細化的透射率圖，然后估算大氣光，恢復無霧圖像。其過程用流程圖表示如下圖3.4：圖3.4 去霧流程圖3.4 實驗結(jié)果與分析 我們將上面講到的去霧方法應用到實際的圖像中，分析改進前后圖像的特性及各項指標，分別進行主觀評價和客觀評價，驗證本文方法的去霧效果。3.4.1 主觀評價 如圖3.5，為了凸顯導向濾波圖的效果，我們對兩幅霧天圖像進行操作，對其透射率圖分別用軟摳圖法和導向濾波法進行了細化，細化后的效果比較如圖。首先用He的方法估計出粗略透射率圖，如圖3.5（b），3.5(f)。然后分別用導向濾波和軟

47、摳圖法進行細化得到如圖3.5（c），3.5（d），3.5（g），3.5（h）的結(jié)果。 （a）輸入霧天圖像1 （b）粗略透射率圖 （c）軟摳圖細化的透射率圖 （d）導向濾波細化的透射率圖 （e）輸入霧天圖像2 （f）透射率圖 （g）軟摳圖細化的透射率圖 （h）導向濾波細化的透射率圖圖3.5 兩方法對透射率圖細化效果比較 由3.5，可以看出，本文方法對粗略透射率圖的細化效果比He的方法更加良好，相比He的方法，對于粗略透射率圖存在的塊效應，本文方法能夠很好地消除，并且對圖像的細節(jié)信息能夠保持得更完善。 另外，我們對兩方法去霧后的圖像也做了對比，如圖3.6所示： （a）霧天圖像 （b）軟摳圖去霧后圖

48、像 （c）導向濾波去霧后圖像 圖3.6 He方法與本文方法去霧效果對比 由組圖3.6，可以看出，本文方法去霧的效果在He方法基礎(chǔ)上有了一定的提高，本文方法能更好地增強圖像對比度、清晰度，最主要的是本文方法能夠平滑去除圖像噪聲，更好地保持圖像的邊緣，實驗充分驗證了本文方法去霧的效果。 由于本文研究的是對于霧天視頻的去霧處理，在實際的工程應用中，需要對視頻中圖像序列里的每一幀圖像進行去霧處理，因此，我們下載了一段霧天視頻，并在其中截取了第59,96,124幀圖像，分別用軟摳圖和導向濾波的方法對三幀圖像進行去霧，以驗證導向濾波的效果。結(jié)果如圖3.7所示。 （a）第59幀圖像原圖 （b）原始透射率圖

49、（c）軟摳圖后透射率圖 （d）導向濾波后透射率圖 （e）軟摳圖去霧后圖像 （f）導向濾波去霧后圖像 （g）第96幀圖像原圖 （h）原始透射率圖 （i）軟摳圖后透射率圖 （j）導向濾波后透射率圖 （k）軟摳圖去霧后圖像 （l）導向濾波去霧后圖像 （m）第124幀圖像原圖 （n）原始透射率圖 （o）軟摳圖后透射率圖 （p）導向濾波后透射率圖 （q）軟摳圖去霧后圖像 （r）導向濾波去霧后圖像圖3.7 視頻序列中任意三幀霧圖像經(jīng)過兩不同方法去霧后效果圖 由以上的實驗結(jié)果圖，可以看出，軟摳圖方法獲得的去霧圖像雖然去霧效果較好，但與導向濾波相比仍然稍顯遜色，導向濾波的方法能夠很好地保持圖像的邊緣信息，使其

50、邊緣細節(jié)信息清晰明確、而且能夠平滑去噪，色彩恢復得較好，而軟摳圖方法的圖片中仍然有一些細節(jié)邊緣信息不清晰，主觀視覺效果上，導向濾波優(yōu)于軟摳圖方法。3.4.2 客觀評價 雖然人的主觀視覺系統(tǒng)能較好地評價圖像的質(zhì)量，但仍然會受到很多方面的影響，導致判斷結(jié)果不夠準確。在第二章的去霧圖像質(zhì)量評價指標一節(jié)中，本文介紹了幾個客觀評價指標，用客觀評價指標效率較高，且能較好地評價圖像的質(zhì)量，為了驗證本文算法的效果，我們測算了3.7中圖像的三個指標：均方差，信息熵H，平均梯度，并列表進行比較，結(jié)果如表3.1所示。表3.1 組圖3.7中圖像的各質(zhì)量指標值圖像 (a)霧圖像 (e)He方法 (f)本文方法 (g)霧圖像 (k)He方法 (l)本文方法 (m)霧圖像 (q)He方法 (r)本文方法342.24804.13