霧天降質(zhì)圖像清晰度恢復(fù)技術(shù)研究4000

1、霧天降質(zhì)圖像清晰度恢復(fù)技術(shù)研究摘 要 霧霾天氣的情況下，在戶(hù)外獲取的場(chǎng)景圖像受到該天氣情況的不利影響影響，導(dǎo)致所獲取的圖像的對(duì)比度信息丟失，色彩變淡場(chǎng)景中信息受損，嚴(yán)重影響了戶(hù)外計(jì)算機(jī)視覺(jué)系統(tǒng)的工作質(zhì)量，使其無(wú)法可靠的工作。所以在霧天的天氣條件下，通過(guò)圖像去霧處理技術(shù)處理霧化的圖像，增加霧天情況下戶(hù)外場(chǎng)景的對(duì)比度非常重要，值得我們?nèi)ラ_(kāi)展圖像去霧的研究。本文圍繞先驗(yàn)暗原色去霧方法開(kāi)展研究，并在此方法的基礎(chǔ)上，改進(jìn)該方法。針對(duì)圖像去霧的實(shí)時(shí)性要求，以及顏色失真問(wèn)題作了以下處理：（1） 將圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)UV顏色空間進(jìn)行處理；（2） 使用Guide Filter代替摳圖法處理透射率t值圖

2、。經(jīng)過(guò)實(shí)驗(yàn)對(duì)比，證明優(yōu)化后的去霧方法能有效獲得清晰地圖像，并且縮短了圖像處理的時(shí)間，提高去霧圖像的質(zhì)量，滿(mǎn)足了圖像去霧的實(shí)時(shí)性要求。關(guān)鍵詞：暗原色去霧 大氣散射模型 guide濾波器 YUV Abstract Under haze weather conditions, the outdoor scene image acquired by the adverse effects of the influence of weather conditions, resulting in the contrast of the acquired image information is lost,

3、 damaged scene color fades information, a serious impact computer vision system for outdoor work quality, making it impossible to reliably work. So in foggy weather conditions, through image processing techniques to deal with atomized mist image, increase contrast outdoor scenes under foggy conditio

4、ns is very important, it is worth us to carry out research image to fog. This paper focuses on the dark color to fog a priori methods research, and based on this method, the improvement of the method. Real-time requirements for the image to go to the fog, and the color distortion problem made the fo

5、llowing treatment: (1) the image from the RGB color space to YUV color space to process; (2) using guide filter instead of cutout method and treatment of transmittance t value.Through experimental comparison, the optimized to fog that method can effectively obtain a clear image, and short the time o

6、f image processing, improve the quality of the image to fog can meet the real-time requirements of image to fog.Keywords: Dark grey to fog Atmospheric scattering model guide filter YUV目 錄摘 要IAbstractI一、緒論31.1研究背景31.2 研究的目的與意義31.3 國(guó)內(nèi)外霧化圖像恢復(fù)技術(shù)研究概況4二、大氣散射理論及退化模型42.1大氣的散射42.3大氣散射模型5三 暗原色先驗(yàn)63.1 暗原色去霧原理63

7、.2暗原色去霧的缺點(diǎn)7四、基于暗原色去霧方法的優(yōu)化74.1 YUV顏色空間RGB顏色空間74.2利用guide濾波代替摳圖法9五、結(jié)果分析10六、總結(jié)與展望11參考文獻(xiàn)1213一、緒論1.1研究背景隨著人類(lèi)社會(huì)步入信息時(shí)代，人們對(duì)于對(duì)信息的采集以及信息的提取有了更大的需求，其中圖像作為信息的以一種載體有著更加直觀的作用。近些年來(lái)，極端天氣頻發(fā)。在雨、霧、雪等惡劣天氣下，戶(hù)外獲得的圖像會(huì)受到復(fù)雜天氣的影響。而其中霧，霾天氣是較常遇到的天氣，這種天氣時(shí)空中有大量的懸浮顆粒，由于這些微粒對(duì)光線(xiàn)的散射、吸收等作用，使得大氣的能見(jiàn)度降低，造成了霧天拍攝的圖像質(zhì)量大大降低，圖像的清晰對(duì)和對(duì)比度受影響，最終

8、直接導(dǎo)致了圖像中細(xì)節(jié)被遮蓋，圖像信息無(wú)法正常提取。因此霧天條件下，圖像處理技術(shù)對(duì)霧化圖像的處理，還原原始的無(wú)霧圖像，方便與圖像信息的提取，使得計(jì)算機(jī)視覺(jué)系統(tǒng)能夠在惡劣天氣下也能正常提取圖像信息，降低天氣對(duì)計(jì)算機(jī)視覺(jué)系統(tǒng)的不利影響，這無(wú)疑具有十分重要的理論和實(shí)際應(yīng)用價(jià)值。1.2 研究的目的與意義 在霧霾天氣的條件下，戶(hù)外拍攝時(shí)，圖像的清晰度下降，圖像細(xì)節(jié)模糊，導(dǎo)致從中提取的有用信息減少，影響對(duì)圖像清晰度要求較高的計(jì)算機(jī)視覺(jué)系統(tǒng)的工作可靠性。本文通過(guò)對(duì)霧化圖像去霧算法的研究，選擇先驗(yàn)暗原色的去霧算法，在改善圖像清晰度和能見(jiàn)度的同時(shí)，縮短圖像去霧的時(shí)間，提高去霧圖像的質(zhì)量，有利于戶(hù)外計(jì)算機(jī)視覺(jué)系統(tǒng)的

9、成像及圖像信息的提取。 本文的研究對(duì)于城市道路交通視頻監(jiān)控系統(tǒng)、銀行的監(jiān)控系統(tǒng)、視頻安防監(jiān)控領(lǐng)域有著重大的現(xiàn)實(shí)意義。此外，本文的研究也可為地形探測(cè)、遙感導(dǎo)航的系統(tǒng)提供有效的圖像預(yù)處理途徑。并且，本文的研究有助于加強(qiáng)遙感圖像的有效利用，在目標(biāo)識(shí)別、遙感導(dǎo)航及軍事國(guó)防領(lǐng)域都具有重大的應(yīng)用價(jià)值。1.3 國(guó)內(nèi)外霧化圖像恢復(fù)技術(shù)研究概況圖像去霧技術(shù)是為了消除不利的天氣因素對(duì)圖像的清晰度和對(duì)比度方面的影響，從而增強(qiáng)圖像的質(zhì)量，該問(wèn)題吸引了國(guó)內(nèi)外研究人員的興趣。大氣散射對(duì)人的視覺(jué)影響最大，根據(jù)是否依賴(lài)大氣散射模型，可以將現(xiàn)有的去霧技術(shù)分成兩類(lèi)，即基于物理模型方法和基于非物理模型方法。在圖像去霧技術(shù)的基礎(chǔ)上，

10、視頻去霧也有所發(fā)展。目前主要是將圖像去霧技術(shù)擴(kuò)展到視頻去霧領(lǐng)域。二、大氣散射理論及退化模型 有霧天氣條件下在戶(hù)外進(jìn)行取景時(shí)，戶(hù)外場(chǎng)景會(huì)受到霧氣的影響，導(dǎo)致傳感器獲得的圖像清晰度不高，獲得的圖像不可靠，影響了計(jì)算機(jī)視覺(jué)系統(tǒng)在霧天情況下的可靠、穩(wěn)定工作。2.1大氣的散射圖片質(zhì)量下降從本質(zhì)上來(lái)說(shuō)，是由于場(chǎng)景的反射光線(xiàn)在進(jìn)入傳感器的傳播過(guò)程中，光線(xiàn)與大氣中的氣溶膠系統(tǒng)的微粒相遇，發(fā)生交互作用，使得光線(xiàn)的傳播方向及能量發(fā)生變化并在空間中以一定規(guī)律重新分布的結(jié)果。根據(jù)交互作用的原理分為三個(gè)類(lèi)型：吸收、散射和放射。其中大氣散射作用從本質(zhì)上講是大氣中的微?；蚴菤馊苣z系統(tǒng)的微粒與入射的電磁波發(fā)生交互作用，產(chǎn)生多

11、極子或電偶極子振蕩，并以此微粒為中心，向各個(gè)方向輻射與入射的電磁波頻率相同的散射波。2.2大氣散射模型 Mie散射理論對(duì)大氣的散射現(xiàn)象進(jìn)行了詳細(xì)的闡述和論證。將大氣中復(fù)雜的散射作用分為兩大類(lèi)：光線(xiàn)在傳播中通過(guò)大氣介質(zhì)時(shí)引起的光強(qiáng)度衰減作用和大氣中的大量微粒散射的環(huán)境光隨場(chǎng)景光進(jìn)入接收裝置所引起的大氣光作用。 圖2.1入射光衰減模型和大氣光成像模型由于大氣粒子的散射作用，入射光線(xiàn)有小部分被大氣介質(zhì)散射和吸收，使得光的輻射能量衰減，并且在這個(gè)過(guò)程中，場(chǎng)景點(diǎn)輻射衰減度隨著場(chǎng)景與接收裝置距離的增加呈現(xiàn)指數(shù)性規(guī)律。主要有入射光衰減模型和大氣光成像模型，示意圖分別為下圖。圖2.2衰減模型圖2.3大氣成像模

12、型三、暗原色先驗(yàn)基于暗原色先驗(yàn)的霧天圖像復(fù)原是He等，統(tǒng)計(jì)了大量的無(wú)霧的圖像，得出了暗原色先驗(yàn)理論，這是一種霧天圖像自適應(yīng)處理的方法。這種方法創(chuàng)造性的提出了一種場(chǎng)景深度的估計(jì)方法，使得圖像去霧進(jìn)入了嶄新的階段。3.1 暗原色去霧原理在利用暗原色去霧的算法中我們需要求取的未知量其中有一個(gè)是天空的亮度，對(duì)于一般的去霧圖像，會(huì)選取圖像中最亮的點(diǎn)作為天空亮度的取值估計(jì)。但這種取法有一個(gè)明顯的缺點(diǎn)，就是圖像中最亮的點(diǎn)并不一定都是天空區(qū)域，這就會(huì)導(dǎo)致天空亮度值得估計(jì)錯(cuò)誤。如，在有霧的天氣中，最亮的點(diǎn)可能是近處的白色建筑或白色的衣裳，而非遠(yuǎn)處?kù)F蒙蒙的天空。為了防止這種錯(cuò)誤的發(fā)生，在He的算法中，通過(guò)比較暗原

13、色矩陣中的像素，求出暗原色矩陣中一些數(shù)量為總數(shù)的0.1%最亮的點(diǎn)，并通過(guò)這些點(diǎn)找到原霧化圖像的所對(duì)應(yīng)的點(diǎn)，這些點(diǎn)擁有圖像中最大的亮度值，然后將其作為天空的亮度值。在暗原色通道中尋找最亮的像素的對(duì)應(yīng)點(diǎn)，可以最大可能的避免單個(gè)像素點(diǎn)或一小片區(qū)域的亮度值超過(guò)天空區(qū)域值的情況，防止發(fā)生錯(cuò)誤的估計(jì)。暗原色通道里最亮的像素點(diǎn)，一般來(lái)說(shuō)就霧化較為嚴(yán)重的區(qū)域（霧化區(qū)域的亮度較高），為霧化的天空區(qū)域。所以說(shuō)這樣就可以找到圖像的天空區(qū)域，再在這些區(qū)域?qū)ふ易畲笾?，作為天空亮度的估?jì)值，減少估計(jì)值得偏差。3.2暗原色去霧的缺點(diǎn)暗原色去霧是通過(guò)統(tǒng)計(jì)的方法找出無(wú)霧圖像的共同點(diǎn)，并在此基礎(chǔ)上進(jìn)行去霧。通過(guò)上述的說(shuō)明，已驗(yàn)證

14、這方法可以有效的提高圖像的清晰度和能見(jiàn)度。但上述方法中仍然存在著不足，需要進(jìn)一步的去改進(jìn)。首先，對(duì)于暗原色去霧，在處理彩色圖片時(shí)，必須要對(duì)RGB三個(gè)顏色通道進(jìn)行處理，求出暗原色矩陣。若是將彩色圖像處理的三個(gè)通道轉(zhuǎn)化處理一個(gè)通道情況，那么將會(huì)減少圖像處理的時(shí)間。第二，在求傳輸透色率時(shí)，也會(huì)對(duì)三個(gè)RGB通道根據(jù)大氣散射模型進(jìn)行處理，而這樣處理的結(jié)果將會(huì)對(duì)于部分圖像（包含天空區(qū)域）造成顏色失真。四、基于暗原色去霧方法的優(yōu)化 在上節(jié)中提到，暗原色去霧方法在實(shí)時(shí)方面的不足之處在于，在使透射率圖平滑時(shí)，稀疏矩陣的計(jì)算時(shí)間較長(zhǎng)；在去霧效果方面的不足之處在于，通過(guò)RGB三顏色通道求暗原色矩陣復(fù)原后部分圖像會(huì)色

15、彩失真，并且通過(guò)三個(gè)通道求暗原色矩陣也會(huì)耗費(fèi)不少的時(shí)間。以下針對(duì)上述的不足之處，提出優(yōu)化后的方法，并與元暗原色先驗(yàn)方法對(duì)比并得出最終結(jié)論。4.1 YUV顏色空間RGB顏色空間 針對(duì)對(duì)于應(yīng)用RGB通道求取透射率圖時(shí)出現(xiàn)的實(shí)時(shí)性問(wèn)題和效果要求，本文將去霧時(shí)采用的RGB顏色空間表示方法轉(zhuǎn)化為YUV顏色空間模型進(jìn)行處理。眾所周知，自然界中的任意的光線(xiàn)都可以都紅、綠、藍(lán)三種顏色的光經(jīng)過(guò)不同比例相加而混合而成，這種顏色的表示方法稱(chēng)為RGB彩色空間，該彩色空間基于三原色原理，任意的光F都用基色光R、G、B三色不同分量相加混合而成：F=rR+gG+bB。而YUV（亦稱(chēng)YCrCb）彩色空間，是應(yīng)用于歐洲電視系統(tǒng)

16、的顏色空間（顏色編碼）。RGB彩色空間的三個(gè)顏色通道（r、g、b）與YUV顏色空間亮度信號(hào)Y和兩個(gè)色差信號(hào)U、V可以相互轉(zhuǎn)化。YUV顏色空間的特點(diǎn)是它的亮度信號(hào)Y和色度信號(hào)U、V是分離的。YUV與RGB相互轉(zhuǎn)換的公式如下（RGB取值范圍均為0-255），RGB向YUV轉(zhuǎn)化： （4.1）YUV向RGB轉(zhuǎn)化： （4.2）因?yàn)閅UV色彩空間它的亮度信號(hào)Y和色度信號(hào)U、V是分離的。則在利用YUV彩色空間表示圖像進(jìn)行暗原色去霧時(shí)，相對(duì)于RGB彩色空間，我們只需針對(duì)Y通道進(jìn)行處理即可。因?yàn)榘翟レF的實(shí)質(zhì)（或則目標(biāo)）是求取圖像的場(chǎng)景深度。使用的方法是對(duì)圖像采用開(kāi)窗的做法，在開(kāi)窗的范圍內(nèi)比較求取灰度的最小值

17、，組成暗原色矩陣（及暗原色圖）。因此，在Y通道得到的開(kāi)窗范圍灰度的最小值與RGB三通道計(jì)算得出灰度最小值并沒(méi)有較大的差別，仍然可以估計(jì)透射率的取值。Y通道表示的圖像的場(chǎng)景結(jié)構(gòu)信息，是通過(guò)RGB三個(gè)通道疊加建立的，而U、V通道表示的顏色信息。在去霧時(shí)這樣處理，有利于保留場(chǎng)景的顏色信息，盡量做到使場(chǎng)景的顏色不失真。 使用YUV顏色通道不僅由以上使場(chǎng)景顏色不失真的效果，而且在利用YUV顏色空間計(jì)算天空亮度值時(shí)，將會(huì)比RGB顏色空間所需時(shí)間減少2/3。因?yàn)樵诎翟レF方法中，天空亮度的取值是RGB三通道中通過(guò)先在暗原色通道里尋找0.01%個(gè)最大的值的位置所對(duì)應(yīng)的最大值。因此，將其轉(zhuǎn)換到Y(jié)通道進(jìn)行，依照

18、暗原色圖尋找Y通道的對(duì)應(yīng)最大值作為天空亮度，其結(jié)果仍符合暗原色去霧的原理。但不同的是，由原來(lái)的需要處理三個(gè)通道變?yōu)橹恍杼幚硪粋€(gè)通道，大大較少了去霧的時(shí)間，更符合圖像去霧實(shí)時(shí)性的要求。4.2利用guide濾波代替摳圖法 在暗原色去霧方法中，在求取暗原色矩陣時(shí)，對(duì)圖像采用的開(kāi)窗分別求取每一個(gè)窗內(nèi)的暗原色值，從而組成暗原色矩陣。但這同時(shí)也導(dǎo)致了在后來(lái)所求出的透射率t傳輸圖中存在著塊狀效應(yīng)。對(duì)于這個(gè)問(wèn)題，He采用了摳圖法的思想利用Laplacian矩陣進(jìn)行運(yùn)算，從而保持t傳輸圖邊緣的平滑，并能正確反映場(chǎng)景的深度。但由于Laplacian矩陣計(jì)算需要耗費(fèi)大量的時(shí)間，不利于滿(mǎn)足圖像去霧處理的實(shí)時(shí)性要求。為

19、了滿(mǎn)足先驗(yàn)暗原色去霧的是實(shí)時(shí)性要求，且保持良好的去霧效果。本文采用指導(dǎo)性濾波器（guide filter）40對(duì)t圖進(jìn)行邊緣的光滑處理，實(shí)現(xiàn)快速去霧。 所謂的指導(dǎo)性濾波器是指即需要引導(dǎo)圖的濾波器。濾波過(guò)程中包含引導(dǎo)圖I，輸入圖像p（即需要濾波的圖像）， 以及輸出圖像q。其中I與p可以是同一張圖像。本文的思想是將原始有霧圖作為引導(dǎo)圖，提取圖像場(chǎng)景結(jié)構(gòu)信息，并對(duì)透射率t值傳輸圖進(jìn)行邊緣光滑處理。guided filter的關(guān)鍵假設(shè)就是引導(dǎo)圖I與輸出圖q之間的局部線(xiàn)性模型： （4.3）a,b為線(xiàn)性系數(shù)，且在局部窗口k中為常數(shù)。為確定以上公式中的線(xiàn)性系數(shù)，并滿(mǎn)足使得q與p的差別最小，轉(zhuǎn)化為最優(yōu)化問(wèn)題：

20、 （4.4）以上公式的求解可以利用線(xiàn)性回歸： （4.5）在這里, k 和k2表示I在局部窗口wk中的均值和方差。 | 是窗口內(nèi)的像素?cái)?shù)，pk表示p在窗口wk中的均值。當(dāng)求的ak和bk后： （4.6）其中： （4.7）相對(duì)于上一章節(jié)摳圖法的思想，指導(dǎo)性濾波的方法更加有效率、所需的內(nèi)存更少。加之軟摳圖的方法存在一個(gè)問(wèn)題，及對(duì)于場(chǎng)景較小的區(qū)域，其場(chǎng)景深度估計(jì)可能不準(zhǔn)確，容易被周?chē)疃容^大值得區(qū)域所干擾或者取代。指導(dǎo)性濾波器修正透射率的方法則有效的防止這種情況的發(fā)生。五、結(jié)果分析 本文按照第三節(jié)的改進(jìn)方法，首先，我將RGB顏色空間轉(zhuǎn)化為YUV顏色空間求取暗原色矩陣和天空亮度；第二，我將原來(lái)使

21、透射率t值圖邊緣平滑化的摳圖法用guide濾波的方法將其代替。結(jié)果如下圖所示： 圖a霧化原圖 圖b原方法去霧圖圖c優(yōu)化后的去霧圖該圖片大小為232*205。原去霧方法處理的時(shí)間為17.522060 seconds，優(yōu)化后的去霧方法的時(shí)間為2.372458 seconds。從上圖可以看出圖C相對(duì)于圖b，天空部分和道路部分都顯示正常，并沒(méi)有顏色失真，且在天空部分也沒(méi)有引入多余的噪聲。實(shí)驗(yàn)結(jié)果表明，使用YUV顏色通道代替RGB顏色通道不僅可以縮短處理時(shí)間，更重要的是是圖像在去霧的時(shí)候顏色不是真，這因?yàn)閅UV通道中亮度信息和顏色信息分離的結(jié)果。且去霧時(shí)間比原來(lái)明顯縮短，這表示guide濾波代替摳圖法不

22、僅可以使透射率t圖值邊緣光滑化，而且相對(duì)于摳圖法中使用稀疏矩陣的計(jì)算，使用指導(dǎo)性濾波的方法大大減少的該部分所需的時(shí)間。證明了優(yōu)化后的去霧方案是有效的。六、總結(jié)與展望本文首先驗(yàn)證了暗原色去霧的可行性，但通過(guò)對(duì)圖像去霧的實(shí)時(shí)性的要求，發(fā)現(xiàn)該方法存在的缺陷與不足。本文針對(duì)于上述不足之處做出優(yōu)化。首先，將YUV顏色空間代替RGB顏色空間進(jìn)行算計(jì)處理，以解決顏色失真問(wèn)題；然后，用指導(dǎo)性濾波的方法代替摳圖法進(jìn)行透射率t值圖邊緣光滑化處理。實(shí)驗(yàn)結(jié)果表明，優(yōu)化后的算法不僅避免了原算法所帶來(lái)的在部分去霧圖像中的原色失真，而且大大減少了圖像去霧處理的時(shí)間，進(jìn)一步向?qū)崟r(shí)性圖像去霧要求靠攏。參考文獻(xiàn)1 P.Chave

23、z. An improved dark-object substraction technique for atmospheric scattering correction of multispectral dataJ. Remote Sensing of Environment, 24:450479,1988.42 禹晶,徐東彬，廖慶敏.圖像去霧研究進(jìn)展J.中國(guó)圖像圖形學(xué)報(bào)，2011,16（9）:1561-15763 E.B.Goldstein. Sensation and perceptionM.1980.44 E.Hsu, T.Mertens, S.Paris, S.Avidan, a

24、nd F.Durand. Light mixture estimation for spatially varying white balanceJ. In SIGGRAPH, pages 17, 2008.55 芮義斌,李鵬,孫錦濤.一種圖像去薄霧方法.計(jì)算機(jī)應(yīng)用. 2006, 26(l): 154-1566 Doo Hyun Choi,Ick Hoon Jang,Mi Hye Kim,Nam Chul Kim. Clolor Image Enhancement Based on Single-scale Retinex With a JND-Based Nonlinear Filter.

25、Circuits and Systems, 2007. ISCAS 2007. IEEE International Symposium on 27-30 May 2007 Page(s):3948 3951.7 S.G.Narasimhan and S.K.Nayar. Vision and the atmosphere.IJCVc, 48:233254, 2002.1,28 S.G.Narasimhan and S.K.Nayar. Contrast restoration of weather degraded images. PAMIc,25:713724,2003.19 S.G.Narasimhan and S.K.Nayar. Interactive deweathering of an image using physical modelsJ. In Workshop on Color and Photometric Methods in Computer Vision,2003.110 S.K.Nayar and S.G.Narasimhan. Vision in bad weather.ICCVc,page 820,1999.111 R.Tan. Visibility in bad weather from a single imag