基于改進(jìn)條件生成對(duì)抗網(wǎng)絡(luò)的水下圖像增強(qiáng)方法

1、基于改進(jìn)條件生成對(duì)抗網(wǎng)絡(luò)的水下圖像增強(qiáng)方法由于陸地資源急劇消耗，對(duì)海洋資源的探索愈發(fā)刻不容緩。拍攝的水下圖像在獲取海洋資源信息中具有不可替代的作用，例如海洋石油勘探、海洋沉船探索1等。然而太陽光在水中傳播時(shí)會(huì)受到水中介質(zhì)的影響，會(huì)導(dǎo)致太陽光中的紅色光的衰減最為嚴(yán)重，因此拍出的圖像會(huì)呈現(xiàn)偏藍(lán)或偏綠的顏色色差。這一現(xiàn)象影響了對(duì)水下圖像的利用，因此對(duì)水下圖像的增強(qiáng)必不可少。近年來，水下圖像的增強(qiáng)方法有很多種。對(duì)水下圖像的增強(qiáng)大致可分為物理模型2、非物理模型3和學(xué)習(xí)4這3種方法?；谖锢砟Ｐ偷姆椒ㄊ菍?duì)水下圖像的色彩衰減過程采用數(shù)學(xué)建模，獲取模型參數(shù)，并執(zhí)行反轉(zhuǎn)衰減過程以獲得清晰的水下圖像。王曉琦等人5

2、采用灰度世界補(bǔ)償通道矯正色偏，結(jié)合小波分解對(duì)水下圖像進(jìn)行增強(qiáng)?；诜俏锢砟Ｐ偷姆椒ㄍㄟ^調(diào)整圖像像素值改善視覺質(zhì)量。何笑等人6提出了融合引導(dǎo)濾波與小波變換結(jié)合的算法，在保留圖像細(xì)節(jié)的同時(shí)克服了光照不均勻?qū)D像的影響?；趯W(xué)習(xí)的方法近年來逐漸成為研究熱點(diǎn)，如循環(huán)生成對(duì)抗網(wǎng)絡(luò)7采用不成對(duì)的數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)模型，實(shí)現(xiàn)對(duì)圖像的增強(qiáng)處理，但是，得到的圖像結(jié)構(gòu)信息與輸入圖像的差距明顯。因此，Li等8給出一種弱監(jiān)視顏色補(bǔ)償方法，通過計(jì)算輸入圖像和網(wǎng)絡(luò)生成圖像之間的結(jié)構(gòu)相似性來補(bǔ)償內(nèi)容信息，但未對(duì)生成的圖像進(jìn)行顏色校正。Fu等人9從CNN出發(fā)，考慮遠(yuǎn)程上下文信息，提出一種基于圖卷積網(wǎng)絡(luò)（GCNs）模型，將傳統(tǒng)的C

3、NN和GCN融合為單一框架。本文對(duì)傳統(tǒng)條件生成對(duì)抗網(wǎng)絡(luò)（ConditionalGAN）進(jìn)行改進(jìn)，在編碼與解碼過程中引入鏈接塊，鏈接塊由5層殘差塊組成，并在編碼解碼的每層對(duì)應(yīng)卷積處加入了跳躍連接結(jié)構(gòu)。對(duì)水下圖像進(jìn)行處理時(shí)，先將原始圖像使用動(dòng)態(tài)閾值算法進(jìn)行全局顏色校正，將校正后圖像輸入到改進(jìn)后CGAN網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，之后將網(wǎng)絡(luò)模型生成好的圖像采取雙邊濾波處理，使處理后的圖像擁有較好的視覺效果。同時(shí)使用L1與L2損失結(jié)合和焦點(diǎn)損失函數(shù)，用來解決圖像顏色色差和樣本不平衡問題。此方法可有效去除水下圖像的顏色失真，消除圖像模糊，獲得了較好的圖像增強(qiáng)效果。2 相關(guān)理論白平衡是相機(jī)領(lǐng)域一個(gè)非常重要的概念，

4、可以解決一系列的顏色恢復(fù)和色調(diào)問題。白平衡是由電子圖像通過再現(xiàn)真色而產(chǎn)生的。在專業(yè)成像領(lǐng)域，對(duì)白平衡的使用很早。能準(zhǔn)確反映物體顏色狀態(tài)的相機(jī)圖像的獲取有手動(dòng)白平衡、自動(dòng)白平衡等方法。動(dòng)態(tài)閾值算法10歸屬于自動(dòng)白平衡算法。與傳統(tǒng)的算法不同，動(dòng)態(tài)閾值使用圖像統(tǒng)計(jì)而不是臨時(shí)假設(shè)來估計(jì)參考白點(diǎn)。生成式對(duì)抗網(wǎng)絡(luò)（GAN）是深度學(xué)習(xí)領(lǐng)域研究熱點(diǎn)之一11。生成對(duì)抗網(wǎng)絡(luò)最早是由Goodfellow于2022年提出的。GAN可看作為一個(gè)由隨機(jī)噪聲z到輸出圖像映射的模型，而條件生成對(duì)抗網(wǎng)絡(luò)12與傳統(tǒng)GAN相比則添加了條件信息，條件信息y作為生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的輸入。本方法中y為水下圖像。將隨機(jī)噪聲z與條件信息y同

5、時(shí)輸入到生成網(wǎng)絡(luò)中，生成網(wǎng)絡(luò)輸出增強(qiáng)后的水下圖像。將真實(shí)圖像x與條件信息y一起輸入到判別網(wǎng)絡(luò)中，判別網(wǎng)絡(luò)輸出判別概率，概率在0，1。CGAN的網(wǎng)絡(luò)模型優(yōu)化可以總結(jié)為二元極小極大值的對(duì)抗過程，目標(biāo)函數(shù)V（D，G）可表示為minGmaxDV(D,G)=ExPdata(x)logD(x|y)+EzPz(z)log(1D(G(z|y)（1）式中：E()表示分布函數(shù)的期望值，真實(shí)數(shù)據(jù)為x，Pdata(x)表示真實(shí)圖像分布，Pz(z)表示定義在低維的噪聲分布，G(z)為生成分布，D(x)為判別網(wǎng)絡(luò)判斷真實(shí)圖像是否真實(shí)的概率13。CGAN模型如圖1所示。圖1CGAN模型Fig.1CGAN model殘差網(wǎng)絡(luò)

6、（ResNet）是由Microsoft Research 4位專家提出的卷積神經(jīng)網(wǎng)絡(luò)14。他們研究發(fā)現(xiàn)，伴隨著網(wǎng)絡(luò)層數(shù)加深，網(wǎng)絡(luò)發(fā)生退化現(xiàn)象。當(dāng)網(wǎng)絡(luò)發(fā)生退化時(shí)，淺層網(wǎng)絡(luò)能夠獲得比深層網(wǎng)絡(luò)更優(yōu)秀的訓(xùn)練結(jié)果。因此若把淺層特征傳輸至深層，那么效果不比淺層的網(wǎng)絡(luò)效果差。在淺層與對(duì)應(yīng)的深層之間可以采用一條直接映射獲得此效果?；谑褂弥苯佑成溥@種方式來連接網(wǎng)絡(luò)不同層的思想，殘差網(wǎng)絡(luò)由此被提出。3 本文方法本文方法首先對(duì)水下圖像使用動(dòng)態(tài)閾值算法進(jìn)行全局的顏色初步矯正，之后將處理后圖像和正常圖像輸入到改進(jìn)的條件生成對(duì)抗網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，最后將訓(xùn)練好的圖像進(jìn)行雙邊濾波去噪處理，進(jìn)而使網(wǎng)絡(luò)中生成的圖像更接近正常圖像

7、，擁有更好的視覺效果。本文方法整體流程如圖2所示。圖2本文算法流程圖Fig.2Algorithm flow chart of this paper3.1動(dòng)態(tài)閾值算法3.1.1白點(diǎn)檢測(cè)將圖像從RGB色彩空間轉(zhuǎn)換到Y(jié)CrCb色彩空間，并且對(duì)圖像進(jìn)行劃分，各區(qū)域?yàn)?00100像素，之后計(jì)算各區(qū)域的Cb、Cr分量平均值Mb、Mr，然后使用如式（2）和式（3）計(jì)算各區(qū)域的Cb、Cr分量絕對(duì)差的累加值Db、Dr。Db=i,j(|Cb(i,j)Mb|)/N（2）Dr=i,j(|Cr(i,j)Mr|)/N（3）其中N為每個(gè)區(qū)域的像素?cái)?shù)。若Db、Dr的值較小，則忽略此區(qū)域，因?yàn)榇藚^(qū)域的顏色分布平均。統(tǒng)計(jì)其他區(qū)域

8、的Mb、Mr、Db、Dr的平均值作為圖像的Mb、Mr、Db、Dr值。使用式（4）和式（5）初步確定白色參照點(diǎn)。|Cb(i,j)(Mb+Dbsign(Mb)|1.5Db（4）|Cr(i,j)(1.5Mr+Drsign(Mr)|1.5Dr（5）對(duì)于初步確定屬于白色參照點(diǎn)的像素，按數(shù)值大小取亮度值前10%為最終的白色參照點(diǎn)。3.1.2白點(diǎn)調(diào)整首先計(jì)算白色參考點(diǎn)亮度值的平均值分別為Raver、Gaver、Baver，使用公式（6）（8）計(jì)算每個(gè)通道的增益。Rgain=Ymax/Raver（6）Ggain=Ymax/Gaver（7）Bgain=Ymax/Baver（8）其中，Ymax為YCrCb色彩空間

9、中Y分量在圖像中的最大值。最后再使用公式（9）（11）計(jì)算最終每個(gè)通道的顏色值。R=RRgain（9）G=GGgain（10）B=BBgain（11）其中R、G、B為在原始的顏色空間中值。經(jīng)過動(dòng)態(tài)閾值算法處理后的水下圖像會(huì)在全局范圍內(nèi)進(jìn)行顏色修正，如圖3所示。圖3圖像預(yù)處理。（a） 原始水下圖像； （b） 動(dòng)態(tài)閾值預(yù)處理后的水下圖像。Fig.3Image pre-processing. (a) Original underwater image; (b) Underwater image after dynamic threshold pre-processing.3.2CGAN模型本文受傳統(tǒng)

10、的CGAN模型的啟發(fā)。由于隨機(jī)噪聲z作為生成網(wǎng)絡(luò)輸入會(huì)導(dǎo)致每次生成的圖像有很大差異，因此本文將作為約束條件的隨機(jī)噪聲去除，將模型輸入的條件信息y即原始的水下圖像作為生成網(wǎng)絡(luò)的唯一輸入。本文的CGAN模型如圖4所示。圖4本文CGAN模型Fig.4CGAN model of this paper將正常的水下圖像輸入進(jìn)生成網(wǎng)絡(luò)，經(jīng)過生成網(wǎng)絡(luò)的增強(qiáng)輸出生成圖像。再將正常清晰的圖像與生成的圖像同時(shí)輸入到判別網(wǎng)絡(luò)中，由判別網(wǎng)絡(luò)輸出01的概率值，并且計(jì)算誤差，更新參數(shù)。3.2.1生成網(wǎng)絡(luò)本文使用的生成網(wǎng)絡(luò)在不丟失圖像重要信息的前提下對(duì)圖像進(jìn)行增強(qiáng)。設(shè)計(jì)生成器時(shí)采用U-Net模型15。模型中包含提取圖像信息的

11、下采樣過程和還原圖像信息的上采樣過程，即編碼和解碼。U-Net模型與傳統(tǒng)編碼-解碼模型不同，在網(wǎng)絡(luò)結(jié)構(gòu)中引入跳躍連接，可以緩解在解碼時(shí)的信息冗余，也可以減輕梯度無法到達(dá)淺層網(wǎng)絡(luò)而發(fā)生的梯度消失問題。同時(shí)在編碼與解碼之間引入鏈接塊，鏈接塊由5層殘差網(wǎng)絡(luò)組成，對(duì)圖像不同的相似特征進(jìn)行提取和組合。本文的生成器結(jié)構(gòu)如圖5所示。圖5生成器結(jié)構(gòu)Fig.5Generator structure生成器網(wǎng)絡(luò)采用跳躍連接結(jié)構(gòu)，將模型淺層與深層進(jìn)行連接，對(duì)淺層與其對(duì)應(yīng)的深層提取的特征進(jìn)行融合。在編碼過程中引入批處理歸一化層和LeakyRelu激活函數(shù)。批處理歸一化層旨在提高網(wǎng)絡(luò)泛化能力，防止過擬合；LeakyRel

12、u激活函數(shù)目的在于加速收斂。在解碼過程中采用批處理歸一化層和LeakyRelu激活函數(shù)的同時(shí)，加入Dropout操作16，防止數(shù)據(jù)冗余，加快網(wǎng)絡(luò)訓(xùn)練速度。最后將生成的結(jié)果經(jīng)過Tanh函數(shù)處理后輸出，得到生成圖像。3.2.2判別網(wǎng)絡(luò)判別網(wǎng)絡(luò)用以鑒別生成網(wǎng)絡(luò)所生成的圖像和正常清晰圖像，最大程度地將生成圖像與真實(shí)圖像區(qū)分開來，同時(shí)判別圖像真假。本文所使用的判別網(wǎng)絡(luò)是一個(gè)5層卷積的二分類模型。在判別網(wǎng)絡(luò)中同時(shí)引入LeakyRelu激活函數(shù)和批處理歸一化層，目的就是加速收斂，控制過擬合。在進(jìn)行5層卷積操作后通過sigmoid函數(shù)處理17，將結(jié)果歸一化為（0，1）區(qū)間。若判別器輸出在（0.5，1）區(qū)間，則

13、判別器判別輸入的圖像為真；反之，則判別輸入的圖像為假；若輸出的結(jié)果在0.5，則說明判別器無法判別生成器所生成的圖像13。判別器結(jié)構(gòu)如圖6所示。圖6判別器結(jié)構(gòu)Fig.6Discriminator structure3.3損失函數(shù)設(shè)Ii,i=1,2,.,N和Ji,i=1,2,.,N分別表示正常水下圖像與對(duì)應(yīng)清晰圖像。CGAN使用目標(biāo)函數(shù)訓(xùn)練，損失函數(shù)為LA=1Ni=1Nln1D(Ii,Ji)（12）式中：D()表示判別網(wǎng)絡(luò)；Ji表示生成器G增強(qiáng)后的圖像。同時(shí)，為了保留結(jié)構(gòu)并且矯正圖像色彩與質(zhì)量引入L1正則化與L2正則化結(jié)合得到LL1+L2，公式定義為L1=1Ni=1N|Q(Ii)Ji|1+|Q(I

14、i)|1（13）L2=1Ni=1N|Q(Ii)Ji|22+|Q(Ii)|22（14）LL1+L2=L1+L2（15）式中：|Q(Ii)|1與|Q(Ii)|22表示總變差正則化；|Q(Ii)Ji|1與|Q(Ii)Ji|22表示內(nèi)容方向的損失;表示正則化權(quán)重13。由于樣本類別不同，不同類別樣本量不同，樣本量少的類別很難從樣本中提取規(guī)則。就算解決了樣本的分類問題，也很容易發(fā)生有限的樣本導(dǎo)致過擬合現(xiàn)象。由此采用焦點(diǎn)損失函數(shù)緩解樣本不平衡性。函數(shù)定義為LF=(1pt)lnpt（16）式中：lnpt表示交叉熵?fù)p失函數(shù)，表示權(quán)重因子，為調(diào)質(zhì)因子。經(jīng)過多次測(cè)試，在本算法中=2,=0.25。最后，將CGAN原始

15、損失、LL1+L2損失以及焦點(diǎn)損失函數(shù)結(jié)合，得出本文生成對(duì)抗網(wǎng)絡(luò)所使用的損失函數(shù)，定義為floss=LA+LL1+L2+LF（17）3.4雙邊濾波去噪為了獲得更好的人眼視覺效果，本文對(duì)生成后的圖像進(jìn)行去噪操作。通過采用雙邊濾波算法對(duì)圖像進(jìn)行去噪可以獲得良好的視覺體驗(yàn)。雙邊濾波是一種非線性的濾波方法，它是結(jié)合圖像的空間鄰近度和像素值相似度的一種折中處理，同時(shí)考慮空域信息和灰度相似性，達(dá)到保留邊緣信息同時(shí)進(jìn)行去噪的目的18。雙邊濾波的公式如式（18）所示：g(i,j)=(k,l)S(i,j)f(k,l)(i,j,k,l)(k,l)S(i,j)(i,j,k,l)（18）式中：g（i，j）表示輸出點(diǎn)，

16、S（i，j）是指以（i，j）為圓心的（2N+1）（2N+1）大小范圍，f（k，l）代表多個(gè)輸出點(diǎn)，（i，j，k，l）代表經(jīng)過兩個(gè)高斯函數(shù)獲得的值。如圖7所示，可以看出經(jīng)過雙邊濾波算法處理過的圖像消除了噪聲，同時(shí)邊緣信息保存良好。圖7處理前（a）后（b）圖片對(duì)比Fig.7Image comparison before （a） and after （b） processing4 實(shí)驗(yàn)與分析4.1實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置本實(shí)驗(yàn)在Pycharm仿真平臺(tái)進(jìn)行代碼編寫，CPU為AMD R5-3600，內(nèi)存為16 GB，GPU為Nvidia 1 650 s。模型參數(shù)中epoch設(shè)置為200，batchsize值設(shè)

17、置為1，優(yōu)化算法選用Adam算法，學(xué)習(xí)率調(diào)整為0.000 2。編程語言上選用python語言，在Tensorflow深度學(xué)習(xí)框架下進(jìn)行實(shí)驗(yàn)，網(wǎng)絡(luò)訓(xùn)練時(shí)間約為36 h，測(cè)試時(shí)間約為5 min。4.2數(shù)據(jù)集使用本實(shí)驗(yàn)所使用的數(shù)據(jù)集為UIEB19，此數(shù)據(jù)集中包含890張?jiān)嫉乃聢D像以及相對(duì)應(yīng)的高質(zhì)量參考圖像，同時(shí)還含有60張用來測(cè)試的水下圖像，此數(shù)據(jù)集總計(jì)含有950張水下圖像。4.3實(shí)驗(yàn)結(jié)果對(duì)比4.3.1消融實(shí)驗(yàn)雙邊濾波作為無監(jiān)督的增強(qiáng)方法，可在一定程度上提高主觀效果，但會(huì)犧牲客觀評(píng)價(jià)指標(biāo)，因此本文增加消融實(shí)驗(yàn)來驗(yàn)證雙邊濾波算法對(duì)客觀評(píng)價(jià)指標(biāo)的提高，實(shí)驗(yàn)結(jié)果見表1。表1不同算法的客觀評(píng)價(jià)對(duì)比Tab

18、.1Comparison of different algorithms objective evaluationMethodMSE（103）PSNR/dBSSIMFusion-based1.128 017.607 70.772 1Retinex-based1.292 417.016 80.607 1Histogram Prior1.701 915.821 50.539 6Blurriness-based1.911 115.318 00.602 9GDCP4.016 012.092 90.512 1消融實(shí)驗(yàn)0.539 420.804 50.754 9Ours0.526 022.008 50.7

19、97 14.3.2主觀評(píng)價(jià)UIEB數(shù)據(jù)集中所包含圖片是在不同的海水水壓以及海水渾濁度中拍攝的。在損失函數(shù)中引入焦點(diǎn)損失函數(shù)是為了使處于不同水壓和渾濁度中拍攝的圖片在模型訓(xùn)練中不會(huì)發(fā)生過擬合現(xiàn)象。為驗(yàn)證本文方法的實(shí)際優(yōu)化效果，我們將本文方法與Fusion-based、Retinex-based、Histogram prior、Blurriness-based、GDCP方法進(jìn)行比較。從UIEB數(shù)據(jù)集中隨機(jī)選取3張真實(shí)的水下圖像進(jìn)行增強(qiáng)，從主觀評(píng)價(jià)上進(jìn)行對(duì)比，如圖8所示。圖8不同算法的主觀對(duì)比Fig.8Subjective comparison of the different algorithms從圖8可以看出Fusion-based處理后的圖像在色彩上有些偏暗；Retinex-based方法處理后得到的圖像細(xì)節(jié)丟失