Python圖像處理與機(jī)器視覺(jué)入門 課件 第19章 圖像修復(fù)

圖像處理應(yīng)用技術(shù)李欽深圳信息職業(yè)技術(shù)學(xué)院軟件學(xué)院科技樓1703D室1295254769@1圖像修復(fù)圖像修復(fù)(ImageInpainting)本質(zhì)就是力求保持圖像的本來(lái)面目，以保真原則為前提，找出圖像降質(zhì)的原因，描述其物理過(guò)程，提出數(shù)學(xué)模型，根據(jù)該模型重建或恢復(fù)被退化的圖像，是一個(gè)典型的逆問(wèn)題(inverseproblems)。1-1研究領(lǐng)域一、降噪圖像降噪（ImageDenoising）是指減少數(shù)字圖像中噪聲的過(guò)程，有時(shí)候又稱為圖像去噪。噪聲是圖像干擾的重要原因。一幅圖像在實(shí)際應(yīng)用中可能存在各種各樣的噪聲,這些噪聲可能在傳輸中產(chǎn)生,也可能在量化等處理中產(chǎn)生。根據(jù)噪聲和信號(hào)的關(guān)系可將其分為三種形式:(f(x,y)表示給定原始圖像,g(x,y)表示圖像信號(hào),n(x,y)表示噪聲。)(1)加性噪聲,此類噪聲與輸入圖像信號(hào)無(wú)關(guān),含噪圖像可表示為f(x,y)=g(x,y)+n(x,y),信道噪聲及光導(dǎo)攝像管的攝像機(jī)掃描圖像時(shí)產(chǎn)生的噪聲就屬這類噪聲;(2)乘性噪聲,此類噪聲與圖像信號(hào)有關(guān),含噪圖像可表示為f(x,y)=g(x,y)+n(x,y)g(x,y),飛點(diǎn)掃描器掃描圖像時(shí)的噪聲,電視圖像中的相干噪聲,膠片中的顆粒噪聲就屬于此類噪聲。(3)量化噪聲,此類噪聲與輸入圖像信號(hào)無(wú)關(guān),是量化過(guò)程存在量化誤差,再反映到接收端而產(chǎn)生。降噪，又稱為去噪，是一個(gè)經(jīng)典的圖像修復(fù)研究方向。其實(shí)在第5章時(shí)有講到圖像降噪，主要的手段是濾波算法，第6章也有講到降噪的相關(guān)實(shí)現(xiàn)，主要是非線性變換算法。1-1研究領(lǐng)域二、去模糊(deblurring)圖像去模糊方法主要包含盲去模糊(blinddeblurring)和非盲去模糊(non-blinddeblurring)，區(qū)別在于模糊核是否已知。傳統(tǒng)的圖像去模糊算法利用了多種先驗(yàn)，如：全變差(totalvariation)、重尾梯度先驗(yàn)(heavy-tailedgradientprior)等。隨著深度學(xué)習(xí)技術(shù)的迅猛發(fā)展，也提出了基于CNN、基于GAN和基于RNN的用于圖像去模糊的方法，比較著名的如DeblurGAN和DeblurGAN-v2等，而這些方法都專注于從模糊圖像中恢復(fù)清晰圖像本身，而忽略了圖像模糊這個(gè)源頭，因此并沒(méi)有對(duì)圖像模糊過(guò)程進(jìn)行建模；同時(shí)由于數(shù)據(jù)集的稀缺，很多方法都采用了數(shù)據(jù)增強(qiáng)的方式來(lái)增加數(shù)據(jù)樣本，但是大多數(shù)情況下合成的模糊圖像與真實(shí)圖像相差甚遠(yuǎn)。1-1研究領(lǐng)域三、去霧(dehazing)光在霧、霾等介質(zhì)中傳播時(shí)，由于粒子的散射作用導(dǎo)致成像傳感器采集的圖像信息嚴(yán)重降質(zhì)，在很大程度上限制了圖像的應(yīng)用價(jià)值。圖像去霧（ImageDehazing）的目的是消除霧霾環(huán)境對(duì)圖像質(zhì)量的影響，增加圖像的可視度，是圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域共同關(guān)切的前沿課題，吸引了國(guó)內(nèi)外研究人員的廣泛關(guān)注。傳統(tǒng)的去霧方法主要是基于先驗(yàn)知識(shí)的，主要有暗通道先驗(yàn)（DarkChannelPrior，DCP）方法、最大對(duì)比度（MaximumContrast，MC）方法，顏色衰減先驗(yàn)（ColorAttenuationPrior，CAP）方法，色度不一致方法。由于神經(jīng)網(wǎng)絡(luò)在檢測(cè)，識(shí)別等任務(wù)上的取得了很大的進(jìn)展，所以研究人員開(kāi)始嘗試用基于深度學(xué)習(xí)的方法取代傳統(tǒng)的圖像去霧方法。其方法主要可以分為兩種，一種是基于大氣退化模型，利用神經(jīng)網(wǎng)絡(luò)對(duì)模型中的參數(shù)進(jìn)行估計(jì)，早期的方法大多數(shù)是基于這種思想的；另一種是利用輸入的有霧圖像，直接輸出得到去霧后的圖像。目前最新的去霧方法更傾向于后者。1-1研究領(lǐng)域四、超分辨率圖像超分辨率（ImageSuperResolution）是指由一幅低分辨率圖像或圖像序列恢復(fù)出高分辨率圖像。圖像超分辨率技術(shù)分為超分辨率復(fù)原和超分辨率重建。目前，圖像超分辨率研究可分為3個(gè)主要范疇：基于插值、基于重建和基于學(xué)習(xí)的方法。1-2基于深度學(xué)習(xí)的圖像修復(fù)基于深度學(xué)習(xí)的圖像修復(fù)技術(shù)旨在恢復(fù)殘缺圖像中損壞部分的像素特征，在許多計(jì)算機(jī)視覺(jué)應(yīng)用領(lǐng)域中發(fā)揮關(guān)鍵作