多媒體信號(hào)處理 課件 第7章 圖像復(fù)原基本原理

第七章

圖像復(fù)原7.1圖像退化圖片來(lái)自中國(guó)科學(xué)院遙感與數(shù)字地球研究所（a）衛(wèi)星移動(dòng)帶來(lái)的運(yùn)動(dòng)模糊圖像復(fù)原（b）圖像復(fù)原在圖像復(fù)原中，通常使用圖像退化模型來(lái)描述圖像的失真過(guò)程。一般將圖像的退化過(guò)程描述成一個(gè)退化函數(shù)和一個(gè)加性噪聲7.1.1圖像的退化與復(fù)原過(guò)程7.1.1圖像的退化與復(fù)原過(guò)程設(shè)原始圖像f(x,y)，則退化后的圖像可以表示為其中H

為退化函數(shù)，η(x,y)

為加性噪聲，復(fù)原的目標(biāo)是得到基于退化圖像的一個(gè)估計(jì)f(x,y)，使得圖像能夠盡可能地貼近原始圖像。若H是線性的、空間不變的過(guò)程，則退化圖像在空間頻域中可以表示為進(jìn)行傅立葉變換，有圖像復(fù)原模型n（x,y）f（x,y）h（x,y）g（x,y）7.1.1圖像的退化與復(fù)原過(guò)程7.2常用圖像退化模型

大氣湍流模型其中，k是與湍流性質(zhì)有關(guān)的常數(shù)，k越大，圖像越模糊，與高斯低通濾波器有著相同的形式。當(dāng)k=0.00025時(shí)7.2常用圖像退化模型

7.2常用圖像退化模型運(yùn)動(dòng)模糊模型其中T表示曝光時(shí)間，a和b分別表示水平和垂直方向上的移動(dòng)量7.3退化模型的參數(shù)估計(jì)基于頻域特征的參數(shù)估計(jì)如果引起退化的傳遞函數(shù)具有零點(diǎn)，這些零點(diǎn)就會(huì)迫使退化圖像在某些特定的頻率上的幅值變?yōu)榱?。在灰度圖中，為L(zhǎng)-1條平行的黑色條紋，并且條紋的間隔相等。如果相對(duì)運(yùn)動(dòng)方向非水平方向，根據(jù)傅立葉變換的時(shí)頻特性可知暗線條紋與運(yùn)動(dòng)方向相互垂直。對(duì)于運(yùn)動(dòng)模糊圖像的頻譜圖，可以根據(jù)檢測(cè)出的暗線方向計(jì)算出相對(duì)運(yùn)動(dòng)的方向。下圖中隨著相對(duì)運(yùn)動(dòng)模糊的方向變化，模糊圖像頻譜的條紋也隨之變化，條紋方向與模糊方向垂直。7.3常用圖像退化模型

（a）輸入圖像及其頻譜

7.4圖像復(fù)原的典型方法

直接逆濾波處理復(fù)原一幅退化圖像的最簡(jiǎn)方法是構(gòu)成以下形式的估計(jì)進(jìn)行逆傅立葉變換得到原圖的估計(jì)則即使知道了準(zhǔn)確的H(u,v)，也無(wú)法恢復(fù)F(u,v)，因?yàn)檫€需要知道噪聲信號(hào)。而且很多H(u,v)注意：為0的情況也是一個(gè)很大的問(wèn)題。可以將H(u,v)=0的點(diǎn)特殊處理一下，此時(shí)這種方法被稱(chēng)為偽逆濾波7.4圖像復(fù)原的典型方法直接逆濾波后效果大氣湍流圖像的噪聲選用的是高斯噪聲，均值為0，方差為0.08。實(shí)驗(yàn)結(jié)果完全沒(méi)有任何價(jià)值。觀察圖（a）和其頻譜（b），頻譜的四角很亮，而原本頻譜最亮的直流分量都看不到了7.4圖像復(fù)原的典型方法直接逆濾波方法下的改進(jìn)做一個(gè)限制處理：僅僅只處理靠近直流分量的部分，其他的不做處理。然后處理完的結(jié)果，過(guò)一個(gè)10階巴特沃斯低通濾波器。可以得到如下結(jié)果7.4圖像復(fù)原的典型方法直接逆濾波運(yùn)動(dòng)模糊a=0.1;b=0.1;T=1;7.4圖像復(fù)原的典型方法維納濾波：從統(tǒng)計(jì)的角度出發(fā)，通過(guò)最小化復(fù)原圖像與原始圖像之間的均方差來(lái)尋找最優(yōu)解設(shè)計(jì)目標(biāo)：尋找一個(gè)濾波器，使得觀測(cè)圖像的頻域G(u,v)與原始圖像的頻域X(u,v)之間的均方差最小化通過(guò)求解這個(gè)最小化問(wèn)題，我們可以得到維納濾波器的頻域7.4圖像復(fù)原的典型方法維納濾波步驟觀測(cè)圖像進(jìn)行預(yù)處理維納濾波步驟觀測(cè)圖像進(jìn)行預(yù)處理估計(jì)退化函數(shù)的頻域表示H(u,v)a=b=0.001,T=1運(yùn)動(dòng)模糊后圖7.4圖像復(fù)原的典型方法7.4圖像復(fù)原的典型方法a=b=0.001的運(yùn)動(dòng)模糊頻譜圖維納濾波步驟觀測(cè)圖像進(jìn)行預(yù)處理估計(jì)退化函數(shù)的頻域表示H(u,v)計(jì)算維納濾波器頻域表達(dá)式F(u,v)7.4圖像復(fù)原的典型方法維納濾波步驟觀測(cè)圖像進(jìn)行預(yù)處理估計(jì)退化函數(shù)的頻域表示H(u,v)計(jì)算維納濾波器頻域表達(dá)式F(u,v)維納濾波復(fù)原圖像7.4圖像復(fù)原的典型方法維納濾波局限性需要準(zhǔn)確的先驗(yàn)信息：維納濾波方法需要對(duì)噪聲功率譜密度和退化函數(shù)的頻率特性進(jìn)行準(zhǔn)確的估計(jì)。然而，獲取準(zhǔn)確的先驗(yàn)信息可能并不容易，特別是在實(shí)際應(yīng)用中。對(duì)高頻噪聲敏感：當(dāng)噪聲具有較高的頻率成分時(shí)，維納濾波方法可能無(wú)法有效地抑制噪聲，從而導(dǎo)致復(fù)原圖像中的偽影和失真。對(duì)退化過(guò)程的理想化假設(shè)：維納濾波方法假設(shè)退化過(guò)程是線性、平穩(wěn)和加性高斯噪聲。然而，在實(shí)際情況中，退化過(guò)程可能不完全滿足這些假設(shè)，從而導(dǎo)致維納濾波方法的效果下降。復(fù)原圖像細(xì)節(jié)的平滑化：在復(fù)原過(guò)程中會(huì)對(duì)圖像細(xì)節(jié)進(jìn)行一定程度的平滑化。這是因?yàn)榫S納濾波器在均方差最小化的準(zhǔn)則下尋找最優(yōu)解，有時(shí)會(huì)導(dǎo)致對(duì)細(xì)節(jié)的損失。對(duì)噪聲和信號(hào)的先驗(yàn)分布要求較高：維納濾波方法假設(shè)噪聲和信號(hào)服從特定的概率分布，如高斯分布。如果實(shí)際情況下噪聲和信號(hào)的分布與這些假設(shè)不符，可能會(huì)影響維納濾波的效暗通道概念某些像素存在至少有一個(gè)顏色通道具有很小的灰度值光強(qiáng)度暗通道數(shù)學(xué)定義彩色圖像的每條通道C代表R，G，B中某一條通道Omega以像素x為中心的窗口7.5暗通道優(yōu)先的圖像去霧算法暗通道計(jì)算步驟對(duì)圖像進(jìn)行RGB三個(gè)通道的分解，得到三個(gè)矩陣221211734181501730120530238263057934016422253337651920103835623173965155248699527532152860202118391411016406002602715204801904317.5暗通道優(yōu)先的圖像去霧算法

找到三個(gè)通道中的最小值，并存入一幅和源圖像大小相同的灰度圖RGB221211734181501730120530238263057934016422253337651920103835623173965155248699527532152860202118391411016406002602715204801904310202117341411016306003002715204801904317.5暗通道優(yōu)先的圖像去霧算法對(duì)灰度圖進(jìn)行最小值濾波02021173414110163060030027152048919043100003000000000000000000047.5暗通道優(yōu)先的圖像去霧算法對(duì)圖像進(jìn)行RGB三個(gè)通道的分解，得到三個(gè)矩陣找到三個(gè)通道中的最小值，并存入一幅和源圖像大小相同的灰度圖對(duì)灰度圖進(jìn)行最小濾波濾波后的結(jié)果則是該圖像的暗通道7.5暗通道優(yōu)先的圖像去霧算法

步驟小結(jié)暗通道先驗(yàn)性：7.5暗通道優(yōu)先的圖像去霧算法

天空先驗(yàn)性：7.5暗通道優(yōu)先的圖像去霧算法

霧圖模型根據(jù)物理McCarney大氣散射模型，霧圖可用下列模型表示任務(wù)：從I(x)中恢復(fù)

J(x),

A和

t(x)待去霧圖像透射率大氣光成分要恢復(fù)的無(wú)霧圖像7.5暗通道優(yōu)先的圖像去霧算法

估算

：假設(shè)每個(gè)通道內(nèi)投射率估計(jì)值為常數(shù)，且A已知在原始圖像中尋找對(duì)應(yīng)具有最高亮度點(diǎn)的值，作為A值。7.5暗通道優(yōu)先的圖像去霧算法

改進(jìn)算法：符合人眼需求,霧的存在讓人感覺(jué)到景深

需要保留一定的霧當(dāng)t很小時(shí)，J值過(guò)大，圖像偏白

設(shè)定閾值7.5暗通道優(yōu)先的圖像去霧算法

有霧圖像去霧后圖像7.5暗通道優(yōu)先的圖像去霧算法

7.5暗通道優(yōu)先的圖像去霧算法

進(jìn)一步改進(jìn)的論文GuidedImageFiltering,KaimingHe,JianSun,andXiaoouTang,IEEETransactionsonPatternAnalysisandMachineIntelligence(TPAMI),acceptedin2012

FastMattingusingLargeKernelMattingLaplacianMatrices,KaimingHe,JianSun,andXiaoouTang,ComputerVisionandPatternRecognition(CVPR),2010應(yīng)用場(chǎng)景醫(yī)學(xué)影像修復(fù)/pdf/2111.14259.pdf【2】HaoLiandJiananLiu，3DHigh-QualityMagneticResonanceImageRestorationinClinicsUsingDeepLearning，2022，/pdf/2111.14259.pdf視頻修復(fù)：上色，高清應(yīng)用場(chǎng)景文物保護(hù)被破壞的局部修復(fù)后的局部