第06章圖像復(fù)原0702

1、第6章 圖像復(fù)原 內(nèi)容提要: 6.1 圖像退化原因與復(fù)原技術(shù)分類(lèi)化的數(shù)學(xué)模型 6.2 逆濾波復(fù)原 6.3 約束復(fù)原 6.4 非線性復(fù)原方法 6.5 盲圖像復(fù)原 6.6 幾何失真校正 6.7 實(shí)驗(yàn)：圖像復(fù)原 本章小結(jié)知識(shí)要點(diǎn)l重點(diǎn)了解圖像處理的任務(wù)、基本的圖像處理系統(tǒng)、微機(jī)圖像處理系統(tǒng)、數(shù)字圖像的表示、MATLAB圖像處理工具箱的初步使用。圖像退化的常見(jiàn)原因圖像退化模型圖像退化與圖像增強(qiáng)的關(guān)系線性代數(shù)復(fù)原非線性復(fù)原幾何失真校正盲圖像復(fù)原MATLAB圖像處理工具箱去模糊函數(shù)教學(xué)建議 重點(diǎn)了解數(shù)字圖像復(fù)原的基本任務(wù)、圖像退化的各種原因、圖像復(fù)原的常用方法，能夠用MATLAB圖像處理工具箱解決簡(jiǎn)單的圖

2、像退化問(wèn)題。 先修知識(shí)包括：線性代數(shù)（循環(huán)矩陣的表示；矩陣的廣義逆等）信號(hào)與線性系統(tǒng)數(shù)字信號(hào)處理（圓周卷積、離散卷積定理等）隨機(jī)過(guò)程（平穩(wěn)隨機(jī)過(guò)程等）優(yōu)化理論。 注意本章與“圖像增強(qiáng)”一章的聯(lián)系與區(qū)別。6.1 圖像退化原因與復(fù)原技術(shù)分類(lèi)圖像退化原因與復(fù)原技術(shù)分類(lèi) 圖像在形成、傳輸和記錄過(guò)程中，由于受到多方面的影響，造成圖像質(zhì)量的退化（退化（degradation）。 （1）射線輻射、大氣湍流等造成的照片畸變。 （2）A/D過(guò)程會(huì)損失部分細(xì)節(jié)，造成圖像質(zhì)量下降。 （3）鏡頭聚焦不準(zhǔn)產(chǎn)生的散焦模糊。 （4）成像系統(tǒng)中始終存在的噪聲干擾。 （5）相機(jī)與景物之間的相對(duì)運(yùn)動(dòng)產(chǎn)生的運(yùn)動(dòng)模糊。 （6）底片感

3、光、圖像顯示時(shí)會(huì)造成記錄顯示失真。 （7）成像系統(tǒng)的像差、非線性畸變、有限帶寬。 （8） 攜帶遙感儀器的飛機(jī)或衛(wèi)星運(yùn)動(dòng)的不穩(wěn)定，以及地球自轉(zhuǎn)等因素引起的照片幾何失真。圖像復(fù)原（image restoration）的目的和任務(wù) 目的 在研究圖像退化原因的基礎(chǔ)上，以退化圖像為依據(jù)，根據(jù)一定的先驗(yàn)知識(shí)，建立一個(gè)退化模型，然后用相反的運(yùn)算，以恢復(fù)原始景物圖像。 圖像復(fù)原要明確規(guī)定質(zhì)量準(zhǔn)則 衡量接近原始景物圖像的程度。 圖像復(fù)原模型 可以用連續(xù)數(shù)學(xué)或離散數(shù)學(xué)處理。 圖像復(fù)原根據(jù)退化的數(shù)學(xué)模型對(duì)退化圖像進(jìn)行處理，其實(shí)現(xiàn)可在空間域卷積或在頻域相乘。圖像復(fù)原在初級(jí)視覺(jué)處理中的地位 在航空航天、國(guó)防公安、生物醫(yī)

4、學(xué)、文物修復(fù)等領(lǐng)域具有在航空航天、國(guó)防公安、生物醫(yī)學(xué)、文物修復(fù)等領(lǐng)域具有廣泛的應(yīng)用。廣泛的應(yīng)用。 傳統(tǒng)的復(fù)原方法傳統(tǒng)的復(fù)原方法 基于平穩(wěn)圖像、線性空間不變的退化系統(tǒng)、圖像和噪聲統(tǒng)計(jì)特性基于平穩(wěn)圖像、線性空間不變的退化系統(tǒng)、圖像和噪聲統(tǒng)計(jì)特性的先驗(yàn)知識(shí)已知等條件下討論的的先驗(yàn)知識(shí)已知等條件下討論的 現(xiàn)代的復(fù)原方法現(xiàn)代的復(fù)原方法 對(duì)非平穩(wěn)圖像（如卡爾曼濾波）、非線性方法（如神經(jīng)網(wǎng)絡(luò)）、對(duì)非平穩(wěn)圖像（如卡爾曼濾波）、非線性方法（如神經(jīng)網(wǎng)絡(luò)）、信號(hào)與噪聲的先驗(yàn)知識(shí)未知（如盲圖像復(fù)原）等前提下開(kāi)展工作。信號(hào)與噪聲的先驗(yàn)知識(shí)未知（如盲圖像復(fù)原）等前提下開(kāi)展工作。6.1.1 連續(xù)圖像退化的數(shù)學(xué)模型 連續(xù)圖像

5、退化的一般模型如圖6.1所示。 輸入圖像f(x, y)經(jīng)過(guò)一個(gè)退化系統(tǒng)或退化算子H(x, y)后產(chǎn)生的退化圖像g(x, y)可以表示為： g(x, y)= Hf(x, y) （6.1） 如果僅考慮加性噪聲的影響，則退化圖像可表示為： g(x, y)= H f(x, y)+n(x, y) （6.2）H(x, y)f (x, y)g (x, y)n (x, y)f(x, y)的最佳估計(jì) 退化的圖像是由成像系統(tǒng)的退化加上額外的系統(tǒng)噪聲而形成的。 若已知H(x, y)和n(x, y)，圖像復(fù)原是在退化圖像的基礎(chǔ)上，作逆運(yùn)算，得到f(x, y)的一個(gè)最佳估計(jì)。 “最佳估計(jì)”而非“真實(shí)估計(jì)”。 由于存在可

6、能導(dǎo)致圖像復(fù)原的病態(tài)性。導(dǎo)致圖像復(fù)原的病態(tài)性的原因 （1）最佳估計(jì)問(wèn)題不一定有解。由于圖像復(fù)原中可能遇到奇異問(wèn)題； （2）逆問(wèn)題可能存在多個(gè)解。點(diǎn)擴(kuò)展函數(shù)點(diǎn)擴(kuò)展函數(shù)PSF（Point-spread Function） 在退化算子H表示線性和空間不變系統(tǒng)的情況下，輸入圖像f(x, y)經(jīng)退化后的輸出為g(x, y)： ddyxhfddyxHfddyxfHyxfHyxg),(),(),(),(),(),(),(),( h(x,y)稱(chēng)為退化系統(tǒng)的沖激響應(yīng)函數(shù)。在圖像形成的光學(xué)過(guò)程中，沖激為一光點(diǎn)。又被稱(chēng)為退化系統(tǒng)的點(diǎn)擴(kuò)展函數(shù)PSF?？臻g域分析與頻率分析 退化系統(tǒng)的輸出就是輸入圖像f (x, y)與點(diǎn)

7、擴(kuò)展函數(shù)h(x, y)的卷積，考慮到噪聲的影響，即 在頻域上可以寫(xiě)成 ),(),(*),(),(),(),(),(yxnyxhyxfyxnddyxhfyxg（6.6） G(u, v)、F(u, v)、N(u, v)分別是g(x, y)、f(x, y)、n(x, y)的傅立葉變換 H(u, v)是h(x, y)的傅立葉變換，為系統(tǒng)的傳遞函數(shù)。),(),(),(),(vuNvuHvuFvuG（6.7）6.1.2 離散圖像退化的數(shù)學(xué)模型 設(shè)f (x, y)大小為AB，h(x, y)被均勻采樣為CD大小。 為避免交疊誤差，采用添零延拓的方法，將它們擴(kuò)展成M=A+C-1和N=B+D-1個(gè)元素的周期函數(shù)。

8、其他且01010),(),(ByAxyxfyxfe( , ) 0101( , )0eh x yxCyDh x y且其他（6.8a） （6.8b） 則輸出的降質(zhì)數(shù)字圖像為1100( , )( , )(,)MNeeemngx yf m n h xm yn （6.9） 二維離散退化模型可以用矩陣形式 g=Hf （6.10）03-2-1 -301221M0112-1M0HHHHHHHHHHHHHHHHHMMMM（6.11） ( ,0)( ,1)( ,2)( ,1)( ,1)( ,0)( ,1)( ,2)( ,1)( ,2)( ,3)( ,0)eeeeeeeejeeeehjhj Nhj Nhjhjhjh

9、j Nhjhj Nhj Nhj NhjH（6.12） 給定了退化圖像g(x, y)、退化系統(tǒng)的點(diǎn)擴(kuò)展函數(shù)h(x, y)和噪聲分布n(x, y)，就可以得到原始圖像f的估計(jì)。 實(shí)際計(jì)算的工作量十分龐大。1010),(),(),(),(NneeeMmeyxnnymxhnmfyxg（6.13） g=Hf +n （6.14）通常有兩種解決上述問(wèn)題的途徑： 假設(shè)圖像大小M=N，則H的大小為N4，要解出f (x, y)需要解N2個(gè)聯(lián)立方程組。 （1）通過(guò)對(duì)角化簡(jiǎn)化分塊循環(huán)矩陣，再利用FFT快速算法可以大大地降低計(jì)算量且能極大地節(jié)省存儲(chǔ)空間。 （2）分析退化的具體原因，找出H的具體簡(jiǎn)化形式。 勻速運(yùn)動(dòng)造成模

10、糊的PSF就可以用簡(jiǎn)單的形式表示，這樣使復(fù)原問(wèn)題變得簡(jiǎn)單。 各種代數(shù)復(fù)原方法 可能是通過(guò)無(wú)約束條件而得到原始圖像f的估計(jì)。 也可能是約束復(fù)原f。6.2 逆濾波復(fù)原 非約束復(fù)原 根據(jù)對(duì)退化系統(tǒng)H和噪聲n的了解，已知退化圖像g的情況下，在一定的最小誤差準(zhǔn)則下，得到原始圖像f的估計(jì)。 逆濾波是最早使用的一種無(wú)約束復(fù)原方法 成功地應(yīng)用于航天器傳來(lái)的退化圖像。n = gHf （6.15） ffl 當(dāng)對(duì)n的統(tǒng)計(jì)特性不確定時(shí)，希望對(duì)原始圖像f 的估計(jì)滿足這樣的條件，使H在最小二乘意義上近似于g g。使得噪聲項(xiàng)的范數(shù)fl希望找到一個(gè)2|Tnn n最小。即目標(biāo)函數(shù)2|)(fHgfJ為最小。 在M=N的情況下，H

11、為方陣且H有逆陣H-1，則gHgHHHf1TT1)(（6.20） ),(),(),(vuvuvuHGF（6.21） l當(dāng)系統(tǒng)H逆作用于退化圖像g時(shí)，可以得到最小平方意義上的非約束估計(jì)。對(duì)式（6.20）進(jìn)行傅立葉變換，則逆濾波法的特點(diǎn) 優(yōu)點(diǎn)：優(yōu)點(diǎn)： 形式簡(jiǎn)單 適用于極高信噪比條件下的圖像復(fù)原問(wèn)題，且降質(zhì)系統(tǒng)的傳遞函數(shù)H不存在病態(tài)性質(zhì)。 缺點(diǎn)：缺點(diǎn)： 具體求解的計(jì)算量很大，需要根據(jù)循環(huán)分塊矩陣條件進(jìn)行簡(jiǎn)化。 當(dāng)H等于0或接近于0時(shí)，還原的圖像將變得無(wú)意義。這時(shí)需要人為對(duì)傳遞函數(shù)進(jìn)行修正，以降低由于傳遞函數(shù)病態(tài)而造成的恢復(fù)不穩(wěn)定性。 6.3 約束復(fù)原 約束復(fù)原除了對(duì)降質(zhì)系統(tǒng)的PSF有所了解外，還需要

12、對(duì)原始圖像和外加噪聲的特性有先驗(yàn)知識(shí)。 根據(jù)不同領(lǐng)域的要求，有時(shí)需要對(duì)f和n作一些特殊的規(guī)定，使處理得到的圖像滿足某些條件。6.3.1 約束復(fù)原的基本原理 約束最小二乘法復(fù)原問(wèn)題約束最小二乘法復(fù)原問(wèn)題令Q為f的線性算子，要設(shè)法尋找一個(gè)最優(yōu)估計(jì)f，使形式為 2fQ的、服從約束條件 22nfHg的函數(shù)最小化。 u6.3.1 約束復(fù)原的基本原理u6.3.2 維納濾波方法u6.3.3 平滑度約束最小平方濾波6.3.1 約束復(fù)原的基本原理 約束最小二乘法復(fù)原問(wèn)題令Q為f的線性算子，要設(shè)法尋找一個(gè)最優(yōu)估計(jì)使下面的目標(biāo)函數(shù)為最小f）（222)(nfHgfQfJ （6.22）gHQQHHfTTT1)(6.23

13、) 式中，=-1 式中，為拉格朗日乘子 , f 的最佳估值6.3.2 維納濾波方法 最小二乘法濾波復(fù)原的核心是如何選擇一個(gè)合適的變換矩陣Q。 Q的形式不同，可得到不同類(lèi)型的復(fù)原方法。 選用圖像f和噪聲n的自相關(guān)矩陣Rf和Rn表示Q就可得到維納濾波復(fù)原方法。 將f和n近似地看成是平穩(wěn)隨機(jī)過(guò)程。假設(shè)Rf和Rn為f和n的自相關(guān)矩陣。1.4數(shù)字圖像處理的應(yīng)用與發(fā)展趨勢(shì)數(shù)字圖像處理的應(yīng)用與發(fā)展趨勢(shì) Rf = Ef f T （6.24a） Rn = EnnT （6.24b） 定義定義QTQ=R-1fRn，代入式，代入式(6.23)，得，得 gHRRHHfTnfT11)( （6.25） 假設(shè)M=N，Sf和S

14、n分別為圖像和噪聲的功率譜，則),(),(/ ),(|),(| ),(|),(1),(),(/ ),(| ),(|),(),(222vuGvuSvuSvuHvuHvuHvuGvuSvuSvuHvuHvuFfnfn （6.26） 分3種情況對(duì)式(6.26)作分析： （1）如果=1，系統(tǒng)函數(shù)Hw(u,v)是維納濾波器的傳遞函數(shù)。 （2）如果=0，系統(tǒng)變成單純的去卷積濾波器，系統(tǒng)的傳遞函數(shù)即為。 盡管0但無(wú)噪聲影響，Sn(u, v)=0，復(fù)原系統(tǒng)亦為理想的逆濾波器，可以看成是維納濾波器的一種特殊情況。 （3）若為可調(diào)整的其他參數(shù)，此時(shí)為參數(shù)化維納濾波器。 例6.1說(shuō)明采用維納濾波復(fù)原的具體實(shí)現(xiàn)方法【

15、例6.1】原始圖像如圖6.2（a），使用函數(shù)DECONVWNR對(duì)圖6.2（b）所示的無(wú)噪聲模糊圖像進(jìn)行復(fù)原重建，觀察所得結(jié)果，并將不同PSF產(chǎn)生的復(fù)原效果進(jìn)行比較。 （a）原始圖像 （b）無(wú)噪聲模糊圖像 圖6.2 原始圖像及無(wú)噪聲模糊圖像 圖圖6.3 6.3 不同不同PSFPSF產(chǎn)生的復(fù)原效果比較產(chǎn)生的復(fù)原效果比較（a）使用真實(shí)的PSF復(fù)原 （b）使用較“長(zhǎng)”的PSF復(fù)原 （c）使用較“陡峭”的PSF復(fù)原6.4 非線性復(fù)原方法 經(jīng)典復(fù)原濾波器的顯著特點(diǎn)約束方程和準(zhǔn)則函數(shù)中的表達(dá)式都可以改為矩陣乘法。 非線性復(fù)原方法所采用的準(zhǔn)則函數(shù)都不能進(jìn)行對(duì)角化，因而線性代數(shù)的方法在這里是不適用的。 設(shè)S是非

16、線性函數(shù)，當(dāng)考慮圖像的非線性退化時(shí)，圖像的退化模型可以表示成 （6.32a）（6.32b）),(),(),(yxnyxbSyxgddfyxhyxb),(),;,(),( 方法簡(jiǎn)介 6.4.1 最大后驗(yàn)復(fù)原 6.4.2 最大熵復(fù)原 1正性約束條件 2. 最大熵復(fù)原原理 3Friend和Burg復(fù)原方法 （1）Friend最大熵復(fù)原 （2）Burg最大熵復(fù)原 6.4.3 投影復(fù)原 6.4.4 同態(tài)濾波復(fù)原（重點(diǎn)介紹）6.4.4 同態(tài)濾波復(fù)原 自然景物的圖像是由照明函數(shù)和反射函數(shù)兩個(gè)分量的乘積所組成。 同態(tài)濾波法復(fù)原方法是基于圖像的乘性結(jié)構(gòu)理論而提出來(lái)的。 當(dāng)降質(zhì)圖像是由兩個(gè)分量相乘得到時(shí)，可先對(duì)降

17、質(zhì)圖像取對(duì)數(shù)，得到兩個(gè)相加的分量，再進(jìn)行濾波處理，最后通過(guò)指數(shù)變換得到復(fù)原圖像 。( , )f x y 退化圖像g(x,y)可以分為兩部分乘積，即 g(x,y) = i(x,y) r(x,y) （6.42） 取對(duì)數(shù)得 log g(x,y) = log i(x,y)+log r(x,y) （6.43） 設(shè)同態(tài)濾波器沖激響應(yīng)為l(x,y)，其復(fù)原結(jié)果。 同態(tài)濾波復(fù)原過(guò)程可用圖6.7所示。圖6.7同態(tài)濾波器復(fù)原 同態(tài)復(fù)原結(jié)果 ( , )f x y = 10l(x,y)*log i(x,y)+ log r(x,y) (6.44) 同態(tài)濾波器的傳遞函數(shù) 21),(/ ),(| ),(|1| ),(2vu

18、SvuSvuHvuLfn|（6.45） l同態(tài)濾波技術(shù)也可以用于圖像增強(qiáng)。l采用同態(tài)濾波可以實(shí)現(xiàn)同態(tài)增晰l能使圖像的灰度動(dòng)態(tài)范圍壓縮又能使感興趣的物體圖像灰度級(jí)擴(kuò)展。6.5 盲圖像復(fù)原 很多情況下難以確定退化的點(diǎn)擴(kuò)展函數(shù)和噪聲的統(tǒng)計(jì)特性。 盲圖像復(fù)原法是在沒(méi)有圖像退化必要的先驗(yàn)知識(shí)的情況下，對(duì)觀察的圖像以某種方式提取出退化信息，采用盲去卷積算法對(duì)圖像進(jìn)行復(fù)原。 對(duì)具有加性噪聲的模糊圖像作盲圖像復(fù)原的方法有兩種： 6.5.1 直接測(cè)量法 6.5.2 間接估計(jì)法6.6 幾何失真校正 圖像在獲取過(guò)程中，由于成像系統(tǒng)的非線性、飛行器的姿態(tài)變化等原因，成像后的圖像與原景物圖像相比，會(huì)產(chǎn)生比例失調(diào)，甚至扭

19、曲。 以上圖像退化現(xiàn)象稱(chēng)之為幾何失真。 有幾何畸變的圖像 不但視覺(jué)效果不好 而且在對(duì)圖像進(jìn)行定量分析時(shí)提取的形狀、距離、面積等數(shù)據(jù)也不準(zhǔn)確。6.6.1 典型的幾何失真 1系統(tǒng)失真系統(tǒng)失真 光學(xué)系統(tǒng)、電子掃描系統(tǒng)失真而引起的斜視畸變、枕形、桶形畸變等，都可能使圖像產(chǎn)生幾何特性失真。(a)(b)(c)(d) 原圖像； (b) 梯形失真； (c) 枕形失真； (d) 桶形失真圖6.11 典型的系統(tǒng)幾何失真 2非系統(tǒng)失真非系統(tǒng)失真 從飛行器上所獲得的地面圖像，由于飛行器的姿態(tài)、高度和速度變化引起的不穩(wěn)定與不可預(yù)測(cè)的幾何失真 這類(lèi)畸變一般要根據(jù)航天器的跟蹤資料和地面設(shè)置控制點(diǎn)辦法來(lái)進(jìn)行校正。 典型的非系統(tǒng)失真如圖6.12所示。幾何畸變校正一般分兩步來(lái)做 幾何畸變校正要對(duì)失真圖像進(jìn)行精確的幾何校正 通常是先確定一幅圖像為基準(zhǔn)，然后去校正另一幅圖像的幾何形狀。 第一步：圖像空間坐標(biāo)的變換； 第二步：重新確定在校正空間各像素點(diǎn)的取值。6.6.2 空間幾何坐標(biāo)變換 按照一幅標(biāo)準(zhǔn)圖像f(x,y)或一組基準(zhǔn)點(diǎn)去校正另一幅幾何失真圖像g(x,y)。 根據(jù)兩幅圖像的一些已知對(duì)應(yīng)點(diǎn)對(duì)建立起函數(shù)關(guān)系式，將失真圖像的x-y坐標(biāo)