第06章圖像復(fù)原

1、 第6章 圖像復(fù)原 內(nèi)容提要:p 圖像退化原因與復(fù)原技術(shù)分類化的數(shù)學(xué)模型p 逆濾波復(fù)原p 約束復(fù)原p 非線性復(fù)原方法p 盲圖像復(fù)原p 幾何失真校正 知識(shí)要點(diǎn)圖像退化的常見原因圖像退化模型圖像退化與圖像增強(qiáng)的關(guān)系線性代數(shù)復(fù)原非線性復(fù)原幾何失真校正盲圖像復(fù)原MATLAB圖像處理工具箱去模糊函數(shù) 6.1 圖像退化原因與復(fù)原技術(shù)分類圖像退化原因與復(fù)原技術(shù)分類 圖像在形成、傳輸和記錄過程中，由于受到多方面的影響，造成圖像質(zhì)量的退化（退化（degradation）。 A/D過程會(huì)損失部分細(xì)節(jié)，造成圖像質(zhì)量下降。 鏡頭聚焦不準(zhǔn)產(chǎn)生的散焦模糊。 成像系統(tǒng)中始終存在的噪聲干擾。 相機(jī)與景物之間的相對(duì)運(yùn)動(dòng)產(chǎn)生的運(yùn)

2、動(dòng)模糊。 底片感光、圖像顯示時(shí)會(huì)造成記錄顯示失真。 成像系統(tǒng)的像差、非線性畸變、有限帶寬。 攜帶遙感儀器的飛機(jī)或衛(wèi)星運(yùn)動(dòng)的不穩(wěn)定，以及地球自轉(zhuǎn)等因素引起的照片幾何失真。 射線輻射、大氣湍流等造成的照片畸變。目的和任務(wù) 目的 在研究圖像退化原因的基礎(chǔ)上，以退化圖像為依據(jù)，根據(jù)一定的先驗(yàn)知識(shí)，建立一個(gè)退化模型，然后用相反的運(yùn)算，以恢復(fù)原始景物圖像。 與圖像增強(qiáng)關(guān)系：目的皆為改善圖像質(zhì)量；目標(biāo)不同，圖像增強(qiáng)不考慮增強(qiáng)后的圖像是否失真，只要滿足人眼或機(jī)器視覺要求即可，而圖像復(fù)原目的是得到恢復(fù)的圖像。 圖像復(fù)原要明確規(guī)定質(zhì)量準(zhǔn)則 衡量接近原始景物圖像的程度。 圖像復(fù)原模型 可以用連續(xù)數(shù)學(xué)或離散數(shù)學(xué)處理。

3、 圖像復(fù)原根據(jù)退化的數(shù)學(xué)模型對(duì)退化圖像進(jìn)行處理，其實(shí)現(xiàn)可在空間域卷積或在頻域相乘。在初級(jí)視覺處理中的地位 在航空航天、國(guó)防公安、生物醫(yī)學(xué)、文物修復(fù)等領(lǐng)域具有在航空航天、國(guó)防公安、生物醫(yī)學(xué)、文物修復(fù)等領(lǐng)域具有廣泛的應(yīng)用。廣泛的應(yīng)用。 傳統(tǒng)的復(fù)原方法傳統(tǒng)的復(fù)原方法 基于平穩(wěn)圖像、線性空間不變的退化系統(tǒng)、圖像和噪聲統(tǒng)計(jì)特性的先驗(yàn)知識(shí)已知等條件下討論的 現(xiàn)代的復(fù)原方法現(xiàn)代的復(fù)原方法 對(duì)非平穩(wěn)圖像（如卡爾曼濾波）、非線性方法（如神經(jīng)網(wǎng)絡(luò)）、信號(hào)與噪聲的先驗(yàn)知識(shí)未知（如盲圖像復(fù)原）等前提下開展工作。 6.1.1 連續(xù)圖像退化的數(shù)學(xué)模型 連續(xù)圖像退化的一般模型如圖6.1所示。 輸入圖像f(x, y)經(jīng)過一個(gè)

4、退化系統(tǒng)或退化算子H(x, y)后產(chǎn)生的退化圖像g(x, y)可以表示為： g(x, y)= Hf(x, y) （6.1） 如果僅考慮加性噪聲的影響，則退化圖像可表示為： g(x, y)= H f(x, y)+n(x, y) （6.2）H(x, y)f (x, y)g (x, y)n (x, y) f(x, y)的最佳估計(jì) 退化的圖像是由成像系統(tǒng)的退化加上額外的系統(tǒng)噪聲而形成的。 若已知H(x, y)和n(x, y)，圖像復(fù)原是在退化圖像的基礎(chǔ)上，作逆運(yùn)算，得到f(x, y)的一個(gè)最佳估計(jì)。 “最佳估計(jì)”而非“真實(shí)估計(jì)”。 由于存在可能導(dǎo)致圖像復(fù)原的病態(tài)性。 導(dǎo)致圖像復(fù)原的病態(tài)性的原因 （1）

5、最佳估計(jì)問題不一定有解。 由于圖像復(fù)原中可能遇到奇異問題； （2）逆問題可能存在多個(gè)解。點(diǎn)擴(kuò)展函數(shù)點(diǎn)擴(kuò)展函數(shù)PSF（Point-spread Function） 在退化算子H表示線性和空間不變系統(tǒng)的情況下，輸入圖像f(x, y)經(jīng)退化后的輸出為g(x, y)： ddyxhfddyxHfddyxfHyxfHyxg),(),(),(),(),(),(),(),( h(x,y)稱為退化系統(tǒng)的沖激響應(yīng)函數(shù)。在圖像形成的光學(xué)過程中，沖激為一光點(diǎn)。又被稱為退化系統(tǒng)的點(diǎn)擴(kuò)展函數(shù)PSF。 空間域分析與頻率分析 退化系統(tǒng)的輸出就是輸入圖像f (x, y)與點(diǎn)擴(kuò)展函數(shù)h(x, y)的卷積，考慮到噪聲的影響，即 在

6、頻域上可以寫成 ),(),(*),(),(),(),(),(yxnyxhyxfyxnddyxhfyxg（6.6） G(u, v)、F(u, v)、N(u, v)分別是g(x, y)、f(x, y)、n(x, y)的傅立葉變換 H(u, v)是h(x, y)的傅立葉變換，為系統(tǒng)的傳遞函數(shù)。),(),(),(),(vuNvuHvuFvuG（6.7） 6.1.2 離散圖像退化的數(shù)學(xué)模型 設(shè)f (x, y)大小為AB，h(x, y)被均勻采樣為CD大小。 為避免交疊誤差，采用添零延拓的方法，將它們擴(kuò)展成M=A+C-1和N=B+D-1個(gè)元素的周期函數(shù)。其他且01010),(),(ByAxyxfyxfe(

7、 , ) 0101( , )0eh x yxCyDh x y且其他（6.8a） （6.8b） 則輸出的降質(zhì)數(shù)字圖像為1100( , )( , )(,)MNeeemngx yf m n h xm yn （6.9） 二維離散退化模型可以用矩陣形式 g=Hf （6.10）03-2-1 -301221M0112-1M0HHHHHHHHHHHHHHHHHMMMM（6.11） ( ,0)( ,1)( ,2)( ,1)( ,1)( ,0)( ,1)( ,2)( ,1)( ,2)( ,3)( ,0)eeeeeeeejeeeehjhj Nhj Nhjhjhjhj Nhjhj Nhj Nhj NhjH（6.12）

8、 給定了退化圖像g(x, y)、退化系統(tǒng)的點(diǎn)擴(kuò)展函數(shù)h(x, y)和噪聲分布n(x, y)，就可以得到原始圖像f的估計(jì)。 實(shí)際計(jì)算的工作量十分龐大。1010),(),(),(),(NneeeMmeyxnnymxhnmfyxg（6.13） g=Hf +n （6.14）通常有兩種解決上述問題的途徑： 假設(shè)圖像大小M=N，則H的大小為N4，要解出f (x, y)需要解N2個(gè)聯(lián)立方程組。 （1）通過對(duì)角化簡(jiǎn)化分塊循環(huán)矩陣，再利用FFT快速算法可以大大地降低計(jì)算量且能極大地節(jié)省存儲(chǔ)空間。 （2）分析退化的具體原因，找出H的具體簡(jiǎn)化形式。 勻速運(yùn)動(dòng)造成模糊的PSF就可以用簡(jiǎn)單的形式表示，這樣使復(fù)原問題變得

9、簡(jiǎn)單。 各種代數(shù)復(fù)原方法 可能是通過無約束條件而得到原始圖像f的估計(jì)。 也可能是約束復(fù)原f。6.2 逆濾波復(fù)原 非約束復(fù)原 根據(jù)對(duì)退化系統(tǒng)H和噪聲n的了解，已知退化圖像g的情況下，在一定的最小誤差準(zhǔn)則下，得到原始圖像f的估計(jì)。 逆濾波是最早使用的一種無約束復(fù)原方法 成功地應(yīng)用于航天器傳來的退化圖像。n = gHf （6.15） fffl 當(dāng)對(duì)n的統(tǒng)計(jì)特性不確定時(shí)，希望對(duì)原始圖像f 的估計(jì)滿足這樣的條件，使H在最小二乘意義上近似于g g。使得噪聲項(xiàng)的范數(shù)l希望找到一個(gè)2|Tnn n最小。即目標(biāo)函數(shù)2|)(fHgfJ為最小。 在M=N的情況下，H為方陣且H有逆陣H-1，則gHgHHHf1TT1)(

10、（6.20） ),(),(),(vuvuvuHGF（6.21） l當(dāng)系統(tǒng)H逆作用于退化圖像g時(shí)，可以得到最小平方意義上的非約束估計(jì)。對(duì)式（6.20）進(jìn)行傅立葉變換，則逆濾波法的特點(diǎn) 優(yōu)點(diǎn)：優(yōu)點(diǎn)： 形式簡(jiǎn)單 適用于極高信噪比條件下的圖像復(fù)原問題，且降質(zhì)系統(tǒng)的傳遞函數(shù)H不存在病態(tài)性質(zhì)。 缺點(diǎn)：缺點(diǎn)： 具體求解的計(jì)算量很大，需要根據(jù)循環(huán)分塊矩陣條件進(jìn)行簡(jiǎn)化。 當(dāng)H等于0或接近于0時(shí)，還原的圖像將變得無意義。這時(shí)需要人為對(duì)傳遞函數(shù)進(jìn)行修正，以降低由于傳遞函數(shù)病態(tài)而造成的恢復(fù)不穩(wěn)定性。 6.3 約束復(fù)原 約束復(fù)原除了對(duì)降質(zhì)系統(tǒng)的PSF有所了解外，還需要對(duì)原始圖像和外加噪聲的特性有先驗(yàn)知識(shí)。 根據(jù)不同領(lǐng)域

11、的要求，有時(shí)需要對(duì)f和n作一些特殊的規(guī)定，使處理得到的圖像滿足某些條件。6.3.1 約束復(fù)原的基本原理 約束最小二乘法復(fù)原問題約束最小二乘法復(fù)原問題令Q為f的線性算子，要設(shè)法尋找一個(gè)最優(yōu)估計(jì)f，使形式為 2fQ的、服從約束條件 22nfHg的函數(shù)最小化。 6.3.1 約束復(fù)原的基本原理 約束最小二乘法復(fù)原問題令Q為f的線性算子，要設(shè)法尋找一個(gè)最優(yōu)估計(jì)使下面的目標(biāo)函數(shù)為最小(轉(zhuǎn)化為非約束最小化問題)f）（222)(nfHgfQfJ （6.22）gHQQHHfTTT1)(6.23) 式中，=-1 式中，為拉格朗日乘子 , f 的最佳估值6.3.2 維納濾波方法 最小二乘法濾波復(fù)原的核心是如何選擇一

12、個(gè)合適的變換矩陣Q。 Q的形式不同，可得到不同類型的復(fù)原方法。 選用圖像f和噪聲n的自相關(guān)矩陣Rf和Rn表示Q就可得到維納濾波復(fù)原方法。 將f和n近似地看成是平穩(wěn)隨機(jī)過程。假設(shè)Rf和Rn為f和n的自相關(guān)矩陣。 Rf = Ef f T （6.24a） Rn = EnnT （6.24b） 定義定義QTQ=R-1fRn，代入式，代入式(6.23)，得，得 gHRRHHfTnfT11)( （6.25） 假設(shè)M=N，Sf和Sn分別為圖像和噪聲的功率譜，則),(),(/ ),(|),(| ),(|),(1),(),(/ ),(| ),(|),(),(222vuGvuSvuSvuHvuHvuHvuGvuSv

13、uSvuHvuHvuFfnfn （6.26） 分3種情況對(duì)式(6.26)作分析： （1）如果=1，系統(tǒng)函數(shù)Hw(u,v)是維納濾波器的傳遞函數(shù)。 （2）如果=0，系統(tǒng)變成單純的去卷積濾波器，系統(tǒng)的傳遞函數(shù)即為。 盡管0但無噪聲影響，Sn(u, v)=0，復(fù)原系統(tǒng)亦為理想的逆濾波器，可以看成是維納濾波器的一種特殊情況。 （3）若為可調(diào)整的其他參數(shù)，此時(shí)為參數(shù)化維納濾波器。 圖圖6.2 6.2 去卷積維納濾波復(fù)原方法去卷積維納濾波復(fù)原方法（a）加性噪聲污染和運(yùn)動(dòng)模糊圖像 （b）復(fù)原后的圖像 【例6.1】采用維納濾波復(fù)原的具體實(shí)現(xiàn)方法【例6.1】原始圖像如圖6.2（a），使用函數(shù)DECONVWNR對(duì)

14、圖6.2（b）所示的無噪聲模糊圖像進(jìn)行復(fù)原重建。 （a）原始圖像 （b）無噪聲模糊圖像 圖6.3 原始圖像及無噪聲模糊圖像 圖圖6.4 6.4 不同不同PSFPSF產(chǎn)生的復(fù)原效果比較產(chǎn)生的復(fù)原效果比較（a）使用真實(shí)的PSF復(fù)原 （b）使用較“長(zhǎng)”的PSF復(fù)原 （c）使用較“陡峭”的PSF復(fù)原6.3.3 平滑度約束最小平方濾波 使用逆濾波器一類的方法進(jìn)行圖像復(fù)原時(shí)，由于退化算子H的病態(tài)性質(zhì)，導(dǎo)致在零點(diǎn)附近數(shù)值起伏過大，使復(fù)原后的圖像產(chǎn)生了人為的噪聲和邊緣（振鈴）。 通過選擇合理的Q（高通濾波器），并對(duì)Qf進(jìn)行優(yōu)化，可將這種不平滑性降低至最小。 使某個(gè)函數(shù)的二階導(dǎo)數(shù)最?。ㄈ鏠選用拉普拉斯算子形式表

15、示），可以推導(dǎo)出以平滑度為基礎(chǔ)的約束最小二乘方復(fù)原方法。2deconvreg函數(shù)010,141010p x y*2,Hu vF u vG u vH u vP u v222,4P u vuv 6.4 非線性復(fù)原方法 經(jīng)典復(fù)原濾波器的顯著特點(diǎn) 約束方程和準(zhǔn)則函數(shù)中的表達(dá)式都可以改為矩陣乘法。 非線性復(fù)原方法 所采用的準(zhǔn)則函數(shù)都不能進(jìn)行對(duì)角化，因而線性代數(shù)的方法在這里是不適用的。 設(shè)S是非線性函數(shù)，當(dāng)考慮圖像的非線性退化時(shí)，圖像的退化模型可以表示成 （6.32a）（6.32b）),(),(),(yxnyxbSyxgddfyxhyxb),(),;,(),( 方法簡(jiǎn)介6.4.1 最大后驗(yàn)復(fù)原6.4.2

16、最大熵復(fù)原1正性約束條件2. 最大熵復(fù)原原理3Friend和Burg復(fù)原方法（1）Friend最大熵復(fù)原（2）Burg最大熵復(fù)原6.4.3 投影復(fù)原6.4.4 同態(tài)濾波復(fù)原（重點(diǎn)介紹） 6.4.4 同態(tài)濾波復(fù)原 自然景物的圖像是由照明函數(shù)和反射函數(shù)兩個(gè)分量的乘積所組成。 同態(tài)濾波法復(fù)原方法是基于圖像的乘性結(jié)構(gòu)理論而提出來的。 當(dāng)降質(zhì)圖像是由兩個(gè)分量相乘得到時(shí)，可先對(duì)降質(zhì)圖像取對(duì)數(shù)，得到兩個(gè)相加的分量，再進(jìn)行濾波處理，最后通過指數(shù)變換得到復(fù)原圖像 。( , )f x y 退化圖像g(x,y)可以分為兩部分乘積，即 g(x,y) = i(x,y) r(x,y) （6.42） 取對(duì)數(shù)得 log g(

17、x,y) = log i(x,y)+log r(x,y) （6.43） 設(shè)同態(tài)濾波器沖激響應(yīng)為l(x,y)，其復(fù)原結(jié)果。 同態(tài)濾波復(fù)原過程可用圖6.9所示。圖6.9同態(tài)濾波器復(fù)原 同態(tài)復(fù)原結(jié)果 頻域內(nèi)復(fù)原：準(zhǔn)則為估計(jì)圖像的功率譜原圖像的功率譜。( , )f x y = l(x,y)*log i(x,y)+ log r(x,y) (6.44) 10同態(tài)濾波器的傳遞函數(shù) 21),(/ ),(| ),(|1| ),(2vuSvuSvuHvuLfn|（6.45） 同態(tài)濾波技術(shù)也可以用于圖像增強(qiáng)。采用同態(tài)濾波可以實(shí)現(xiàn)同態(tài)增晰：能使圖像的灰度動(dòng)態(tài)范圍壓縮又能使感興趣的物體圖像灰度級(jí)擴(kuò)展。6.5 盲圖像復(fù)原

18、 很多情況下難以確定退化的點(diǎn)擴(kuò)展函數(shù)和噪聲的統(tǒng)計(jì)特性。 盲圖像復(fù)原法是在沒有圖像退化必要的先驗(yàn)知識(shí)的情況下，對(duì)觀察的圖像以某種方式提取出退化信息，采用盲去卷積算法對(duì)圖像進(jìn)行復(fù)原。 對(duì)具有加性噪聲的模糊圖像作盲圖像復(fù)原的方法有兩種： 6.5.1 直接測(cè)量法(模糊脈沖響應(yīng)、噪聲功率譜或協(xié)方差) 6.5.2 間接估計(jì)法(多幀模糊圖像的平均(幀數(shù)很大，高斯白噪聲)、deconvblind) 【例6.3】盲圖像進(jìn)行重建。（a）原始圖像 （b）有噪聲模糊圖像圖6.10 原始圖像及其有噪聲模糊化圖像（a）較小的PSF （b）較大的PSF （c）真實(shí)的PSF圖6.11 采用不同大小的PSF進(jìn)行圖像復(fù)原的效果比

19、較（a）較大的PSF （b）較小的PSF （c）真實(shí)的PSF 圖6.12 不同大小PSF的圖像比較6.6 幾何失真校正 圖像在獲取過程中，由于成像系統(tǒng)的非線性、飛行器的姿態(tài)變化等原因，成像后的圖像與原景物圖像相比，會(huì)產(chǎn)生比例失調(diào)，甚至扭曲。 以上圖像退化現(xiàn)象稱之為幾何失真。 有幾何畸變的圖像 不但視覺效果不好 而且在對(duì)圖像進(jìn)行定量分析時(shí)提取的形狀、距離、面積等數(shù)據(jù)也不準(zhǔn)確。6.6.1 典型的幾何失真 1系統(tǒng)失真系統(tǒng)失真 光學(xué)系統(tǒng)、電子掃描系統(tǒng)失真而引起的斜視畸變、枕形、桶形畸變等，都可能使圖像產(chǎn)生幾何特性失真。(a)(b)(c)(d) 原圖像； (b) 梯形失真； (c) 枕形失真； (d)

20、桶形失真圖6.13 典型的系統(tǒng)幾何失真 2非系統(tǒng)失真非系統(tǒng)失真 從飛行器上所獲得的地面圖像，由于飛行器的姿態(tài)、高度和速度變化引起的不穩(wěn)定與不可預(yù)測(cè)的幾何失真 這類畸變一般要根據(jù)航天器的跟蹤資料和地面設(shè)置控制點(diǎn)辦法來進(jìn)行校正。幾何畸變校正一般分兩步來做 幾何畸變校正要對(duì)失真圖像進(jìn)行精確的幾何校正 通常是先確定一幅圖像為基準(zhǔn)，然后去校正另一幅圖像的幾何形狀。 第一步：圖像空間坐標(biāo)的變換； 第二步：重新確定在校正空間各像素點(diǎn)的取值。 6.6.2 空間幾何坐標(biāo)變換 按照一幅標(biāo)準(zhǔn)圖像f(x,y)或一組基準(zhǔn)點(diǎn)去校正另一幅幾何失真圖像g(x,y)。 根據(jù)兩幅圖像的一些已知對(duì)應(yīng)點(diǎn)對(duì)建立起函數(shù)關(guān)系式，將失真圖像的x-y坐標(biāo)系變換到標(biāo)準(zhǔn)圖像x-y坐標(biāo)系，從而實(shí)現(xiàn)失真圖像按標(biāo)準(zhǔn)圖像的幾何位置校正，使 f(x, y)中的每一像點(diǎn)都可在g (x, y)中找到對(duì)應(yīng)像點(diǎn)。),(),(21yxhyyxhx（6.55） （a）xy坐標(biāo)系中的失真圖像 （b）xy坐標(biāo)系中的標(biāo)準(zhǔn)圖像 圖6.15 幾何位置校正 幾何校正方法可以分為兩類： 在h1、h2已知情況下的校正方