數(shù)字圖象處理 第七章

1、第7章 圖像復(fù)原o 圖像退化機理o 連續(xù)圖像退化的數(shù)學(xué)模型o 離散圖像退化的數(shù)學(xué)模型o 圖像復(fù)原的方法o 有約束復(fù)原o 幾何畸變校正o 中值濾波復(fù)原第七章 圖像復(fù)原第7章 圖像復(fù)原7.1 圖像退化機理圖像退化機理 什么是圖像的退化 圖像退化原因 圖像退化的處理方法 什么是圖像復(fù)原 圖像增強和圖像復(fù)原的區(qū)別第7章 圖像復(fù)原 在景物成像過程中，由于目標(biāo)的高速運動、散射、成像系統(tǒng)畸變和噪聲干擾，致使最后形成的圖像存在種種惡化， 稱之為“ 退化”。 退化的形式有圖像模糊或圖像有干擾等。1.什么是圖像退化？7.1 圖像退化機理圖像退化機理 圖像退化的概念第7章 圖像復(fù)原7.1 圖像退化機理圖像退化機理

2、圖像退化的概念第7章 圖像復(fù)原7.1 圖像退化機理圖像退化機理 圖像退化的概念第7章 圖像復(fù)原7.1 圖像退化機理圖像退化機理 圖像退化的概念第7章 圖像復(fù)原 無論是由光學(xué)、光電或電子方法獲得的圖像都會有不同程度的退化；退化的形式多種多樣，如傳感器噪聲、攝像機未聚焦、物體與攝像設(shè)備之間的相對移動、光學(xué)系統(tǒng)的相差、成像光源或射線的散射等； 如果我們對退化的類型、機制和過程都十分清楚，那么就可以利用其反過程來復(fù)原圖像。3.圖像退化的處理方法7.1 圖像退化機理圖像退化機理 圖像退化的概念第7章 圖像復(fù)原7.1 圖像退化機理圖像退化機理 圖像退化的概念第7章 圖像復(fù)原 圖像復(fù)原是通過對圖像退化的過程

3、進(jìn)行估計,并補償退化過程造成的失真,以便獲得未經(jīng)干擾退化的原始圖像或原始圖像的最優(yōu)估值，從而改善圖像質(zhì)量的一種方法。 圖像復(fù)原是圖像退化的逆過程。4. 什么是圖像復(fù)原？ 典型的圖像復(fù)原方法是根據(jù)圖像退化的先驗知識建立一個退化模型以此模型為基礎(chǔ)，采用濾波等手段進(jìn)行處理，使得復(fù)原后的圖像符合一定的準(zhǔn)則，達(dá)到改善圖像質(zhì)量的目的。7.1 圖像退化機理圖像退化機理 圖像退化的概念第7章 圖像復(fù)原找出退化原因建立退化模型 反向推演 恢復(fù)圖像7.1 圖像退化機理圖像退化機理 圖像退化的一般過程第7章 圖像復(fù)原7.1 圖像退化機理圖像退化機理 圖像復(fù)原的示例第7章 圖像復(fù)原7.1 圖像退化機理圖像退化機理 圖

4、像復(fù)原的示例第7章 圖像復(fù)原7.1 圖像退化機理圖像退化機理 圖像復(fù)原的示例第7章 圖像復(fù)原 圖像增強是為了突出圖像中感興趣的特征，增強后的圖像可能與原始圖像存在一定的差異。 評判圖像增強質(zhì)量好壞的是主觀標(biāo)準(zhǔn)。 圖像復(fù)原是針對圖像退化的原因做出補償，使恢復(fù)后的圖像盡可能接近原始圖像。 評判圖像復(fù)原質(zhì)量好壞的是客觀標(biāo)準(zhǔn)。5. 圖像增強和圖像復(fù)原的區(qū)別？7.1 圖像退化機理圖像退化機理 圖像退化的概念第7章 圖像復(fù)原1)線性特性2)位置不變性7.2 圖像退化模型圖像退化模型 退化模型的一般特性第7章 圖像復(fù)原f(x,y)H+g(x,y)n(x,y)H(x,y)概括了圖像退化的物理過程7.2 圖像退

5、化模型圖像退化模型 退化模型退化模型第7章 圖像復(fù)原7.2 圖像退化模型圖像退化模型 連續(xù)圖像退化模型連續(xù)圖像退化模型第7章 圖像復(fù)原7.2 圖像退化模型圖像退化模型 連續(xù)圖像退化模型連續(xù)圖像退化模型第7章 圖像復(fù)原7.2 圖像退化模型圖像退化模型 連續(xù)圖像退化模型連續(xù)圖像退化模型第7章 圖像復(fù)原7.2 圖像退化模型圖像退化模型 連續(xù)圖像退化與復(fù)原連續(xù)圖像退化與復(fù)原第7章 圖像復(fù)原(1)若線性成像系統(tǒng)的沖擊響應(yīng)是理想的，即H(x-,y-)=(x-,y-)，那么形成的圖象g(x,y)就和原始圖象一樣，不產(chǎn)生模糊。),( ),;,(),( ),;,(),(),(yxfddyxHfddyxfHyxg

6、 連續(xù)退化模型幾點說明:7.2 圖像退化模型圖像退化模型 連續(xù)圖像退化模型連續(xù)圖像退化模型第7章 圖像復(fù)原(2) 若沖激響應(yīng)不是理想的，則造成圖像模糊。 通常把成像系統(tǒng)考慮成為線性位移不變系統(tǒng)，即 ddyxhfH),;,(),(),(*),(),(),(),(yxhyxfddyxhfyxg),(*),(yxhyxf7.2 圖像退化模型圖像退化模型 連續(xù)圖像退化模型連續(xù)圖像退化模型第7章 圖像復(fù)原(3)退化的另一種現(xiàn)象,噪聲污染,假定噪聲是加性的,那么退化模型為 傅氏變換 ),(),(),(),(yxnddyxhfyxg ),(),(),(),(vuNvuFvuHvuG7.2 圖像退化模型圖像退

7、化模型 連續(xù)圖像退化模型連續(xù)圖像退化模型第7章 圖像復(fù)原 數(shù)字圖像討論的是離散的圖像函數(shù)，因此需要對連續(xù)模型進(jìn)行離散化處理，即將連續(xù)模型中的積分以求和的形式表示。 7.2 圖像退化模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原 1. 1. 一維退化模型一維退化模型 對f(x)及h(x)均勻采樣,樣本數(shù)分別為A及B,即: f(x) x=0,1,A-1 h(x) x=0,1,B-1 離散循環(huán)卷積是針對周期函數(shù)定義的7.2 圖像退化模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原 如果f(x)和h(x)都是具有周期為N的序列，那么離散的退化模型可表示為：)(*)

8、()(xhxfxg)()(mxhmfm7.2 圖像退化模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原 為了不致使離散循環(huán)卷積的周期性序列之間發(fā)生相互重疊現(xiàn)象（卷繞效應(yīng)），必須把函數(shù) f (x)和h (x)周期性地延拓成1 1,2, 1 ,0 ),(1,2, 1 ,0 ),(BAMMxxhMxxfee其中，7.2 圖像退化模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原1 010 )()(1 010 )()(MxBBxxhxhMxAAxxfxfee7.2 圖像退化模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原f e (x)、 he(x)均

9、是長度為M的周期性離散函數(shù)，其卷積為1, 2 , 1 , 0)()()(10MxmxhmfxgMmeeeg e (x)也是長度為M的周期性離散函數(shù)。7.2 圖像退化模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原若把f e (x)、 g e (x) 表示成向量形式：TeeeTeeeMgggMfff)1(,),1 (),0()1(,),1 (),0(gf循環(huán)卷積寫成矩陣形式：Hfg H是M*M的矩陣。7.2 圖像退化模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原利用周期性：he(x)=he(x+M) 0() 3() 2() 1() 3() 0() 1 ()

10、2() 2() 1() 0() 1 () 1() 2() 1() 0(eeeeeeeeeeeeeeeehMhMhMhMhhhhMhhhhMhhhhH7.2 圖像退化模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原循環(huán)矩陣：方陣，每一行是前一行循環(huán)右移一位的結(jié)果。) 0() 3() 2() 1() 3 () 0() 1 () 2() 2() 1() 0() 1 () 1 () 2() 1() 0(eeeeeeeeeeeeeeeehMhMhMhhhhhhMhhhhMhMhhH7.2 圖像退化模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原 2. 2. 二維離散退

11、化模型二維離散退化模型 f (x,y)、h (x,y)均勻采樣，樣本數(shù)分別為A*B，C*D。周期性地延拓成M*N樣本11 01010 ),(),(11 01010 ),(),(NyDMxCDyCxyxhyxhNyBMxAByAxyxfyxfee和和和和7.2 圖像退化模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原則循環(huán)卷積為 1.2 , 1 , 01.2 , 1 , 0),(),(),(1010NyMxnymxhnmfyxgMmNnee7.2 圖像退化模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原矩陣形式 :矩陣。是維向量，是、MNMNMNHgfHfgH

12、是分塊循環(huán)矩陣。7.2 圖像退化模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原0321301221011210HHHHHHHHHHHHHHHHHMMMMMM7.2 圖像退化模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原( ,0)( ,1)( ,2)( ,1)( ,1)( ,0)( ,1)( ,2)( ,2)( ,1)( ,0)( ,3)( ,1)( ,2)( ,3)( ,0)eeeeeeeejeeeeeeeeh jh j Nh j Nh jh jh jh j Nh jh jh jh jh jh j Nh j Nh j Nh jH7.2 圖像退化模型圖像退

13、化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原若n是MN 維噪聲，則退化模型為:nHfg7.2 圖像退化模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原7.2 圖像退化模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原 h(x,y) n(x,y) 圖像恢復(fù)： 對原始圖像作出盡可能好的估計。 已知退化圖像，要作這種估計，須知道退化參數(shù)的有關(guān)知識。7.2 圖像退化模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原 大氣湍流 光學(xué)系統(tǒng)散焦 照相機與景物相對運動 根據(jù)模糊的物理過程（先驗知識）來確定h(x,y)或H(u,v)。7.2 圖像退化

14、模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原(1)長時間曝光下大氣湍流造成的轉(zhuǎn)移函數(shù)exp),(6/522vucvuHC是與湍流性質(zhì)有關(guān)的常數(shù)。7.2 圖像退化模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原（2）光學(xué)散焦 d是散焦點擴(kuò)展函數(shù)的直徑;J1()是第一類貝塞爾函數(shù)。2/1221)()(),(vuddJvuH7.2 圖像退化模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原（3）照相機與景物相對運動 設(shè)T為快門時間，x0(t)，y0(t)是位移的x分量和y分量 dttvytuxjvuHT)()(2exp),(0007.2 圖像退

15、化模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原 需知道n(x,y)的統(tǒng)計性質(zhì)，以及n(x,y)與f(x,y)之間的相關(guān)性質(zhì)。 一般假設(shè)圖像中的噪聲是一類白噪聲。 圖像平面上不同點的噪聲是不相關(guān)的，其譜密度為常數(shù)。 7.2 圖像退化模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原 當(dāng)噪聲與圖像不相關(guān)時，噪聲是加性的。 在有些情況下噪聲大小確實與圖像信號有關(guān)。如以下的乘性白噪聲),(),( ),(1),( ),(),(),(),(yxnyxfyxyxfyxfyxyxfyxg7.2 圖像退化模型圖像退化模型 離散圖像退化模型離散圖像退化模型第7章 圖像復(fù)原 無

16、約束復(fù)原方法 逆濾波復(fù)原方法 有約束復(fù)原 中值濾波復(fù)原方法7.3 無約束復(fù)原無約束復(fù)原 圖像復(fù)原方法圖像復(fù)原方法第7章 圖像復(fù)原 圖像復(fù)原的主要目的是當(dāng)給定退化的圖像g(x,y)及系統(tǒng)h(x,y)和噪聲n(x,y)的某種了解或假設(shè)，估計出原始圖像f(x,y)。其代數(shù)表達(dá)式即： g=Hf+n 因此，可用線性代數(shù)中的理論解決復(fù)原問題。 無約束復(fù)原基本原理無約束復(fù)原基本原理7.3 無約束復(fù)原無約束復(fù)原第7章 圖像復(fù)原 復(fù)原時以消除噪聲為目的，可將上式改為:Hfgn在最小二乘方意義上說，希望找到一個 使f22fHgn為最小。 無約束復(fù)原基本原理無約束復(fù)原基本原理7.3 無約束復(fù)原無約束復(fù)原第7章 圖像

17、復(fù)原0)(2)(fHgHffJTgHfHHTTgHHHfTT1)( 無約束復(fù)原基本原理無約束復(fù)原基本原理7.3 無約束復(fù)原無約束復(fù)原第7章 圖像復(fù)原因 為 H 是 一 方 陣 ， 并 且 設(shè) H 1存 在 ， 則 可 求 得fgHgHHHfTT111)(這種方法要求知道成像系統(tǒng)的點擴(kuò)散函數(shù)H. 無約束復(fù)原基本原理無約束復(fù)原基本原理7.3 無約束復(fù)原無約束復(fù)原第7章 圖像復(fù)原 無約束復(fù)原基本原理無約束復(fù)原基本原理7.3 無約束復(fù)原無約束復(fù)原第7章 圖像復(fù)原 無約束復(fù)原基本原理無約束復(fù)原基本原理7.3 無約束復(fù)原無約束復(fù)原第7章 圖像復(fù)原7.3 無約束復(fù)原無約束復(fù)原 無約束復(fù)原基本原理無約束復(fù)原基

18、本原理第7章 圖像復(fù)原7.4 逆濾波復(fù)原方法逆濾波復(fù)原方法 逆濾波復(fù)原基本原理逆濾波復(fù)原基本原理第7章 圖像復(fù)原因此可得復(fù)原模型如下:7.4 逆濾波復(fù)原方法逆濾波復(fù)原方法 逆濾波復(fù)原基本原理逆濾波復(fù)原基本原理第7章 圖像復(fù)原逆濾波復(fù)原舉例逆濾波復(fù)原舉例7.4 逆濾波復(fù)原方法逆濾波復(fù)原方法 逆濾波復(fù)原實例逆濾波復(fù)原實例第7章 圖像復(fù)原7.4 逆濾波復(fù)原方法逆濾波復(fù)原方法逆濾波復(fù)原舉例逆濾波復(fù)原舉例 逆濾波復(fù)原實例逆濾波復(fù)原實例第7章 圖像復(fù)原原圖像頻譜退化圖像頻譜復(fù)原圖像頻譜復(fù)原圖像頻譜復(fù)原圖像頻譜7.4 逆濾波復(fù)原方法逆濾波復(fù)原方法 逆濾波復(fù)原實例逆濾波復(fù)原實例第7章 圖像復(fù)原7.4 逆濾波復(fù)

19、原方法逆濾波復(fù)原方法 逆濾波復(fù)原實例逆濾波復(fù)原實例第7章 圖像復(fù)原（1）逆濾波的應(yīng)用條件是退化圖像g(x,y)是信噪比較高的圖像。（2）如果H (u ,v)有許多零點，必然使得復(fù)原的結(jié)果受到極大影響。（3）如果H (u ,v)不為零但是有非常小的值，也即病態(tài)條件，也會使復(fù)原效果受到影響。7.4 逆濾波復(fù)原方法逆濾波復(fù)原方法 逆濾波復(fù)原的特點逆濾波復(fù)原的特點第7章 圖像復(fù)原)|(|)(222nfHgfQfJ0)(22)(fHgHfQQfJfTTgHQQHHfTTT1)1(7.5 有約束復(fù)原有約束復(fù)原 最小二乘類約束復(fù)原最小二乘類約束復(fù)原第7章 圖像復(fù)原gHQQHHfTTT1)(22|fHgnff

20、7.5 有約束復(fù)原有約束復(fù)原 最小二乘類約束復(fù)原最小二乘類約束復(fù)原第7章 圖像復(fù)原7.5 有約束復(fù)原有約束復(fù)原 維納濾波法維納濾波法f維納濾波的基本原理是將原始圖像f和對原始圖像 的估計看作為隨機變量，按照使f和估計值 之間的均方誤差達(dá)到最小的準(zhǔn)則實現(xiàn)圖像復(fù)原。 f均方誤差如下：均方誤差如下： ),(),(22yxfyxfEe),(),(),(|),(|),(),(2*vuGvuPvuPvuHvuHvuFfn1, 2 , 1 , 0,),(),(),(| ),(| ),(|),(122NvuvuGvuPvuPvuHvuHvuHfn若=1，則稱為維納濾波器 第7章 圖像復(fù)原7.5 有約束復(fù)原有約

21、束復(fù)原 功率譜均衡功率譜均衡第7章 圖像復(fù)原7.5 有約束復(fù)原有約束復(fù)原 幾何均值濾波幾何均值濾波第7章 圖像復(fù)原7.6 勻速直線運動的模糊恢復(fù)勻速直線運動的模糊恢復(fù) 勻速運動模糊模型勻速運動模糊模型 拍攝圖像時，由于景物和攝像機之間可能會產(chǎn)生相對運動，往往造成圖像的模糊。勻速直線運動是其他運動的基礎(chǔ)，也是合成其它復(fù)雜運動的成份。因此，般情況下，均勻直線運動所造成的模糊圖像的恢復(fù)問題更具有應(yīng)用價值和普遍意義。勻速運動退化（模糊）后的圖像可用下式表示： ddtyytxxfyxgT)(),(),(000第7章 圖像復(fù)原7.6 勻速直線運動的模糊恢復(fù)勻速直線運動的模糊恢復(fù) 勻速運動復(fù)原方法勻速運動復(fù)

22、原方法對勻速運動退化模型進(jìn)行傅立葉變換： dxdyeyxgvuGvyuxj)(2),(),( dtdxdyetyytxxfvyuxjT)(),()(2000 可得：令：dtevuHtvytuxjT)()(2000),(),(),(),(vuFvuHvuG)(0tx)(0ty),(yxf上式就是運動退化模型的傅立葉變換形式，由此可知，若已知函數(shù) 和 的性質(zhì)，則可以恢復(fù)原圖像第7章 圖像復(fù)原7.6 勻速直線運動的模糊恢復(fù)勻速直線運動的模糊恢復(fù) 勻速運動模糊模型勻速運動模糊模型如果模糊圖像是因為景物在x方向的勻速直線運動而產(chǎn)生，則模糊后圖像任意點的灰度值可用下式表示： dtytxxfyxgT),()

23、,(00式中，x0(t)是景物在x方向上的運動分量。設(shè)圖像在x方向的總位移為a，總的運動時間為T，可得： Tattx)(0若只考慮x方向的運動，則0)(0ty，于是可得： 第7章 圖像復(fù)原7.6 勻速直線運動的模糊恢復(fù)勻速直線運動的模糊恢復(fù) 勻速運動模糊模型勻速運動模糊模型dtevuHtvytuxjT)()(2000),(aujeauauT)sin(經(jīng)推導(dǎo)可得，水平方向的勻速直線運動產(chǎn)生的圖像模糊的數(shù)學(xué)模型如下： dtyTatxfyxgT,),(0其恢復(fù)近似方法如下：其恢復(fù)近似方法如下：mkykaxgyaaxxgaxAyxf0),(,)int()int(),(第7章 圖像復(fù)原7.6 勻速直線運

24、動的模糊恢復(fù)勻速直線運動的模糊恢復(fù) 勻速運動模糊模型勻速運動模糊模型同樣的方法，假定0)(0tx ，可以恢復(fù)垂直方向勻速直線運動所產(chǎn)生的圖像模糊，其 圖像模糊模型及近似恢復(fù)公式如下： dtTbtyxfyxgT,),(0mkkbyxgbaxyxgaxAyxf0)( , )int( , )int(),(式中b為圖像在y方向的總位移. 第7章 圖像復(fù)原 幾何畸變校正的概念幾何畸變校正的概念 數(shù)字圖像在獲取過程中常常由于成像系統(tǒng)數(shù)字圖像在獲取過程中常常由于成像系統(tǒng)的幾何非線性誤差，導(dǎo)致圖像產(chǎn)生幾何失真。的幾何非線性誤差，導(dǎo)致圖像產(chǎn)生幾何失真。例如，日常生活中所見到的，成像圖像與原景例如，日常生活中所見

25、到的，成像圖像與原景物（或物體）圖像相比可能出現(xiàn)了比例失調(diào)，物（或物體）圖像相比可能出現(xiàn)了比例失調(diào)，甚至扭曲等現(xiàn)象，這類圖像退化現(xiàn)象一般稱為甚至扭曲等現(xiàn)象，這類圖像退化現(xiàn)象一般稱為圖像的幾何畸變。圖像的幾何畸變。 7.7 幾何畸變校正幾何畸變校正第7章 圖像復(fù)原幾種常見的幾何失真情況 幾種常見的幾何失真情況 幾種常見的幾何失真幾種常見的幾何失真 7.7 幾何畸變校正幾何畸變校正第7章 圖像復(fù)原三角形線性法三角形線性法 fevduycbvaux 圖像的幾何失真雖然是非線性的，但在一個很小的局部區(qū)域內(nèi)可近似認(rèn)為是線性的。基于這一假設(shè)，將標(biāo)準(zhǔn)圖像和被校正圖像之間的控制點對劃分成一系列小三角形區(qū)域，三角形頂點為三個控制點，根據(jù)幾何變換理論，在三角形區(qū)內(nèi)滿足以下線性關(guān)系 7.7 幾何畸變校正幾何畸變校正第7章 圖像復(fù)原fevduyfevduyfevduycbvauxcbvauxcbvaux333222111333222111 若選擇三個控制點對，則得以下校正線性方程組：、7.7 幾何畸變校正幾何畸變校正 逆濾波復(fù)原實例逆濾波復(fù)原實例第7章 圖像復(fù)原 中值濾波在