哈工大數(shù)字圖像處理知識點總結(jié)

1、1. 引言1.1 圖像的概念圖像：是對客觀存在的物體的一種相似性的、生動性的模仿或描述，是一種不完全的、不精確的，但在某種意義上是適當(dāng)?shù)谋硎?。也是對客觀存在的物體的某種屬性的描述。（非所見即所得，對事物不能完全描述）1.2 數(shù)字圖像的起源與應(yīng)用1.3 數(shù)字圖像處理的概念l 圖像的類型： 從圖像生成角度：物理圖像（可見圖像（光學(xué)圖像）、不可見圖像（紅外）、數(shù)學(xué)圖像等） 從照明角度：多光譜圖像（特指不可見光譜）和單光譜圖像（激光）；從人眼視覺特點上：可見圖像、不可見圖像。從波段多少分為：單波段（每點只有一亮度值）、多波段（每點不只一特性如紅綠藍(lán)光譜圖像）和超波段圖像。從圖像空間坐標(biāo)和明暗程度的連續(xù)

2、性：模擬圖像、數(shù)字圖像（空間坐標(biāo)和灰度均不連續(xù)，用離散的數(shù)字表示）。l 圖像的表現(xiàn)形式l 圖像的屬性：構(gòu)成數(shù)字圖像的要素，灰度坐標(biāo)圖像的屬性：1.對比度：灰度差別 0255（256個灰度級） 2. 灰度分辨力：適于人眼3空間分辨力：越高越好4 放大率 對比度與灰度的關(guān)系：量化？ 灰度量化 最高、最暗差值盡可能大。 減少灰度級一般會提高圖像的對比度。 構(gòu)成數(shù)字圖像的要素：地址（坐標(biāo)）和灰度值l 數(shù)字圖像的處理概念及三種分類：處理分析理解操作對象：狹義數(shù)字圖像處理：圖像圖像圖像分析：圖像數(shù)據(jù)（特征值）圖像理解：數(shù)據(jù)概念 狹義圖像處理強(qiáng)調(diào)圖像之間進(jìn)行變換，指對圖像進(jìn)行各種操作以改善圖像的視覺效果，或

3、對圖像進(jìn)行壓縮編碼以減少所需存儲空間或傳輸時間、傳輸通路的要求。圖像分析是對圖像中感興趣的目標(biāo)進(jìn)行檢測的測量，從而建立對圖像的描述，是從圖像到數(shù)值或符號的過程。經(jīng)分割和特征提取，把原來以像素構(gòu)成的圖像轉(zhuǎn)變成比較簡潔的非圖像形式的描述。圖像理解研究圖像中各目標(biāo)的性質(zhì)和它們之前的相互聯(lián)系，并得出對圖像內(nèi)容含義的理解以及對原來客觀場景的解譯，人而指導(dǎo)和規(guī)劃行動l 數(shù)字圖像的運(yùn)算形式：全局、局部、點，串行、并行全局：快速傅立葉變換局部：點運(yùn)算：對于一幅輸入圖像，經(jīng)過點運(yùn)算產(chǎn)生一幅輸出圖像，后者的每個像素的灰度值僅由相應(yīng)輸入像素的值 決定（對比度增強(qiáng)，對比度拉伸，灰度變換）串行：后一像素輸出結(jié)果依賴于前

4、面像素處理的結(jié)果，并且只能依次處理各像素而不能同時對各像素進(jìn)行相同處理的一種處理形式。并行：對圖像內(nèi)的各同時進(jìn)行相同形式運(yùn)算的一種處理形式。l 圖像工程中的層次及與相關(guān)學(xué)科的關(guān)系計算機(jī)圖形學(xué)研究是如何利用計算機(jī)技術(shù)來產(chǎn)生圖形、圖表、繪圖，以來表達(dá)數(shù)據(jù)信息。與圖像分析相比，處理對象和輸出結(jié)果正好相反。計算機(jī)圖形學(xué)試圖從非圖像形式的數(shù)據(jù)描述來生成圖像；模式識別把圖像抽象成用符號描述的類別。模式識別與圖像分析有相同的輸入，而不同的輸出結(jié)果之間可以較方便的進(jìn)行轉(zhuǎn)換；計算機(jī)視覺用計算機(jī)去實現(xiàn)人的視覺功能。l 數(shù)字圖像的獲取掃描，采樣（空間分辨力），量化（灰度分辨力）采樣：將空間上連續(xù)的圖像變換成點的操作

5、。采樣間隔分為均勻采樣量化及非均勻采樣量化；采樣孔徑的形狀和大小與采樣方式有關(guān)。量化：將像素灰度轉(zhuǎn)換成的整數(shù)值的過程，最亮最暗差值盡可能大采樣量化的原則：1.細(xì)節(jié)豐富的圖像（觀眾）：高的采樣分辨力 細(xì)采樣，粗量化 2. 細(xì)節(jié)少，緩變的圖像（人臉）：高的灰度分辨力 細(xì)量化，粗采樣2.數(shù)字圖像處理的基本概念2.1 BMP文件結(jié)構(gòu)及文件操作程序2.2 人眼形成的圖像l 物體的色，減色效應(yīng)與加色效應(yīng)消色物體：加色效應(yīng) 黑白灰 對照明光線有非選擇性吸收的特性，即光線照射到消色物體上時，被吸收的各種波長的入射光是等量的；被反射或透射的光線，其光譜成分也與入射光的光譜成分相同。有色物體：減色效應(yīng)。對照明光線

6、具有選擇性吸收的特性，光線照射到有色物體上，入射光中各種波長的色光是不等量被吸收。白光照射到有色物體上，反射或透射光線不僅亮度有所減弱，光譜成分也改變，呈現(xiàn)各種顏色。綠物反射綠光，減去綠光，如在暗場對其用藍(lán)光照射，吸收藍(lán)光，黑色當(dāng)有色光照射到消色物體，物體反射光與入射光顏色相同。兩種以上有色光同時照射消色物體，物體顏色呈加色法效應(yīng)。當(dāng)有色光照射到有色物體上，物體的顏色呈減色法效應(yīng)。如黃色物體在品紅光照射下呈紅色，在青色光照射下呈綠色，在藍(lán)色光照射下呈現(xiàn)灰色或黑色。紅綠藍(lán)白黃品青 紅綠藍(lán)黑黃品青 加色效應(yīng) 減色效應(yīng)l 馬赫效應(yīng)與錯覺從每一豎條內(nèi)反射出來的光強(qiáng)是均勻的，相信豎條之間強(qiáng)度差是常數(shù)，而

7、看起來每一豎條內(nèi)右邊要比右邊稍亮一點。亮度過沖是眼睛對不同空間頻率產(chǎn)生不同視覺響應(yīng)的結(jié)果。視覺系統(tǒng)對空間高頻和空間低頻的敏感性較差，對空間中頻有較高的敏感性，這沖過問對人眼所見的景物有其輪廓的作用。l 連續(xù)圖像的描述灰度=照度*反射系數(shù)用f(x,y) 表示靜止圖像，因為光是能量的一種形式，故人眼看到的圖像都是由物體反射的光組成。f(x,y)可被看成是兩個分量組成：一分量是所見場景的入射光量，另一分量是場景中被物體反射的光量。i(x,y)表示照射分量，性質(zhì)由光源確定；r(x,y)表示反射分量，由景物中物體的特性而定。有式中，反射分量在全吸收和全反射之間。2.3 圖像數(shù)字化l 圖像的數(shù)字化過程：掃

8、描、采樣、量化l 數(shù)字化與圖像質(zhì)量的關(guān)系采樣間隔越大，所得圖像像素數(shù)越少，圖像空間分辨率低，質(zhì)量差，嚴(yán)重時出現(xiàn)像素呈塊狀的國際棋盤效應(yīng)；采樣間隔越小，所得圖像像素數(shù)越多，圖像空間分辨率高，質(zhì)量好，但數(shù)據(jù)量大。量化等級越多，所得圖像層次越豐富，灰度分辨率越高，質(zhì)量越好，但數(shù)據(jù)量大；量化等級越少，圖像層次欠豐富，灰度分辨率低，質(zhì)量變差，會出現(xiàn)假輪廓現(xiàn)象，但數(shù)據(jù)量小。極少情況下圖像大小固定時，減少灰度級能改善質(zhì)量，由于會提高圖像對比度，如對細(xì)節(jié)比較豐富的復(fù)雜圖像。采樣量化的原則：1.細(xì)節(jié)豐富的圖像（觀眾）：高的采樣分辨力 細(xì)采樣，粗量化 2. 細(xì)節(jié)少，緩變的圖像（人臉）：高的灰度分辨力 細(xì)量化，粗采

9、樣l 數(shù)字化采樣量化方法統(tǒng)一的采樣和量化：隨著采樣分辨率和灰度級提高，主觀質(zhì)量也提高。對有大量細(xì)節(jié)的圖像，質(zhì)量對灰度級需求相應(yīng)降低。（一般采用均勻采樣和均勻量化）非統(tǒng)一的圖像采樣和量化：在灰度級變化尖銳的區(qū)域，用細(xì)采樣（細(xì)量化），在灰度級比較平滑的區(qū)域，用粗采樣（粗量化）。避免或減少由于量化的太粗糙，在灰度級變化比較平滑的區(qū)域出現(xiàn)假輪廓。l 圖像的表示：灰度表面、矩陣l 圖像的顯示2.4 數(shù)字化設(shè)備l 數(shù)字化過程：采樣，量化l 數(shù)字化器的主要參數(shù)像素大?。翰蓸涌椎拇笮『拖噜弮上袼氐木嚯x是兩個重要的性能參數(shù)；圖像大?。簣D像的大小由像素數(shù)決定。物理參數(shù)：數(shù)字化器采集和量化的物理參數(shù)；線性度：對光強(qiáng)

10、進(jìn)行數(shù)字化時，應(yīng)當(dāng)知道灰度正比于圖像亮度的實際精確程度。噪聲：系統(tǒng)中固有噪聲會使圖像的灰度發(fā)生變化 。l 光傳感器1） CCD CID CMOS特點2）CCD相機(jī)參數(shù)：感光元件大小、放大倍率、解析度、像素數(shù)、F數(shù)、景深；2.5 光源的種類 及照明形式光源的種類：鹵素?zé)?；高周波熒光燈；LED燈源；金屬燈泡或氖燈；激光光源；氙素?zé)?。照明形式：前照式（正向光源）（表面反射光）；背照式（背向光源）（工件遮光處不透光），?cè)照式（側(cè)向光源）（輪廓邊緣光反射最大）。2.6 灰度直方圖（定義、性質(zhì)、作用）定義：是灰度級的函數(shù)，描述的是具有該灰度級的像素個數(shù)（或出現(xiàn)的頻次）圖像各灰度級在圖像中出現(xiàn)的頻次 （統(tǒng)計

11、角度）性質(zhì)：1灰度直方圖只與像素灰度有關(guān)，與位置無關(guān)(沒有位置信息) 2 灰度直方圖與圖對應(yīng)關(guān)系： 一對多的關(guān)系 3.灰度圖像具有相加性（兩區(qū)域灰度直方圖之和等于圖像灰度直方圖）作用：1. 判斷圖像量化是否可理 2. 利用閾值實現(xiàn)圖像分割（用于確定圖像二值化閾值） 3.計算圖像對像（目標(biāo)）大?。ó?dāng)物體部分的灰度值比其他部分灰度值大時，可統(tǒng)計圖像中物體的面積） 4. 計算圖像的熵 熵：圖像信息量的反映，反映了圖像信息豐富的程度。2.7 圖像處理算法形式基本功能形式：按圖像處理輸出形式1. 單幅圖像單幅圖像2. 多幅圖像單幅圖像3. 單（或多）幅圖像數(shù)字或符號等（圖像統(tǒng)計量或特征量的測量、編碼表示

12、 特征提取圖像描述圖像）基本運(yùn)算形式：點運(yùn)算（點處理）：輸出值僅與輸入像素灰度有關(guān)的處理，如圖像對比度增強(qiáng)、圖像二值化。（點對點）局部運(yùn)算：計算某一輸出像素值由輸入圖像像素小領(lǐng)域中的像素值確定，如移動平均平滑法，空間域銳化。全局運(yùn)算：輸出像素的值取決于輸入圖像較大范圍或整幅圖像像素的值。如傅立葉變換2.8 圖像的數(shù)據(jù)結(jié)構(gòu)（組合式、比特面、分層、樹）1.組合方式：最常用的方式，一個像素的灰度按固定的字長表示，數(shù)據(jù)排列按像素位置排列。2.比特面方式：圖像像素（M*N）灰度以固定字長（nbit）,建立n個bit面，每個面有M*N個位，對于同一個像素，其n位數(shù)據(jù)分別占據(jù)n個比特面該像素的位置。優(yōu)點：節(jié)

13、省存儲空間。缺點：使數(shù)據(jù)處理復(fù)雜化。位面：最高位信息最重要，為圖像輪廓，低位圖包含信息細(xì)節(jié)。3.分層方式：由原始圖像依次構(gòu)成像素數(shù)越來越少的系列圖像，就能使圖像數(shù)據(jù)表示具有分層性，其代表就是錐形（金字塔）結(jié)構(gòu)。4.樹結(jié)構(gòu)：對一幅二值圖像的行、列都接連不斷二等分，如果被分割部分的圖像中全體都變成具有相同的特征時，這一部分不再分割。可用在特征提取和信息壓縮方面。(多分辨分析，由粗到精)題目：1. 選用1/2英寸的CCD，若以光學(xué)放大倍率為1倍時，其真實視野范圍是多少？2. 7mm*7mm的CCD芯片，有1024*1024個像元，將0.5m 遠(yuǎn)的物體成像其上，攝像機(jī)的物體解析度？（配置35mm焦距鏡

14、頭）主要放大倍率： 35/500攝像機(jī)解析度：512/7 線對/每單位長度物體解析度：主要放大倍率*攝像機(jī)解析度 35/500 * 512/7= 512 ep/mm3. 有一幅在灰度背景下的黑白足球圖像，直方圖數(shù)據(jù)如下：【0 520 920 490 30 40 5910 24040 6050 80 20 80 440 960 420 0】足球直徑為230mm，像素間距代表多少mm?3. 圖像空域增強(qiáng)3.4 點運(yùn)算的應(yīng)用l 直方圖均衡化：點運(yùn)算形式及均衡化計算方法 特點：1. 不利于灰度漸變（平滑）圖像。2 .第二次均衡化的結(jié)果與第一次相同。直方圖均衡的實質(zhì)是減少圖像的灰度等級換取對比度的擴(kuò)大。

15、l 直方圖匹配：點運(yùn)算形式及匹配計算方法 l 代數(shù)和與灰度直方圖的關(guān)系HAB聯(lián)合灰度直方圖A,B互不相關(guān)時，l 局部增強(qiáng) 在局部區(qū)域完成均衡化、規(guī)定化串行增強(qiáng)算法1、設(shè)定鄰域大小，（如7*7）； 2、計算該鄰域直方圖，利用均衡化或規(guī)定化，獲得映射關(guān)系； 3、利用映射關(guān)系，將該鄰域中心點進(jìn)行處理，更新原圖數(shù)據(jù)4、中心位置移動到下一像素，重復(fù)上述過程。新值被利用l 概念：模板（掩模）和窗口 窗口：矩形區(qū)域模板：任意形狀的區(qū)域算術(shù)加減運(yùn)算與邏輯運(yùn)算？加法：或運(yùn)算減法：異或運(yùn)算3.5 代數(shù)運(yùn)算l 代數(shù)和的應(yīng)用均值去噪多幅圖像平均法是對獲取的同一景物的多幅圖像相加取平均來消除噪聲。設(shè)理想圖像 f(x,y

16、)所受到的噪聲n(x,y)為加性噪聲，而產(chǎn)生的有噪圖像g(x,y)可表示為：若圖像噪聲是互不相關(guān)的加性噪聲且均值為0，則其中是g(x,y)的期望值。對M幅有噪聲的圖像經(jīng)平均后得到其估值誤差為：和是在n在點（x,y）處的方差?？梢妼幅圖像取平均可把噪聲方差減小到1/M.當(dāng)M增大時將更加接近f(x,y)。 在各個位置上像素值的噪聲變化率將減小。均值：反映圖像的噪聲的減小方差（標(biāo)準(zhǔn)差）減小，對比度減小，整個差值圖像的差別減小，原圖像與去噪后圖像差別趨于一致（噪聲減?。﹍ 代數(shù)差與代數(shù)和的關(guān)系l 代數(shù)差的應(yīng)用1. 利用差圖像可以獲得運(yùn)動目標(biāo)，同時可利用差圖像獲得導(dǎo)數(shù)圖像的灰度直方圖；2. 利用差圖像

17、可增強(qiáng)圖像3. 利用代數(shù)差可由含噪圖像估計去噪圖像的目標(biāo)綜合光密度（IOD）l 代數(shù)和降噪的理由（采用功率信噪比）3.6 空間濾波器l 二維離散卷積若大小為m1×n1, g為m2×n2,擴(kuò)展f和g, M>=m1+m2+1, N>=n1+n2+1邊緣的處理方法：1）通過重復(fù)圖像邊緣上行和列，對圖像擴(kuò)充；2）卷繞圖像，即假設(shè)第一列緊接著最后一列3）在輸入圖像外部填充常數(shù)；）去掉不能計算的行和列，僅對可計算的像素卷積l 均值濾波模板（窗口長度小于信號周期）大于等于信號會濾掉信號必須保證全部權(quán)系數(shù)之和為1，這樣可保證輸出圖像灰度值在許可范圍內(nèi)，不會產(chǎn)生灰度“溢出”現(xiàn)象。

18、 l 中值濾波模板（2n+1長度窗口內(nèi)單調(diào)，可保留；若窗口內(nèi)趨勢變化，則至少保持n+1個才可不被濾掉）非線性濾波器，長度必須是奇數(shù)，屬于并行算法，不必保證全部權(quán)系數(shù)之和為1窗口長度，若一維情況下，窗口長度為2n+1，且輸入序列在窗口內(nèi)單調(diào)增或減，則信號可保持。如果序列中趨勢改變，則至少需要在n+1個樣本上連續(xù)保持同一值的過渡。中值濾波后，信號頻譜基本不變。注意：均值與中值處理噪聲類型不同均值：均值為0的隨機(jī)噪聲中值：去掉脈沖（椒鹽）噪聲，并能很好的保持邊緣特征。l 彩色圖像處理概念：色度圖？亮度用以區(qū)別顏色的特性是亮度、色調(diào)和飽和度。亮度和色調(diào)一起稱為彩色。亮度包含無色的強(qiáng)度的概念。色調(diào)是光波

19、混合中與主波長有關(guān)的屬性，色調(diào)表示觀察者接收的主要顏色。飽和度與所加白光數(shù)量成反比。l 彩色模型意義、應(yīng)用RGB模型 顯示模型，表面顏色是安全色CMY（青、深紅、黃）模型， 主要用于打印設(shè)備、印刷HIS（色調(diào)、飽和度、亮度）模型，用于圖像處理以黑到白為軸，表示彩色的亮度I，I軸與顏色點組成的面就是色調(diào)，交線長度為飽和度。RGB模型、CMY模型、HIS模型相互轉(zhuǎn)換HIS強(qiáng)度分量l 彩色圖像增強(qiáng)偽彩色增強(qiáng)：人眼對色彩的分辨能力強(qiáng)對于灰度圖像增強(qiáng) 真彩色增強(qiáng)：對彩色圖像增強(qiáng)l 全彩色圖像增強(qiáng)的要求1）保持色調(diào)不變2） 更寬松的條件：保持圖像結(jié)構(gòu)不變。注：1）處理必須對向量和標(biāo)量都可用；如對數(shù)映射，對

20、向量取對數(shù)和分別對各分量取對數(shù)是一樣的效果；若滿足該條件可以使用RGB模型 2）若對向量的某一分量操作，該分量對于其他分量必須是獨立的。題目：1. 對下圖進(jìn)行直方圖均衡化。2.中值濾波12143122345768456783567814. 數(shù)字圖像變換l 數(shù)字圖像成像系統(tǒng)是一線性系統(tǒng)，因此可從這個角度對圖像進(jìn)行分析和處理。線性位移不變系統(tǒng) ：齊次，疊加，移不變性，自相關(guān)。系統(tǒng)的輸出僅和輸入函數(shù)形態(tài)有關(guān)，而和作用起點無關(guān)。1. 線性移不變系統(tǒng)，對于調(diào)諧信號響應(yīng)等于輸入信號乘以一個依賴于頻率的復(fù)數(shù)2. 實值函數(shù)輸入產(chǎn)生實值輸出。3. 輸入調(diào)諧信號總產(chǎn)生同頻率的調(diào)諧信號4. 傳函對輸入的影響是只改變

21、幅值和相位。l 卷積運(yùn)算（兩種計算方法） l 圖像傅立葉變換的性質(zhì)乘以(-1)x+y的原因？還原圖像先反變換，再乘以(-1)x+y線性系統(tǒng)只改變信號的幅值和相位，不改變頻率相位：位置信息幅值：能量l 譜的概念、自相關(guān)計算與能量譜的關(guān)系 圖像中自卷積、自相關(guān)的區(qū)別能量譜、幅值譜、相位譜的概念 l 快速傅立葉變換l 正交變換酉陣定義：T-1=(T*)t性質(zhì)：可分離性、去相關(guān)性由于二維離散傅里葉變換具有可分離性，即它可由兩次一維離散傅里葉變換計算得到，二維DFT變換利用分離性，用兩次一維變換來實現(xiàn)，即先對f(x,y)的每一行進(jìn)行一維變換得到F(x,v),再沿F(x,v)每一列取一維變換得到變換結(jié)果F

22、(u,v)?？蓪D像的能量重新分配。沃爾什/哈達(dá)瑪變換及逆變換沃爾什變換： 哈達(dá)瑪變換是對稱的、可分離的酉變換，它的核矩陣中只有+1和-1元素，它要求N=2n,其中n是整數(shù)對于2×2的情況，核矩陣為： 1、構(gòu)造難易不同； 2、均是正交的方波型； 3、均是可逆運(yùn)算?？焖俟_(dá)瑪變換、沃爾什變換l 頻域增強(qiáng)濾波器在空域與頻域的對應(yīng)關(guān)系1.濾波在頻域更直觀，對于小模板在空間域穿成濾波2.頻域相當(dāng)于一個實驗室，一旦通過頻域試驗選擇，可用空間哉進(jìn)行濾波高頻增強(qiáng)高頻提升過濾：高通濾波器除去了傅里葉變換的低頻成分和零頻成分，圖像平均強(qiáng)度減小，采用拉普拉斯算子處理后的圖像與原圖像相加可以達(dá)到增強(qiáng)的作用

23、。這種作用稱作高頻提升過濾。鈍化模板：從一幅圖像中減去自身模糊圖像，即減去低通濾波后的圖像而生成的銳化圖像。高頻提升：相當(dāng)于加強(qiáng)邊緣，相應(yīng)地，在頻域中可表示為： 高通濾波器高頻提升濾波器高頻加強(qiáng)：高頻成分強(qiáng)調(diào)圖像。在這種情況下，高通濾波函數(shù)前乘以一個常數(shù)，再加上一個偏移，使零頻率不被濾除掉。 a=A-1 且 b=1,即為高頻提升， b>1稱作高頻加強(qiáng)同態(tài)濾波同態(tài)濾波：（是一種將圖像亮度范圍壓縮和對比度增強(qiáng)的頻域方法）圖像灰度由照射分量和反射分量合成，反射分量反映圖像的內(nèi)容，隨圖像細(xì)節(jié)的不同在空間上坐快速的變化，在不同物體交為界處急劇變化。照射分量在空間上通常均具有緩慢變化的性質(zhì)。所以圖像

24、對數(shù)的傅立葉變換中的低頻部分主要對應(yīng)照度分量，而高頻主要對應(yīng)反射分量。找到一種濾波器，減少照射分量的貢獻(xiàn)，增加反射分量的貢獻(xiàn)，那么圖像會得到增強(qiáng)。低頻區(qū)減弱，高頻區(qū)加強(qiáng)，減少低頻的貢獻(xiàn)，加強(qiáng)高頻的貢獻(xiàn)，亦即達(dá)到頻域動態(tài)范圍壓縮，空域?qū)Ρ榷燃訌?qiáng)的效果。圖像f(x,y)可表示為照度分量i(x,y)和反射分量r(x,y)的乘積.1) 兩邊同時取對數(shù)得2) 兩邊進(jìn)行傅立葉變換3) 用一個頻域函數(shù)H(u,v)處理F(u,v) 4) 傅立葉逆變換到空間域得： 增強(qiáng)后圖像是由對應(yīng)照度分量與反射分量兩部分疊加而成。5) 進(jìn)行指數(shù)運(yùn)算H(u,v)為同態(tài)濾波函數(shù)，分別作用于照度分量和反射分量上。5. 圖像復(fù)原l

25、圖像復(fù)原與圖像增強(qiáng)的區(qū)別圖像增強(qiáng)：不考慮圖像是如何退化的，只通過試探各種技術(shù)來增強(qiáng)圖像的視覺效果，所以圖像增強(qiáng)可以不顧增強(qiáng)后的圖像是否失真，只要看的舒服就行。（是主觀的過程， 為主觀認(rèn)知而進(jìn)行的）圖像復(fù)原：需要知道圖像退化的機(jī)制和過程的先驗知識，據(jù)此找到一種相應(yīng)的逆過程的方法，從而得到復(fù)原的圖像。如果圖像已退化，應(yīng)先作復(fù)原處理，再作增強(qiáng)處理。（是相對客觀的過程，把退化模型化，并按照相反的進(jìn)程進(jìn)行）1. 需要了解圖像的退化過程。2. 以保真度為原則進(jìn)行復(fù)原。l 圖像復(fù)原的評價 保真度主觀保真度及客觀保真度準(zhǔn)則如果將看作是原圖像f(x,y)和噪聲信號e(x,y)的和，原圖像和解碼圖象之間的 均方根

26、誤差：均方根信噪比：峰值信噪比：l 幾何復(fù)原：平移、倒置、旋轉(zhuǎn) 顯示（文件）坐標(biāo)系，旋轉(zhuǎn)坐標(biāo)系灰度插值 雙線性變換最鄰近插值（零階插值）令輸出像素灰度值等于離它所映射到位置最近的輸入像素的灰度值，如果有微細(xì)結(jié)構(gòu)變化時，會產(chǎn)生鋸齒邊雙線性插值（一階插值）一階插值更準(zhǔn)確，但運(yùn)行時間比零階長。若利用平面方程是過約束方法。 坐標(biāo)插值f(x,y)1/f(x,y)n(x,y)s(x,y)g(x,y)l 代數(shù)復(fù)原無約束復(fù)原假設(shè)退化過程無噪聲干擾。退化模型中的噪聲為n=g-sf,對n不知時，尋找一個使在最小二乘意義上近似g, 使噪聲項的范數(shù)盡可能小，也就是最小。求準(zhǔn)則函數(shù)關(guān)于最小問題。令 可得若H(u,v)有

27、零值，則H為奇異的，矩陣不存在，會導(dǎo)致恢復(fù)問題的病態(tài)性和奇異性。有約束復(fù)原為消除病態(tài)，準(zhǔn)則改為： Q為拉格朗日系數(shù)，J為目標(biāo)函數(shù)，r為倒數(shù)。求偏導(dǎo)得復(fù)原后能量接近，但不完全一樣。1.當(dāng)Q=I時。恢復(fù)后的信號中含噪聲能量最小，在復(fù)原同時起到抑制噪聲的作用。濾波前后信號能量保持不變。2. 平滑約束，圖像是最平滑圖像，Q為拉普拉斯算子。3.均方誤差最小濾波（最小均方差維納濾波）統(tǒng)計平均意義上，復(fù)原方法適于一族圖像。l 維納濾波器的構(gòu)造原則及維納去卷積以均方差作為平均誤差的度量，選取最小均方誤差作為最優(yōu)準(zhǔn)則 ；構(gòu)造時，沒有考慮優(yōu)化；然后進(jìn)行逆濾波。維納濾波更強(qiáng)調(diào)噪聲的抑制，而不是重構(gòu)信號。在信號與噪聲

28、無關(guān)時的形式l 匹配監(jiān)測器及與維納濾波器的關(guān)系l 噪聲的估計l 退化模型的估計觀察估計實驗估計模型估計運(yùn)動圖像的建模題目1. 圖像圍繞(120,210)反時針旋轉(zhuǎn)60度，求其幾何變換式 圍繞（x0,y0）進(jìn)行旋轉(zhuǎn)的復(fù)合方法： 2. 令F(109,775)=113,F(109,776)=109, F(110,775)=105,F(110,776)=103。問F(109.27,775.44)=?1)用最臨近插值法，2）雙線性插值法，各系數(shù)的值3. 假設(shè)當(dāng)前圖像只在x方向以給定位置x0(t)=at/T，當(dāng)t=T時，圖像總距離為a6. 圖像壓縮與編碼l 圖像壓縮的可能性及冗余種類圖像冗余：像素間冗余（

29、自相關(guān)系數(shù)）、視覺冗余、時序冗余、編碼冗余。（心理冗余）編碼冗余：以8比特數(shù)據(jù)來存儲黑白圖像。像素冗余：動態(tài)圖像中，背景不變。背景為時序冗余。視覺冗余：l 圖像保真度保真度：解碼圖像相對原始圖像偏離程度的測度，分為客觀保真度準(zhǔn)則和主觀保真度準(zhǔn)則。如果將看作是原圖像f(x,y)和噪聲信號e(x,y)的和，原圖像和解碼圖象之間的 均方根誤差：均方根信噪比：峰值信噪比：l 圖像冗余度、編碼效率和熵 平均碼長： 冗余度 編碼效率： 熵： 可用作描述某事件不確定度。信息量越大，體系規(guī)則越完備，功能越完善。某個事件的信息量，信息量Iron概率平均值叫熵。熵是信息量的度量，它表示某一事件出現(xiàn)的消息越多，事件

30、發(fā)生的可能性越小，數(shù)學(xué)上就是概率小，越混亂，包含信息量越大。圖像信息越豐富，熵越大。若對原始圖像數(shù)據(jù)的信息進(jìn)行信源的無失真圖像編碼，壓縮后平均碼率B，其下限是信息熵H。高效編碼是盡量使碼長接近于H。信源熵：是平穩(wěn)信源的無損壓縮效率極限l 霍夫曼編碼（無損壓縮）思想：在源數(shù)據(jù)中出現(xiàn)概率越大的信號，分配的碼字越短；反之，其碼字越長步驟：1、把輸入元素按其出現(xiàn)概率由大到小排列起來，然后把最末兩位最小概率的元素之概率加起來；2、把概率之和同其余概率由大到小排列，然后再把兩個最小概率加起來，再重新排隊；3、重復(fù)2，直到最后只剩下兩個概率為止 Hufman 編碼的特點：1、霍夫曼編碼構(gòu)造出來的編碼值不是唯

31、一的，由于0和1分配是人為的2、當(dāng)圖像灰度值分布很不均勻時，霍夫曼編碼的效率就高3、缺點：1）缺乏構(gòu)造性，不能在信源符號與編碼之間建立對應(yīng)關(guān)系；2）對圖像掃描二次，壓縮與解碼速度慢；3）這種編碼與計算機(jī)常用數(shù)據(jù)結(jié)構(gòu)不匹配，造成編碼冗余。l 費諾香農(nóng)編碼（無損壓縮）目的：產(chǎn)生具有最小冗余的碼詞，其基本思想是產(chǎn)生編碼長度可辨的碼字與霍夫曼相比不需要多次排序。l 算術(shù)編碼（無損壓縮）把要壓縮處理的整段數(shù)據(jù)映射到一段實數(shù)半開區(qū)間（0，1）內(nèi)的某一區(qū)段，構(gòu)造出小于1且大地或等于0的數(shù)值。這個數(shù)值是輸入數(shù)據(jù)流的惟一可譯代碼。算術(shù)編碼用到兩個基本的參數(shù)：符號概率和它的編碼間隔。編碼間隔決定符號壓縮后的輸出l

32、 行程編碼（無損壓縮）在給定圖像中尋找連續(xù)重復(fù)的數(shù)值，然后用兩個字符值取代這些連續(xù)值。例：輸入信源為：aaabbbbccccdddedddaa” ，經(jīng)過行程編碼為：3a4b4c3d1e3d2a一種簡單且應(yīng)用廣泛的壓縮編碼，其壓縮效率與圖像數(shù)據(jù)的分布情況密切相關(guān)，適用于像素冗余的情況。l 預(yù)測編碼最佳預(yù)測編碼直方圖的峰值標(biāo)準(zhǔn)差熵的物理意義標(biāo)準(zhǔn)差小有利于壓縮，熵小可接近熵，效率高l Karhumen-Loeve變換在獲取、傳輸?shù)玫降囊环鶊D象中，總混雜有許多隨機(jī)干擾因素，稱為隨機(jī)圖象。K-L變換是針對這類廣泛的隨機(jī)圖象提出來的，當(dāng)對圖象施加了K-L變換以后，由變換結(jié)果而恢復(fù)的圖像將是原圖象在統(tǒng)計意義

33、上的最佳逼近。協(xié)方差陣均值向量。與其余正交變換不同的是，基于統(tǒng)計特性的變換。能量集中度最高，信息集中能力最優(yōu)，運(yùn)算量最大。協(xié)方差的物理意義均方差表示原圖像與壓縮復(fù)原后的圖像之間的，指失真情況變換陣由協(xié)方差的特征向量陣組成，代表主軸各特征值代表Y陣各維的能量題目：1. 統(tǒng)計下面的灰度直方圖，并計算熵 00111000001110000011100000111555001115550011155500111777001117772. 求K-L均值矢量及協(xié)方差矩陣7. 圖像分割l 圖像分割是利用圖像（亮度）的不連續(xù)性和相似性l 邊緣分割梯度算子（梯度的方向）梯度的大小代表邊緣的強(qiáng)度，梯度方向與邊緣走

34、向垂直。Roberts梯度算子檢測邊緣效果略好于梯度算子Prewitt和Sobel算子不僅檢測邊緣點，還能抑制噪聲，但檢測邊緣較寬方向算子利用一組模板對同一像素進(jìn)行卷積，然后取最大值作為邊緣強(qiáng)度，對應(yīng)方向作為梯度方向Laplacian算子（特點）特點：1.各向同性（各向同性、線性和位移不變的） 2.可以檢測斜坡（漸變）邊緣。（對細(xì)線和孤立點檢測效果好） 3. 檢測邊緣的同時，噪聲被放大 4.產(chǎn)生雙邊緣現(xiàn)象。（由于邊緣方向信息丟失）Marr算子（平滑+拉普拉斯）正態(tài)分布，高斯函數(shù)在存在較大噪聲的場合，由于微分運(yùn)算會引起噪聲的放大。Canny算子（梯度+平滑） Canny如何認(rèn)定邊緣點對邊緣檢測質(zhì)

35、量進(jìn)行分析，提出三個準(zhǔn)則：1）低誤判率準(zhǔn)則 2）定位精度準(zhǔn)則 3）虛假邊緣準(zhǔn)則邊緣點的認(rèn)定：1）像素（i，j）的邊緣強(qiáng)度大于沿梯度方向的兩個相鄰像素的邊緣強(qiáng)度；2）像素（i，j）與像素梯度方向的兩個相鄰像素的梯度方向差小于45度；3）以該像素為中心的3*3鄰域中的邊緣強(qiáng)度極大值小于某個閾值。 l 邊緣連接Hough變換x-y空間的任意一條直線，對應(yīng)于參數(shù)空間a-b上唯一一個點；x-y空間的點(x0,y0)，過該點的直線族，對應(yīng)參數(shù)空間a-b上唯一一條直線。那么，再x-y空間上共線的點，它們對應(yīng)參數(shù)空間的直線一定相交于同一點。原理：直角坐標(biāo)系上的一條直線對應(yīng)于極坐標(biāo)系的一點。設(shè)平面上有若干點，過

36、每點的直線系分別對應(yīng)于極坐標(biāo)上的一條正弦曲線，若這些正弦曲線有共同的交點，是這些點在直角坐標(biāo)系中共線，對應(yīng)方程為：采用直線參數(shù)的變換為什么不行當(dāng)直線垂直時，直接斜率無限大，無法在空間中表示對應(yīng)關(guān)系。 當(dāng)a趨于無窮時，將無法映射到參數(shù)空間。光柵掃描圖論技術(shù)l 區(qū)域分割區(qū)域的概念區(qū)域是指相互連通的、有一致屬性的像素的集合直方圖法利用圖像灰度直方圖來確定分割閾值的方法適用于圖像內(nèi)容比較簡單的情況（目標(biāo)和背景的灰度差較大），峰谷比較明顯。（呈雙峰，有明顯的谷）判斷分析法利用類間方差最大，類內(nèi)方差最小來獲取閾值計算圖像灰度均值 m=(m1w1+m2w2)/(w1+w2)組間方差 組內(nèi)方差組內(nèi)方差小，組內(nèi)

37、像素越相似；組間方差越大，兩組差別越大。組間方差與組內(nèi)方差比越大，分割效果越好。最佳熵自動閾值法選取閾值t，使圖像熵最大。目標(biāo)區(qū)域O和背景區(qū)域B的熵可由下式計算 取最大值最小誤差分割是使圖像中目標(biāo)和背景分割錯誤最小。局部門限法當(dāng)照明和透射不均勻時，整幅圖像的分割將沒有合適的單一門限，這時1)可把圖像分塊，對每塊選一局部門限進(jìn)行分割，如果某塊內(nèi)有目標(biāo)和背景，則直方圖可呈現(xiàn)雙峰，可定出局部門限值；2)如果一塊內(nèi)只有目標(biāo)或只有背景，則直方圖不呈雙峰，找不到合適的門限，但可以通過鄰域的門限，通過內(nèi)插得到該塊圖像的門限值分水嶺方法區(qū)域增長種子像素的選?。豪玫椒◤拇蟮叫≈鸩绞湛s是一種種子選取的典型方

38、法，如在軍用紅外圖像中檢測目標(biāo)時，可選用圖中最亮的像素作為種子像素。如果對具體問題沒有先驗知識，則常可借助生長所用的準(zhǔn)則對每個像素進(jìn)行相應(yīng)的計算。如果圖像中呈現(xiàn)聚類的情況，則接近聚類重心的像素可取為種子像素生長準(zhǔn)則的選?。喝绠?dāng)圖像是彩色圖像，僅用單色準(zhǔn)則效果就會受影響；此外還需考慮像素間連通性和鄰近性，否則會出現(xiàn)無意義的分割結(jié)果停止條件的選擇：一般生長過程在進(jìn)行到?jīng)]有滿足生長準(zhǔn)則需要的像素時停止，這是由于常用的基于灰度、紋理、彩色的準(zhǔn)則大多為局部性質(zhì)，沒有考慮生長的歷史。為增加區(qū)域生長的能力常需要考慮一些與尺寸、形狀等圖像和目標(biāo)的全局性質(zhì)有關(guān)的準(zhǔn)則。在這種情況下需要對分割目標(biāo)建立模型或輸入一定

39、的先驗知識。 分水嶺方法：圖像最初在一個低灰度值上被二值化。該灰度值將圖像分割成正確數(shù)目的物體，它們的邊界偏向物體內(nèi)部。隨后閾值增加，每一次增加一個灰度級，物體的邊界也隨閾值的增加而擴(kuò)展，當(dāng)邊界相互接觸時，這些接觸點變成相鄰物體的最終邊界。這個過程在閾值達(dá)到背景的灰度級之前停止。這個方法可以解決那些由于物體靠得太近而不能用全局閾值解決的問題分裂合并分裂合并法基本思想從整幅圖像開始，通過不斷分裂，得到各個區(qū)域，常用四叉樹和金字塔式分割技術(shù)；將圖像分成互不重疊的小區(qū)域，如16*16的塊1）對任一個區(qū)域Ri，不滿足條件時，將其分裂成不重疊的4等分2）如果相鄰兩個區(qū)域滿足合并條件，就將它們合并起來；3

40、）進(jìn)一步分裂或合并，直到像素級這是一個遞歸算法，同樣存在分裂合并準(zhǔn)則的選取，和停止問題。題目：1.區(qū)域分割與區(qū)域增長有何區(qū)別？區(qū)域分割沒有考慮到圖像像素空間的連通性。區(qū)域增長是把圖像分割成若干小區(qū)域，比較相鄰小區(qū)域特征的相似性，若它們足夠相似，則作為同一區(qū)域合并，以此方式將特征相似的小區(qū)域不斷合并，直到不能合并為止，最后形成特征不同的各區(qū)域。特征相似性是構(gòu)成與合并區(qū)域的基本，相鄰性是指所取的領(lǐng)域方式 。8. 二值圖像處理與形狀分析l 二值圖像與灰度圖像二值圖像處理通常是由圖像分割操作產(chǎn)生的二值圖像的特點：1）是由0和1兩個值組成的圖像；2）二值圖像處理算法快速簡單，易于實現(xiàn)；3）二值圖像數(shù)據(jù)量

41、小，對硬件要求低。l 二值圖像的連接性和距離鄰接0和1必須采用互反的連接方式連接成份數(shù)與連接數(shù)連接成份（連通成份）：把互相連接的像素的集合匯集為一組，稱為連接成份，也稱連通成份單連接成份：不包含孔的的1像素連接成分多連接成份：含有孔的1像素連接成分連接數(shù)：S=0,2,4,6 歐拉數(shù)在二值圖像中，1像素連接成份數(shù)C減去孔數(shù)H的值，叫做這幅圖像的歐拉數(shù)或示性數(shù) E=C-H對于1像素連接成份：E=1-H, 則圖像的歐拉數(shù)等于所有1像素連接成份歐拉數(shù)之和 距離距離是描述邊界長度走向以及分割出區(qū)域內(nèi)圖像像素之間關(guān)系的重要幾何參數(shù)，也是相似性的重要測度。1）當(dāng)且僅當(dāng)x=y時，d(x,y)=0;2) d(x

42、,y)=d(y,x);3) d(x,y）+d(y,z)>=d(x,z).歐式距離、4-鄰域距離、8-鄰域距離、八角形距離l 連接成份的變形處理膨脹和收縮、開運(yùn)算和閉運(yùn)算膨脹：把結(jié)構(gòu)元素B平移z后得到的Bz，使Bz與X交集不為空集的所有點z構(gòu)成的集合膨脹可填充圖像中的小孔（比結(jié)構(gòu)元素小的孔洞）及圖像的邊緣處的小凹陷部分，收縮：A用B腐蝕的結(jié)果是所有使B平移后，B仍在A中的z的集合。用B來腐蝕A得到的集合是B完全包含在A中時B的原點位置集合。腐蝕可以消除圖像邊緣小突起的成分，并將圖像縮小，從而使其補(bǔ)集擴(kuò)大開運(yùn)算：腐蝕運(yùn)算后再進(jìn)行膨脹運(yùn)算的組合運(yùn)算效果：1）刪除小物體 2）將物體拆分為小物體 3）平滑大物體邊界而不明顯改變它們的面積閉運(yùn)算：膨脹運(yùn)算后再進(jìn)行腐蝕運(yùn)算的組合運(yùn)算效果：1）填充物體的小洞 2）連接相近的物體 3）平滑物體邊界而不明顯改變它們的面積擊中變換目的是找到3種形狀之一的位置，如X 的位置l 二值運(yùn)算的應(yīng)用邊緣提取，區(qū)域填充，連通分量的提取邊緣提取：(A)=A-(AB) 區(qū)域填充： 連通分量的提?。和够檬諗亢蟮膿糁凶儞Q的結(jié)果與圖像做并集，四個結(jié)構(gòu)元的結(jié)果再做并集，其結(jié)果為凸化的結(jié)果細(xì)化、粗化細(xì)化：不破壞連通性的前提下細(xì)化圖像，保持物體不被分開。首先進(jìn)行有條件的常規(guī)腐蝕過程，只將要刪除的像素打上標(biāo)記而不真正刪除；然后逐步訪問打