圖像處理概述

1、高級數(shù)字圖像處理陳志華陳志華聯(lián)系方式聯(lián)系方式n媒體計算與仿真研究室 八教403歡迎多交流，多聯(lián)系！n同學自我介紹 研究方向、導師、課題等，有圖像處理基礎(chǔ)？n關(guān)于紀律不遲到、不早退、不曠課有特殊情況，提前請假遵守課堂紀律n 課代表推薦 協(xié)助考勤、講座報名等課程目的與要求課程目的與要求n掌握數(shù)字圖像處理的概念、原理和方法n為圖像相關(guān)領(lǐng)域的學習或研究打下良好基礎(chǔ)n說明 屬于媒體計算領(lǐng)域 和相關(guān)課程視覺計算、多媒體信息建模與檢索互補課程安排課程安排n課程內(nèi)容分為數(shù)字圖像處理的理論及實踐概念繁多、內(nèi)容廣泛、 理論性和實踐性很強n內(nèi)容簡化，選自多本教材；n課時：32學時討論、小講

2、座等互動環(huán)節(jié)課堂提問、練習課外自己動手編程課程考核課程考核n考核平時成績 40% n考勤、課堂練習、回答問題n課堂小講座、討論考試（或論文）成績 60%講座安排講座安排n圍繞圖像處理領(lǐng)域，做10分鐘-20分鐘PPT 技術(shù)點、知識點介紹 應用 研究現(xiàn)狀 程序?qū)崿F(xiàn)與演示 論文閱讀 鼓勵介紹自己的學術(shù)研究成果n每位同學都要講，按團隊準備和評分n課代表收集大家選題小講座評分小講座評分選題恰當：不寬泛，和課程內(nèi)容不重復 PPT簡潔：提綱式，字號至少為28，不超過50字/頁，不照抄網(wǎng)上內(nèi)容內(nèi)容熟悉，陳述流暢：不要照稿子念，和大家有互動：眼神、手勢、提問等有亮點：如編程實現(xiàn)、圖文并茂、視頻演示數(shù)字圖像處理概

3、述及基礎(chǔ)參考書參考書n數(shù)字圖像處理(第二版) ，岡薩雷斯等著，電子工業(yè)出版社, 2013n章毓晉，圖象工程上冊圖象處理，清華大學出版社, 2008n章毓晉，圖象工程中冊圖象分析，清華大學出版社, 2008n章毓晉，圖象工程下冊圖象理解，清華大學出版社, , 2008國內(nèi)外相關(guān)國內(nèi)外相關(guān)學術(shù)會議和期刊學術(shù)會議和期刊n國內(nèi)期刊Journal of Computer Science and Technology (JCST) (SCI)計算機學報軟件學報電子學報計算機研究與發(fā)展中國圖像圖形學報n國外學術(shù)會議IEEE International Conference on Computer Visio

4、n (ICCV)IEEE International Conference on Computer Vision and Pattern Recognition (CVPR)ACM Multimedia Conference (MM)IEEE International Conference on Image Processing (ICIP)International Conference on Pattern Recognition (ICPR)n國外期刊IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI

5、)IEEE Transactions on Image Processing (TIP)International Journal of Computer Vision (IJCV)Pattern Recognition (PR)IEEE Transactions on Circuits and Systems for Video Technology (CSVT)圖像處理的主要內(nèi)容圖像處理的主要內(nèi)容n基礎(chǔ)知識n圖像幾何變換n彩色圖像處理n邊緣檢測n圖像增強n圖像分割n形態(tài)學處理n圖像壓縮n應用實踐基礎(chǔ)知識基礎(chǔ)知識n1 概述概念：圖像、數(shù)字圖像、像素數(shù)字圖像處理的起源數(shù)字圖像處理的應用領(lǐng)域圖像

6、處理系統(tǒng)的基本組成結(jié)構(gòu)n2 技術(shù)基礎(chǔ)圖像的采樣和量化數(shù)字圖像的表示數(shù)字圖像的質(zhì)量像素間的一些基本關(guān)系1.1 1.1 圖像基本概念圖像基本概念n圖像定義為二維函數(shù)f(x,y)，其中，x,y是空間坐標，f(x,y)是點(x,y)的幅值n灰度圖像是一個二維灰度（或亮度）函數(shù)f(x,y)n彩色圖像由三個（如RGB，HSV）二維灰度（或亮度）函數(shù)f(x,y)組成什么是數(shù)字圖像？什么是數(shù)字圖像？n像素組成的二維排列，可以用矩陣表示n單色（灰度）圖像: 每個像素的亮度用一個數(shù)值來表示，通常在0-255，0表示黑、255表示白，其它值表示黑白之間的灰度n彩色圖像可以用紅、綠、藍三元組的二維矩陣來表示。通常三元

7、組的每個數(shù)值也是在0到255之間，0表示相應的基色在該像素中沒有，而255則代表相應的基色在該像素中取得最大值數(shù)字圖像的像素表示數(shù)字圖像的像素表示n什么是像素？什么是像素？數(shù)字圖像由二維的元素組成。每一個元素具有一個特定的位置（x,y）和幅值f(x,y),這些元素就稱為像素。19補充：圖像補充：圖像n圖像Image，是對事物的一種描述形式，它以人類視覺特性為載體在空間位置記錄顏色值，一個空間位置記錄一個顏色值，那么空間位置及對應顏色值的集合就是圖像再具體點，是指在一個二維矩形區(qū)域內(nèi)的每個點記錄一個顏色20圖像獲取圖像獲取n通過記錄現(xiàn)實世界，獲取圖像 手機 照相機 攝像機 紅外攝像機 21圖像2

8、2圖像的簡單分類圖像的簡單分類n按照人眼視覺感知范圍分可見圖像不可見圖像n按照圖像空間坐標和亮度（或色彩）的連續(xù)性分類模擬圖像：空間坐標和顏色值均連續(xù)取值數(shù)字圖像：空間坐標和顏色值均不連續(xù)取值23可見光與電磁波譜可見光與電磁波譜X射線射線紫外線紫外線射線射線紅外線紅外線微波微波無線電波無線電波藍藍綠綠紅紅400600500700 波長（波長（nm）人類可見波長范圍人類可見波長范圍24可見光與電磁波譜25模擬圖像模擬圖像n圖像的空間坐標和顏色值均連續(xù)取值例如：由膠片照相機拍攝的照片n理論上，照片上的任意一點都有對應的顏色，因此坐標位置是在0寬度0高度的二維范圍中取值n同樣，由膠片相機拍攝的照片，

9、其每個點的感光值也都是連續(xù)取值的，并且取值范圍（也稱為動態(tài)范圍）非常大26數(shù)字圖像n圖像的空間坐標和顏色值均不連續(xù)取值例如，數(shù)碼相機所拍攝的數(shù)字圖像n空間坐標取值不連續(xù)一般在網(wǎng)格點位置上才記錄顏色n顏色取值不連續(xù)每個網(wǎng)格點上的顏色取值 只有有限種選擇沒有顏色沒有顏色1.2 1.2 數(shù)字圖像處理的起源數(shù)字圖像處理的起源n人類分析的需要圖像在傳輸過程后的更好復原空間應用：圖像增強、圖像復原醫(yī)學圖像作用：通過圖像增強、圖像復原等技術(shù)，增強或復原模糊或損毀的圖像n機器感知的需要自動字符識別OCR人臉識別指紋識別28數(shù)字圖像歷史追溯數(shù)字圖像歷史追溯n數(shù)字圖像處理最早的應用之一是在報紙業(yè)1921年，Bar

10、tlane電纜圖片傳輸系統(tǒng)，在倫敦和紐約之間，經(jīng)橫跨大西洋的海底電纜發(fā)送數(shù)字化報紙的圖片。該系統(tǒng)傳送一幅圖片所需時間小于3小時，而之前需要1周以上。首先對圖像進行編碼；然后在接收端由專用打印設備進行圖片重建291921年一幅由電報打印機打印的數(shù)字圖像(5個灰度級)301921年底照像復制技術(shù)應用，在電報接受終端用穿孔帶還原圖像圖像信號兩次穿越大西洋后的效果。311929年引人了編碼的圖片紙帶來調(diào)制光束，從而改善底板感光的系統(tǒng)，使灰度級增加到15個等級。1.3 1.3 數(shù)字圖像處理的主要研究內(nèi)容數(shù)字圖像處理的主要研究內(nèi)容n圖像增強n圖像分割n圖像復原n圖像變換n圖像壓縮n圖像重建n圖像配準、圖像

11、融合、圖像水印、數(shù)學形態(tài)學1.4 1.4 圖像處理的應用領(lǐng)域圖像處理的應用領(lǐng)域n數(shù)字圖象處理技術(shù)已應用到很多領(lǐng)域應用到很多領(lǐng)域(1) 遙感圖像應用遙感圖像應用 農(nóng)業(yè)普查、森林覆蓋計算、水利工程等的客觀估計計算、森林火災監(jiān)護客觀反映火災情況、面積 水體界線的確定水體界線的確定 在近紅外圖像上，水體呈黑色；(2) 導彈制導導彈制導 圖象識別技術(shù)應用于導彈的精確制導，使其精確打擊目標。如：機場、橋梁等。(3) 生物特征識別生物特征識別 軍事、公安中的人臉、指紋、掌紋識別人臉、指紋、掌紋識別等。(4) 醫(yī)學應用醫(yī)學應用 CT、MR1、PET、B超、DSA、血管造影、紅外乳腺、顯微病理、電子顯微鏡、遠程

12、醫(yī)療圖像、皮膚圖象、X射線、刀與刀腦外科等等離不開圖像。Photo courtesy Philips Research (5) 日常生活日常生活 數(shù)碼照片管理、處理等。1.4 1.4 圖像處理系統(tǒng)的基本組成結(jié)構(gòu)圖像處理系統(tǒng)的基本組成結(jié)構(gòu)常用圖像處理軟件及平臺常用圖像處理軟件及平臺nWindows自帶軟件-畫圖可以畫任意圖形、填充顏色等，同時也可編輯圖像nACDSee目前流行的數(shù)字圖像處理軟件，支持超過50種常見多媒體格式，擁有如去除紅眼、剪切圖像、銳化、浮雕特效、旋轉(zhuǎn)、鏡像等功能效果。nAdobe Photoshop公認的最好的通用平面美術(shù)設計軟件。由Adobe公司開發(fā)設計。它完成了DTP和圖

13、像軟件的結(jié)合，使設計師可在電腦上直接完成文字的錄入、排版、圖像處理、形象創(chuàng)造和分色制板的全過程。nFireworks網(wǎng)頁制作三劍客之一，最適合與Dreamweaver共同使用，處理網(wǎng)頁中的圖片。nMATLAB是美國MathWorks公司出品的商業(yè)數(shù)學軟件，用于算法開發(fā)、數(shù)據(jù)可視化、數(shù)據(jù)分析以及數(shù)值計算的高級技術(shù)計算語言和交互式環(huán)境。nVisual C+.net實現(xiàn)許多圖像之間的變換，或者自己編寫函數(shù)來畫出設計好的圖像。圖像存儲系統(tǒng)圖像存儲系統(tǒng)n圖像文件格式體系互聯(lián)網(wǎng)用：GIF、JPG印刷用：TIF、JPG、TAG 、PCX國際標準：TIF、JPG、BMPn圖像存儲體系：分級存儲內(nèi)存存儲：處理時

14、使用硬盤存儲：處理、備份時用（在線）備份存儲：光盤、磁帶圖像文件的常用格式圖像文件的常用格式nBMP位圖文件，是一種與硬件設備無關(guān)與硬件設備無關(guān)的圖像文件格式，是Windows操作系統(tǒng)采用的圖像文件存儲格式，是Windows操作系統(tǒng)內(nèi)交換圖像數(shù)據(jù)的一種標準。nGIF原義是“圖像互換格式”，是CompuServe公司制定的一種圖像文件存儲格式，其最初的目的是希望每個BBS使用者都能夠通過GIF圖像文件格式輕易存儲并交換圖像數(shù)據(jù)。圖像文件的常用格式圖像文件的常用格式nTIFF圖像文件格式由Aldus公司與Microsoft公司共同開發(fā)設計的圖像文件格式。nPCX圖像文件格式是PC Paintbru

15、sh繪圖軟件內(nèi)的文件格式，專門用于存儲該軟件所產(chǎn)生的圖像畫面數(shù)據(jù)。nJPEG圖像文件格式一種有損壓縮格式，是最常用的圖像文件格式，由國際標準化組織和國際電話電報咨詢委員會制定。2 2 技術(shù)基礎(chǔ)技術(shù)基礎(chǔ)n圖像的采樣和量化n數(shù)字圖像的表示n數(shù)字圖像的質(zhì)量n像素間的一些基本關(guān)系鄰域處理方法是圖像增強過程的核心。2.1 2.1 圖像的采樣和量化圖像的采樣和量化n大多數(shù)傳感器的輸出是連續(xù)電壓波形，為了產(chǎn)生一幅數(shù)字圖像，需要把連續(xù)的感知數(shù)據(jù)轉(zhuǎn)化為數(shù)字形式n數(shù)字化包括兩種處理：采樣和量化采樣：圖像空間坐標的數(shù)字化量化：圖像函數(shù)值（灰度值）的數(shù)字化圖像采樣圖像采樣n空間坐標(x,y)的數(shù)字化被稱為圖像采樣n確

16、定水平和垂直方向上的像素個數(shù)N、M圖像的量化圖像的量化n函數(shù)取值的數(shù)字化被稱為圖像的量化，如量化到256個灰度級圖像的采樣與數(shù)字圖像的質(zhì)量圖像的采樣與數(shù)字圖像的質(zhì)量圖像的采樣與數(shù)字圖像的質(zhì)量圖像的采樣與數(shù)字圖像的質(zhì)量1024*1024512*512256*25632*32128*12864*64圖像的量化與數(shù)字圖像的質(zhì)量圖像的量化與數(shù)字圖像的質(zhì)量圖像的采樣和量化圖像的采樣和量化n非統(tǒng)一的圖像采樣在灰度級變化尖銳的區(qū)域，用細膩的采樣，在灰度級比較平滑的區(qū)域，用粗糙的采樣n非統(tǒng)一的圖像量化在邊界附近使用較少的灰度級。剩余的灰度級可用于灰度級變化比較平滑的區(qū)域避免或減少由于量化的太粗糙，在灰度級變化

17、比較平滑的區(qū)域出現(xiàn)假輪廓的現(xiàn)象2.2 2.2 數(shù)字圖像的表示數(shù)字圖像的表示n二維離散亮度函數(shù)f(x,y)x，y說明圖像像素的空間坐標函數(shù)值f 代表了在點(x,y)處像素的灰度值n二維矩陣Am,nm , n說明圖像的寬和高。矩陣元素a(i，j)的值，表示圖像在第i行，第j 列的像素的灰度值；i,j表示幾何位置256個層次的圖像16個層次的圖像64個層次的圖像2.3 圖像的質(zhì)量圖像質(zhì)量指標1、層次 （灰度級）對比度：是指一幅圖像中灰度反差的大小對比度 = 最大亮度 / 最小亮度圖像質(zhì)量：2、對比度圖像的質(zhì)量：3、清晰度n人眼宏觀看到的圖像的清晰程度與清晰度相關(guān)的主要因素 亮度對比度尺寸大小細微層次

18、顏色飽和度降低亮度影響清晰度因素1、亮度原圖降低對比度原圖影響清晰度因素2、對比度縮小尺寸原圖影響清晰度因素3、尺寸大小減少細微層次原圖影響清晰度因素4、細微層次降低顏色飽和度原圖影響清晰度因素5、顏色飽和度2.4 2.4 像素間的一些基本關(guān)系像素間的一些基本關(guān)系n相鄰像素：4鄰域8鄰域n連通性4連通8連通n距離相鄰像素相鄰像素4鄰域鄰域n4鄰域：像素p(x,y)的4個相鄰的像素(x+1,y)；(x-1,y)；(x,y+1)；(x,y-1) n用N4(p)表示像素p的4鄰域相鄰像素相鄰像素8鄰域鄰域n8鄰域定義：像素p(x,y)的8鄰域是：像素間的連通性像素間的連通性n連通性是描述區(qū)域和邊界的

19、重要概念n兩個像素連通的兩個必要條件是：兩個像素的位置是否相鄰是否相鄰兩個像素的灰度值是否滿足特定的相似性準則滿足特定的相似性準則（或者是否相等）n4連通、8連通的定義像素的連通性像素的連通性4連通連通n對于具有值V的像素p和q，如果q在集合N4(p)中，則稱這兩個像素是4連通的像素的連通性像素的連通性8連通連通n對于具有值V的像素p和q，如果q在集合N8(p)中，則稱這兩個像素是8連通的像素的連通性像素的連通性距離距離n像素之間距離的定義n歐氏距離定義nD4距離（城市距離）定義nD8距離（棋盤距離）定義像素之間距離的定義像素之間距離的定義對于像素p、q和z，分別具有坐標(x,y)，(s,t)

20、和(u,v)，如果(1) D(p,q) 0 (D(p,q)=0，當且僅當p = q),(2) D(p,q) = D(q,p)(3) D(p,z) D(p,q) + D(q,z)則稱D是距離函數(shù)或度量歐式距離定義歐式距離定義n像素p(x,y)和q(s,t)間的歐式距離定義如下：n問題：具有與(x,y)距離小于等于某個值r的像素是？D4距離（城市距離）距離（城市距離）n像素p(x,y)和q(s,t)之間的D4距離定義為：n問題：試寫出以像素A為中心、3*3鄰域內(nèi)的D4距離值？5*5鄰域呢？D4距離舉例距離舉例n具有與(x,y)距離小于 等于某個值r的那些像 素形成一個菱形n 例如，與點(x,y)（

21、中 心點）D4距離小于等 于2的像素，形成右邊 固定距離的輪廓n具有D4 = 1的像素是 (x,y)的4鄰域D8距離（棋盤距離）距離（棋盤距離）n像素p(x,y)和q(s,t)之間的D8距離定義為：n問題：寫出以像素A為中心、3*3鄰域內(nèi)的D8距離值？5*5鄰域？D8距離舉例距離舉例n具有與(x,y)距離小于 等于某個值r的那些像 素形成一個正方形n 例如，與點(x,y)（中 心點）D8距離小于等 于2的像素，形成右邊 固定距離的輪廓n 具有D8 = 1的像素是 (x,y)的8鄰域873 數(shù)字圖像處理及其研究內(nèi)容數(shù)字圖像處理及其研究內(nèi)容n圖像處理：對圖像進行一系列的操作，以達到特定的應用目標n

22、模擬圖像處理利用光學、照相等方法對模擬圖像的處理n數(shù)字圖像處理利用計算機算法對數(shù)字圖像進行系列操作，以達到特定的應用目標883.1 來源n數(shù)字圖像處理起源于兩種主要應用范圍：n(1) 改善人類做判斷用的圖像信息n(2) 處理自動裝置感受的景物數(shù)據(jù)圖像分析圖像分析圖像理解圖像理解狹義處理狹義處理高高低低抽抽象象程程度度高層高層低層低層中層中層語語義義數(shù)數(shù)據(jù)據(jù)量量操操作作對對象象小小大大符號符號象素象素目標目標89n低層數(shù)字圖像處理：對輸入圖像進行變換，得到一幅輸出圖像如對輸入圖像進行各種操作以改善圖像的視覺效果或者對其進行壓縮編碼以減少所需要的存儲空間和傳輸時間等，降低對傳輸通道的要求狹義的處理

23、90數(shù)字圖像的分析n對圖像中感興趣的區(qū)域或目標進行檢測和測量，從而建立對圖像目標的描述，是一個從輸入圖像到數(shù)值或者符號的過程91圖像理解與模式識別n在圖像分析的基礎(chǔ)上，利用人工智能和認知理論，研究圖像中各目標的性質(zhì)和它們之間的相互聯(lián)系，對圖像內(nèi)容的含義加以理解以及對原來客觀場景加以解釋，從而指導和規(guī)劃行動92數(shù)字圖像處理的特點n處理算法不依賴于精度對于一幅圖像而言，數(shù)字化時不管是用4比特、8比特還是其它比特表示，只需改變計算機中程序的參數(shù)，處理方法不變。所以從原理上講不管對多高精度的數(shù)字圖像進行處理都是可能的。而在模擬圖像處理中，要想使精度提高一個數(shù)量級，就必須對裝置進行大幅度改進93數(shù)字圖像

24、處理的特點n處理結(jié)果能準確再現(xiàn)不管是什么數(shù)字圖像，均用數(shù)組或數(shù)組集合表示。在傳送和復制圖像時，只在計算機內(nèi)部進行處理，這樣數(shù)據(jù)就不會丟失或遭破壞，保持了完好的再現(xiàn)性。而在模擬圖像處理過程中，就會因為各種干擾因素而無法保證圖像處理結(jié)果的準確再現(xiàn)94數(shù)字圖像處理的特點n通用性、靈活性強對可見圖像和不可見光圖像（如X光圖像、熱紅外圖像和超聲波圖像等），盡管這些圖像生成體系中的設備規(guī)模和精度各不相同，但當把這些圖像數(shù)字化后，都可同樣進行處理，這就是數(shù)字處理圖像的通用性利用處理軟件可對圖像進行各種各樣的處理，如上下滾動、漫游、拼接、合成、變換、放大、縮小和各種邏輯運算等，所以靈活性很高953.2 圖像處

25、理的研究實例圖像處理的研究實例n主要研究內(nèi)容圖像增強圖像恢復圖像編碼圖像分析模式識別圖像重建96圖像增強(1)97圖像增強(2)98圖像增強(3)n圖像增強是改善供人觀看圖像主觀質(zhì)量n主要技術(shù)：直方圖修正圖像平滑圖像銳化同態(tài)系統(tǒng)偽彩色技術(shù) 99圖像恢復(1)100圖像復原(2)n圖像復原是尋找引起圖像質(zhì)量下降的原因，通過”逆向“操作，盡可能恢復圖像本來面目n主要技術(shù)：復原的代數(shù)方法逆濾波最小二乘方濾波約束去卷積空間復原技術(shù)101圖像編碼n在保真（無損）或限保真（有損）條件下對圖像進行壓縮n主要技術(shù)方法：PCM編碼統(tǒng)計編碼預測編碼變換編碼小波編碼分形編碼102圖像分析(1)n人體染色體n形狀分析

26、103圖像分析(2)n對輸入圖像的處理，產(chǎn)生已知圖像描述n主要技術(shù)方法：分割描繪紋理分析形狀分析場景分析104模式識別n計算機代替人類完成識別景物工作，就必須賦于它有近于人的視覺功能與識別能力。n對人的視覺機理至今研究得十分不夠，完善的視覺模型尚未建立，因而，目前用圖像處理和識別技術(shù)來識別景物相對是較簡單的。n相關(guān)匹配、結(jié)構(gòu)匹配等是一些常用識別方法。n各種知識基的專家系統(tǒng)應用于識別復雜的景物，并已做出一些實用的系統(tǒng)105圖像重建(1)n利用X射線、超聲波等手段取得物休的多幅來自不同角度的二維投影圖（它們反映了物體內(nèi)部情形），通過計算得出物體內(nèi)部圖像，這種技術(shù)就是投影重建。n利用明暗、運動、體視

27、等圖像信息恢復三維物體形狀則是三維信息恢復重建技術(shù)。106圖像重建(2)數(shù)字圖像處理的實例補充數(shù)字圖像處理的實例補充108Image Processing ExamplesnRestoration of image from Hubble Space Telescope (圖像復原)Source:IVPL NorthWestern University,Chicago109Image Processing ExamplesnColor photo enhancement (彩色照片增強)Source:Picture Project 1.5, 2005 Nicon CorporationOrig

28、inalAutomatic Enhancement110Image Processing ExamplesnNoise reduction (噪聲去除)Degraded ImageNoise reduction imageSource: Jungwon Lee, Stanford EE 368 class project, Spring 2000111Image Processing ExamplesnSpecial Effects (特殊效果)PhotoSimulated color pencilsSimulated oil paintingSource: Feng Xiao, Stanfo

29、rd EE 368 class project, Spring 2000112Image Processing ExamplesnPseudocolor enhancement for security screening (偽彩增強)Source:Gonzalez+Woods book, Fig 6.24113Image Processing ExamplesnExtraction of settlement area from an aerial image (居住區(qū)提取)Source: INRIA, Sophia-Antipoils, France114Image Processing ExamplesnEarthquake Analysis from Space (地震分析)Source: JPL, Pasadena, QUAKEFINDER projectImage shows the ground displacement due to Landers earthquake in CA, 1992115Image Processing ExamplesnFace Detection (臉部識別)Source: Henry