圖像分析與識別-1課件

SchoolofInstrumentationScience&OptoelectronicsEngineering圖像分析與識別ImageAnalysisandRecognition1圖像分析與識別主講教師：祝世平電話： E-Mail：辦公室： 新主樓B座705室2參考教材-1國外著名高等院校信息科學與技術(shù)優(yōu)秀教材?！秷D像處理分析與機器視覺（第二版）》，MilanSonka,VaclavHlavac,RogerBoyle著，分中文和英文版，人民郵電出版社，2003年9月。3互動出版網(wǎng)（絕版）；

圖書館借閱、復?。◤头荩豢截惐緯腜DF文件。5參考教材-2教育部高等教育司推薦：國外優(yōu)秀信息科學與技術(shù)系列教學用書。《數(shù)字圖像處理（第二版）》，岡薩雷斯等著，阮秋琦等譯，電子工業(yè)出版社，2003年3月。6參考教材-3清華大學信息科學技術(shù)學院教材-信息與通信工程系列?！秷D像工程》，章毓晉編著，清華大學出版社，分為：上冊（圖像處理（第2版），2006年3月。第1版獲全國普通高等學校優(yōu)秀教材一等獎）；下冊（圖像分析，2005年10月）。7第一章引言8人眼的基本構(gòu)造角膜虹膜睫狀肌睫狀小帶視軸玻璃體中央凹盲點視網(wǎng)膜神經(jīng)和鞘脈絡(luò)膜虹膜晶狀體前房睫狀體10人眼的成像過程12電磁波譜及可見光譜14單個圖像傳感器的工作原理15一維線陣圖像傳感器和二維面陣圖像傳感器16單個圖像傳感器的成像過程17線陣圖像傳感器的成像過程18圖像處理、分析與計算機(機器)視覺是認知科學與計算機科學中一個令人興奮的活躍分支。自20世紀70年代，該領(lǐng)域經(jīng)歷了人們對其興趣的爆炸性增長之后，在80到90年代逐步走向成熟，伴隨而來的是實際應用的顯著增長。20市場上相關(guān)軟件和硬件產(chǎn)品日益增加；

世界范圍的大學里都提供了有關(guān)圖像處理、分析和計算機(機器)視覺的課程。21數(shù)字圖像處理最早的應用之一是在報紙業(yè)。借助電報打印機進行數(shù)字圖像傳輸甚至可以追溯到上世紀20年代。早在上世紀20年代曾引入電纜圖片傳輸系統(tǒng)，把橫跨大西洋傳送一幅圖片所需的時間從一個多星期減少到3個小時。23為了用電纜傳輸圖片，首先對圖片要進行編碼，然后在接收端用特殊的打印設(shè)備重構(gòu)該圖片。下圖就是用這種方法傳送并利用電報打印機通過字符模擬中間色調(diào)還原出來的圖像。

24這些早期數(shù)字圖像視覺質(zhì)量的改進工作，涉及到打印過程的選擇和亮度等級的分布等問題。用于得到上圖的打印方法到1921年底就被徹底淘汰了，轉(zhuǎn)而支持一種基于光學還原的技術(shù)，該技術(shù)在電報接收端用穿孔紙帶打出圖片。26下圖就是用這種方法得到的圖像，對比上圖，它在色調(diào)質(zhì)量和分辨率方面的改進都很明顯。

27

1922年在信號兩次穿越大西洋后，從穿孔紙帶得到的數(shù)字圖像。28

1929年從倫敦到紐約用15級色調(diào)設(shè)備通過電纜傳送的未經(jīng)修飾的照片30計算機圖像處理技術(shù)的歷史可以追溯到1946年世界上第一臺電子計算機誕生。但在上世紀50年代計算機主要還是用于數(shù)值計算，滿足不了處理大數(shù)據(jù)量圖像的要求。31在上世紀60年代，第3代計算機的研制成功，以及快速傅里葉變換算法的發(fā)現(xiàn)和應用使得對圖像的某些計算得以實現(xiàn)。人們從而逐步開始利用計算機對圖像進行加工利用。32在上世紀70年代，數(shù)字圖像處理技術(shù)有了長足的進展。第一本重要的圖像處理專著也得以出版，RosenfeldA,KakAC.“DigitalPictureProcessing,”AcademicPress,1976。33到上世紀80年代，許多能獲取3D圖像的設(shè)備和處理分析3D圖像的系統(tǒng)研制成功。進入上世紀90年代，圖像處理技術(shù)已逐步涉及人類生活和社會發(fā)展的各個方面。

進入21世紀，數(shù)字圖像處理技術(shù)必將得到進一步的發(fā)展和應用。34總之，數(shù)字圖像處理技術(shù)在近20多年的時間里面，迅速地發(fā)展成為一門獨立的具有強大生命力的學科。數(shù)字圖像處理技術(shù)得到極大的重視和長足的發(fā)展，出現(xiàn)了許多新理論、新方法、新算法、新手段、新設(shè)備。35第三節(jié)數(shù)字圖像處理的應用36一、遙感技術(shù)以前，需要大量的人力對偵察飛機拍攝的空中攝影照片進行進行分析?，F(xiàn)在利用圖像處理系統(tǒng)進行判讀分析，既可以提高效率，又可以從照片中提取人工所不能發(fā)現(xiàn)的大量的有用情報。37遙感技術(shù)分為飛機遙感和衛(wèi)星遙感技術(shù)。從遙感衛(wèi)星所獲得的圖像的圖像質(zhì)量有時不是很好，如果仍采用簡單的直觀判讀如此昂貴代價所獲取的的圖像是不合算的，因此必須采用圖像處理技術(shù)。

38南極洲臭氧層空洞的衛(wèi)星照片

NASA的Nimbus7號衛(wèi)星拍攝39多光譜遙感圖像需要進行融合配準，以期獲得單獨每個譜段所不能獲得的更為豐富的信息，這就必須采用數(shù)字圖像處理技術(shù)。

40同一區(qū)域的全色波段高分辨率（1m）衛(wèi)星遙感圖像

Thepanchromaticband(525.8–928.5μm)ofthe1-mhigh-resolutionpanchromaticimage41同一區(qū)域的多譜段低分辨率（4m）衛(wèi)星遙感圖像

Thered(631.9–697.7μm),green(506.4–595.0μm),blue(444.7–516.0μm)andNIR(757.3–852.7μm)bandsofthe4-mlow-resolutionmultispectralimages42Intensity–hue–saturation(IHS)

圖像融合算法43Broveytransform(BT)

圖像融合算法44Principalcomponentanalysis(PCA)圖像融合算法45High-passfiltering(HPF)

圖像融合算法46High-passmodulation(HPM)

圖像融合算法47àtrousalgorithm-baseddyadicwavelettransform(ATW)圖像融合算法48Multiresolutionanalysis-basedintensitymodulation(MRAIM)圖像融合算法49原始的LRMI圖像以及通過IHS,BT,PCA,HPF,HPM,ATW和MRAIM方法融合后的HRMI圖像50二、醫(yī)學圖像處理醫(yī)學上不管是基礎(chǔ)科學還是臨床應用，都是圖像處理應用種類極多的領(lǐng)域。生物醫(yī)學的顯微圖像的處理分析，例如紅白細胞、細菌和染色體的分析。

51X射線成像的實例胸部X射線圖像主動脈造影圖像52大家最熟悉的X射線在醫(yī)學成像中的應用是計算機軸向斷層術(shù)（CT）。通過CT，可以產(chǎn)生人體的大量“切片”，這些剖面圖合在一起就構(gòu)成了病人體內(nèi)的三維圖，使得肌體病變特別是腫瘤診斷起到了革命性的變化。53頭部CT54超聲波成像的實例甲狀腺肌肉層有損害55在醫(yī)學中，無線電波可以用于核磁共振成像（MRI），是繼CT后醫(yī)學影像學的又一重大進步。相對于X-射線透視技術(shù)和放射造影技術(shù)，MRI對人體沒有輻射影響，相對于超聲探測技術(shù)，核磁共振成像更加清晰，能夠顯示更多細節(jié)。56MRI圖像膝蓋脊椎57三、工業(yè)領(lǐng)域中的應用基于機器視覺技術(shù)的物體二維或三維坐標精密測量、深度方向的距離測量和空間定位。機器人視覺是機器人應用中一個非常關(guān)鍵的核心技術(shù)。58工業(yè)產(chǎn)品的無損探傷、表面和外觀的自動檢查和識別、裝配和生產(chǎn)線的自動化、印刷電路板的視覺檢查、機械零件的自動識別分類和幾何尺寸測量等。59電路板：檢測丟失元件丸劑膠囊：尋找缺少藥丸瓶子：尋找沒有達到要求液位的瓶子塑料中氣泡分析谷物分析：顏色、異常目鏡圖像：檢測是否存在缺陷60三維在線視覺檢測系統(tǒng)組成61汽車白車身激光視覺檢測站62四、軍事公安方面運動目標的圖像自動跟蹤技術(shù)，例如巡航導彈的三維自動地形識別與匹配。公安業(yè)務(wù)圖片的判讀分析，如指紋識別、不完整圖片的復原等。公安中的跟蹤、竊視、交通監(jiān)控、事故分析。63指紋識別64虹膜識別65車牌識別66五、文化藝術(shù)方面圖像、視頻的壓縮編碼和解碼。電視畫面的數(shù)字編輯。繪畫等藝術(shù)作品的三維重建。文物資料照片和舊電影拷貝的修復。67基于圖像的三維重建

（Image-based3Drendering）68六、體育方面運動員的訓練、動作分析、評分等。69七、展望隨著計算機技術(shù)的日益發(fā)展，數(shù)字圖像處理技術(shù)的日益完備，數(shù)字圖像處理的應用范圍將更加深入和廣泛。70第四節(jié)計算機視覺概述71一、什么是計算機視覺人類生理上的視覺功能使人類得以感知和理解周圍的世界。計算機視覺的目的是，通過電子化地感知和理解圖像，從而模仿和復制人類的視覺功能。72二、計算機視覺的困難和面臨的挑戰(zhàn)我們生活在一個三維的世界里面，而當計算機試圖分析三維空間的物體時，可利用的視覺傳感器通常只能給出二維的圖像。73這個三維向二維的映射導致了信息的巨大丟失，這就造成了計算機視覺中從二維信息反推三維信息所造成的巨大困難和挑戰(zhàn)。這也是為什么計算機視覺至今依然不夠成熟的一個重要原因所在。74三、計算機視覺的研究基礎(chǔ)計算機視覺的研究基礎(chǔ)包括神經(jīng)生理學、實驗生理學、數(shù)學、計算機科學、模式識別、人工智能、電子工程等科學領(lǐng)域的研究結(jié)果和方法。75四、計算機視覺的層次和任務(wù)計算機視覺建立在低層的圖像處理之上。計算機視覺基于高層的圖像分析和理解。低層圖像處理的數(shù)據(jù)由原始圖像構(gòu)成，由亮度數(shù)值組成的二維圖像矩陣是低層圖像處理的輸入和輸出。

76高層的圖像分析和理解的數(shù)據(jù)表達了有關(guān)圖像內(nèi)容的知識。例如，物體的大小、形狀以及圖像中物體之間的相互關(guān)系。高層的圖像分析和理解的數(shù)據(jù)來源于圖像但只有那些與高層目標有關(guān)的數(shù)據(jù)被提取出來，這樣很大程度地減少了數(shù)據(jù)量。高層數(shù)據(jù)通常表達為符號形式。77計算機視覺是建立在高層處理基礎(chǔ)上的，圖像分析和理解是計算機視覺的核心。高層的處理取決于知識、目標以及如何達到這些目標的計劃。高層的處理廣泛用到與圖像內(nèi)容（語義）有關(guān)的先驗知識和人工智能的方法。78高層計算機視覺試圖模仿人類的認知能力，以及根據(jù)包含在圖像中的信息進行決策的能力。計算機視覺的目標是獲得生物系統(tǒng)所能提供的類似結(jié)果，人們期望用它來解決非常復雜的任務(wù)。79高層視覺從某種形式的形式化世界模型開始，然后將通過數(shù)字化圖像感知的“真實”與該模型進行比較，試圖找到匹配。當差別顯現(xiàn)出來時就尋找部分匹配（或子目標）來克服錯配(mismatch)；計算機轉(zhuǎn)向低層圖像處理，尋找用來更新模型的信息。80這個過程反復進行，因此“理解”圖像變?yōu)橐粋€在“自頂向下(top-down)”和“自底向上(bottom-up)”兩個過程之間的協(xié)作?；谶@樣一個反饋回路的反復的圖像理解過程應該最終收斂于全局的目標。81圖像處理、分析和理解的層次82計算機視覺的經(jīng)典著作DavidMarr.“Vision-AComputationalInvestigationintotheHumanRepresent-ationandProcessingofVisualInformation.”Freeman,SanFrancisco,1982.83DavidMarr的書相當大地影響了整個20世紀80年代的計算機視覺研究，其中闡述了受生物視覺系統(tǒng)啟發(fā)而提出來的新的方法論和計算理論。90年代以來的發(fā)展正在擺脫對這一范疇的依賴。84五、迄今為止沒有解決的復雜問題在完成有關(guān)計算機視覺的特定任務(wù)時如何安排低層圖像處理的操作步驟，使這一問題自動完成的目標仍然沒有達到。由于領(lǐng)域相關(guān)知識以及不確定性的原因，這一過程基本上取決于人的直覺和以往的經(jīng)驗。85計算機視覺目前通常還需要依賴人來參與一系列的相關(guān)操作。有待開發(fā)更普遍適用、更為可靠、更高效率的算法。其它的問題………86六、計算機視覺的發(fā)展現(xiàn)狀計算機視覺是個相對年輕的學科。有很多相關(guān)方面的教材可供學習。在這樣一個快速發(fā)展的學科里，另一個特別重要的信息源是研究期刊。87新的研究進展和成果還發(fā)表在定期舉行的圖像處理和計算機視覺會議的論文集中。越來越多的普及型雜志中會談到有關(guān)本學科的話題，特別是一些“大眾”媒體和相關(guān)媒體中也提供商業(yè)硬件和軟件系統(tǒng)的資料。88第五節(jié)圖像處理和計算機視覺的比較89一、圖像處理“圖像處理”目的在于要使圖像處理后變得更好，圖像處理系統(tǒng)的輸出仍然是一幅圖像。圖像處理系統(tǒng)的功能包括增強、編碼、壓縮、復原與重構(gòu)。90圖像增強圖像增強系統(tǒng)所執(zhí)行操作的結(jié)果是使人們覺得處理后的圖像質(zhì)量更好。典型的操作運算包括：對比度增強（如直方圖均衡化等功能）、亮度放縮、邊緣銳化等。91圖像編碼編碼是研究圖像信息的表達方式，使其更經(jīng)濟與有效，這包括量化方法、冗余消除。使其在傳輸或存儲圖像中出現(xiàn)錯誤時仍具有魯棒性。92圖像壓縮壓縮有許多技術(shù)與編碼中的技術(shù)相同，但其目的在于減少存儲與傳輸圖像的比特數(shù)量。93圖像復原復原關(guān)注的是對圖像中的錯誤進行修復。它與圖像增強不同，增強只是關(guān)注使圖像看上去更好些。而要“修正”一幅圖像，需要有圖像退化的模型。94圖像重構(gòu)重構(gòu)通常是指從若干局部圖像重構(gòu)成一幅完整圖像的過程。在計算機層析X射線攝像技術(shù)（CT）中，從受試者中得到數(shù)量很大（如360幅）的X射線投影。然后從這組一維信號中計算出二維圖像中每一點的X射線吸收率。95相同的方法還用在正電子放射層析攝像技術(shù)（PET）、核磁共振圖像（MRI），以及在某些“從X恢復形狀”（shape-from-X）的算法中。96二、計算機視覺計算機視覺是計算機對圖像進行自動處理并報告“圖像中有什么”的過程，也就是說它識別圖像中的內(nèi)容。計算機視覺由兩部分組成：特征度量與基于這些特征的模式識別。97特征度量特征度量是對圖像的元素（像素）進行處理，并從這些像素以及像素集合提取一組度量，這些度量可以表示整幅圖像或其某些組成的特點。98模式分類模式分類被定義為，對度量做出決策的過程。即給定一個未知物體的某個度量或一組度量，根據(jù)未知物體屬于哪些類的知識，從這些度量作出決策。99模式識別模式識別可以像模式分類一樣定義為：對未知物體進行分類，但是一般這個術(shù)語包括產(chǎn)生度量值這個過程。100計算機視覺系統(tǒng)的組成框圖特征度量原始數(shù)據(jù)特征向量模式分類器類別標識101第六節(jié)總結(jié)102人類的視覺是自然的，看起來容易，但計算機模仿視覺是困難的。我們可以期望通過檢查圖像或圖像序列來獲得定量和定性的分析?！案邔印焙汀暗蛯印钡挠嬎銠C視覺是可以分開的。103圖像處理從數(shù)字化操作開始，然后是預處理、分割、識別和理解。對于圖像分析和理解而言，啟發(fā)式知識、先驗知識、語法和語義概念是必要的。視覺文獻是大量的、成長的，書可以分為基礎(chǔ)的、高級的和專著。104為了在本領(lǐng)域保持領(lǐng)先，必須研究大量的相關(guān)文獻。電子出版物和Internet的發(fā)展使計算機視覺的入門更簡單了