圖像識別技術(shù)1教材課件

第六章圖像識別與處理技術(shù)授課老師：蒙自明物理與光電工程學(xué)院mengzm@1第六章圖像識別與處理技術(shù)授課老師：蒙自明1獲取信息處理信息識別信息被識別信息已識別信息自動識別系統(tǒng)自動識別系統(tǒng)是一個以信息處理為主的技術(shù)系統(tǒng)，它的輸入端是將被識別的信息，輸出端是已識別的信息。自動識別系統(tǒng)的輸入信息分為特定格式信息和圖像圖形格式信息兩大類2獲取信息處理信息識別信息被識別信息已識別信息自動識別系統(tǒng)自動1、特定格式信息識別系統(tǒng)特定格式信息就是采用規(guī)定的表現(xiàn)形式來表示規(guī)定的信息。如條碼符號、IC卡中的數(shù)據(jù)格式等。系統(tǒng)模型如下圖：被識別信息獲取信息譯碼已識別信息識別信息31、特定格式信息識別系統(tǒng)被識別信息獲取信息譯2、圖像圖形格式信息識別系統(tǒng)圖象圖形格式信息則是指二維圖像與一維波形等信息。如二維圖像包括的文字、地圖、照片、指紋、語音等。系統(tǒng)模型如下圖：被識別信息已識別信息數(shù)據(jù)采集獲取預(yù)處理特征提取與選擇分類決策識別信息42、圖像圖形格式信息識別系統(tǒng)被識別已識別數(shù)據(jù)預(yù)處理特征分類識圖像處理、識別及理解圖像圖像圖像處理（編碼、壓縮、增強分割）圖像類別+結(jié)構(gòu)分析圖像識別（特征提取、分類分析）圖像圖像描述+解釋圖像理解5圖像處理、識別及理解圖像圖像圖像處理圖像類別+結(jié)構(gòu)分析圖像識圖像識別過程圖像信息獲取圖像預(yù)處理圖像特征提取圖像特征匹配結(jié)果6圖像識別過程圖像信息圖像圖像特征提取圖像特征匹配結(jié)果6圖像識別運用模式識別的原理對圖像對象進行分類的學(xué)問。模式（pattern）與模式識別（patternrecognition）

廣義地說，存在于時間和空間中可觀察的事物，如果我們可以區(qū)別它們是否相同或是否相異，都可以稱之為模式。模式識別就是根據(jù)觀察到的事物的模式對事物進行分類的過程。

7圖像識別7*模式是一個客觀事物的描述，即一個可用來仿效的完善的例子。模式識別按照哲學(xué)的定義，是指一個“外部信息到達感覺器官并被轉(zhuǎn)換成有意義的感覺經(jīng)驗”的過程。模式識別問題通常表現(xiàn)為對一組過程或事件的判別或分類。**按照廣義的定義，模式是一些供模仿用的、完美無缺的標本。模式識別就是識別出特定客體所模仿的標本?？腕w是指人類能用感官直接或間接接收的外部信息，不如聲音、圖像、文字是模式，心電圖、腦電圖、地震波也是模式。8*模式是一個客觀事物的描述，即一個可用來仿效的完善的例子。模**模式類的定義模式類是具有某些公共特征的模式的系列（集合）模式類用w1,w2,…wM表示，M是類的個數(shù)**模式識別的定義根據(jù)對象的特征組成的模式，確定對象是屬于那一個模式類，即為模式識別模式與模式類舉例已知汽車的長、寬、高（x1,x2,x3）,希望識別出，大客車、小轎車、卡車（w1,w2,w3）9**模式類的定義9模式識別的過程是由計算機（機器）來自動完成。廣義上說，模式識別屬于人工智能的范疇。10模式識別的過程是由計算機（機器）來自動完成。廣義上說，模式識模式識別系統(tǒng)的基本構(gòu)成11模式識別系統(tǒng)的基本構(gòu)成11（1）數(shù)據(jù)（信息）獲取通過傳感器，將光或聲等信息轉(zhuǎn)化為電信息。（2）預(yù)處理：A、信號增強：去除噪聲，加強有用信息。信號恢復(fù)：對退化現(xiàn)象進行復(fù)原。B、歸一化處理（例如圖像大小的歸一化；神經(jīng)網(wǎng)絡(luò)輸入數(shù)據(jù)的歸一化）12（1）數(shù)據(jù)（信息）獲取12（3）特征提取和特征選擇

A、特征分類：物理特征、結(jié)構(gòu)特征、數(shù)學(xué)特征。B、特征形成：根據(jù)被識別的對象產(chǎn)生出一組基本特征，它可以是計算出來的（當識別對象是波形或數(shù)字圖像時），也可以是用儀表或傳感器測量出來的（當識別對象是事物或某種過程時），這樣產(chǎn)生的特征叫做原始特征。C、特征提?。涸继卣鞯臄?shù)量可能很大，通過映射（或變換）的方法可以用低維空間表示樣本，這個過程叫做特征提取。映射后的二次特征是原始特征的線性組合（通常是線性組合）。D、特征選擇：從一組特征中挑選出一些最有效的特征以達到降低特征空間維數(shù)的過程。13（3）特征提取和特征選擇13例如：一幅96x64的圖象細節(jié)點：分歧點、端點14例如：一幅96x64的圖象細節(jié)點：分歧點、端點14特征提取和選擇：特征能夠較容易地從圖像中提取；所選取的特征必須有利于分類。15特征提取和選擇：特征能夠較容易地從圖像中提?。凰x取的特征必（4）分類器設(shè)計分類器設(shè)計的主要功能是通過訓(xùn)練確定判決規(guī)則，使按此類判決規(guī)則分類時，錯誤率最低或風(fēng)險最小。（5）分類決策分類器按已確定的分類判別規(guī)則對待識模式進行分類判別，輸出分類結(jié)果，這就是分類器的使用過程，也稱分類決策**。16（4）分類器設(shè)計16模式可以是以矢量形式表示的數(shù)字特征；也可以是以句法結(jié)構(gòu)表示的字符串或圖；還可以是以關(guān)系結(jié)構(gòu)表示的語義網(wǎng)絡(luò)或框架結(jié)構(gòu)等。對于上述三種類型的模式，必須分別使用不同的識別方法：統(tǒng)計模式識別，結(jié)構(gòu)（句法）模式識別和人工智能方法（神經(jīng)網(wǎng)絡(luò)識別）。

17模式可以是以矢量形式表示的數(shù)字特征；17常用的模式序列表示方法模式向量、模式串、模式樹模式向量模式向量用粗體的小寫字母表示，如x,y，形式如下：

其中每一個xi代表第i個描述子，n是這種描述子的數(shù)量。模式向量被表示為一列或表示成

x=(x1,x2,…,xn)T，

其中T指出是轉(zhuǎn)秩x=x1x2.xn18常用的模式序列表示方法x=x118x=x1x2模式向量舉例 假設(shè)我們想描述三種蝴蝶花（多毛的、維吉尼亞、多色的）通過測量它們花瓣的寬度和長度。這里涉及一個兩維的模式向量：其中x1、x2分別對應(yīng)花瓣的長和寬三種模式類用w1、w2、w3表示19x=x1模式向量舉例19模式樹

以分層目錄結(jié)構(gòu)排序的模式類，一般多采用樹結(jié)構(gòu)。模式樹舉例圖像城市田園城區(qū)內(nèi)城市郊公路草地森林娛樂區(qū)商業(yè)區(qū)娛樂區(qū)商業(yè)區(qū)20模式樹圖像城市田園城區(qū)內(nèi)城市郊公路草地森林娛樂區(qū)商業(yè)區(qū)娛樂區(qū)模式串 用于以對象特征的結(jié)構(gòu)或空間關(guān)系作為模式的識別模式串舉例：梯狀的模式abaaabbb(1)S->aA(2)A->bS(3)A->b21模式串a(chǎn)baaabbb(1)S->aA21統(tǒng)計模式識別基本原理是：有相似性的樣本在模式空間中互相接近，并形成“集團”，即“物以類聚”。主要方法有：決策函數(shù)法，k近鄰分類法，支持向量機，特征分析法，主因子分析法等…參考書籍：《統(tǒng)計模式識別》(AndrewR.Webb)

JainAK,DuinRPW,JianchangMao.Statisticalpatternrecognition:areview.PatternAnalysisandMachineIntelligence,2000.22(1):4～37.

22統(tǒng)計模式識別22分類器的設(shè)計（統(tǒng)計分類器）對于要研究的分類問題有M個模式類，各個類用wi來表示，i=1,2,…,M，各個類出現(xiàn)的先驗概率P(wi)和條件概率密度函數(shù)P(wi|x)已知?，F(xiàn)在特征空間觀察到某一向量x，那么x分到哪一類最合理。貝葉斯（Bayes）決策論的方法：使分類可能出現(xiàn)的錯誤最小。23分類器的設(shè)計（統(tǒng)計分類器）23結(jié)構(gòu)（或句法）模式識別基于形式語言理論的概念為基礎(chǔ)。模式按其結(jié)構(gòu)分解為子模式或模式基元，模式基元的連接關(guān)系以文法形式進行描述。一個場景的示意圖場景結(jié)構(gòu)的分析

24結(jié)構(gòu)（或句法）模式識別一個場景的示意圖神經(jīng)網(wǎng)絡(luò)模式識別特點：具有信息分布式存儲、大規(guī)模自適應(yīng)并行處理、高度的容錯性以及學(xué)習(xí)能力缺點：實際應(yīng)用中仍有許多因素需要憑經(jīng)驗確定，比如如何選擇網(wǎng)絡(luò)節(jié)點數(shù)、初始權(quán)值和學(xué)習(xí)步長等；局部極小點問題、過學(xué)習(xí)與欠學(xué)習(xí)問題等模糊模式識別模糊集理論，Zadeh，1965模糊集理論在模式識別中的應(yīng)用25神經(jīng)網(wǎng)絡(luò)模式識別25圖像的基本概念“圖”是物體投射或反射光的分布，“像”是人的視覺系統(tǒng)對圖的接受在大腦中形成的印象或反映。因此，圖像是客觀和主觀的結(jié)合。

分類：（1）從視覺特點，分為可見圖像和不可見圖像。（2）從圖像空間坐標和明暗程度的連續(xù)性，可分為模擬圖像和數(shù)字圖像。26圖像的基本概念“圖”是物體投射或反射光的分布，“像”是人的視圖像的表示方法模擬圖像：

圖像是連續(xù)的，即用函數(shù)f(x,y)表示的圖像。其中：

x,y表示空間坐標點的位置；

f表示圖像在點（x,y）的某種性質(zhì)的數(shù)值，如亮度、灰度，色度等。

f,x,y可以是任意實數(shù)。27圖像的表示方法模擬圖像：27數(shù)字圖像：

I(r,c)是對f(x,y)的離散化后的結(jié)果。r表示圖像的行(row)；c表示圖像的列(column)；I表示離散后的f；I,r,c的值只能是整數(shù)。數(shù)字圖像可用矩陣或數(shù)組進行描述。28數(shù)字圖像：28（1）網(wǎng)格化：每一個網(wǎng)格即圖像元素，簡稱像素pixel（2）每個pixel上的亮度進行采樣和量化：用一個整數(shù)值代表亮暗程度mn012320323303526183242394029414548333149606312001430001232032330352618324239402941454833314960631200143000128255數(shù)字圖像的矩陣表示29（1）網(wǎng)格化：每一個網(wǎng)格即圖像元素，簡稱像素pixel（2）圖像恢復(fù)（運動中物體）圖像增強30圖像恢復(fù)（運動中物體）圖像增強30圖像分割直方圖分析法設(shè)圖像的灰度范圍為0，1，…，l-1，設(shè)有灰度值為i的像素個數(shù)為n，則圖像的總像素個數(shù)為灰度值i和它的像素個數(shù)ni之間的關(guān)系，可以用灰度直方圖表示，它反映了圖像灰度分布的統(tǒng)計特征，是利用像素灰度作屬性的分割方法的基礎(chǔ)。31圖像分割直方圖分析法設(shè)圖像的灰度范圍為0，1，…，l-1，設(shè)直方圖分析對于有突出目標和背景的圖像，其灰度直方圖會有明顯的雙峰值或更多的峰值。這時可選擇峰值之間的谷點作為圖像分割的閾值。32直方圖分析對于有突出目標和背景的圖像，其灰度直方圖會有明顯的參考文獻*齊敏等編著，《模式識別導(dǎo)論》，清華大學(xué)出版社，2009年。**鐘珞等主編，《模式識別》，武漢大學(xué)出版社，2006年。MilanSonka等著，艾海舟等譯《圖像處理、分析與機器視覺》（第3版），清華大學(xué)出版社，2011年。沈勇武“基于圖像識別的車型自動分類系統(tǒng)”浙江大學(xué)碩士學(xué)位論文2008年。汪晨等，“圖像識別綜述及在電力信息安全中的應(yīng)用研究”，計算機技術(shù)與發(fā)展，22卷4期161頁，2012年。33參考文獻*齊敏等編著，《模式識別導(dǎo)論》，清華大學(xué)出版社，2思考題（1）簡述圖像識別的過程。（2）簡述模式和模式識別的含義。（3）模式識別系統(tǒng)由哪幾部分構(gòu)成。34思考題34第六章圖像識別與處理技術(shù)授課老師：蒙自明物理與光電工程學(xué)院mengzm@35第六章圖像識別與處理技術(shù)授課老師：蒙自明1獲取信息處理信息識別信息被識別信息已識別信息自動識別系統(tǒng)自動識別系統(tǒng)是一個以信息處理為主的技術(shù)系統(tǒng)，它的輸入端是將被識別的信息，輸出端是已識別的信息。自動識別系統(tǒng)的輸入信息分為特定格式信息和圖像圖形格式信息兩大類36獲取信息處理信息識別信息被識別信息已識別信息自動識別系統(tǒng)自動1、特定格式信息識別系統(tǒng)特定格式信息就是采用規(guī)定的表現(xiàn)形式來表示規(guī)定的信息。如條碼符號、IC卡中的數(shù)據(jù)格式等。系統(tǒng)模型如下圖：被識別信息獲取信息譯碼已識別信息識別信息371、特定格式信息識別系統(tǒng)被識別信息獲取信息譯2、圖像圖形格式信息識別系統(tǒng)圖象圖形格式信息則是指二維圖像與一維波形等信息。如二維圖像包括的文字、地圖、照片、指紋、語音等。系統(tǒng)模型如下圖：被識別信息已識別信息數(shù)據(jù)采集獲取預(yù)處理特征提取與選擇分類決策識別信息382、圖像圖形格式信息識別系統(tǒng)被識別已識別數(shù)據(jù)預(yù)處理特征分類識圖像處理、識別及理解圖像圖像圖像處理（編碼、壓縮、增強分割）圖像類別+結(jié)構(gòu)分析圖像識別（特征提取、分類分析）圖像圖像描述+解釋圖像理解39圖像處理、識別及理解圖像圖像圖像處理圖像類別+結(jié)構(gòu)分析圖像識圖像識別過程圖像信息獲取圖像預(yù)處理圖像特征提取圖像特征匹配結(jié)果40圖像識別過程圖像信息圖像圖像特征提取圖像特征匹配結(jié)果6圖像識別運用模式識別的原理對圖像對象進行分類的學(xué)問。模式（pattern）與模式識別（patternrecognition）

廣義地說，存在于時間和空間中可觀察的事物，如果我們可以區(qū)別它們是否相同或是否相異，都可以稱之為模式。模式識別就是根據(jù)觀察到的事物的模式對事物進行分類的過程。

41圖像識別7*模式是一個客觀事物的描述，即一個可用來仿效的完善的例子。模式識別按照哲學(xué)的定義，是指一個“外部信息到達感覺器官并被轉(zhuǎn)換成有意義的感覺經(jīng)驗”的過程。模式識別問題通常表現(xiàn)為對一組過程或事件的判別或分類。**按照廣義的定義，模式是一些供模仿用的、完美無缺的標本。模式識別就是識別出特定客體所模仿的標本?？腕w是指人類能用感官直接或間接接收的外部信息，不如聲音、圖像、文字是模式，心電圖、腦電圖、地震波也是模式。42*模式是一個客觀事物的描述，即一個可用來仿效的完善的例子。模**模式類的定義模式類是具有某些公共特征的模式的系列（集合）模式類用w1,w2,…wM表示，M是類的個數(shù)**模式識別的定義根據(jù)對象的特征組成的模式，確定對象是屬于那一個模式類，即為模式識別模式與模式類舉例已知汽車的長、寬、高（x1,x2,x3）,希望識別出，大客車、小轎車、卡車（w1,w2,w3）43**模式類的定義9模式識別的過程是由計算機（機器）來自動完成。廣義上說，模式識別屬于人工智能的范疇。44模式識別的過程是由計算機（機器）來自動完成。廣義上說，模式識模式識別系統(tǒng)的基本構(gòu)成45模式識別系統(tǒng)的基本構(gòu)成11（1）數(shù)據(jù)（信息）獲取通過傳感器，將光或聲等信息轉(zhuǎn)化為電信息。（2）預(yù)處理：A、信號增強：去除噪聲，加強有用信息。信號恢復(fù)：對退化現(xiàn)象進行復(fù)原。B、歸一化處理（例如圖像大小的歸一化；神經(jīng)網(wǎng)絡(luò)輸入數(shù)據(jù)的歸一化）46（1）數(shù)據(jù)（信息）獲取12（3）特征提取和特征選擇

A、特征分類：物理特征、結(jié)構(gòu)特征、數(shù)學(xué)特征。B、特征形成：根據(jù)被識別的對象產(chǎn)生出一組基本特征，它可以是計算出來的（當識別對象是波形或數(shù)字圖像時），也可以是用儀表或傳感器測量出來的（當識別對象是事物或某種過程時），這樣產(chǎn)生的特征叫做原始特征。C、特征提取：原始特征的數(shù)量可能很大，通過映射（或變換）的方法可以用低維空間表示樣本，這個過程叫做特征提取。映射后的二次特征是原始特征的線性組合（通常是線性組合）。D、特征選擇：從一組特征中挑選出一些最有效的特征以達到降低特征空間維數(shù)的過程。47（3）特征提取和特征選擇13例如：一幅96x64的圖象細節(jié)點：分歧點、端點48例如：一幅96x64的圖象細節(jié)點：分歧點、端點14特征提取和選擇：特征能夠較容易地從圖像中提?。凰x取的特征必須有利于分類。49特征提取和選擇：特征能夠較容易地從圖像中提取；所選取的特征必（4）分類器設(shè)計分類器設(shè)計的主要功能是通過訓(xùn)練確定判決規(guī)則，使按此類判決規(guī)則分類時，錯誤率最低或風(fēng)險最小。（5）分類決策分類器按已確定的分類判別規(guī)則對待識模式進行分類判別，輸出分類結(jié)果，這就是分類器的使用過程，也稱分類決策**。50（4）分類器設(shè)計16模式可以是以矢量形式表示的數(shù)字特征；也可以是以句法結(jié)構(gòu)表示的字符串或圖；還可以是以關(guān)系結(jié)構(gòu)表示的語義網(wǎng)絡(luò)或框架結(jié)構(gòu)等。對于上述三種類型的模式，必須分別使用不同的識別方法：統(tǒng)計模式識別，結(jié)構(gòu)（句法）模式識別和人工智能方法（神經(jīng)網(wǎng)絡(luò)識別）。

51模式可以是以矢量形式表示的數(shù)字特征；17常用的模式序列表示方法模式向量、模式串、模式樹模式向量模式向量用粗體的小寫字母表示，如x,y，形式如下：

其中每一個xi代表第i個描述子，n是這種描述子的數(shù)量。模式向量被表示為一列或表示成

x=(x1,x2,…,xn)T，

其中T指出是轉(zhuǎn)秩x=x1x2.xn52常用的模式序列表示方法x=x118x=x1x2模式向量舉例 假設(shè)我們想描述三種蝴蝶花（多毛的、維吉尼亞、多色的）通過測量它們花瓣的寬度和長度。這里涉及一個兩維的模式向量：其中x1、x2分別對應(yīng)花瓣的長和寬三種模式類用w1、w2、w3表示53x=x1模式向量舉例19模式樹

以分層目錄結(jié)構(gòu)排序的模式類，一般多采用樹結(jié)構(gòu)。模式樹舉例圖像城市田園城區(qū)內(nèi)城市郊公路草地森林娛樂區(qū)商業(yè)區(qū)娛樂區(qū)商業(yè)區(qū)54模式樹圖像城市田園城區(qū)內(nèi)城市郊公路草地森林娛樂區(qū)商業(yè)區(qū)娛樂區(qū)模式串 用于以對象特征的結(jié)構(gòu)或空間關(guān)系作為模式的識別模式串舉例：梯狀的模式abaaabbb(1)S->aA(2)A->bS(3)A->b55模式串a(chǎn)baaabbb(1)S->aA21統(tǒng)計模式識別基本原理是：有相似性的樣本在模式空間中互相接近，并形成“集團”，即“物以類聚”。主要方法有：決策函數(shù)法，k近鄰分類法，支持向量機，特征分析法，主因子分析法等…參考書籍：《統(tǒng)計模式識別》(AndrewR.Webb)

JainAK,DuinRPW,JianchangMao.Statisticalpatternrecognition:areview.PatternAnalysisandMachineIntelligence,2000.22(1):4～37.

56統(tǒng)計模式識別22分類器的設(shè)計（統(tǒng)計分類器）對于要研究的分類問題有M個模式類，各個類用wi來表示，i=1,2,…,M，各個類出現(xiàn)的先驗概率P(wi)和條件概率密度函數(shù)P(wi|x)已知?，F(xiàn)在特征空間觀察到某一向量x，那么x分到哪一類最合理。貝葉斯（Bayes）決策論的方法：使分類可能出現(xiàn)的錯誤最小。57分類器的設(shè)計（統(tǒng)計分類器）23結(jié)構(gòu)（或句法）模式識別基于形式語言理論的概念為基礎(chǔ)。模式按其結(jié)構(gòu)分解為子模式或模式基元，模式基元的連接關(guān)系以文法形式進行描述。一個場景的示意圖場景結(jié)構(gòu)的分析

58結(jié)構(gòu)（或句法）模式識別一個場景的示意圖神經(jīng)網(wǎng)絡(luò)模式識別特點：具有信息分布式存儲、大規(guī)模自適應(yīng)并行處理、高度的容錯性以及學(xué)習(xí)能力缺點：實際應(yīng)用中仍有許多因素需要憑經(jīng)驗確定，比如如何選擇網(wǎng)絡(luò)節(jié)點數(shù)、初始權(quán)值和學(xué)習(xí)步長等；局部極小點問題、過學(xué)習(xí)與欠學(xué)習(xí)問題等模糊模式識別模糊集理論，Zadeh，1965模糊集理論在模式識別中的應(yīng)用59神經(jīng)網(wǎng)絡(luò)模式識別25圖像的基本概念“圖”是物體投射或反射光的分布，“像”是人的視覺系統(tǒng)對圖的接受在大腦中形成的印象或反映。因此，圖像是客觀和主觀的結(jié)合。

分類：（1）從視覺特點，分為可見圖像和不可見圖像。（2）從圖像空間坐標和明暗程度的連續(xù)性，可分為模擬圖像和數(shù)字圖像。60圖像的基本概念“圖”是物體投射或反射光的分布，“像”是人的視圖像的表示方法模擬圖像：

圖像是連續(xù)的，即用函數(shù)f(x,y)表示的圖像。其中：

x,y表示空間坐標點的位置；

f表示圖像在點（x,y）的某種性質(zhì)的數(shù)值，如亮度、灰度，色度等。

f,x,y可以是任意實數(shù)。61圖像的表示方法模擬圖像：27數(shù)字圖像：

I(r,c)是對f(x,y)