工學(xué)圖像處理第10章模式識(shí)別課件

數(shù)字圖像處理學(xué)第10章模式識(shí)別的理論和方法（第一講）數(shù)字圖像處理學(xué)1

10.1概述

模式識(shí)別是隨著計(jì)算機(jī)的發(fā)展而興起的一門新的技術(shù)科學(xué)。自50年代末期開(kāi)始來(lái)，至今已得到了迅速的發(fā)展和廣泛的應(yīng)用。模式識(shí)別對(duì)我們每個(gè)人來(lái)說(shuō)，每時(shí)每刻都在進(jìn)行著，用計(jì)算機(jī)進(jìn)行模式識(shí)別就是研究讓計(jì)算機(jī)處理哪些信息和怎樣處理這些信息。因此，它是信息處理中的又一個(gè)研究領(lǐng)域。10.1概述模式識(shí)別是隨著計(jì)算機(jī)的發(fā)2例如，根據(jù)氣象觀測(cè)數(shù)據(jù)或氣象衛(wèi)星拍照的照片如何準(zhǔn)確地預(yù)報(bào)天氣；根據(jù)石油勘探的人工地震波如何提供存油的巖層結(jié)構(gòu)；從遙感圖片中如何區(qū)別出農(nóng)作物、湖泊、森林、導(dǎo)彈基地等；例如，3在高能物理實(shí)驗(yàn)中怎樣識(shí)別粒子經(jīng)跡；在醫(yī)療診斷中如何從X光片中發(fā)現(xiàn)病灶；如何根據(jù)信函上的郵政編碼自動(dòng)分揀信件；在繁華的交通中心根據(jù)車輛的流量如何決定開(kāi)放紅燈或綠燈等諸如此類的問(wèn)題都是模式識(shí)別研究的課題。在高能物理實(shí)驗(yàn)中怎樣識(shí)別粒子經(jīng)跡；4這些課題看上去名目繁多，但總起來(lái)看主要是研究分類問(wèn)題。模式識(shí)別研究的對(duì)象基本上可概括為二類：一是有直覺(jué)形象的如圖片、相片、圖案、文字等等;一種是無(wú)直覺(jué)形象而只有數(shù)據(jù)或信號(hào)波形如言、聲音、心電脈沖、地震波等等。這些課題看上去名目繁多，但總起來(lái)看主要是研究分類問(wèn)題。5

但對(duì)模式識(shí)別來(lái)說(shuō)，無(wú)論是數(shù)據(jù)、信號(hào)還是平面圖形和物體，都是除掉它們的物理內(nèi)容找出它們的共性，把具有同一共性的歸為一類，有另一種共性者則歸為另一類。例如：10個(gè)阿拉伯?dāng)?shù)字分為10類；26個(gè)英文字母分成26類；白血球有5種就分為5類；肺部X光片可分為異常和正常2類等等。但對(duì)模式識(shí)別來(lái)說(shuō)，無(wú)論是數(shù)據(jù)、信號(hào)還是平面圖形和物體6

模式識(shí)別研究的目的是構(gòu)造自動(dòng)處理某些信息的機(jī)器系統(tǒng)，以代替人完成分類和辨識(shí)的任務(wù)。特別是有直覺(jué)形象的一類圖像識(shí)別問(wèn)題同人或其它動(dòng)物的感知活動(dòng)尤其同人腦的智力活動(dòng)聯(lián)系密切。因此，根據(jù)人的大腦識(shí)別的機(jī)理，在工程上用計(jì)算機(jī)模擬，從而研究識(shí)別方法是有現(xiàn)實(shí)意義的。模式識(shí)別研究的目的是構(gòu)造自動(dòng)處理某些信息的機(jī)器系統(tǒng)，以代替7

盡管這種模擬同人的意識(shí)和思維活動(dòng)有本質(zhì)的差別，但若從人類識(shí)別圖像的過(guò)程及認(rèn)識(shí)規(guī)律中得到啟發(fā)，在某些環(huán)節(jié)上得到借鑒，從而采用現(xiàn)代技術(shù)解決實(shí)際問(wèn)題這是十分有益的。盡管這種模擬同人的意識(shí)和思維活動(dòng)有本質(zhì)的差別，但若從人8

在具有視覺(jué)形象的圖像識(shí)別中，許多方法和概念就是從人類認(rèn)識(shí)圖像的過(guò)程中直接移植過(guò)來(lái)的。人類在現(xiàn)實(shí)生活中要區(qū)別各種現(xiàn)象、物體及聲音，一般總是首先抓住它們的特征進(jìn)行比較、分析、判斷，從而將它們分類或識(shí)別。特別是數(shù)理統(tǒng)計(jì)和模糊數(shù)學(xué)的發(fā)展，總結(jié)了人們的認(rèn)識(shí)邏輯，從而也使圖像識(shí)別有了理論基礎(chǔ)。在具有視覺(jué)形象的圖像識(shí)別中，許多方法和概念就是從人類9一個(gè)圖像識(shí)別系統(tǒng)可分為三個(gè)主要部分。其框圖如圖(10.1)所示。(1)圖像信息的獲??；(2)信息的加工和處理，抽取特征；(3)判斷或分類。

圖10—1圖像識(shí)別系統(tǒng)框圖被識(shí)圖像圖像獲取信息處理特征抽取判決結(jié)果一個(gè)圖像識(shí)別系統(tǒng)可分為三個(gè)主要部分。其框圖如圖(10.1)所10

第一部分相當(dāng)于對(duì)被研究對(duì)象的調(diào)查和了解，從中得到數(shù)據(jù)和材料；對(duì)圖像識(shí)別來(lái)說(shuō)，就是把圖片，底片，文字圖形等用光電掃描設(shè)備變換為電信號(hào)，而對(duì)語(yǔ)音來(lái)說(shuō)就可用話筒等設(shè)備把聲音變成電信號(hào)以備后序處理。第一部分相當(dāng)于對(duì)被研究對(duì)象的調(diào)查和了解，從中得到數(shù)據(jù)和材料11

第二部分相當(dāng)于人們把調(diào)查了解到的數(shù)據(jù)材料進(jìn)行加工、整理、分析、歸納，以去偽存真，去粗取精，抽出能反映事物本質(zhì)的東西。當(dāng)然，抽取什么特征，保留多少特征與采用何種判決有很大關(guān)系。

第二部分相當(dāng)于人們把調(diào)查了解到的數(shù)據(jù)材料進(jìn)行加工、整12

第三部分是判決和分類，這相當(dāng)與人們從感性認(rèn)識(shí)上升到理性認(rèn)識(shí)而做出結(jié)論的過(guò)程。第三部分與抽取特征的方式密切相關(guān)。它的復(fù)雜程度依賴于特征的抽取方式，例如：類似度、相關(guān)性、最小距離等。第三部分是判決和分類，這相當(dāng)與人們從感性認(rèn)識(shí)上升到理性13

模式識(shí)別的主要方法可分為兩大類：統(tǒng)計(jì)學(xué)方法語(yǔ)言學(xué)方法。模式識(shí)別的主要方法可分為兩大類：14

統(tǒng)計(jì)學(xué)方法是建立在被研究對(duì)象的統(tǒng)計(jì)知識(shí)上，也就是對(duì)圖像進(jìn)行大量的統(tǒng)計(jì)分析，抽出圖像中本質(zhì)的特征而進(jìn)行識(shí)別。統(tǒng)計(jì)學(xué)方法是建立在被研究對(duì)象的統(tǒng)計(jì)知識(shí)上，也就是對(duì)圖像15

這統(tǒng)計(jì)學(xué)方法是一種數(shù)學(xué)方法，它是受數(shù)學(xué)中的決策理論的啟發(fā)而產(chǎn)生的識(shí)別方法。在這種方法中很大的力量用在抽取圖像特征方面，也就是把圖像大量的原始信息減縮為少數(shù)特征，然后再提取這些特征，把它作為識(shí)別的依據(jù)。這統(tǒng)計(jì)學(xué)方法是一種數(shù)學(xué)方法，它是受數(shù)學(xué)中的決策理論的啟16語(yǔ)言學(xué)法或句法結(jié)構(gòu)識(shí)別法是立足于分析圖像結(jié)構(gòu)。把一個(gè)圖像看成語(yǔ)言構(gòu)造。例如一個(gè)英文句子，它是詞和短語(yǔ)組成的并按一定的語(yǔ)法表達(dá)出來(lái)，其中最基本元素是單詞。與此類似，圖像是由一些直線、斜線、點(diǎn)、彎曲線及環(huán)等組成。語(yǔ)言學(xué)法或句法結(jié)構(gòu)識(shí)別法是立足于分析圖像結(jié)構(gòu)。把一個(gè)17剖析這些基本原素，看它們是以什么規(guī)則構(gòu)成圖像，這就是結(jié)構(gòu)分析的課題。這些基本元素相當(dāng)于句子中的單詞，那些直線，曲線的組合相當(dāng)于短語(yǔ)，它們?nèi)w如何構(gòu)成圖像就相當(dāng)于語(yǔ)法規(guī)則。此時(shí)，圖像識(shí)別就相當(dāng)于檢查圖像所代表的某一類句型是否符合事先規(guī)定的語(yǔ)法，如果語(yǔ)法正確就識(shí)別出結(jié)果。由此可見(jiàn)，這種方法主要是利用了圖像結(jié)構(gòu)上的關(guān)系，這和統(tǒng)計(jì)學(xué)方法不同。剖析這些基本原素，看它們是以什么規(guī)則構(gòu)成圖像，這就是結(jié)構(gòu)分析18

兩類方法的不足：

第一種方法沒(méi)有利用圖像本身的結(jié)構(gòu)關(guān)系，第二類方法沒(méi)有考慮圖像在環(huán)境中受噪聲的干擾。兩類方法的不足：19

如果兩者結(jié)合起來(lái)考慮可能會(huì)有新的識(shí)別方法，目前這方面的研究還不多。除此之之外，其于模糊數(shù)學(xué)的發(fā)展，目前正在發(fā)展一種模糊識(shí)別法。這種方法較多地考慮了人的邏輯思維方法，方法較為獨(dú)特，這種方法的研究得到了人們的關(guān)注。如果兩者結(jié)合起來(lái)考慮可能會(huì)有新的識(shí)別方法，目前這方面的20模糊識(shí)別的應(yīng)用較廣，大致可有如下幾個(gè)方面：

(1)字符識(shí)別(Characterrecognition)；

(2)醫(yī)學(xué)診斷(Medicaldiagnosis)；

(3)遙感(RemoteSensing)；

(4)人臉和指紋鑒別(Identificationofhumanfacesandfingerprints)；

(5)污染(Pollution)；

模糊識(shí)別的應(yīng)用較廣，大致可有如下幾個(gè)方面：21(6)自動(dòng)檢查和自動(dòng)化(AutomaticinspectionandAutomation)；

(7)可靠性(Reliability)；

(8)社會(huì)經(jīng)濟(jì)(Socio-economics)；

(9)語(yǔ)音識(shí)別和理解(Speechunderstandingandrecognition)；

(10)考古(Archaeology)。(6)自動(dòng)檢查和自動(dòng)化(Automaticin22

目前世界上已有一些較為完善的圖像識(shí)別系統(tǒng)。這些系統(tǒng)無(wú)論從識(shí)別分析的功能來(lái)講還是從處理速度上來(lái)說(shuō)都較初期有很大的發(fā)展。例如，美國(guó)的OLPARS(聯(lián)機(jī)圖像分析識(shí)別系統(tǒng))能識(shí)別數(shù)字、字母及分析識(shí)別航空照片。目前世界上已有一些較為完善的圖像識(shí)別系統(tǒng)。這些系統(tǒng)無(wú)論從識(shí)23

英國(guó)新產(chǎn)品QUANTIMET720高速多功能圖像分析系統(tǒng)可以觀察由光學(xué)和顯微鏡獲得的圖像、照片、底片、電影、幻燈片及X光照片。能對(duì)圖像進(jìn)行各種測(cè)量及單獨(dú)實(shí)時(shí)測(cè)量特征，數(shù)據(jù)由微計(jì)算機(jī)處理。日本的OCR-ASPET/71型識(shí)別系統(tǒng)能識(shí)別多種字體，每秒鐘可識(shí)別2000字。英國(guó)新產(chǎn)品QUANTIMET720高速多功能圖像24

英國(guó)的IBM1287光學(xué)文字閱讀機(jī)能識(shí)別10個(gè)阿拉伯?dāng)?shù)字，在郵局推廣應(yīng)用，誤識(shí)率為0.4％，拒識(shí)率為1.4％。日本NEC公司研制的郵區(qū)編碼信函分揀機(jī)能識(shí)別印刷體數(shù)字、字母、速度達(dá)30000件/小時(shí)。在醫(yī)學(xué)中也有較多應(yīng)用，如一種5類白血球分類器可做到95％的正確分類，每分鐘100個(gè)細(xì)胞。另外還有染色體自動(dòng)分類，醫(yī)學(xué)管理等方面也多有應(yīng)用。英國(guó)的IBM1287光學(xué)文字閱讀機(jī)能識(shí)別10個(gè)阿拉25

隨著計(jì)算機(jī)技術(shù)的發(fā)展，模式識(shí)別的理論和方法得到進(jìn)一步發(fā)展特別是圖像識(shí)別這個(gè)領(lǐng)域近年來(lái)興旺活躍，發(fā)展蓬勃。在某種意義上來(lái)說(shuō)，圖像識(shí)別已發(fā)展成為人同機(jī)器，自然科學(xué)和社會(huì)科學(xué)基礎(chǔ)理論同技術(shù)應(yīng)用之間的接口領(lǐng)域。隨著計(jì)算機(jī)技術(shù)的發(fā)展，模式識(shí)別的理論和方法得到進(jìn)一步發(fā)展特26

目前，不僅研究單一功能的識(shí)別系統(tǒng)，而且在研制多功能的綜合識(shí)別系統(tǒng)。如北方交通大學(xué)信息科學(xué)研究所會(huì)同清華大學(xué)、上海交通大學(xué)研究的“超級(jí)智能視聽(tīng)信息處理系統(tǒng)”就是一種多信息融合的處理系統(tǒng)，它的目的是利用多信息的融合技術(shù)，在模式識(shí)別中互相補(bǔ)充、互相借鑒，從而克服過(guò)去單一識(shí)別所面臨的難以克服的困難，試圖在模式識(shí)別領(lǐng)域有較大的突破。目前，不僅研究單一功能的識(shí)別系統(tǒng)，而且在研制多功能的27同時(shí)，該系統(tǒng)在當(dāng)今頗為熱門的人—機(jī)通過(guò)自然手段進(jìn)行交互的領(lǐng)域也進(jìn)行了有益的嘗試。近年來(lái)國(guó)際上在這一領(lǐng)域給予了極大的重視，微軟、Intel、IBM等大公司紛紛提出研究計(jì)劃，所謂的“Multimodel”研究已形成了新的研究熱點(diǎn)。同時(shí)，該系統(tǒng)在當(dāng)今頗為熱門的人—機(jī)通過(guò)自然手段進(jìn)行交互的領(lǐng)域28與此同時(shí)，對(duì)有關(guān)圖像識(shí)別的圖像處理軟件及新算法也受到極大的重視，如人工神經(jīng)元網(wǎng)絡(luò)、遺傳算法等在模式識(shí)別研究中已取得了可喜的結(jié)果?，F(xiàn)在，研制高性能、多用途的圖像分析識(shí)別系統(tǒng)乃是有待我們努力解決的課題，隨著生產(chǎn)與科學(xué)技術(shù)的發(fā)展，各個(gè)領(lǐng)域?qū)?huì)給模式識(shí)別技術(shù)以極大的注意，這一技術(shù)必將在我國(guó)的現(xiàn)代化建設(shè)中發(fā)揮作用。與此同時(shí)，對(duì)有關(guān)圖像識(shí)別的圖像處理軟件及新算法也受到極2910.2統(tǒng)計(jì)模式識(shí)別法

統(tǒng)計(jì)模式識(shí)別的過(guò)程如下圖所示。這是計(jì)算機(jī)識(shí)別的基本過(guò)程。10.2統(tǒng)計(jì)模式識(shí)別法統(tǒng)計(jì)模式識(shí)別的過(guò)程如下圖所示。30工學(xué)圖像處理第10章模式識(shí)別課件31數(shù)字化的任務(wù)是把圖像信號(hào)變成計(jì)算機(jī)能夠接受的數(shù)字信號(hào)。預(yù)處理的目的是去除干擾、噪聲及差異，將原始信號(hào)變成適合于進(jìn)行特征抽取的形式，然后，對(duì)經(jīng)過(guò)預(yù)處理的信號(hào)進(jìn)行特征抽取。最后進(jìn)行判決分類，得到識(shí)別結(jié)果。數(shù)字化的任務(wù)是把圖像信號(hào)變成計(jì)算機(jī)能夠接受的數(shù)字信號(hào)。預(yù)處理32為了進(jìn)行分類，必須有圖像樣本。對(duì)樣本圖像進(jìn)行特征選擇及學(xué)習(xí)是識(shí)別處理中所必要的分析工作。為了進(jìn)行分類，必須有圖像樣本。對(duì)樣本圖像進(jìn)行特征選擇及學(xué)習(xí)是33

10.2.3特征的抽取與選擇

10.2.1決策理論方法

10.2.2統(tǒng)計(jì)分類法

10.2.3特征的抽取與選擇10.2.1決策理論方法1342．1決策理論方法統(tǒng)計(jì)模式識(shí)別方法最終歸結(jié)為分類問(wèn)題。假如已抽取出N個(gè)特征，而圖像可分為m類，那么就可以對(duì)N進(jìn)行分類，從而決定未知圖像屬于m類中的哪一類。一般把識(shí)別模式看成是對(duì)N維空間中的向量X進(jìn)行分類，即：2．1決策理論方法統(tǒng)計(jì)模式識(shí)別方法最終歸結(jié)為分類問(wèn)題。假如35

(10—1)(10—1)36模式類別為。識(shí)別就是要判斷X是否屬于以及屬于中的哪一類。在這個(gè)過(guò)程中主要解決兩個(gè)問(wèn)題：一是如何抽取特征，要求特征數(shù)N盡可能小而且對(duì)分類判斷有效；二是假設(shè)已有了代表模式的向量，如何決定它屬于哪一類，這就需要判別函數(shù)。模式類別為37例如，模式有共m個(gè)類別，則應(yīng)有，，共m個(gè)判別函數(shù)。如果X屬于第i類，則有：

(10—2)例如，模式有38在兩類的分界線上，則有

(10—3)這時(shí)X既屬于第I類，也屬于第j類，因此這種判別失效。為了進(jìn)行識(shí)別就必須重新考慮其他特征，再進(jìn)行判別。問(wèn)題的關(guān)鍵是找到合適的判別函數(shù)。在兩類的分界線上，則有391．常用的決策規(guī)則1）、基于最小錯(cuò)誤率的貝葉斯決策在圖像識(shí)別中，我們總希望盡量減少分類錯(cuò)誤，利用貝葉斯（Bayes）公式能夠得到錯(cuò)誤率最小的分類規(guī)則，這就是基于最小錯(cuò)誤率的貝葉斯決策。1．常用的決策規(guī)則40

為解決兩類事務(wù)X的分類問(wèn)題，設(shè)模式類別為和，其中類別狀態(tài)是一個(gè)隨機(jī)變量，狀態(tài)的概率是可以估計(jì)的。狀態(tài)的概率為，狀態(tài)的概率為。顯然，為解決兩類事務(wù)X的分類問(wèn)題，設(shè)模式類別為41

設(shè):為狀態(tài)下觀察X

類的條件概率密度；為狀態(tài)下觀察X類的條件概率密度；

利用貝葉斯公式：設(shè):為狀態(tài)42得到的條件概率稱為狀態(tài)的后驗(yàn)概率。得到的條件概率稱43貝葉斯公式實(shí)質(zhì)上是通過(guò)觀察x，把狀態(tài)的先驗(yàn)概率轉(zhuǎn)化為狀態(tài)的后驗(yàn)概率。這樣基于最小錯(cuò)誤率的貝葉斯決策規(guī)則為：貝葉斯公式實(shí)質(zhì)上是通過(guò)觀察x，把狀態(tài)的先驗(yàn)概率44如果，則把X歸類為；如果，則把X歸類為。如果45上面的規(guī)則也可以寫(xiě)成下式形式：則。上面的規(guī)則也可以寫(xiě)成下式形式：462）、基于最小風(fēng)險(xiǎn)的貝葉斯決策最小風(fēng)險(xiǎn)的貝葉斯決策是考慮各種錯(cuò)誤造成損失而提出的決策規(guī)則。2）、基于最小風(fēng)險(xiǎn)的貝葉斯決策47設(shè)：①觀察是n維隨機(jī)向量，（10－6）②狀態(tài)空間由c個(gè)自然狀態(tài)組成，

設(shè)：①觀察是n維隨機(jī)向量，48

③決策空間由個(gè)決策組成。④損失函數(shù)為。它表示當(dāng)真實(shí)狀態(tài)為，而所采取的決策為時(shí)所帶來(lái)的損失。③決策空間由個(gè)決策49已知條件概率及類條件概率密度，這里。后驗(yàn)概率為已知條件概率及類條件概率密度50這里引入了“損失”的概念，就必須考慮所采取的決策是否能使損失最小。對(duì)于給定的X，如果采用決策，可以在中任選一個(gè)，在這種情況下，條件期望損失為：這里引入了“損失”的概念，就必須考慮所采取的決策是否51這里條件期望損失也稱為條件風(fēng)險(xiǎn)。由于X是觀察值，采取不同的決策時(shí)，條件風(fēng)險(xiǎn)的大小不同，因此，采用的決策與X有關(guān)，這樣決策可以看成是X的函數(shù)，即，，

這里條件期望損失也稱為條52因此，可定義期望風(fēng)險(xiǎn)為：這里是采取的平均風(fēng)險(xiǎn)，是對(duì)某一X的取值采取決策所帶來(lái)的風(fēng)險(xiǎn)。

因此，可定義期望風(fēng)險(xiǎn)為：53因此，最小風(fēng)險(xiǎn)貝葉斯決策為：則因此，最小風(fēng)險(xiǎn)貝葉斯決策為：54

2．

線性判別函數(shù)線性判別函數(shù)是應(yīng)用較廣的一種判別函數(shù)。所謂線性判別函數(shù)是指判別函數(shù)是圖像所有特征量的線性組合，即式中代表第i個(gè)判別函數(shù)；是系數(shù)或權(quán)；為常數(shù)項(xiàng)或稱為閾值。在兩類之間的判決界處有下式的形式。

(10—4)

(10—5)2．線性判別函數(shù)線性判別函數(shù)是應(yīng)用較廣的一種判別函數(shù)55可以寫(xiě)成下式形式：

(10—6)

該方程在二度空間中是直線，在三度空間中是平面，在N度空間中則是超平面?？梢詫?xiě)成下式形式：(1056其判決過(guò)程可如下進(jìn)行：如果或,則；如果或,則。其判決過(guò)程可如下進(jìn)行：57

用線性判別函數(shù)進(jìn)行分類的是線性分類器。任何m類問(wèn)題都可以分解為(m-1)個(gè)2類識(shí)別問(wèn)題。方法是先把模式空間分為1類和其他類，如此進(jìn)行下去即可。因此，最簡(jiǎn)單和最基本的是兩類線性分類器。用線性判別函數(shù)進(jìn)行分類的是線性分類器。任何m類問(wèn)題都58

分離兩類的判決界由表示。對(duì)于任何特定的輸入模式必須判定大還是大。若考慮某個(gè)函數(shù)，對(duì)于１類模式D為正，對(duì)于２類模式D為負(fù)。于是，只要處理與D相應(yīng)的一組權(quán)的輸入模式并判斷輸出符號(hào)即可進(jìn)行分類。分離兩類的判決界由表示。對(duì)于任何特59在線性分類器中要找到合適的系數(shù)，以便使分類盡可能不出差錯(cuò)，唯一的辦法就是試驗(yàn)法。例如，先設(shè)所有的系數(shù)為1，送進(jìn)每一個(gè)模式，如果分類有錯(cuò)就調(diào)整系數(shù)，這個(gè)過(guò)程就叫做線性分類器的訓(xùn)練或?qū)W習(xí)。例如，我們把N個(gè)特征X和1放在一起叫做Y，N+1個(gè)系數(shù)為W，即：在線性分類器中要找到合適的系數(shù)，以便使分類盡可能不出差60(10—7)(10—7)61考慮分別屬于兩個(gè)不同模式類，m=2，此時(shí)，有兩個(gè)訓(xùn)練集和。兩個(gè)訓(xùn)練集合是線性可分的，這意味著存在一個(gè)加權(quán)向量W，使得

(10—8)式中是Y的轉(zhuǎn)置?？紤]分別屬于兩個(gè)不同模式類，m=2，此時(shí)，有兩個(gè)訓(xùn)練集62工學(xué)圖像處理第10章模式識(shí)別課件63如果分類器的輸出不能滿足式(10—8)的條件,可以通過(guò)“誤差校正”的訓(xùn)練步驟對(duì)系數(shù)加以調(diào)整。例如，如果第一類模式不大于零，則說(shuō)明系數(shù)不夠大，可用加大系數(shù)的方法進(jìn)行誤差修正。如果分類器的輸出不能滿足式(10—8)的條件,可以通過(guò)“誤差64具體修正方法如下:

對(duì)于任一個(gè),若,則使

(10—9)

對(duì)于任一個(gè),若,則使

(10—10)具體修正方法如下:對(duì)于任一個(gè),若,則使65通常使用的誤差修正方法有固定增量規(guī)則，絕對(duì)修正規(guī)則及部分修正規(guī)則。固定增量規(guī)則是選擇為一個(gè)固定的非負(fù)數(shù)。絕對(duì)修正規(guī)則是取為一個(gè)最小整數(shù)，它可使的值剛好大于零，即的最小整數(shù)(10—11)通常使用的誤差修正方法有固定增量規(guī)則，絕對(duì)修正規(guī)則及部分修正66部分修正規(guī)則可取為下式所決定的值(10—12)部分修正規(guī)則可取為下式所決定的值(10—1267

3．Fisher線性判別

Fisher線性判別起源于1936年R.A.Fisher的研究工作。在統(tǒng)計(jì)模式識(shí)別方法中，遇到的主要問(wèn)題之一就是維數(shù)問(wèn)題。在低維中可行的方法在高維上往往行不通。因此，降低維數(shù)是識(shí)別的關(guān)鍵問(wèn)題。3．Fisher線性判別Fisher線性判別起源于168

考慮把一個(gè)d維空間樣本投影到一條直線上，形成一維空間，在數(shù)學(xué)上并非難事。但是，在原有的d維空間中緊湊可分的集群，當(dāng)投影到一維時(shí)，有可能使幾類樣本混在一起而無(wú)法識(shí)別。因此，如何找到最好的，易于分類的投影線就是Fisher法要解決的基本問(wèn)題?？紤]把一個(gè)d維空間樣本投影到一條直線上，形成一維空間，69設(shè)有一個(gè)集合包含N個(gè)d維樣本，其中個(gè)屬于類的樣本子集為，屬于的個(gè)樣本為。對(duì)的分量作線性組合有：

（10－21）

設(shè)有一個(gè)集合包含N個(gè)d維樣本70由此可得到個(gè)一維樣本組成的集合。從幾何上看，如果，則每個(gè)就是相對(duì)應(yīng)的到方向?yàn)橹本€上的投影。這里方向的選擇是很重要的，它將影響投影后的可分離程度，進(jìn)而影響識(shí)別結(jié)果。由此可得到個(gè)一維樣本組成的集71設(shè)：①在維空間，各類樣本的均值向量為（10－22）樣本類內(nèi)離散度矩陣為，總類內(nèi)離散度矩陣為設(shè)：72

（10－23）樣本類間離散度（10－24）

73

②在一維Y空間各類樣本均值為（10－25）②在一維Y空間74樣本類內(nèi)離散度矩陣為，總類內(nèi)離散度矩陣為