數(shù)字圖像處理與模式識(shí)別.ppt

1、數(shù)字圖像處理與模式識(shí)別,主講： 相 明 西安交通大學(xué)電信學(xué)院計(jì)算機(jī)系 E-Mail: M,緒 論,一、模式識(shí)別的基本概念 二、模式識(shí)別系統(tǒng)的基本設(shè)計(jì)方法 三、模式識(shí)別問(wèn)題的一般描述 四、模式識(shí)別的應(yīng)用 五、數(shù)字圖像處理與模式識(shí)別 六：本課程的主要研究?jī)?nèi)容,一、模式識(shí)別的基本概念 1、什么是模式識(shí)別？ 簡(jiǎn)單地說(shuō)，模式識(shí)別就是對(duì)觀察到的物理對(duì)象進(jìn)行識(shí)別與分類。模式識(shí)別無(wú)所不在，我們每一天都在進(jìn)行著成功的模式識(shí)別。一個(gè)簡(jiǎn)單的例子是根據(jù)聲音識(shí)別汽車的類別。再如讀書(shū)看報(bào)。 2、如何讓機(jī)器自動(dòng)進(jìn)行模式識(shí)別？ 模式識(shí)別的定義：根據(jù)對(duì)某個(gè)物理對(duì)象的觀測(cè)信息，利用計(jì)算機(jī)對(duì)該物理對(duì)象進(jìn)行分類，從而給出該物理對(duì)象所

2、屬的類別。在這里，“模式”就是指存儲(chǔ)于計(jì)算機(jī)內(nèi)的有關(guān)物理對(duì)象的觀測(cè)信息，它可以是圖像、聲音、溫度、壓力等任何可以測(cè)量的觀測(cè)量。為了讓機(jī)器自動(dòng)完成模式識(shí)別任務(wù)，我們需要（1）數(shù)據(jù)采集設(shè)備（2）模式識(shí)別算法。 一個(gè)簡(jiǎn)單的問(wèn)題：如何讓機(jī)器可以認(rèn)字？,3、模式識(shí)別研究的意義 對(duì)外界事物的感知與識(shí)別是智能的基礎(chǔ)。如果我們能夠很好的解決模式識(shí)別問(wèn)題，就能夠制造出更高級(jí)的智能系統(tǒng)。一個(gè)例子是手寫體識(shí)別。另一個(gè)例子是自動(dòng)駕駛系統(tǒng)。 模式識(shí)別在計(jì)算機(jī)學(xué)科中的地位：模式識(shí)別是計(jì)算機(jī)科學(xué)與控制科學(xué)的一個(gè)交叉學(xué)科，是智能系統(tǒng)及智能信息處理的一個(gè)重要基礎(chǔ)。,二、模式識(shí)別系統(tǒng)的基本設(shè)計(jì)方法 模式識(shí)別問(wèn)題的一個(gè)例子：設(shè)計(jì)一

3、個(gè)自動(dòng)分類系統(tǒng)，實(shí)現(xiàn)對(duì)兩種不同類別魚(yú)類的自動(dòng)分類(salmon,sea bass)。結(jié)合該例子，我們討論以下幾個(gè)問(wèn)題（1）觀測(cè)量的獲取（2）特征提?。?）分類器的訓(xùn)練（4）分類器的測(cè)試（5）分類器的設(shè)計(jì)過(guò)程（6）分類器設(shè)計(jì)過(guò)程中需要考慮的一些關(guān)鍵因素。,1、觀測(cè)量的獲?。▓D像獲?。菏紫韧ㄟ^(guò)攝像機(jī)獲取圖像，然后采用圖像分割技術(shù)，得到單個(gè)物理對(duì)象的圖像。,2、特征提取：抽取關(guān)鍵特征，并根據(jù)這些特征對(duì)物理對(duì)象進(jìn)行分類。 長(zhǎng)度特征:根據(jù)長(zhǎng)度進(jìn)行分類 salmon一般較短，sea bass一般較長(zhǎng),亮度特征：根據(jù)亮度進(jìn)行分類 salmon一般較暗， sea bass一般較亮,特征向亮：提取一組特征，構(gòu)

4、成特征向量，根據(jù)特征向量進(jìn)行分類。特征向量=（亮度、寬度）；x=(x1,x2);特征空間: 特征向量所有可能的取值的集合樣 本: (x,y), x:該樣本對(duì)應(yīng)的特征向量y:該樣本的類別，y=+1(salmon),或y= -1(bass),在特征空間中構(gòu)造一個(gè)分類面，對(duì)兩類樣本進(jìn)行分類。,3、分類器的訓(xùn)練：根據(jù)已有的一組樣本（樣本集），構(gòu)造一個(gè)判決函數(shù)d(x)，根據(jù)d(x)實(shí)現(xiàn)對(duì)兩類樣本的正確分類。我們希望d(x)盡可能滿足 ： 對(duì)于第一類樣本(x,y),y= 1: d(x)0或sign(d(x)= 1 對(duì)于第二類樣本(x,y),y=-1: d(x)0或sign(d(x)=-1 其中，d(x)=

5、0 稱為分類器的分類面。這一過(guò)程稱為分類器的訓(xùn)練過(guò)程，在訓(xùn)練過(guò)程中使用的樣本，稱為訓(xùn)練樣本。由訓(xùn)練樣本構(gòu)成的集合，稱為訓(xùn)練集。 判決函數(shù)d(x)可以采用多種不同的函數(shù)模型，常用模型有線性模型、多項(xiàng)式模型、神經(jīng)網(wǎng)絡(luò)模型等。在本例中我們可以采用線性模型 d(x)=w.x+b. 因此，分類器訓(xùn)練的任務(wù)就是，根據(jù)訓(xùn)練樣本確定線性分類器的權(quán)系數(shù)w及偏差項(xiàng)b。采用所得分類器對(duì)訓(xùn)練樣本進(jìn)行分類時(shí)的錯(cuò)誤率，稱為訓(xùn)練誤差。,4、分類器的測(cè)試：在分類器訓(xùn)練過(guò)程結(jié)束后，需要采用一些新的樣本對(duì)分類器的分類性能進(jìn)行測(cè)試，這些樣本稱為測(cè)試樣本。由測(cè)試樣本構(gòu)成的集合稱為測(cè)試集。 測(cè)試過(guò)程： 對(duì)于測(cè)試樣本(x,y),y= 1

6、, 如果d(x)0則分類正確。 如果d(x) 0則產(chǎn)生一個(gè)分類錯(cuò)誤。 分類器對(duì)測(cè)試樣本集進(jìn)行分類時(shí)的錯(cuò)誤率，稱為測(cè)試誤差。采用所得分類器對(duì)訓(xùn)練樣本進(jìn)行分類時(shí)的錯(cuò)誤率，稱為訓(xùn)練誤差 訓(xùn)練誤差、測(cè)試誤差統(tǒng)稱為經(jīng)驗(yàn)誤差。分類器優(yōu)化的原則應(yīng)該是使測(cè)試誤差近可能小。因此，判決函數(shù)d(x)應(yīng)根據(jù)訓(xùn)練樣本及測(cè)試樣本共同確定。,分類器的應(yīng)用：在對(duì)分類器進(jìn)行訓(xùn)練及測(cè)試，并最終確定了分類器的判決函數(shù)以后，就可將分類器投入實(shí)際應(yīng)用。在實(shí)際應(yīng)用中，我們只能觀測(cè)到物理對(duì)象的特征向量，但是并不知道該對(duì)象的類別。為此，我們采用分類器的判決函數(shù)對(duì)其類別進(jìn)行預(yù)測(cè)（即分類）。對(duì)于觀測(cè)到的特征向量 x： 如果d(x)0，則判y=1

7、 （物理對(duì)象屬于第一類） 如果d(x)0，則判y=-1（物理對(duì)象屬于第二類）,5、分類器的設(shè)計(jì)過(guò)程,6、分類器設(shè)計(jì)過(guò)程中需要考慮的一些關(guān)鍵因素： (1) 兩類不同樣本的特征向量的真實(shí)分布：特征向量的概率分布決定了分類器在實(shí)際應(yīng)用中的真實(shí)分類能力（泛化能力）。特征向量的概率分布通常是未知的。因此分類器的泛化能力也是未知的。但是，分類器的真實(shí)分類能力可以通過(guò)測(cè)試誤差進(jìn)行初步的估計(jì)。 (2) 訓(xùn)練樣本及測(cè)試樣本的數(shù)量：越多越好，但是在實(shí)際應(yīng)用中，獲取大量的樣本通常需要付出很大的代價(jià)。,(3) 分類器的復(fù)雜度選擇：采用復(fù)雜度高的分類器可以獲得較小的訓(xùn)練誤差。但是，隨著分類器復(fù)雜度的進(jìn)一步提高，伴隨著訓(xùn)

8、練誤差的降低，分類器的測(cè)試誤差卻會(huì)開(kāi)始變大。這一現(xiàn)象稱為過(guò)度擬合（過(guò)學(xué)習(xí)）。過(guò)度擬合的出現(xiàn)，意味著分類器泛化能力的降低。它說(shuō)明在分類器的設(shè)計(jì)過(guò)程中，分類器（也即判決函數(shù)）的復(fù)雜度應(yīng)該受到適當(dāng)?shù)南拗啤?分類器復(fù)雜度選擇的兩個(gè)基本原則： 1、Occam razor 原則：為了保證泛化能力，在經(jīng)驗(yàn)誤差相近的條件下， 應(yīng)該選擇復(fù)雜度較低的分類器。 2、統(tǒng)計(jì)學(xué)習(xí)理論：為了保證泛化能力，分類器的復(fù)雜度應(yīng)與可用樣本的數(shù)量相平衡。樣本數(shù)量較多時(shí)，采用復(fù)雜度高的分類器才更可靠。,分類器復(fù)雜度過(guò)高：分類器復(fù)雜度過(guò)高，出現(xiàn)過(guò)度擬合，泛化能力可能會(huì)有所降低。,分類器復(fù)雜度過(guò)低：由于分類器的復(fù)雜度過(guò)低，無(wú)法有效表示不同

9、類別訓(xùn)練樣本之間的分界面，從而導(dǎo)致訓(xùn)練誤差無(wú)法得到充分的降低，這一現(xiàn)象稱為欠學(xué)習(xí)。欠學(xué)習(xí)同樣無(wú)法保證較好的泛化能力。,分類器復(fù)雜度適中：分類器的復(fù)雜度與可用樣本的數(shù)量相匹配，復(fù)雜度的選擇符合Occam razor 原則，這樣得到的分類器最有可能獲得較好的分類能力。,三、模式識(shí)別問(wèn)題的一般描述 （1）構(gòu)建樣本集：獲取物理對(duì)象的觀測(cè)量，從觀測(cè)量中提取有利于進(jìn)行分類的特征向量，根據(jù)特征向量及物理對(duì)象的類別構(gòu)成一個(gè)樣本。對(duì)不同類別的多個(gè)物理對(duì)象重復(fù)上述過(guò)程，獲得一個(gè)樣本集。樣本集是分類器設(shè)計(jì)的基礎(chǔ)。 （2）將樣本集分為訓(xùn)練集及測(cè)試集。選擇一個(gè)合適的分類器模型，根據(jù)訓(xùn)練集及測(cè)試集共同確定該分類器模型的參

10、數(shù)。這一過(guò)程稱為有監(jiān)督學(xué)習(xí)。有監(jiān)督學(xué)習(xí)是一種基于樣本的學(xué)習(xí)方法?；跇颖镜膶W(xué)習(xí)方法是解決復(fù)雜問(wèn)題的一個(gè)重要手段（例如中醫(yī)診脈）。 （3）與有監(jiān)督學(xué)習(xí)相對(duì)應(yīng)的是無(wú)監(jiān)督學(xué)習(xí)（聚類分析）。在聚類分析中，沒(méi)有樣本的類別信息可資利用，只有一組可能是來(lái)自于多個(gè)不同類別對(duì)象的觀測(cè)量（也稱為特征向量或樣本）。聚類分析的目的，就是根據(jù)樣本分布的自然結(jié)構(gòu)，根據(jù)樣本之間的相似性，將樣本分為多個(gè)不同的類。,一個(gè)聚類分析的例子：只有觀測(cè)信息，沒(méi)有類別信息。我們希望根據(jù)樣本的分布，將樣本劃分為若干個(gè)自然類，從而發(fā)現(xiàn)隱藏于樣本集中的可能的類別信息。,四、模式識(shí)別的應(yīng)用 手寫體識(shí)別：郵政編碼 指紋識(shí)別： 人臉識(shí)別： 故障診斷： 語(yǔ)音識(shí)別：讀1、2、3、