模式識(shí)別第一講-緒論

模式識(shí)別

PatternRecognition計(jì)算機(jī)學(xué)院

第一章緒論

模式識(shí)別的研究?jī)?nèi)容、方法和應(yīng)用

模式識(shí)別的例子人的識(shí)別能力是司空見(jiàn)慣的。如何使機(jī)器具有人和動(dòng)物的識(shí)別能力？使機(jī)器具有智能是人類(lèi)的愿望。（機(jī)器是人手的延長(zhǎng)，智能機(jī)是人腦的延長(zhǎng)。）但使機(jī)器具有智能這個(gè)工作很不容易，仍然有許多謎，人腦的識(shí)別機(jī)制不明。盡管已有近五十年的歷史，但仍有許多問(wèn)題有待解決，也可以說(shuō)剛起步。一.什么是模式識(shí)別

識(shí)別的本質(zhì)是分類(lèi)。使機(jī)器具有能夠自動(dòng)地對(duì)物體描述、分類(lèi)、分組的能力是科技、工程中的重要問(wèn)題。模式——模式可以是一個(gè)手寫(xiě)的字符、一幅指紋圖像、一幅人臉的圖像、一段語(yǔ)音信號(hào)等。模式識(shí)別——研究模式的分類(lèi)、聚類(lèi)、和估計(jì)問(wèn)題。模式識(shí)別中的兩大類(lèi)問(wèn)題

1、分類(lèi)。（有監(jiān)督的分類(lèi)/識(shí)別,SupervisedClassification）：把模式分到預(yù)先定義好的類(lèi)里去。

2、聚類(lèi)。（無(wú)監(jiān)督的分類(lèi)/識(shí)別，UnsupervisedClassification,clustering）：基于相似性，把模式聚合成一定的類(lèi)。二.模式識(shí)別的應(yīng)用在社會(huì)科學(xué)、生物學(xué)、心理學(xué)、醫(yī)學(xué)、市場(chǎng)分析預(yù)測(cè)、自動(dòng)化、計(jì)算機(jī)視覺(jué)、人工智能、遙感、軍事、生物特征識(shí)別等問(wèn)題中有重要應(yīng)用。隨著計(jì)算機(jī)性能的提高、Internet的迅速發(fā)展，模式識(shí)別的應(yīng)用不僅在它的傳統(tǒng)領(lǐng)域，如文字識(shí)別、語(yǔ)音識(shí)別、指紋識(shí)別、遙感圖像、醫(yī)學(xué)…等領(lǐng)域越做越好，而且涌現(xiàn)了很多新的應(yīng)用。例如數(shù)據(jù)挖掘（datamining）、文檔的分類(lèi)（documentclassification）、財(cái)政金融、股票的預(yù)測(cè)、預(yù)報(bào)，多媒體數(shù)據(jù)庫(kù)的檢索，基于biometrics（生物統(tǒng)計(jì)學(xué)）的人的身份鑒別，甚至有的人研究識(shí)別人的情感。模式識(shí)別應(yīng)用的一些例子問(wèn)題的領(lǐng)域應(yīng)用輸入模式模式類(lèi)生物信息科學(xué)序列分析DNA/蛋白質(zhì)(Protein)序列DNA/蛋白質(zhì)(Protein)序列數(shù)據(jù)挖掘搜索有用的模式多維空間的點(diǎn)緊湊（Compact）且分得開(kāi)的聚類(lèi)文檔分類(lèi)（document）Internet搜索文本文件語(yǔ)義（semantic）類(lèi)，如商業(yè)、體育、文娛等

模式識(shí)別應(yīng)用的一些例子（續(xù)）文本圖像分類(lèi)盲人閱讀機(jī)，OCR，支票閱讀，郵件分揀文本圖像字符工業(yè)自動(dòng)化（計(jì)算機(jī)視覺(jué)）印刷電路板的質(zhì)量檢查，裝配線灰度或距離（深度）圖像缺陷有/無(wú)，抓、裝配零件模式識(shí)別應(yīng)用的一些例子（續(xù)）多媒體數(shù)據(jù)庫(kù)檢索Internet搜索VideoclipVideo生物特征識(shí)別（biometric）身份鑒別指紋、面部、虹膜（iris）人的認(rèn)證，訪問(wèn)控制遙感農(nóng)作物等的預(yù)測(cè)、預(yù)報(bào)多頻譜圖像地形地貌的分類(lèi)，生長(zhǎng)情況模式識(shí)別應(yīng)用的一些例子（續(xù)）語(yǔ)音識(shí)別電話(huà)的自動(dòng)應(yīng)答，翻譯機(jī)，人機(jī)通信語(yǔ)音波形語(yǔ)音的單字（詞）計(jì)算機(jī)輔助診斷X－片、CT、fMRI、ECG、EEG、機(jī)器故障一維、兩維信號(hào)正常/異常三.幾個(gè)例子（字符識(shí)別）印刷體、手寫(xiě)體

通過(guò)OCR（OpticalCharacterReader）等設(shè)備獲取字符的圖像G1.字符識(shí)別特征空間特征向量特征：每一個(gè)區(qū)域中，屬于字符部分的面積占該區(qū)域面積的比例。統(tǒng)計(jì)性、緊致性與可分性模式不是確定性的，具有一定的統(tǒng)計(jì)分布。假設(shè)同一類(lèi)別的樣本在特征空間中較為相近，而與其他類(lèi)別的樣本分得較開(kāi)。此即緊致性假設(shè)。分類(lèi)區(qū)域、形式線性（或分段線性）R1R2R3二次的R3R2R1R2一般的R1R3R4小結(jié)：

模式可以用多維向量空間中的一個(gè)矢量（一個(gè)點(diǎn)）來(lái)表示。要用到線性代數(shù)等工具。

模式不是確定性的，而是具有統(tǒng)計(jì)分布。要用到概率論與數(shù)理統(tǒng)計(jì)等工具。

分類(lèi)就是要把特征空間劃分為一些區(qū)域，不相交，類(lèi)間不重迭。

2.兩類(lèi)字符識(shí)別10原始特征向量:0000.3...000.6...作直方圖，可以得到“0”和“1”的分布分界面的確定:使錯(cuò)誤率最小

小結(jié)：

設(shè)計(jì)分類(lèi)器時(shí)不是要求沒(méi)有錯(cuò)分類(lèi)的，而是在一定意義下使錯(cuò)誤率最小

下面我們?cè)倏匆粋€(gè)稍微復(fù)雜的問(wèn)題

3.三類(lèi)字符識(shí)別---除了“0”、“1”之外，還要識(shí)別“x”

X一個(gè)特征（占的總面積）就不夠了?！?”、“x”的覆蓋面積近似相等。加上另一特征（對(duì)角線上1、7、13、19、25面積之和）10分類(lèi)規(guī)則：

ifelse特征提取兩類(lèi)字符識(shí)別：從25維原始特征→1維的特征矢量三類(lèi)字符識(shí)別：從25維原始特征→2維的特征矢量特征提?。簩?duì)原始特征進(jìn)行變換，得到對(duì)給定分類(lèi)問(wèn)題更有效的新特征，并實(shí)現(xiàn)降維。

例子小結(jié)：

通過(guò)上面幾個(gè)例子，我們接觸到了如下幾個(gè)重要概念：特征向量，特征空間，特征提取,決策區(qū)域

也看到了一個(gè)模式識(shí)別系統(tǒng)的基本工作過(guò)程。

四.模式識(shí)別系統(tǒng)在解決不同的具體問(wèn)題時(shí)，要根據(jù)該問(wèn)題的性質(zhì)，確定傳感器、預(yù)處理、特征提取和分類(lèi)的算法。信息獲取預(yù)處理特征提取與選擇分類(lèi)器設(shè)計(jì)、訓(xùn)練分類(lèi)決策特征提取與選擇：應(yīng)區(qū)分能力強(qiáng)、特征數(shù)較少。運(yùn)用先驗(yàn)知識(shí)。分類(lèi)器設(shè)計(jì)：采用何種分類(lèi)方法？五.常用的模式識(shí)別方法

模板匹配（templatematching）統(tǒng)計(jì)的方法（statisticalP.R.）人工神經(jīng)網(wǎng)絡(luò)的方法（artificialneuralnetwork,ANN）句法或結(jié)構(gòu)的方法（syntacticorstructuralP.R.）這些方法不是絕對(duì)獨(dú)立的，同一種方法有不同的解釋?zhuān)袝r(shí)要混合使用。

1.模板匹配

模式識(shí)別中使用最早、最簡(jiǎn)單、直觀的方法

所謂匹配是一類(lèi)運(yùn)算，用來(lái)確定兩個(gè)對(duì)象間的相似性。在模板匹配中，要有一個(gè)模板（一般是一個(gè)二維形狀）或一個(gè)模式原型（prototype），待匹配的模式和這個(gè)預(yù)先存儲(chǔ)好的模板相匹配

模板匹配一般要花費(fèi)較大的計(jì)算量，隨著計(jì)算機(jī)速度的加快，這種方法變得更可行了

1.模板匹配(續(xù)）例子：字符匹配剛性模板匹配的缺點(diǎn)：處理畸變模式難使用變形模板2.統(tǒng)計(jì)模式識(shí)別

在統(tǒng)計(jì)模式識(shí)別中，每一模式是用一個(gè)d維的測(cè)量值、特征向量來(lái)表示的，它是d維特征空間的一個(gè)點(diǎn)。目標(biāo)是選擇這樣的一些特征，使同一類(lèi)的模式在空間中盡量緊湊，而不同類(lèi)的模式間盡量分開(kāi)、不相交。給定一組樣本，模式識(shí)別的任務(wù)是要確定決策（分界）面、邊界，以把不同的類(lèi)分開(kāi)。

三類(lèi)統(tǒng)計(jì)模式識(shí)別方法在統(tǒng)計(jì)決策理論的方法下，決策邊界是根據(jù)模式的概率分布確定的。這些概率分布是事先知道，或通過(guò)學(xué)習(xí)估計(jì)得到。另外一種統(tǒng)計(jì)模式識(shí)別的工具是判別分析（discriminantanalysis）。這種方法是先假定決策邊界的數(shù)學(xué)形式（一次、二次…），然后利用訓(xùn)練樣本確定最好的邊界（方程中的一些參數(shù)）。再一種方法是從樣本中直接構(gòu)造決策邊界。如Vapnik的支撐向量機(jī)（supportvectormachine,SVM）推廣（泛化，generalization）能力：如何使設(shè)計(jì)的分類(lèi)器具有較好的推廣能力？3.人工神經(jīng)網(wǎng)絡(luò)的方法

模擬人腦的計(jì)算。人工神經(jīng)網(wǎng)絡(luò)由大量簡(jiǎn)單的計(jì)算單元相互連接組成。輸入層隱層輸出層人工神經(jīng)網(wǎng)絡(luò)的突出優(yōu)點(diǎn)是它可以學(xué)習(xí)復(fù)雜的非線性輸入輸出關(guān)系（從樣本序列中）盡管統(tǒng)計(jì)的方法和人工神經(jīng)網(wǎng)絡(luò)在基本原理上有很多不同，但它們?cè)诜椒ㄉ鲜堑葍r(jià)或相似的。4.句法或結(jié)構(gòu)的方法

句法模式識(shí)別的方法來(lái)源于這樣的思想：復(fù)雜的模式是由簡(jiǎn)單的子模式組成的，而子模式又可能由更簡(jiǎn)單的子模式組成。最簡(jiǎn)單的子模式稱(chēng)為基元（primitives），復(fù)雜模式就是由這些基元以及它們間的相互關(guān)系確定。例：醫(yī)療診斷問(wèn)題-心電圖正常/異常

句法模式識(shí)別的方法來(lái)源于形式語(yǔ)言和自動(dòng)機(jī)：模式—句子，基元—字母表，模式結(jié)構(gòu)—語(yǔ)法規(guī)則，模式分類(lèi)—語(yǔ)法分析。結(jié)構(gòu)模式識(shí)別的優(yōu)點(diǎn)是它的層次結(jié)構(gòu)，用少量的基元和規(guī)則來(lái)描述物體。這種方法常用在有一定結(jié)構(gòu)的模式上，例如心電圖（ECG）、物體輪廓的分析上

本章小結(jié)

介紹了模式模式識(shí)別的一些基本概念。

模式識(shí)別的一些常用方法：

六、課程內(nèi)容統(tǒng)計(jì)決策理論概率密度估計(jì)線性判別分析近鄰法特征提取與選擇聚類(lèi)實(shí)際模式識(shí)別例子課程總結(jié)與研究前沿簡(jiǎn)介參考書(shū)：