模式識別講義第一章

模式識別講義第一章第1頁，課件共28頁，創(chuàng)作于2023年2月第一章引言模式識別基本概念模式識別的發(fā)展模式識別的方法模式識別系統(tǒng)的基本原理模式識別的基本問題第2頁，課件共28頁，創(chuàng)作于2023年2月例子1：醫(yī)生診病過程

1)測量病人的體溫和血壓，化驗血沉，詢問臨床表現；

2)通過綜合分析，抓住主要病癥；

3)醫(yī)生運用自己的知識、經驗，根據主要病癥、測量化驗結果，作出正確的診斷。在模式識別技術中，常用的術語有：樣本、模式、特征、類型等等，對照醫(yī)生診病過程，有：a.樣本：醫(yī)院里的眾多患者，每個患者都是一個樣本；

單一樣本：醫(yī)生診斷的某一患者，就是樣本空間中的一個單一樣本；

樣本值：某一患者的化驗、檢查結果與表征現象。b.模式：各樣本值按一定的數據準則綜合的結果；

模式樣本：具有某種模式的樣本；

模式采集：獲取某樣本的測量數值的過程；第3頁，課件共28頁，創(chuàng)作于2023年2月醫(yī)生診病過程c.特征：患者某些具有顯著特征的化驗數據及表征；

特征選擇與提?。耗鼙碚?疾病)特異性的化驗結果與表征；d.判決：醫(yī)生運用知識、病例經驗綜合分析給出診斷；

判決準則/規(guī)則：醫(yī)生的知識

判決結果：將患者明確(或以概率)確定為某一種病癥(或多種/并發(fā)病癥)的患者(及病患嚴重程度)事實上，最后的結果也成為分類。因此有預先知道類別(已知病癥)與未知類別(未知病癥)的區(qū)別。模式識別：就是以計算機為工具、各種傳感器為信息來源，數據計算與處理為方法，對各種現象、事物、狀態(tài)等進行準確地分析、判斷識別與歸類。第4頁，課件共28頁，創(chuàng)作于2023年2月模式：是一個物體或感興趣實體的定量的或結構的描述。模式類：是具有某些共同特性的模式的集合。模式識別：從不相關的細節(jié)背景中，抽取數據的有意義的特征或屬性,根據這些特征和屬性對數據進行分類，把特征和屬性相同的數據歸成同一類。具體項目的識別：識別字符、圖畫某些其他、音樂及周圍事物的過程，分為視覺和聽覺識別。抽象項目的識別：不靠外界的感官刺激而識別一個古老的論點或某個問題的解答?；靖拍畹?頁，課件共28頁，創(chuàng)作于2023年2月模式識別的發(fā)展1929年G.Tauschek發(fā)明閱讀機，能夠閱讀0-9的數字。30年代Fisher提出統(tǒng)計分類理論,奠定了統(tǒng)計模式識別的基礎。因此，在60～70年代，統(tǒng)計模式識別發(fā)展很快，但由于被識別的模式愈來愈復雜，特征也愈多，就出現“維數災難”。隨著計算機運算速度的迅猛發(fā)展，這個問題得到一定克服。目前，統(tǒng)計模式識別仍是模式識別的主要理論。50年代NoamChemsky提出形式語言理論，在此基礎上，美籍華人付京蓀提出句法結構模式識別。60年代L.A.Zadeh提出了模糊集理論，模糊模式識別理論得到了較廣泛的應用。第6頁，課件共28頁，創(chuàng)作于2023年2月模式識別的發(fā)展80年代Hopfield提出神經元網絡模型理論。近些年人工神經元網絡在模式識別和人工智能上得到較廣泛的應用。90年代小樣本學習理論，支持向量機也受到了很大的重視。1973年IEEE發(fā)起了第一次關于模式識別的國際會議“ICPR”，成立了國際模式識別協會---“IAPR”，每2年召開一次國際學術會議；1977年IEEE的計算機學會成立了模式分析與機器智能（PAMI）委員會，每2年召開一次模式識別與圖象處理學術會議；國內的組織有電子學會，通信學會，自動化協會，中文信息學會….。第7頁，課件共28頁，創(chuàng)作于2023年2月模式識別的發(fā)展模式識別的應用領域更加廣泛：生物、醫(yī)學、軍事、農業(yè)、工業(yè)、社會、教育、航天、航空、經濟、金融、生物認證、數字水印……基于語音：重點人物通信監(jiān)控語音識別系統(tǒng)/規(guī)模音頻資料檢索基于圖像：光學字符識別(OpticalCharacterRecognitionOCR)/車牌識別(VehicleLicensePlateRecognitionVLPR)/人臉識別/指紋識別/簽名認證/支票認證/表情和手勢識別/農作物分類與害蟲識別/生物信息學：DNA識別/航空與衛(wèi)星遙測遙感數據資源調查/軍用目標的圖像識別/基于圖形模式識別的機器人控制等基于工程數據：振動模式分析與故障診斷/石油鉆井數據分析與事故預報/基于狀態(tài)模式的智能控制/數據挖掘與知識發(fā)現等第8頁，課件共28頁，創(chuàng)作于2023年2月模式識別的發(fā)展模式識別的計算手段更加先進：海量存儲技術、高速計算/并行計算技術、網格技術、網絡技術、新型前端器件(激光、紅外、MEMS、傳感器網絡)……模式識別的新型算法層出不窮：

Computationwithword(Zadeh)SoftComputationDNAComputation……國內外模式識別的學術活動從未間斷:

小波/模式識別國際會議、機器學習/模式識別國際會議、圖像處理/模式識別國際會議、數據挖掘/模式識別國際會議……第9頁，課件共28頁，創(chuàng)作于2023年2月模式識別的方法決策理論方法（統(tǒng)計識別法）：以判別函數為基礎，利用判別函數對模式進行分類。句法模式識別（結構模式識別）：將對象分解為若干個基本單元—基元，用基元和他們的結構關系描述對象，運用形式語言理論進行句法分析，根據其是否符合某一類的文法而決定其類別。模糊模式識別：運用模糊數學的理論和方法解決模式識別問題，適用于分類識別對象本身或要求的識別結果具有模糊性的場合。人工神經網絡法：是由大量簡單的神經元相互連接而構成的非線性動態(tài)系統(tǒng)，具有學習、自組織、聯想能力，在學習中具有自動提取特征，進行識別、決策。人工智能方法：人工智能研究如何使機器具有人腦功能的理論和方法。將學習、知識表示、推理等用于模式識別。第10頁，課件共28頁，創(chuàng)作于2023年2月統(tǒng)計模式識別統(tǒng)計模式識別：是以決策函數為基礎，對模式向量進行分類。例w1,w2判別函數：d(X)=w1x1+w2x2+w3=0

式中w為參數，x1，x2是模式的坐標變量并且d(X)代表d(x1,x2)，把任何落在分界線上的觀測值X代入上述方程式都得到d(X)=0，任何來自w1類的模式X，在代入d(X)時，得一負數，而w2則位于正數一邊。N維情況下：w1w2X1X2+-i=1dk(X)=∑WklΦl(X)k=1,2…nk第11頁，課件共28頁，創(chuàng)作于2023年2月模式識別系統(tǒng)的基本原理

信息的獲取：是通過傳感器，將光或聲音等信息轉化為電信息。信息可以是二維的圖象如文字，圖象等；可以是一維的波形如聲波，心電圖，腦電圖；也可以是物理量與邏輯值等等。預處理：包括A/D,二值化，圖象的平滑，變換，增強，恢復，濾波等。特征抽取和選擇：在模式識別中，需要進行特征的抽取和選擇，如，一幅64*64的圖象可以得到4096個數據，這種在測量空間的原始數據通過變換獲得在特征空間最能反映分類本質的特征。這就是特征提取和選擇的過程。分類器設計：主要功能是通過訓練確定判決規(guī)則，使按此類判決規(guī)則分類時，錯誤率最低。把這些判決規(guī)則建成判決規(guī)則標準庫,這一過程稱為分類器設計。分類決策：在特征空間中對被識別對象進行分類。第12頁，課件共28頁，創(chuàng)作于2023年2月模式識別的基本問題模式(樣本)表示方法模式類的緊致性相似與分類特征的生成數據標準化第13頁，課件共28頁，創(chuàng)作于2023年2月模式表示法_向量表示法模式向量：以數量信息為特征的模式表示。即以模式的n個特征量測值組成一個n維特征矢量X=(x1,x2,…,xn)T表示模式。例：字符識別機，辨別每個輸入，判斷它是屬于哪一種字符，A—Z、0—9、拒絕類，共26+10+1=37個模式類。采用光電陣列把字符變成二值的圖象，如6×6方陣，X=[x1x2x3…x36]T。

第14頁，課件共28頁，創(chuàng)作于2023年2月矩陣表示:N個樣本，n個變量(特征)第15頁，課件共28頁，創(chuàng)作于2023年2月幾何表示一維表示

X1=0.5X2=3二維表示

X1=(x1,x2)T=(1,2)T

X2=(x1,x2)T=(2,1)T三維表示

X1=(x1,x2,x3)T=(1,1,0)TX2=(x1,x2,x3)T=(1,0,1)T第16頁，課件共28頁，創(chuàng)作于2023年2月符號串表示法（1）定義了一定的模式基元，用模式基元的連接表示模式。ba階梯模式：

abab…ab即(ab)n,n≥1第17頁，課件共28頁，創(chuàng)作于2023年2月符號串表示法（2）定義算子,增加串的表示能力

請給出串對應的模式：[(a+b)*c]*[d+c+(~d)]baa+bbaa×bbaa*bb~b習題：a模式基元：cbda模式基元：ba-bba第18頁，課件共28頁，創(chuàng)作于2023年2月樹表示法任何一個分層有序系統(tǒng)都導致樹結構，引入“在內部”關系、“由…組成”關系。

abcdefghi$a$bcihgdfeR2R1R3T1T2墻（W）地板F立方體C錐體P錐體P$景物物體背景地板F墻W立方體CT1T2R1R2R3第19頁，課件共28頁，創(chuàng)作于2023年2月網表示法網表示法：網是無向帶標志的點圖。在上圖中，我們在引入“與…連接”，就可以得到圖所示的網。

R2R1R3

T1

T2墻（W）地板F立方體C錐體P$景物物體背景地板F墻W錐體P立方體CT1T2R1R2R3第20頁，課件共28頁，創(chuàng)作于2023年2月二.模式類的緊致性1.緊致集：同一類模式類樣本的分布比較集中，沒有臨界樣本或者臨界樣本很少，這樣的模式類稱緊致集。2.臨界點(樣本)：在多類樣本中，某些樣本的值有微小變化時就變成另一類樣本稱為臨界樣本（點）。3.緊致集的性質①要求臨界點很少.②集合內的任意兩點的連線,在線上的點屬于同一集合.③集合內的每一個點都有足夠大的鄰域,在鄰域內只包含同一集合的點.4.模式識別的要求:滿足緊致集，才能很好的分類；如果不滿足緊致集，就要采取變換的方法,滿足緊致集.第21頁，課件共28頁，創(chuàng)作于2023年2月相似與分類1.兩個樣本xi

和xj之間的相似度量滿足以下要求：

①應為非負值。②樣本本身相似性度量應最大。③度量應滿足對稱性。④在滿足緊致性的條件下，相似性應該是點間距離的單調函數。

2.用各種距離表示相似性：

已知兩個樣本

xi=(xi1,xi2,xi3,…,xin)Txj=(xj1,xj2,xj3,…,xjn)T

常用的距離有歐氏距離、馬氏距離等第22頁，課件共28頁，創(chuàng)作于2023年2月①絕對值距離②歐幾里德距離③明考夫斯基距離其中當q=1時為絕對值距離，當q=2時為歐氏距離.④切比雪夫距離

q趨向無窮大時明氏距離的極限情況.⑤馬哈拉諾比斯距離其中xi

，xj為特征向量，Σ為協方差.使用的條件是樣本符合正態(tài)分布.第23頁，課件共28頁，創(chuàng)作于2023年2月⑥夾角余弦xixj樣本(向量)間夾角越小，兩個樣本越具有相似性.例：x1,x2,x3,x4的夾角如圖：x1和x2間的夾角最小，所以x1,x2

最相似，可以歸為同一類.x3x1x2x4第24頁，課件共28頁，創(chuàng)作于2023年2月⑦相關系數為xixj的均值.注意：在求相關系數之前，要將數據標準化.3.分類的主觀性和客觀性①分類的主觀性：目的不同，分類不同。例如：鯨魚，牛，馬從生物學的角度來講都屬于哺乳類，但是從產業(yè)角度來講鯨魚屬于水產業(yè)，牛和馬屬于畜牧業(yè)。②分類的客觀性：科學性判斷分類必須有客觀標準，因此分類是追求客觀性的，但主觀性也很難避免，這就是分類的復雜性。第25頁，課件共28頁，創(chuàng)作于2023年2月四.特征的生成

1.低層特征：①無序尺度：有明確的數量和數值.②有序尺度：有先后、好壞的次序關系，如酒分為上，中，下三個等級.③名義尺度：無數量、無次序關系，如有紅，黃兩種顏色.2.中層特征：經過計算，變換得到的特征.3.高層特征：在中層特征的基礎上有目的的經過運算形成.

例如：椅子的重量=體積*比重.

體積與長，寬，高有關；比重與材料，紋理，