模式識別復習重點總結

1、.1.什么是模式及模式識別？模式識別的應用領域主要有哪些？ 模式：存在于時間，空間中可觀察的事物，具有時間或空間分布的信息； 模式識別：用計算機實現人對各種事物或現象的分析,描述,判斷,識別。 模式識別的應用領域：（1）字符識別；（2） 醫(yī)療診斷；（3）遙感；(4）指紋識別 臉形識別；（5）檢測污染分析，大氣，水源，環(huán)境監(jiān)測；（6）自動檢測；（7 ）語聲識別，機器翻譯，電話號碼自動查詢，偵聽，機器故障判斷；（8）軍事應用。2.模式識別系統(tǒng)的基本組成是什么？（1） 信息的獲?。菏峭ㄟ^傳感器，將光或聲音等信息轉化為電信息；（2） 預處理：包括AD,二值化，圖象的平滑，變換，增強，恢復，濾波等, 主

2、要指圖象處理；（3） 特征抽取和選擇：在測量空間的原始數據通過變換獲得在特征空間最能反映分類本質的特征；（4） 分類器設計：分類器設計的主要功能是通過訓練確定判決規(guī)則，使按此類判決規(guī)則分類時，錯誤率最低。把這些判決規(guī)則建成標準庫；（5） 分類決策：在特征空間中對被識別對象進行分類。3.模式識別的基本問題有哪些？（1）模式(樣本)表示方法：（a）向量表示；（b）矩陣表示；（c）幾何表示；（4）基元(鏈碼)表示；（2）模式類的緊致性：模式識別的要求:滿足緊致集，才能很好地分類；如果不滿足緊致集，就要采取變換的方法,滿足緊致集（3）相似與分類；(a)兩個樣本xi ，xj之間的相似度量滿足以下要求：

3、應為非負值 樣本本身相似性度量應最大 度量應滿足對稱性 在滿足緊致性的條件下，相似性應該是點間距離的 單調函數 (b) 用各種距離表示相似性（4）特征的生成:特征包括：(a)低層特征;(b)中層特征;(c)高層特征（5） 數據的標準化:(a)極差標準化；(b)方差標準化 4線性判別方法（1）兩類：二維及多維判別函數，判別邊界，判別規(guī)則二維情況：（a）判別函數： ( ) （b）判別邊界：g(x)=0; （c）判別規(guī)則：n維情況：（a）判別函數： 也可表示為： （b）判別邊界：g1(x) =WTX=0 （c）判別規(guī)則： （2）多類：3種判別方法（函數、邊界、規(guī)則）(A)第一種情況：(a)判別函數：

4、M類可有M個判別函數 (b) 判別邊界：i （i=1,2,n）類與其它類之間的邊界由 gi(x)=0確定 (c) 判別規(guī)則： (B)第二種情況：(a)判別函數：有 M(M _ 1)/2個判別平面 (b) 判別邊界：(c) 判別規(guī)則：(C)第三種情況：(a)判別函數： (b) 判別邊界：gi(x) =gj(x) 或gi(x) -gj(x) =0 (c) 判別規(guī)則：5什么是模式空間及加權空間，解向量及解區(qū)？（1）模式空間：由 構成的n維歐氏空間；（2）加權空間：以 為變量構成的歐氏空間；（3）解向量：分界面為H，W與H正交，W稱為解向量；（4）解區(qū)：解向量的變動范圍稱為解區(qū)。6超平面的四個基本性質

5、是什么？性質：W與H正交；性質 ：其中， 為x矢量到H的正交投影；性質：性質： 7二分法能力如何表示？N個樣品線性可分數目(條件：樣本分布良好）：線性可分概率:8廣義線性判別方法（1）非線性線性一個非線性判別函數通過映射，變換成線性判別函數：（2）線性判別9分段線性判別方法1）基于距離:（1）子類，類判別函數 （2）判別規(guī)則（1）子類：把i類可以分成li個子類: 分成l個子類。子類判別函數：在同類的子類中找最近的均值（2）判別規(guī)則：這是在M類中找最近均值。則把x歸于j類完成分類2）基于函數：（1）子類，類判別函數 （2）判別規(guī)則（1）子類類判別函數：對每個子類定義一個線性判別函數為：（2）判別

6、規(guī)則：在各子類中找最大的判別函數作為此類的代表，則對于M類，可定義M個判別函數gi(x),i=1,2,.M,因此，決策規(guī)則3）基于凹函數的并：（1）析取范式，合取范式，凹函數（2） 判別規(guī)則（1） 析取范式：P=(L11L12L1m)(Lq1Lq2Lqm)合取范式：Q= (L11 L12 L1m) (Lq1 Lq2 Lqm) 凹函數：Pi=Li1Li2Lim（2） 判別規(guī)則：設第一類有q個峰，則有q個凹函數。即P=P1P2Pq 10非線性判別方法（1）集中，分散（2）, 均集中11分類器的設計（1）梯度下降法（迭代法）：準則函數，學習規(guī)則（a）準則函數：J(W)J(Wk)+ JT(W- Wk)

7、+(W- Wk)TD(W- Wk)T/2 其中D為當W = Wk時 J(W)的二階偏導數矩陣（b）學習規(guī)則：從起始值W1開始，算出W1處目標函數的梯度矢量J(W1)，則下一步的w值為：W2 = W1-1J(W1) 其中W1為起始權向量， 1為迭代步長，J(W1) 為目標函數，J(W1)為W1處的目標函數的梯度矢量在第K步的時候Wk+1 = Wk-kJ(Wk) 最佳步長為k=|J|2/JTDJ這就是梯度下降法的迭代公式。（2）感知器法：準則、學習規(guī)則（批量，樣本）（a）準則函數： 其中x0為錯分樣本（b）學習規(guī)則： 1.錯誤分類修正wk 如wkTx0并且x1 wk+1= wk+kx 如wkTx0

8、并且x2 wk+1= wk-kx 2.正確分類 ，wk不修正 如wkTx0并且x1 如wkTx0并且x2 wk+1= wk （3）最小平方誤差準則法（MSE法）（非迭代法）：準則、權向量解(a)準則函數：(b)權向量解：（4）韋霍氏法（LMS法）（迭代法）：準則，學習規(guī)則(a)準則函數：(b)學習規(guī)則： W1任意 ，Wk+1=Wk+k(bk-WkTXk) Xk k隨迭代次數k而減少，以保證算法收斂于滿意的W值（5）何卡氏法（H-K法）（迭代法）：準則，的學習規(guī)則(a)準則： 它的解為： （b）b，W的學習規(guī)則： 其中 c為矯正系數，ek為誤差矢量，ek=XWk-bk 初始條件 W1=X+b1并

9、且b1>0迭代時檢測 如果ek0時，XW >b，系統(tǒng)線性可分，迭代收斂 如果ek<0時，XW <b，系統(tǒng)線性不可分，迭代不收斂（6）Fisher分類法：準則函數的建立，權值計算，的選擇(a)準則函數的建立：投影樣本之間的類間分離性越大越好，投影樣本的總離散度越小越好。 即可表示為： 其中Sw為類內散布矩陣, Sb為類間散布矩陣 (b)W權值計算：(c)W0的選擇 ： Yki表示第i類中第k個樣本的投影值 N1為1樣本數 N2為2樣本數  （7）電位函數分類器：電位函數，累積電位的計算(a)電位函數：電位分布函數有如下三種形式： 為系數 xk

10、為某一特定點(b)累計電位的計算： Kk+1(x)= Kk(x)+rk+1K(x,xk)其中： xk+11并且Kk(xk+1)>0時 rk+1= 0 xk+11并且Kk(xk+1) 0時 rk+1= 1 xk+12并且Kk(xk+1)<0時 rk+1= 0 xk+12并且Kk(xk+1) 0時 rk+1= -1121）二類問題的貝葉斯判別（1）判別函數的四種形式（2）決策規(guī)則（3）決策面方程（4）決策系統(tǒng)的結構 （1）判別函數的四種形式： （2）判別規(guī)則： （3）決策面方程：g（x）=0 （4）決策系統(tǒng)的結構 （A）向量特征（B）判別計算（C）閾值單元（D）決策2）多類問題的貝葉斯

11、判別（1）判別函數的四種形式（2）決策規(guī)則（3）決策面方程（4）決策系統(tǒng)的結構 （1）判別函數的四種形式：M類有M個判別函數g1(x), g2(x), gm(x).（2）決策規(guī)則：另一種形式：（3）決策面方程：（4）決策系統(tǒng)的結構：(a)特征向量；(b)判別計算；(c)最大選擇器；(d)決策13三種最小錯誤率貝葉斯分類器（正態(tài)分布）：判別函數，判別規(guī)則，決策面方程（1）第一種情況：各個特征統(tǒng)計獨立，且同方差情況。(最簡單情況) (a)判別函數： (b)判別規(guī)則： (c)決策面方程：（2）第二種情況：i 相等，即各類協方差相等。 (a)判別函數： (b)判別規(guī)則： (c)決策面方程：（3）第三種

12、情況(一般情況)：為任意，各類協方差矩陣不等，二次項xT x與i有關。所以判別函數為二次型函數。(a)判別函數：(b)判別規(guī)則： (c)決策面方程： 14最小風險貝葉斯分類器：判別函數，判別規(guī)則（1）判別函數：條件風險：i：表示把模式x判決為i類的一次動作 期望風險： （2）判別規(guī)則： ：15聶曼皮爾遜判決：（二類）：準則，判別規(guī)則，閾值的確定（1）準則： （2）判別規(guī)則：（3）閾值的確定：16最小最大損失準則判決（二類）：準則，判別規(guī)則，的確定（1）準則：討論在P(i)變化時如何使最大可能風險最??；（2）判別規(guī)則：風險 通過最小風險與先驗概率的關系曲線 ，確定最大風險，使最大風險最小。（3）

13、的確定：17什么是序貫分類？序貫：隨著時間的推移可以得到越來越多的信息。序貫分類決策規(guī)則18什么是參數估計，非參數估計，監(jiān)督學習，無監(jiān)督學習？參數估計：先假定研究的問題具有某種數學模型，如正態(tài)分布，二項分布，再用已知類別的學習樣本估計里面的參數；非參數估計：不假定數學模型，直接用已知類別的學習樣本的先驗知識直接估計數學模型；監(jiān)督學習：在已知類別樣本指導下的學習和訓練，參數估計和非參數估計都屬于監(jiān)督學習。無監(jiān)督學習：不知道樣本類別，只知道樣本的某些信息去估計，如：聚類分析。19（1）最大似然估計算法思想：準則，求解過程（1）準則：第i類樣本的類條件概率密度： P(Xi/i)= P(Xi/ii)

14、= P(Xi/i)原屬于i類的學習樣本為Xi=(X1 , X2 ,XN,)T i=1,2,M求i的最大似然估計就是把P(Xi/i)看成i的函數，求出使它最大時的i值（2）求解過程：學習樣本獨立從總體樣本集中抽取的 N個學習樣本出現概率的乘積 取對數：對i求導,并令它為0：（2）正態(tài)分布情況下：, 的計算 已知, 未知,估計 ， 均未知A一維情況：n=1對于每個學習樣本只有一個特征的簡單情況： 即學習樣本的算術平均 樣本方差B多維情況：n個特征估計值： 20（1）貝葉斯估計算法思想：準則，求解過程(A)準則：通過對第i類學習樣本Xi的觀察，使概率密度分布P(Xi/)轉化為后驗概率P(/Xi) ，

15、再求貝葉斯估計；(B)求解過程： 確定的先驗分布P(),待估參數為隨機變量。 用第i類樣本xi=(x1, x2,. xN)T求出樣本的聯合概率密度分布P(xi|)，它是的函數。  利用貝葉斯公式,求的后驗概率  （2）正態(tài)分布情況下：的計算對的估計為若令P()=N(0, 02 )=N(0,1)21（1）貝葉斯學習概念求出的后驗概率之后，直接去推導總體分布即當N,N就反映了觀察到N個樣本后對的最好推測，而N2反映了這種推測的不確定性, N, N2,N2 隨觀察樣本增加而單調減小，且當N, N2 0 當N，P(|xi)越來越尖峰突起；N, P(|xi)函數，這個過程成為貝葉斯學

16、習。 （2）正態(tài)分布情況下的計算(A)一維正態(tài)：已知2，未知 (B)多維正態(tài)（ 已知，估計 ）：22非參數估計的條件密度計算公式（1）Parzen窗口估計的三種形式，條件密度的計算（A）窗口的選擇：（A）方窗函數；（B）正態(tài)窗函數；（C）指數窗函數（B）條件密度的計算：（2）K-近鄰估計的基本思想及用K-近鄰法作后驗概率估計的方法（A）基本思想：以x為中心建立空胞，使v，直到捕捉到KN個樣本為止。（B）用K-近鄰法作后驗概率估計的方法：由KN近鄰估計知N個已知類別樣本落入VN內為KN個樣本的概率密度估計為N個樣本落入VN內有KN個，KN個樣本內有Ki個樣本屬于i類，則聯合概率密度：根據Baye

17、s公式可求出后驗概率：23 分類與聚類的區(qū)別是什么？分類：用已知類別的樣本訓練集來設計分類器（監(jiān)督學習）；聚類（集群）：用事先不知樣本的類別，而利用樣本的先驗知識來構造分類器（無監(jiān)督學習）。24（1）聚合聚類（系統(tǒng)聚類）的算法思想：先把每個樣本作為一類，然后根據它們間的相似性和相鄰性聚合。若有n個樣本：（A）設全部樣本分為n類； （B）作距離矩陣D(0)； （C）求最小元素；（D）將距離平方最小的元素歸為一類；（E）以新類從新分類，作距離矩陣D(1)；（F）若合并的類數沒有達到要求，轉（C），否則停止。（2）分解聚類的算法思想：把全部樣本作為一類，然后根據相似性、相鄰性分解。目標函數：兩類均值

18、方差 ( N：總樣本數， ：1類樣本數 ：2類樣本數， （3）動態(tài)聚類的算法（K-均值算法） 先選定某種距離作為樣本間的相似性的度量; 確定評價聚類結果的準則函數; 給出某種初始分類，用迭代法找出使準則函數取極值的最好的聚類結果。25（1）什么是模糊集，-水平截集？（A）模糊集：假設論域E=x（討論的區(qū)間），模糊集A是由隸屬函數A(x)描述。其中，A(x)是定義在E上在閉區(qū)間0，1中取值的一個函數，反映x對模糊集的隸屬程度。（B）-水平截集：設A為E=（x）中的模糊集，則A=x| A(x)稱為模糊集A的水平集， 為閾值在（0，1）間取值。（2）什么是模糊集的并，交，補運算？設：A,B為E=（x）上的兩個模糊集并集:A B(x)max(A(x) ,B(x)交集: A B(x)min(A(x) ,B(x)補集: =1- A(x) , A(x) ,B(x) 分別為A、B的隸屬函數（3）什么是模糊關系及其變換運算？(A)模糊關系：設U,V為兩個模糊集,則u,v的笛卡兒乘積集記為：U×V=(u,v)|uU,vV, (u,v)是 U,V元素間的一種無約束搭配，若把這種搭配加某種限制， U,V間的這種特殊關系叫模糊