模式識別第4章線性判別函數(shù)

1、第四章 線性判別函數(shù)模式識別 Pattern Recognition第四章 線性判別函數(shù)67 4.2 Fisher線性判別34.3 感知器準則4.5 多類問題4.6 分段線性判別函數(shù) 5 4.1 引言144.4 最小平方誤差準則4.7 討論234.1 引言基于樣本的Bayes分類器：通過估計類條件概率密度函數(shù)，設計相應的判別函數(shù)MAXg1.g2gc.x1x2xna(x)最一般情況下適用的“最優(yōu)”分類器：錯誤率最小，對分類器設計在理論上有指導意義。獲取統(tǒng)計分布及其參數(shù)很困難，實際問題中并不一定具備獲取準確統(tǒng)計分布的條件。 訓練樣本集樣本分布的統(tǒng)計特征：概率密度函數(shù)決策規(guī)則：判別函數(shù)決策面方程分類

2、器功能結構4直接確定判別函數(shù)基于樣本的直接確定判別函數(shù)方法：設定判別函數(shù)形式，用樣本集確定參數(shù)。使用準則函數(shù)，表達分類器應滿足的要求。這些準則的“最優(yōu)”并不一定與錯誤率最小相一致：次優(yōu)分類器。 實例：正態(tài)分布最小錯誤率貝葉斯分類器在特殊情況下，是線性判別函數(shù)g(x)=wTx（決策面是超平面），能否基于樣本直接確定w?引言訓練樣本集決策規(guī)則：判別函數(shù)決策面方程選擇最佳準則5線性判別函數(shù)d維空間中的線性判別函數(shù)的一般形式： 式中，x是樣本向量，即樣本在d維特征空間中的描述， w是權向量，w0是一個常數(shù)(閾值權)。引言6兩類問題的分類決策規(guī)則引言7線性判別函數(shù)的幾何意義決策面(decision bo

3、undary)H方程：g(x)=0向量w是決策面H的法向量g(x)是點x到決策面H的距離的一種代數(shù)度量引言x1x2wxxprH: g=0R1: g0R2: g0 對樣本y錯誤分類，則有：aTy0, i=1,N線性分類器設計求一組N個線性不等式的解樣本集增廣矩陣Y及一組N個線性不等式的的矩陣表示：引入余量(目標向量) b=b1, b2, , bNT， bi任意給定正常數(shù)， aTyi = bi 0N個線性方程的的矩陣表示：33平方誤差準則函數(shù)定義誤差向量 e=Ya-b：定義平方誤差準則函數(shù)Js(a):MSE準則最小二乘近似解（MSE解）：MSE方法的思想：對每個樣本，設定一個“理想”的判別函數(shù)輸出

4、值，以最小平方誤差為準則求最優(yōu)權向量34MSE準則函數(shù)的偽逆解MSE準則Y的偽逆矩陣35MSE方法與Fisher方法的關系與Fisher方法的關系：當MSE準則N1個N2個MSE解等價于Fisher解36MSE方法與Bayes方法的關系MSE準則當N，b=uN= 1,1, , 1T 時，則它以最小均方誤差逼近Bayes判別函數(shù)：37MSE方法的迭代解a*=Y+b, Y+=(YTY)-1YT，計算量大實際中常用梯度下降法：MSE準則批量樣本修正法單樣本修正法384.5 多類問題兩類別問題可以推廣到多類別問題i/i 法：將C類別問題化為(C-1)個兩類（第i類與所有非i類）問題，按兩類問題確定其判

5、別函數(shù)與決策面方程 i/j 法：將C類中的每兩類別單獨設計其線性判別函數(shù)，因此總共有C(C-1)/2個線性判別函數(shù) R1R3R21非12非2R1R3R212133240多類線性判別函數(shù)將特征空間確實劃分為c個決策域，共有c個判別函數(shù)多類問題決策規(guī)則：決策域的邊界由相鄰決策域的判別函數(shù)共同決定，此時應有gi(x)=gj(x) 線性分類器的決策面是凸的，決策區(qū)域是單連通的多類分類器的分界面是分段線性的41多類線性決策面圖例R1R3R2g1g2g1g3g3g1g3g2g2g3g2g1R1R3R2R5R4多類問題434.6 討論基于樣本的直接確定判別函數(shù)方法主要包含兩個步驟：確定使用的判別函數(shù)類型或決策面方程類型，如線性分類器，分段線性分類器等；在選定函數(shù)類型的條件下，確定相應的參數(shù)，從而完成整個分類器的設計。線性判別函數(shù)計算簡單，在一定條件下能實現(xiàn)最優(yōu)分類，經常是一種“有限合理”的選擇。習題已知：1: x1, x2=(1 0 1)T, (0 1 1)T，2: x3, x4=(1 1