模式識(shí)別-第4章-線性判別函數(shù)

1、模式識(shí)別:線性判別函數(shù)第4章 線性判別函數(shù)目錄4.1引言4.2Fisher（重點(diǎn)）4.3感知準(zhǔn)則函數(shù)（重點(diǎn)）4.4最小平方誤差準(zhǔn)則函數(shù)4.5分類(lèi)器錯(cuò)誤率估計(jì)（重點(diǎn)）4.6多類(lèi)問(wèn)題（重點(diǎn)）4.7分段線性判別函數(shù)（難點(diǎn)）4.1 引言MAXg1.g2gc.x1x2xna(x)訓(xùn)練樣本集樣本類(lèi)條件概率密度分布決策規(guī)則：判別函數(shù)決策面方程分類(lèi)器功能結(jié)構(gòu)貝葉斯分類(lèi)器：實(shí)際問(wèn)題中貝葉斯分類(lèi)器的缺陷實(shí)際問(wèn)題中并不一定具備獲取準(zhǔn)確統(tǒng)計(jì)分布的條件！#樣本不足#樣本分布未知能否基于樣本直接確定判別函數(shù)和決策面?訓(xùn)練樣本集樣本類(lèi)條件概率密度分布決策規(guī)則：判別函數(shù)決策面方程？直接確定判別函數(shù)方法基于樣本的直接確定判別函

2、數(shù)方法：針對(duì)各種不同的情況，使用不同的準(zhǔn)則函數(shù)，設(shè)計(jì)出滿足這些不同準(zhǔn)則要求的分類(lèi)器。這些準(zhǔn)則的“最優(yōu)”并不一定與錯(cuò)誤率最小相一致：次優(yōu)分類(lèi)器。 訓(xùn)練樣本集決策規(guī)則：判別函數(shù)決策面方程選擇最佳準(zhǔn)則最簡(jiǎn)單的判別函數(shù)：線性判別函數(shù)x是樣本向量，即樣本在d維特征空間中的描述， w是權(quán)向量，w0是一個(gè)常數(shù)(閾值權(quán))。兩類(lèi)問(wèn)題的分類(lèi)決策規(guī)則:線性判別函數(shù)的幾何意義決策面(decision boundary)H方程：g(x)=0向量w是決策面H的法向量g(x)是點(diǎn)x到?jīng)Q策面H的距離的一種代數(shù)度量x1x2wxxprH: g=0廣義線性判別函數(shù)例：設(shè)計(jì)一個(gè)一維分類(lèi)器的判別函數(shù)， 使其功能為： 它是線性判別函數(shù)嗎

3、？否廣義線性判別函數(shù)沒(méi)有任何一個(gè)線性判別函數(shù)能解決上述問(wèn)題。線性判別函數(shù)是形式最為簡(jiǎn)單的判別函數(shù)，但是它不能用于復(fù)雜情況（線性不可分問(wèn)題）。那么復(fù)雜的情況怎么辦？（1）非線性判別函數(shù)（2）線性判別函數(shù)（廣義）廣義線性判別函數(shù)二次函數(shù)的一般形式：g(x)又可表示成： 空間映射XY原理：空間映射XY稱(chēng)為廣義線性判別函數(shù)按照上述原理，任何非線性函數(shù)g(x)用級(jí)數(shù)展開(kāi)成高次多項(xiàng)式后，都可轉(zhuǎn)化成線性判別函數(shù)來(lái)處理。廣義線性判別函數(shù)的性能優(yōu)點(diǎn)：解決了普通線性判別函數(shù)不能解決的問(wèn)題，把高次判別函數(shù)化為線性判別函數(shù)。缺點(diǎn)：維數(shù)增加，可能導(dǎo)致維數(shù)災(zāi)難。廣義線性判別函數(shù)的一個(gè)特例（重點(diǎn)）一種特殊映射方法：增廣樣本

4、向量y與增廣權(quán)向量a線性判別函數(shù)的簡(jiǎn)化： 在Y空間中決策面H通過(guò)坐標(biāo)原點(diǎn)，這在分析某些問(wèn)題時(shí)具有優(yōu)點(diǎn)，因此經(jīng)常用到。 增廣樣本向量使特征空間增加了一維，但保持了樣本間的歐氏距離不變，對(duì)于分類(lèi)效果也與原決策面相同。 線性分類(lèi)器設(shè)計(jì)步驟（重點(diǎn)）主要步驟：收集訓(xùn)練數(shù)據(jù)集D=x1,x2,xN按需要確定一個(gè)準(zhǔn)則函數(shù)J(D,w,w0)或J(D,a)，其值反映分類(lèi)器的性能，其極值解對(duì)應(yīng)于“最好”決策。用最優(yōu)化技術(shù)求準(zhǔn)則函數(shù)J的極值解w*，w*或a*。最終，得到線性判別函數(shù)，完成分類(lèi)器設(shè)計(jì)習(xí)題：已知兩類(lèi)問(wèn)題的樣本集中，有兩個(gè)樣本。 屬于類(lèi)， 屬于類(lèi)，對(duì)它們進(jìn)行增廣后，這兩個(gè)樣本的增廣樣本分別為 =_, =_。

5、廣義線性判別函數(shù)主要是利用_原理解決_問(wèn)題，利用廣義線性判別函數(shù)設(shè)計(jì)分類(lèi)器可能導(dǎo)致_。線性分類(lèi)器設(shè)計(jì)步驟？線性判別函數(shù)g(x)的幾何表示是：點(diǎn)x到?jīng)Q策面H的_。增廣樣本向量使特征空間增加了_（一、二、三、大于三）維，但樣本在新的空間中保持了樣本間的_不變，對(duì)于分類(lèi)效果也與原決策面相同。 在新的空間中決策面H通過(guò)坐標(biāo)_。目錄4.1引言4.2Fisher（重點(diǎn)）4.3感知準(zhǔn)則函數(shù)（重點(diǎn)）4.4最小平方誤差準(zhǔn)則函數(shù)4.5分類(lèi)器錯(cuò)誤率估計(jì)（重點(diǎn)）4.6多類(lèi)問(wèn)題（重點(diǎn)）4.7分段線性判別函數(shù)（難點(diǎn)）費(fèi)希爾（Fisher, Ronald Aylmer）是英國(guó)統(tǒng)計(jì)學(xué)家、遺傳學(xué)家.1890年生于倫敦；1962

6、年卒于澳大利亞阿德雷德. 1909年靠一筆助學(xué)金進(jìn)入劍橋大學(xué) 1919年到加拿大務(wù)農(nóng)。農(nóng)業(yè)試驗(yàn)站作統(tǒng)計(jì)工作費(fèi)希爾還是一位遺傳學(xué)家、優(yōu)生學(xué)家，他是統(tǒng)計(jì)遺傳學(xué)的創(chuàng)始人之一，他用統(tǒng)計(jì)方法研究生物學(xué)，研究突變、連鎖、自然淘汰、近親婚姻、移居等因素對(duì)總體遺傳特性的影響. 費(fèi)希爾是使統(tǒng)計(jì)學(xué)成為一門(mén)有堅(jiān)實(shí)理論基礎(chǔ)并獲得廣泛應(yīng)用的主要統(tǒng)計(jì)學(xué)家之一 。4.2 Fisher線性判別線性判別函數(shù)y=g(x)=wTx:樣本向量x各分量的線性加權(quán)樣本向量x與權(quán)向量w的向量點(diǎn)積如果| w |=1，則視作向量x在向量w上的投影 Fisher準(zhǔn)則的基本原理：找到一個(gè)最合適的投影軸，使兩類(lèi)樣本在該軸上投影之間的距離盡可能遠(yuǎn)，而

7、每一類(lèi)樣本的投影盡可能緊湊，從而使分類(lèi)效果為最佳。x1w1決策面w2x2Fisher線性判別圖例W1，W2哪個(gè)向量好？類(lèi)間離散度類(lèi)內(nèi)離散度類(lèi)間離散度類(lèi)內(nèi)離散度一維Y空間樣本分布的描述量各類(lèi)樣本均值樣本類(lèi)內(nèi)離散度和總類(lèi)內(nèi)離散度樣本類(lèi)間離散度 以上定義描述d維空間樣本點(diǎn)到一維向量投影的分散情況，因此也就是對(duì)某向量w的投影在w上的分布。樣本離散度的定義與隨機(jī)變量方差相類(lèi)似 d維空間樣本分布的描述量各類(lèi)樣本均值向量mi樣本類(lèi)內(nèi)離散度矩陣Si與總類(lèi)內(nèi)離散度矩陣Sw 樣本類(lèi)間離散度矩陣Sb：離散矩陣在形式上與協(xié)方差矩陣很相似，但協(xié)方差矩陣是一種期望值，而離散矩陣只是表示有限個(gè)樣本在空間分布的離散程度樣本與

8、其投影統(tǒng)計(jì)量間的關(guān)系：均值向量樣本x與其投影y的統(tǒng)計(jì)量之間的關(guān)系：樣本與其投影統(tǒng)計(jì)量間的關(guān)系：類(lèi)間離散度矩陣樣本x與其投影y的統(tǒng)計(jì)量之間的關(guān)系：樣本與其投影統(tǒng)計(jì)量間的關(guān)系：樣本類(lèi)內(nèi)離散度矩陣Fisher準(zhǔn)則函數(shù)評(píng)價(jià)投影方向w的原則，使原樣本向量在該方向上的投影能兼顧類(lèi)間分布盡可能分開(kāi)，類(lèi)內(nèi)樣本投影盡可能密集的要求Fisher準(zhǔn)則函數(shù)的定義：Fisher最佳投影方向的求解Fisher最佳投影方向的求解采用拉格朗日乘子算法解決 m1-m2是一向量，對(duì)與(m1-m2)平行的向量投影可使兩均值點(diǎn)的距離最遠(yuǎn)。但是如從使類(lèi)間分得較開(kāi)，同時(shí)又使類(lèi)內(nèi)密集程度較高這樣一個(gè)綜合指標(biāo)來(lái)看，則需根據(jù)兩類(lèi)樣本的分布離散

9、程度對(duì)投影方向作相應(yīng)的調(diào)整，這就體現(xiàn)在對(duì)m1-m2 向量按Sw-1作一線性變換，從而使Fisher準(zhǔn)則函數(shù)達(dá)到極值點(diǎn)判別函數(shù)的確定前面討論了使Fisher準(zhǔn)則函數(shù)極大的d維向量w*的計(jì)算方法，判別函數(shù)中的另一項(xiàng)w0（閾值）可采用以下幾種方法確定： 分類(lèi)規(guī)則:Fisher公式的推導(dǎo)習(xí)題Fisher準(zhǔn)則的基本原理為：找到一個(gè)最合適的投影軸，使_在該軸上投影之間的距離盡可能遠(yuǎn)，而_的投影盡可能緊湊，從而使分類(lèi)效果為最佳。Fisher準(zhǔn)則函數(shù)的定義為 =_。Fisher方法中，樣本類(lèi)內(nèi)離散度矩陣Si與總類(lèi)內(nèi)離散度矩陣Sw 分別為_(kāi)和_。Fisher方法主要利用投影向量w，將所有d維樣本x投影的一維樣本

10、y（即，y=wTx）來(lái)實(shí)現(xiàn)對(duì)樣本的有效分類(lèi)。已知一維樣本類(lèi)間離散度 ，d維樣本類(lèi)間離散度矩陣為 ，證明它們之間的關(guān)系為利用Lagrange乘子法使Fisher線性判別的準(zhǔn)則函數(shù)極大化，最終可以得到的判別函數(shù)權(quán)向量 = _。 敘述Fisher算法的基本原理。 Fisher準(zhǔn)則函數(shù)的定義為 。試?yán)肔agrange乘子法使Fisher線性判別的準(zhǔn)則函數(shù)極大化來(lái)得到的判別函數(shù)權(quán)向量。描述獲得這個(gè)權(quán)向量的推導(dǎo)過(guò)程。目錄4.1引言4.2Fisher（重點(diǎn)）4.3感知準(zhǔn)則函數(shù)（重點(diǎn)）4.4最小平方誤差準(zhǔn)則函數(shù)4.5分類(lèi)器錯(cuò)誤率估計(jì)（重點(diǎn)）4.6多類(lèi)問(wèn)題（重點(diǎn)）4.7分段線性判別函數(shù)（難點(diǎn)）4.3 感知準(zhǔn)則

11、函數(shù)感知準(zhǔn)則函數(shù)是五十年代由羅森勃拉特(Rosenblatt) 提出的一種自學(xué)習(xí)判別函數(shù)生成方法由于Rosenblatt企圖將其用于腦模型感知機(jī)（perceptron），因此被稱(chēng)為感知準(zhǔn)則函數(shù)。其特點(diǎn)是隨意確定權(quán)向量初始值，在對(duì)樣本分類(lèi)訓(xùn)練過(guò)程中逐步修正權(quán)向量直至最終確定。1958年美國(guó)心理學(xué)家羅森勃拉特（Rosenblatt）發(fā)表著名的論文：感知器：腦的組織與信息存儲(chǔ)的概率模型。首次把人工神經(jīng)網(wǎng)絡(luò)的研究用于工程實(shí)踐。提出了著名的感知器模型，成為20世紀(jì)80年代影響巨大的多層感知器的基礎(chǔ)。1961年，明斯基證明了羅森勃拉特的感知器的缺陷：只能完成線性可分的模式分類(lèi)，不能完成諸如“異或”，或者非

12、線性的分類(lèi)。神經(jīng)網(wǎng)絡(luò)的研究從此走了一段彎路，研究經(jīng)費(fèi)幾乎沒(méi)有。1986年，多層感知器的反向傳播方法，克服了感知器的主要缺陷。基本概念：規(guī)范化增廣樣本（重點(diǎn)）線性可分性：訓(xùn)練樣本集中的兩類(lèi)樣本可以用一個(gè)線性分界面正確分開(kāi)。在線性可分條件下，對(duì)合適的(廣義)權(quán)向量a應(yīng)有：規(guī)范化樣本向量 ：Y 是規(guī)范化增廣樣本將第二類(lèi)樣本取其反向向量 解向量與解區(qū)滿足 的權(quán)向量稱(chēng)為解向量，記為解區(qū):解向量不止一個(gè)，而是由無(wú)窮多個(gè)解向量組成的解，稱(chēng)這樣的區(qū)域?yàn)榻鈪^(qū)。通常為了使解向量更可靠，需要對(duì)解區(qū)進(jìn)行限制。（引入余量b0，尋找 的解向量）解向量與解區(qū)感知機(jī)準(zhǔn)則函數(shù)及其梯度下降算法對(duì)于任何一個(gè)增廣權(quán)向量a ，對(duì)樣本y

13、正確分類(lèi)，則有：aTy0 對(duì)樣本y錯(cuò)誤分類(lèi)，則有：aTy0引入余量、不等式轉(zhuǎn)化為等式引入余量(目標(biāo)向量) b=b1, b2, , bNT， bi任意給定正常數(shù) aTyi = bi 0N個(gè)線性方程的的矩陣表示：平方誤差準(zhǔn)則函數(shù)定義誤差向量 e=Ya-b定義平方誤差準(zhǔn)則函數(shù)Js(a):平方誤差準(zhǔn)則函數(shù)最小二乘近似解（MSE解）：MSE方法的思想：以最小平方誤差為準(zhǔn)則求最優(yōu)權(quán)向量MSE準(zhǔn)則函數(shù)的偽逆解Y的偽逆矩陣MSE方法與Fisher方法的關(guān)系與Fisher方法的關(guān)系：N1個(gè)N2個(gè)MSE解等價(jià)于Fisher解MSE方法與Bayes方法的關(guān)系當(dāng)N，b=uN= 1,1, , 1T 時(shí)，則它以最小均方誤

14、差逼近Bayes判別函數(shù)：MSE方法偽逆解帶來(lái)的問(wèn)題a*=Y+b Y+=(YTY)-1YT 問(wèn)題1：計(jì)算量大 問(wèn)題2：YTY有時(shí)非奇異實(shí)際中常用梯度下降法來(lái)降低計(jì)算復(fù)雜度MSE方法的迭代解實(shí)際中常用梯度下降法：批量樣本修正法單樣本修正法目錄4.1引言4.2Fisher（重點(diǎn)）4.3感知準(zhǔn)則函數(shù)（重點(diǎn)）4.4最小平方誤差準(zhǔn)則函數(shù)4.5分類(lèi)器錯(cuò)誤率估計(jì)（重點(diǎn)）4.6多類(lèi)問(wèn)題（重點(diǎn)）4.7分段線性判別函數(shù)（難點(diǎn)）分類(lèi)器錯(cuò)誤率估計(jì)categoricalcategoricalcontinuousclassTestSetTraining SetModelLearn Classifier錯(cuò)誤率估計(jì)第一種情況

15、已設(shè)計(jì)好分類(lèi)器時(shí)，錯(cuò)誤率的估計(jì)即用錯(cuò)分測(cè)試樣本數(shù)與總測(cè)試樣本數(shù)的比值來(lái)估計(jì)分類(lèi)器的錯(cuò)誤率。錯(cuò)誤率估計(jì)第二種情況未設(shè)計(jì)好分類(lèi)器時(shí)，錯(cuò)誤率的估計(jì)。這種情況在設(shè)計(jì)分類(lèi)器階段和檢驗(yàn)分類(lèi)器階段的樣本使用上會(huì)存在問(wèn)題。樣本競(jìng)爭(zhēng)設(shè)計(jì)分類(lèi)器階段和檢驗(yàn)分類(lèi)器階段都要用到帶有類(lèi)別標(biāo)號(hào)的樣本（訓(xùn)練樣本）。categoricalcategoricalcontinuousclassTestSetTraining SetModelLearn Classifier粗糙的錯(cuò)誤率估計(jì)方案粗糙的錯(cuò)誤率估計(jì)方案：樣本重復(fù)使用：N樣本既用于設(shè)計(jì)分類(lèi)器，又用于估計(jì)分類(lèi)器錯(cuò)誤率缺點(diǎn)：樣本相交度高。訓(xùn)練分類(lèi)器的樣本用于檢驗(yàn)會(huì)使分類(lèi)效果偏好

16、，導(dǎo)致錯(cuò)誤率估計(jì)不準(zhǔn)確！樣本分為不相交的兩個(gè)部分：一部分樣本用于設(shè)計(jì)分類(lèi)器，另一部分用于估計(jì)分類(lèi)器錯(cuò)誤率缺點(diǎn)：樣本利用率低，較少的樣本參與分類(lèi)器設(shè)計(jì)和檢驗(yàn)，導(dǎo)致錯(cuò)誤率估計(jì)不準(zhǔn)確！留一法留一法：N個(gè)樣本取N-1個(gè)樣本為訓(xùn)練集，設(shè)計(jì)分類(lèi)器。剩下的一個(gè)樣本作為測(cè)試集，輸入到分類(lèi)器中，檢驗(yàn)是否錯(cuò)分。然后放回樣本，重復(fù)上述的過(guò)程，直到N次，即每個(gè)樣本都做了一次測(cè)試。統(tǒng)計(jì)被錯(cuò)分的樣本總數(shù)k， 作為錯(cuò)誤率的估計(jì)率。TestSetTraining SetModelLearn Classifier10個(gè)樣本的留一法例子第1次第2次第10次。判斷結(jié)果：留一法性能留一法有效的利用了訓(xùn)練樣本，而且很大程度上降低了樣本

17、相關(guān)性。對(duì)錯(cuò)誤率的估計(jì)更準(zhǔn)確。但為了估計(jì)分類(lèi)器錯(cuò)誤率需訓(xùn)練N次分類(lèi)器，計(jì)算量大。 參與設(shè)計(jì)的樣本 參與錯(cuò)誤率估計(jì)的樣本（N-1）（N）M-重交叉驗(yàn)證m-重交叉驗(yàn)證：N個(gè)樣本被劃分成m個(gè)不相交集合，每組有N/m個(gè)樣本在m個(gè)組中取m-1個(gè)組的樣本作為訓(xùn)練集，設(shè)計(jì)分類(lèi)器。剩下的一組樣本作測(cè)試集，輸入到分類(lèi)器中檢驗(yàn)，統(tǒng)計(jì)錯(cuò)分?jǐn)?shù)k。然后放回，重復(fù)上述的過(guò)程，直到m次。設(shè)ki（i=1,m)是第i次測(cè)試的錯(cuò)分?jǐn)?shù)，則TestSetTraining SetModelLearn Classifier10個(gè)樣本的m-重交叉驗(yàn)證例子（m=5）第1次第2次第5次。判斷結(jié)果：分組方法性能留一法有效的利用了訓(xùn)練樣本，而且很

18、大程度上降低了樣本相關(guān)性。對(duì)錯(cuò)誤率的估計(jì)更準(zhǔn)確。但為了估計(jì)分類(lèi)器錯(cuò)誤率需訓(xùn)練N次分類(lèi)器，計(jì)算量大。 參與設(shè)計(jì)的樣本 參與錯(cuò)誤率估計(jì)的樣本m-重交叉驗(yàn)證與留一法相比減少了大量的計(jì)算量。隨著m值減少，訓(xùn)練分類(lèi)器時(shí)的樣本減少，導(dǎo)致設(shè)計(jì)的分類(lèi)器模型質(zhì)量下降，將降低錯(cuò)誤率的估計(jì)準(zhǔn)確率。總體上看，錯(cuò)誤率的估計(jì)相對(duì)較好。 參與設(shè)計(jì)的樣本 參與錯(cuò)誤率估計(jì)的樣本（N-1）（N）（N）（N-N/m）Weka進(jìn)行分類(lèi)器錯(cuò)誤率估計(jì)目錄4.1引言4.2Fisher（重點(diǎn)）4.3感知準(zhǔn)則函數(shù)（重點(diǎn)）4.4最小平方誤差準(zhǔn)則函數(shù)4.5分類(lèi)器錯(cuò)誤率估計(jì)（重點(diǎn)）4.6多類(lèi)問(wèn)題（重點(diǎn)）4.7分段線性判別函數(shù)（難點(diǎn)）4.6 多類(lèi)問(wèn)題

19、兩類(lèi)別問(wèn)題可以推廣到多類(lèi)別問(wèn)題i/i 法：將C類(lèi)別問(wèn)題化為(C-1)個(gè)兩類(lèi)（第i類(lèi)與所有非i類(lèi)）問(wèn)題，按兩類(lèi)問(wèn)題確定其判別函數(shù)與決策面方程 i/j 法：將C類(lèi)中的每?jī)深?lèi)別單獨(dú)設(shè)計(jì)其線性判別函數(shù)，因此總共有C(C-1)/2個(gè)線性判別函數(shù) R1R3R21非12非2R1R3R21213324.6 多類(lèi)問(wèn)題兩類(lèi)別問(wèn)題可以推廣到多類(lèi)別問(wèn)題i/i 法：將C類(lèi)別問(wèn)題化為(C-1)個(gè)兩類(lèi)（第i類(lèi)與所有非i類(lèi)）問(wèn)題，按兩類(lèi)問(wèn)題確定其判別函數(shù)與決策面方程 R1R3R21非12非2121非2非12非2非1123組合后的分類(lèi)結(jié)果：4.6 多類(lèi)問(wèn)題兩類(lèi)別問(wèn)題可以推廣到多類(lèi)別問(wèn)題i/j 法：將C類(lèi)中的每?jī)深?lèi)別單獨(dú)設(shè)計(jì)其線

20、性判別函數(shù)，因此總共有C(C-1)/2個(gè)線性判別函數(shù) R1R3R2121332111組合后的分類(lèi)結(jié)果：211131321333212221323222333兩類(lèi)問(wèn)題分類(lèi)器解決多類(lèi)問(wèn)題方法的性能優(yōu)點(diǎn)：設(shè)計(jì)思想簡(jiǎn)單，容易實(shí)現(xiàn)。缺點(diǎn)： （1）需要訓(xùn)練的子分類(lèi)器或參數(shù)多，效率低。 （2）無(wú)法確定類(lèi)別的區(qū)域多。造成該問(wèn)題的根本原因是將多類(lèi)問(wèn)題看成了多個(gè)兩類(lèi)問(wèn)題來(lái)解決。這樣，必然造成陰影區(qū)域的出現(xiàn)。如果想根本解決這種問(wèn)題，需要使用多類(lèi)問(wèn)題的分類(lèi)器而不是兩類(lèi)問(wèn)題的分類(lèi)器。目錄4.1引言4.2Fisher（重點(diǎn)）4.3感知準(zhǔn)則函數(shù)（重點(diǎn)）4.4最小平方誤差準(zhǔn)則函數(shù)4.5分類(lèi)器錯(cuò)誤率估計(jì)（重點(diǎn)）4.6多類(lèi)問(wèn)題（

21、重點(diǎn)）4.7分段線性判別函數(shù)（難點(diǎn)）4.7 分段線性判別函數(shù) 有些復(fù)雜模式識(shí)別問(wèn)題不是線性可分的，需使用非線性的分類(lèi)方法分段線性判別函數(shù)：一種特殊的非線性判別函數(shù)，它的決策面是若干超平面R1R3R2IIIIIII: 線性判別II：分段線性判別III: 二次判別基于距離的分段線性判別函數(shù) 最小距離分類(lèi)器： 把各類(lèi)別樣本特征的均值向量作為各類(lèi)的代表點(diǎn)(prototype) ，根據(jù)待識(shí)別樣本到各類(lèi)別代表點(diǎn)的最小距離判別其類(lèi)別。決策面是兩類(lèi)別均值連線的垂直平分面m1m2xg(x)=0基于距離的分段線性判別函數(shù) 分段線性距離分類(lèi)器： 將各類(lèi)別劃分成相對(duì)密集的子類(lèi)，每個(gè)子類(lèi)以它們的均值作為代表點(diǎn)，然后按最小距離分類(lèi) 基于距離的分段線性判別函數(shù) 判別函數(shù)定義：i有l(wèi)i個(gè)子類(lèi)，即屬于i 的決策域Ri分成li個(gè)子域Ri1, Ri2, Rili)，每個(gè)子區(qū)域用均值mik代表點(diǎn)判別規(guī)則：性能優(yōu)點(diǎn)： （1）可以解決線性不可分問(wèn)題。 （2）比二次判別函數(shù)簡(jiǎn)單。缺點(diǎn)： （1）確定子集數(shù)目難。 （2）對(duì)一些情況不適用 （3）兩類(lèi)問(wèn)題變?yōu)槎囝?lèi)問(wèn)題，使得分類(lèi)問(wèn)題