非參數(shù)判別分類(lèi)方法1課件

第三章非參數(shù)判別分類(lèi)方法非參數(shù)判別分類(lèi)方法是當(dāng)前模式識(shí)別中主要使用的方法，并且涉及到人工神經(jīng)元網(wǎng)絡(luò)與統(tǒng)計(jì)學(xué)習(xí)理論等多方面，是本門(mén)課最核心的章節(jié)之一。學(xué)習(xí)指南非參數(shù)判別分類(lèi)方法的核心是由訓(xùn)練樣本集提供的信息直接確定決策域的劃分方法。

本章最重要的概念是分類(lèi)器設(shè)計(jì)用一種訓(xùn)練與學(xué)習(xí)的過(guò)程來(lái)實(shí)現(xiàn)。機(jī)器自動(dòng)識(shí)別事物的能力通過(guò)訓(xùn)練學(xué)習(xí)過(guò)程來(lái)實(shí)現(xiàn)，其性能通過(guò)學(xué)習(xí)過(guò)程來(lái)提高，這是模式識(shí)別、人工神經(jīng)元網(wǎng)絡(luò)中最核心的內(nèi)容。4/2/20231學(xué)習(xí)這一章要進(jìn)一步體會(huì)模式識(shí)別中確定準(zhǔn)則函數(shù)并實(shí)現(xiàn)優(yōu)化的計(jì)算框架。由于決策域的分界面是用數(shù)學(xué)式子來(lái)描述的，如線性函數(shù)，或各種非線性函數(shù)等。因此確定分界面方程包括選擇函數(shù)類(lèi)型與確定最佳參數(shù)兩個(gè)部分。一般說(shuō)來(lái)選擇函數(shù)類(lèi)型是由設(shè)計(jì)者確定的，但其參數(shù)的確定則是通過(guò)一個(gè)學(xué)習(xí)過(guò)程來(lái)實(shí)現(xiàn)的，是一個(gè)疊代實(shí)現(xiàn)優(yōu)化的過(guò)程。因此本章從最簡(jiǎn)單的函數(shù)類(lèi)型講起，再擴(kuò)展到非線性函數(shù)。4/2/20232中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院數(shù)學(xué)是模式識(shí)別中不可缺少的工具，希望大家學(xué)習(xí)時(shí)，遇到的數(shù)學(xué)方面的內(nèi)容要通過(guò)再學(xué)習(xí)、復(fù)習(xí)等進(jìn)一步掌握，如線性代數(shù)、矩陣的特征值分解與特征向量等概念的運(yùn)用上起到很重要的作用。通過(guò)這門(mén)課學(xué)習(xí)，加深對(duì)這些數(shù)學(xué)工具的理解與運(yùn)用熟練程度是會(huì)終身受益的。對(duì)于數(shù)學(xué)推導(dǎo)理解程度的要求，對(duì)增強(qiáng)同學(xué)分析問(wèn)題解決問(wèn)題的能力有好處。4/2/20233中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院本章重點(diǎn)1、非參數(shù)判別分類(lèi)器的基本原理，與參數(shù)判別分類(lèi)方法的比較。2、線性分類(lèi)器的三種典型方法——以Fisher準(zhǔn)則為代表的傳統(tǒng)模式識(shí)別方法，以感知準(zhǔn)則函數(shù)為代表的機(jī)器自學(xué)習(xí)方法，以及支持向量機(jī)代表的統(tǒng)計(jì)學(xué)習(xí)理論。3、近鄰法的工作原理及其改進(jìn)。4、線性分類(lèi)器擴(kuò)展到非線性分類(lèi)器，兩類(lèi)別分類(lèi)方法與多類(lèi)別分類(lèi)方法。4/2/20235中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院1、Fisher準(zhǔn)則函數(shù)，其中用到向量點(diǎn)積，帶約束條件的拉格朗日乘子法以及矩陣的特征值、特征向量等數(shù)學(xué)工具。要求對(duì)這些數(shù)學(xué)工具較深理解。2、感知器準(zhǔn)則函數(shù)提出利用錯(cuò)誤提供信息實(shí)現(xiàn)疊代修正的學(xué)習(xí)原理。3、支持向量機(jī)方法設(shè)計(jì)約束條件為不等式的極值優(yōu)化問(wèn)題。本章難點(diǎn)4、三種不同典型方法的優(yōu)缺點(diǎn)比較。5、近鄰法的改進(jìn)。4/2/20236中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院1、機(jī)器能否像人類(lèi)一樣通過(guò)例證教育認(rèn)知事物，修正觀念中的錯(cuò)誤的成分?2、機(jī)器學(xué)習(xí)過(guò)程中有教師嗎？誰(shuí)是教師？3、什么叫線性分類(lèi)器？按照基于最小錯(cuò)誤率貝葉斯決策，什么條件下才能用線性分類(lèi)器？課前思考題4/2/20237中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院非參數(shù)判別分類(lèi)方法的兩個(gè)過(guò)程設(shè)計(jì)者確定使用什么典型的分類(lèi)決策方法利用訓(xùn)練樣本集提供的信息確定這些函數(shù)中的參數(shù)4/2/20239中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院線性判別函數(shù)的一般形式3.1.1線性判別函數(shù)的基本概念其中w

0是個(gè)常數(shù)，稱(chēng)為閾值權(quán)，x是維特征向量，w稱(chēng)為權(quán)向量，分別表示為：4/2/202310中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院在線性判別函數(shù)條件下它對(duì)應(yīng)d維空間的一個(gè)超平面。相應(yīng)的決策規(guī)則決策面方程4/2/202311中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院向量W的意義4/2/202313中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院3.1.2廣義線性判別函數(shù)線性判別函數(shù)是形式最為簡(jiǎn)單的判別函數(shù)，但是它不能用于稍復(fù)雜一些的情況，例如，欲設(shè)計(jì)這樣一個(gè)一維樣本的分類(lèi)器，使其性能為：相應(yīng)的決策規(guī)則為：設(shè)計(jì)一判別函數(shù):4/2/202314中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院廣義線性判別函數(shù)基本思想：g(X)不再是x的線性函數(shù)，而是一個(gè)二次函數(shù)，此時(shí)通過(guò)選擇一種映射X→Y，即將原樣本特征向量X映射成另一向量Y，從而把二次函數(shù)轉(zhuǎn)換成線性函數(shù)。

4/2/202315中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院其中寫(xiě)成另一種形式Y(jié)為增廣樣本向量，a為增廣權(quán)向量。4/2/202317中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院例：一個(gè)一維特征空間的分類(lèi)器其決策面方程為：在一維空間中為一個(gè)點(diǎn)，經(jīng)齊次簡(jiǎn)化后可得：4/2/202318中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院思考如果在兩維空間存在一條不過(guò)原點(diǎn)的直線采用增廣向量形式：?jiǎn)栴}：在增加一維的三維空間中，aTY=0表示的是什么呢？答：一個(gè)過(guò)原點(diǎn)的平面，方程為ay1+by2+cy3=04/2/202319中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院3.1.3設(shè)計(jì)線性分類(lèi)器的主要步驟（1）按需要確定一準(zhǔn)則函數(shù)J。（2）確定準(zhǔn)則函數(shù)J達(dá)到極值時(shí)W*，w0

*和a*的具體數(shù)值，從而確定判別函數(shù)，完成分類(lèi)器設(shè)計(jì)。得到線性判別函數(shù)：這種方法的具體過(guò)程可大致分為：4/2/202321中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院3.2Fisher線性判別Fisher線性判別函數(shù)是研究線性判別函數(shù)中最有影響的方法之一。對(duì)線性判別函數(shù)的研究就是從R.A.Fisher在1936年發(fā)表的論文開(kāi)始的。4/2/202322中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院1.Fisher準(zhǔn)則函數(shù)基本思想設(shè)計(jì)線性分類(lèi)器首先要確定準(zhǔn)則函數(shù)，然后再利用訓(xùn)練樣本集確定該分類(lèi)器的參數(shù)，以求使所確定的準(zhǔn)則達(dá)到最佳。

在使用線性分類(lèi)器時(shí)，樣本的分類(lèi)由其判別函數(shù)值決定，而每個(gè)樣本的判別函數(shù)值是其各分量的線性加權(quán)和再加上一閾值w0。如果向量W的幅度為單位長(zhǎng)度，則線性加權(quán)和又可看作各樣本向量在向量W上的投影。顯然樣本集中向量投影的分布情況與所選擇的W向量有關(guān)。

4/2/202323中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院樣本在d維X空間的一些描述量（1）各類(lèi)樣本均值向量（2）樣本類(lèi)內(nèi)離散度矩陣與總類(lèi)內(nèi)離散度矩陣

（3）樣本類(lèi)間離散度矩陣4/2/202325中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院樣本在一維Y空間的一些描述量（1）各類(lèi)樣本均值（2）樣本類(lèi)內(nèi)離散度矩陣與總類(lèi)內(nèi)離散度矩陣

4/2/202326中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院2.最佳W值的確定最佳W值的確定實(shí)際上就是對(duì)準(zhǔn)則函數(shù)求取其取極大值時(shí)的W*

設(shè)計(jì)一拉格朗日函數(shù)：其中λ為拉格朗日乘子，按拉格朗日算法對(duì)上式求對(duì)W的偏導(dǎo)數(shù)，且令其在W=W*時(shí)為零，得：4/2/202329中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院實(shí)際上我們關(guān)心的只是向量W*的方向，其數(shù)值大小對(duì)分類(lèi)器沒(méi)有影響。因此在忽略了數(shù)值因子R/λ后，可得:矩陣非奇異即該矩陣可逆，上式是典型的求矩陣特征值問(wèn)題。其中

是一個(gè)數(shù)量，可用數(shù)值R表示，則上式可寫(xiě)成：4/2/202330中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院最佳法線向量使Fisher準(zhǔn)則函數(shù)達(dá)極大值的解，也就是按Fisher準(zhǔn)則將d維X空間投影到一維Y空間的最佳投影方向，該向量W*的各分量值是對(duì)原d維特征向量求加權(quán)和的權(quán)值。該式與在兩類(lèi)正態(tài)分布且具有相同的協(xié)方差矩陣Σ時(shí)，按