模式識(shí)別 課件全套 蔡利梅 第1-9章 緒論 -特征提取

課程目標(biāo)緒論目標(biāo)1：理解掌握模式識(shí)別的基礎(chǔ)知識(shí)目標(biāo)3：編程實(shí)現(xiàn)模式識(shí)別的算法系統(tǒng)目標(biāo)2：分析設(shè)計(jì)模式識(shí)別的解決方案第1章緒論主要內(nèi)容1.1模式識(shí)別的基本概念1.2模式識(shí)別方法1.3模式識(shí)別系統(tǒng)1.4模式識(shí)別應(yīng)用緒論1.1模式識(shí)別的基本概念（1）人類的模式識(shí)別能力時(shí)刻進(jìn)行人們所做的每一件事情，首先都有一個(gè)識(shí)別的過程。復(fù)雜性緒論P(yáng)attern，任何可觀測且需要進(jìn)行分類的對象（2）模式和模式類1.1模式識(shí)別的基本概念模式模式類模式所屬的類別或同一類中模式的總體從具體模式中抽象出來、表征事物特點(diǎn)或性狀的觀測，用于對模式的判斷和分析，也稱特征向量、樣本向量。（3）特征和樣本一個(gè)樣本樣本矩陣1.1模式識(shí)別的基本概念樣本特征觀測樣本的某個(gè)方面的變量，也稱作屬性特征空間例：測量花萼長、寬，花瓣長、寬，單位為厘米，構(gòu)成4維列向量：如[53.51.30.3]T，特征空間為4維特征空間1.1模式識(shí)別的基本概念集合向量

1.1模式識(shí)別的基本概念

（3）模式識(shí)別作用和目的1.1模式識(shí)別的基本概念面對某一具體信息（樣本、模式），將其正確的歸入某一類。核心技術(shù)尋找一個(gè)合適的分類器，即分類的準(zhǔn)則。1.1模式識(shí)別的基本概念例1-2：小米和綠豆混合在一起，如何把二者分開？

學(xué)習(xí)（4）學(xué)習(xí)和分類1.1模式識(shí)別的基本概念也稱為訓(xùn)練，對大量的樣本進(jìn)行分析，從中找出相應(yīng)的規(guī)律或者說事物的共同特征分類也稱決策，根據(jù)從學(xué)習(xí)中得到的規(guī)律，面對某一個(gè)具體的樣本，將其歸入正確的類別。有監(jiān)督學(xué)習(xí)（5）有監(jiān)督、無監(jiān)督和半監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)1.1模式識(shí)別的基本概念已知要?jiǎng)澐值念悇e，能獲得一定數(shù)量的類別已知的訓(xùn)練樣本（稱為標(biāo)記樣本），進(jìn)行學(xué)習(xí)找出規(guī)律，進(jìn)而建立分類器，對未標(biāo)記樣本進(jìn)行分類決策。事先不知道要?jiǎng)澐值氖鞘裁搭悇e，沒有標(biāo)記樣本用來訓(xùn)練，通過考查未標(biāo)記樣本之間的相似性進(jìn)行區(qū)分。半監(jiān)督學(xué)習(xí)同時(shí)利用標(biāo)記和未標(biāo)記樣本，以提高分類性能。1.1模式識(shí)別的基本概念（6）識(shí)別的可推廣性在有限樣本基礎(chǔ)上建立認(rèn)知（經(jīng)驗(yàn)），去認(rèn)識(shí)未知事物，識(shí)別結(jié)果只能以一定的概率表達(dá)事物的真實(shí)類別。依據(jù)有限樣本全部正確劃分為準(zhǔn)則建立決策規(guī)則，考慮為未來數(shù)據(jù)分析時(shí)的成功率，即推廣性問題（也稱泛化）。固有問題。方法1.2模式識(shí)別方法（1）模板匹配為每個(gè)類建立一個(gè)或多個(gè)模板，將待識(shí)別樣本與每個(gè)類別的模板進(jìn)行比對，根據(jù)和模板的相似程度將樣本劃分到相應(yīng)的類別。簡單，在特征穩(wěn)定、類間區(qū)別明顯時(shí)效果好缺點(diǎn)是需要搜索最優(yōu)匹配，計(jì)算量大，依賴模板，適應(yīng)性較差。特點(diǎn)算法成熟，應(yīng)用廣泛，理論較復(fù)雜1.2模式識(shí)別方法（2）統(tǒng)計(jì)模式識(shí)別經(jīng)典的基于數(shù)據(jù)的識(shí)別方法；通過判別函數(shù)將特征空間劃分為幾個(gè)區(qū)域，不同區(qū)域的樣本歸為相應(yīng)的類別；設(shè)計(jì)判別函數(shù)的思路多樣，對應(yīng)不同的方法。方法特點(diǎn)可用于識(shí)別包含豐富結(jié)構(gòu)信息的、極為復(fù)雜的對象基元的選擇對識(shí)別結(jié)果有極大的影響1.2模式識(shí)別方法（3）句法模式識(shí)別方法特點(diǎn)用一組基元和它們的組合關(guān)系描述模式，稱為模式描述語句根據(jù)模式的結(jié)構(gòu)將其組合成語句，按句法分析進(jìn)行識(shí)別，符合指定的語法即被歸入該類適合特征值不精確的分類問題缺點(diǎn)是模糊規(guī)則的建立具有較大的主觀性1.2模式識(shí)別方法（4）模糊模式識(shí)別方法特點(diǎn)將模糊的概念和其他模式識(shí)別方法相結(jié)合，判斷樣本對于模式類的隸屬程度，實(shí)現(xiàn)分類結(jié)果模糊化擅長解決非線性分類問題，學(xué)習(xí)速度慢，參數(shù)選擇困難，分類規(guī)則不透明、非解析（5）人工神經(jīng)網(wǎng)絡(luò)模式識(shí)別1.2模式識(shí)別方法方法特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)，由多層神經(jīng)元相互連接構(gòu)成，根據(jù)輸入信息和輸出結(jié)果配對的數(shù)據(jù)進(jìn)行學(xué)習(xí)，訓(xùn)練神經(jīng)元間的連接權(quán)重，得到輸入和輸出的關(guān)系，用以對未知類別的樣本進(jìn)行識(shí)別。數(shù)據(jù)采集預(yù)處理特征提取和選擇分類決策輸出結(jié)果學(xué)習(xí)識(shí)別分類器設(shè)計(jì)數(shù)據(jù)采集預(yù)處理特征提取和選擇評(píng)估（1）監(jiān)督模式識(shí)別數(shù)據(jù)采集1.3模式識(shí)別系統(tǒng)用計(jì)算機(jī)可以運(yùn)算的符號(hào)來表示物體（1）監(jiān)督模式識(shí)別預(yù)處理1.3模式識(shí)別系統(tǒng)屬于信號(hào)處理范圍，所采用的處理方法要根據(jù)后續(xù)提取特征的需要進(jìn)行，技術(shù)與具體問題有關(guān)。數(shù)據(jù)采集預(yù)處理特征提取和選擇分類決策輸出結(jié)果學(xué)習(xí)識(shí)別分類器設(shè)計(jì)數(shù)據(jù)采集預(yù)處理特征提取和選擇評(píng)估（1）監(jiān)督模式識(shí)別特征提取和選擇1.3模式識(shí)別系統(tǒng)為有效識(shí)別，需從中提取最有代表性的，最反映分類本質(zhì)的特征來進(jìn)行識(shí)別。關(guān)鍵技術(shù)為數(shù)據(jù)降維。數(shù)據(jù)采集預(yù)處理特征提取和選擇分類決策輸出結(jié)果學(xué)習(xí)識(shí)別分類器設(shè)計(jì)數(shù)據(jù)采集預(yù)處理特征提取和選擇評(píng)估（1）監(jiān)督模式識(shí)別分類器的設(shè)計(jì)1.3模式識(shí)別系統(tǒng)確定合適的判別規(guī)則數(shù)據(jù)采集預(yù)處理特征提取和選擇分類決策輸出結(jié)果學(xué)習(xí)識(shí)別分類器設(shè)計(jì)數(shù)據(jù)采集預(yù)處理特征提取和選擇評(píng)估（1）監(jiān)督模式識(shí)別評(píng)估1.3模式識(shí)別系統(tǒng)對設(shè)計(jì)的分類器性能進(jìn)行評(píng)估，根據(jù)評(píng)估的結(jié)果，調(diào)整設(shè)計(jì)方案，以保證分類效果數(shù)據(jù)采集預(yù)處理特征提取和選擇分類決策輸出結(jié)果學(xué)習(xí)識(shí)別分類器設(shè)計(jì)數(shù)據(jù)采集預(yù)處理特征提取和選擇評(píng)估（1）監(jiān)督模式識(shí)別分類決策1.3模式識(shí)別系統(tǒng)根據(jù)已經(jīng)確定的判別規(guī)則，判斷數(shù)據(jù)類別數(shù)據(jù)采集預(yù)處理特征提取和選擇分類決策輸出結(jié)果學(xué)習(xí)識(shí)別分類器設(shè)計(jì)數(shù)據(jù)采集預(yù)處理特征提取和選擇評(píng)估（2）無監(jiān)督模式識(shí)別1.3模式識(shí)別系統(tǒng)取“物以類聚”的思路，無監(jiān)督模式識(shí)別，根據(jù)類間的相似性或分布特性，對樣本進(jìn)行聚集。輸出結(jié)果聚類（自學(xué)習(xí)）數(shù)據(jù)采集預(yù)處理特征提取和選擇評(píng)估（3）半監(jiān)督模式識(shí)別1.3模式識(shí)別系統(tǒng)數(shù)據(jù)采集預(yù)處理特征提取和選擇分類決策輸出結(jié)果分類器設(shè)計(jì)數(shù)據(jù)采集預(yù)處理特征提取和選擇評(píng)估對新的未標(biāo)記數(shù)據(jù)進(jìn)行分類決策（3）半監(jiān)督模式識(shí)別1.3模式識(shí)別系統(tǒng)輸出結(jié)果聚類（自學(xué)習(xí)）數(shù)據(jù)采集預(yù)處理特征提取和選擇評(píng)估僅對已有未標(biāo)記數(shù)據(jù)進(jìn)行分類決策車牌識(shí)別系統(tǒng)獲取汽車圖像圖像處理：色彩變換、邊緣檢測、車牌定位、字符分割等特征提取：字符位置、外部輪廓等分類決策：模板匹配、神經(jīng)網(wǎng)絡(luò)等（4）實(shí)例1.3模式識(shí)別系統(tǒng)（1）根據(jù)信源的不同語音識(shí)別1.4模式識(shí)別應(yīng)用圖像識(shí)別1.4模式識(shí)別應(yīng)用其他數(shù)據(jù)識(shí)別1.4模式識(shí)別應(yīng)用電子商務(wù)網(wǎng)站的推薦系統(tǒng)，極大促進(jìn)了商品的購買率各種監(jiān)測系統(tǒng)的異常數(shù)據(jù)、情況篩選預(yù)警，提高了生產(chǎn)、醫(yī)療的智能化程度各種信息管理系統(tǒng)的數(shù)據(jù)分類預(yù)測……（2）根據(jù)應(yīng)用場合的不同交通信息識(shí)別醫(yī)學(xué)信息識(shí)別1.4模式識(shí)別應(yīng)用工業(yè)信息識(shí)別軍事目標(biāo)的識(shí)別1.4模式識(shí)別應(yīng)用回顧本章相關(guān)概念課后思考題模式識(shí)別系統(tǒng)組成。模式、模式類、樣本、特征之間的關(guān)系。有監(jiān)督、無監(jiān)督、半監(jiān)督學(xué)習(xí)的含義課后作業(yè)第2章貝葉斯決策主要內(nèi)容2.1貝葉斯決策的基本概念2.2最小錯(cuò)誤率貝葉斯決策2.3最小風(fēng)險(xiǎn)貝葉斯決策2.4樸素貝葉斯分類器2.5Neyman-Pearson決策規(guī)則2.6判別函數(shù)和決策面2.7正態(tài)分布模式的貝葉斯決策2.8貝葉斯決策的實(shí)例2.1貝葉斯決策的基本概念各類別總體的概率分布是已知的；要決策的類別數(shù)是一定的。原理用概率統(tǒng)計(jì)的方法研究隨機(jī)模式的決策問題。前提條件2.1貝葉斯決策的基本概念預(yù)先已知的、或者可以估計(jì)的模式識(shí)別系統(tǒng)位于某種類型的概率。先驗(yàn)概率

不能根據(jù)先驗(yàn)概率的取值判斷某個(gè)樣本屬于哪一類。2.1貝葉斯決策的基本概念系統(tǒng)位于某種類型條件下模式樣本x出現(xiàn)的概率。類條件概率

不同類別中有可能出現(xiàn)相同的數(shù)據(jù)，當(dāng)獲得某個(gè)樣本x時(shí)，不能判斷其屬于哪一類。2.1貝葉斯決策的基本概念系統(tǒng)在某個(gè)具體的模式樣本x條件下位于某種類型的概率。后驗(yàn)概率

若獲得樣本x屬于不同類的后驗(yàn)概率，擇其一，自然將其歸為概率大的一類。2.1貝葉斯決策的基本概念貝葉斯公式貝葉斯決策

2.2最小錯(cuò)誤率貝葉斯決策希望在決策中盡量減少分類錯(cuò)誤的概率，因此根據(jù)貝葉斯公式建立的使錯(cuò)誤率最小的分類規(guī)則，稱之為最小錯(cuò)誤率貝葉斯決策。（1）癌細(xì)胞識(shí)別實(shí)例分析有要進(jìn)行識(shí)別的細(xì)胞，已經(jīng)經(jīng)過了預(yù)處理，抽取了n個(gè)表示細(xì)胞的特征，構(gòu)成n維向量x，判斷該細(xì)胞為正?；虍惓＜?xì)胞。2.2最小錯(cuò)誤率貝葉斯決策根據(jù)先驗(yàn)的統(tǒng)計(jì)知識(shí)做出估計(jì)，如某一個(gè)地區(qū)癌癥的發(fā)病率為5‰，即：

只說明是正常細(xì)胞的可能性大，不能作為正?；虍惓５呐袚?jù)。

數(shù)學(xué)表示以往的統(tǒng)計(jì)數(shù)據(jù)

2.2最小錯(cuò)誤率貝葉斯決策

根據(jù)統(tǒng)計(jì)資料判斷兩類中x出現(xiàn)的概率。

以往的統(tǒng)計(jì)數(shù)據(jù)貝葉斯決策2.2最小錯(cuò)誤率貝葉斯決策

分析實(shí)際中僅這個(gè)結(jié)論不能確診的，需要更有效的化驗(yàn)。

（2）最小錯(cuò)誤率貝葉斯決策規(guī)則2.2最小錯(cuò)誤率貝葉斯決策（3）例題2.2最小錯(cuò)誤率貝葉斯決策

解：

信道分類器輸入{0,1}噪聲判別結(jié)果x一般認(rèn)為x<0.5判為0，x>0.5判為1

2.2最小錯(cuò)誤率貝葉斯決策2.2最小錯(cuò)誤率貝葉斯決策

假設(shè)P(0)=P(1)，則決策變?yōu)椋?/p>

2.2最小錯(cuò)誤率貝葉斯決策解：先驗(yàn)概率相等，簡化決策規(guī)則：

0-112341

2.2最小錯(cuò)誤率貝葉斯決策（4）驗(yàn)證錯(cuò)分概率對于所有的x值所進(jìn)行的判斷，錯(cuò)誤率為最小，從而保證平均錯(cuò)誤率P(e)也達(dá)到最小。錯(cuò)誤率：兩類情況：多類情況：2.2最小錯(cuò)誤率貝葉斯決策（5）仿真實(shí)現(xiàn)

按照最小錯(cuò)誤率貝葉斯決策規(guī)則，獲取訓(xùn)練數(shù)據(jù)，估算其先驗(yàn)概率，因服從正態(tài)分布，估算其類條件概率函數(shù)參數(shù)，計(jì)算后驗(yàn)概率并決策。設(shè)計(jì)思路2.2最小錯(cuò)誤率貝葉斯決策clc,clear;%訓(xùn)練數(shù)據(jù)及其類別training=[00;20;22;02;44;64;66;46];[N,n]=size(training);species={'one';'one';'one';'one';'two';'two';'two';'two'};%估算先驗(yàn)概率sta=tabulate(species);[c,k]=size(sta);priorp=zeros(c,1);fori=1:cpriorp(i)=cell2mat(sta(i,k))/100;end程序%估算類條件概率參數(shù)cpmean=zeros(c,n);cpcov=zeros(n,n,c);fori=1:ccpmean(i,:)=mean(training(strmatch(char(sta(i,1)),species,'exact'),:));cpcov(:,:,i)=cov(training(strmatch(char(sta(i,1)),species,'exact'),:))*(N*priorp(i)-1)/(N*priorp(i));end%數(shù)據(jù)[31]的后驗(yàn)概率x=[31];postp=zeros(c,1);2.2最小錯(cuò)誤率貝葉斯決策fori=1:cpostp(i)=priorp(i)*exp(-(x-cpmean(i,:))*inv(cpcov(:,:,i))*(x-cpmean(i,:))'/2)/((2*pi)^(n/2)*det(cpcov(:,:,i)));end[~,i]=max(postp(:));%找最大后驗(yàn)概率result=sta(i,1)2.2最小錯(cuò)誤率貝葉斯決策將在命令窗口輸出：result=1×1cell數(shù)組{'one'}

2.3最小風(fēng)險(xiǎn)貝葉斯決策作出任何決策都有風(fēng)險(xiǎn)，都會(huì)帶來一定的后果，錯(cuò)誤率最小不一定風(fēng)險(xiǎn)也最小，因此，考慮分類錯(cuò)誤引起的損失而產(chǎn)生最小風(fēng)險(xiǎn)的貝葉斯決策方法。（1）問題表述樣本x為n維向量：狀態(tài)空間由c個(gè)可能狀態(tài)（類別）組成：對x可能采取的決策：

2.3最小風(fēng)險(xiǎn)貝葉斯決策（2）風(fēng)險(xiǎn)定義決策表經(jīng)過分析研究統(tǒng)計(jì)得出?！惾~斯決策2.3最小風(fēng)險(xiǎn)貝葉斯決策（2）風(fēng)險(xiǎn)定義

條件風(fēng)險(xiǎn)2.3最小風(fēng)險(xiǎn)貝葉斯決策（2）風(fēng)險(xiǎn)定義期望風(fēng)險(xiǎn)

全概率步驟

2.3最小風(fēng)險(xiǎn)貝葉斯決策（3）決策規(guī)則規(guī)則2.3最小風(fēng)險(xiǎn)貝葉斯決策（4）例題

0160解：后驗(yàn)概率

損失系數(shù)

2.3最小風(fēng)險(xiǎn)貝葉斯決策

條件風(fēng)險(xiǎn)2.3最小風(fēng)險(xiǎn)貝葉斯決策（5）最小錯(cuò)誤率和最小風(fēng)險(xiǎn)兩種決策的關(guān)系

正好為求最小條件錯(cuò)誤概率最小錯(cuò)誤率貝葉斯決策是在0-1損失函數(shù)條件下的最小風(fēng)險(xiǎn)貝葉斯決策，即前者是后者的特例。0-1損失函數(shù)

條件風(fēng)險(xiǎn)

2.3最小風(fēng)險(xiǎn)貝葉斯決策（6）驗(yàn)證錯(cuò)分風(fēng)險(xiǎn)

2.4樸素貝葉斯分類器（1）原理

貝葉斯決策中存在的問題對已知類別，假設(shè)所有屬性相互獨(dú)立。屬性條件獨(dú)立性假設(shè)基于屬性條件獨(dú)立性假設(shè)，按最大后驗(yàn)概率決策。樸素貝葉斯分類器2.4樸素貝葉斯分類器（2）決策規(guī)則

若則決策規(guī)則為：2.4樸素貝葉斯分類器（3）仿真實(shí)現(xiàn)

獲取訓(xùn)練數(shù)據(jù)后，采用MATLAB提供的fitcnb函數(shù)訓(xùn)練樸素貝葉斯分類器，并predict函數(shù)進(jìn)行分類決策2.4樸素貝葉斯分類器程序clc,clear,closeall;training=[00;20;22;02;44;64;66;46];[N,n]=size(training);species={'one';'one';'one';'one';'two';'two';'two';'two'};ObjBayes=fitcnb(training,species);X=[31];[label,posterior,cost]=predict(ObjBayes,X)figure,gscatter(training(:,1),training(:,2),species);holdonplot(X(:,1),X(:,2),'k*','MarkerSize',10);holdoff2.4樸素貝葉斯分類器仿真結(jié)果將在命令窗口輸出：label=

1×1cell數(shù)組

{'one'}posterior=0.99750.0025cost=0.00250.99752.5Neyman-Pearson決策規(guī)則（1）原理固定一類錯(cuò)誤率使另一類錯(cuò)誤率最小的判別準(zhǔn)則。

2.5Neyman-Pearson決策規(guī)則拉格朗日函數(shù)：概率密度函數(shù)的性質(zhì)：拉格朗日函數(shù)：

2.5Neyman-Pearson決策規(guī)則拉格朗日函數(shù)：

同理，拉格朗日函數(shù)：2.5Neyman-Pearson決策規(guī)則決策規(guī)則

2.5Neyman-Pearson決策規(guī)則

解：由題意可知Neyman-Pearson決策規(guī)則為：

簡化為：

2.5Neyman-Pearson決策規(guī)則

第一類的錯(cuò)誤率為：

2.6判別函數(shù)和決策面用數(shù)學(xué)形式描述分類規(guī)則（1）判別函數(shù)和決策面的概念把特征空間分成若干個(gè)決策域（類別區(qū)域），劃分這些區(qū)域的邊界面稱為決策面，用數(shù)學(xué)解析式表達(dá)稱為決策面方程。決策面判別函數(shù)表達(dá)決策規(guī)則的某種函數(shù)。（2）兩類情況下的判別函數(shù)和決策面方程最小錯(cuò)誤率貝葉斯決策的判別函數(shù)2.6判別函數(shù)和決策面最小錯(cuò)誤率貝葉斯決策的決策面方程最小風(fēng)險(xiǎn)貝葉斯決策的決策面方程最小風(fēng)險(xiǎn)貝葉斯決策的判別函數(shù)2.6判別函數(shù)和決策面（2）兩類情況下的判別函數(shù)和決策面方程兩類分類問題的推廣，定義一組判別函數(shù)2.6判別函數(shù)和決策面

（3）多類情況下的判別函數(shù)和決策面方程最小錯(cuò)誤率貝葉斯決策多類問題的判別函數(shù)最小風(fēng)險(xiǎn)貝葉斯決策的判別函數(shù)2.6判別函數(shù)和決策面（3）多類情況下的判別函數(shù)和決策面方程2.7正態(tài)分布模式的貝葉斯決策實(shí)際中的許多數(shù)據(jù)集可以用正態(tài)分布來近似，而且，正態(tài)分布有利于作數(shù)學(xué)分析，所以，單獨(dú)對正態(tài)分布時(shí)貝葉斯決策作一討論。（1）單變量正態(tài)分布的定義概率密度函數(shù)：參數(shù)：

2.7正態(tài)分布模式的貝葉斯決策（2）多元正態(tài)分布的定義概率密度函數(shù)參數(shù)

2.7正態(tài)分布模式的貝葉斯決策（3）例題

2.7正態(tài)分布模式的貝葉斯決策解：多類別問題，采用如下判別規(guī)則：2.7正態(tài)分布模式的貝葉斯決策2.7正態(tài)分布模式的貝葉斯決策（4）多元正態(tài)分布的性質(zhì)參數(shù)μ、Σ對分布具有決定性等密度點(diǎn)的軌跡為一超橢球面不相關(guān)性等價(jià)于獨(dú)立性線性變換的正態(tài)性線性組合的正態(tài)性Mahalanobis距離

2.7正態(tài)分布模式的貝葉斯決策（4）多元正態(tài)分布的性質(zhì)2.7正態(tài)分布模式的貝葉斯決策（4）多元正態(tài)分布的性質(zhì)馬氏距離和歐氏距離的關(guān)系距離在模式識(shí)別中是一種很重要的概念，一般認(rèn)為同一類模式間的距離小，不同類模式間的距離大。歐氏距離最常用。兩個(gè)向量之間的歐氏距離的定義：當(dāng)Σ為單位陣時(shí)，兩種距離相同。2.7正態(tài)分布模式的貝葉斯決策（5）仿真實(shí)現(xiàn)例2-9：設(shè)定參數(shù)，生成服從單變量正態(tài)分布的樣本集，并繪制概率密度函數(shù)圖。設(shè)定先驗(yàn)概率、類條件概率密度函數(shù)參數(shù)后，采用MATLAB提供的normrnd函數(shù)生成樣本，計(jì)算各點(diǎn)對應(yīng)的概率密度函數(shù)取值并繪制概率密度函數(shù)圖。同理，可以使用mvnrnd函數(shù)生成服從多元正態(tài)分布的樣本集設(shè)計(jì)思路2.7正態(tài)分布模式的貝葉斯決策程序clc,clear,closeall;P=[0.40.20.4];N=500;

mu1=1;mu2=7;mu3=15;sigma1=0.5;sigma2=0.1;sigma3=2;num1=floor(N*P(1));num2=floor(N*P(2));num3=floor(N*P(3));

rng('default')R1=normrnd(mu1,sqrt(sigma1),1,num1);R2=normrnd(mu2,sqrt(sigma2),1,num2);R3=normrnd(mu3,sqrt(sigma3),1,num3);p1=exp(-0.5*(R1-mu1).^2/sigma1)/sqrt(2*pi*sigma1);p2=exp(-0.5*(R2-mu2).^2/sigma2)/sqrt(2*pi*sigma2);p3=exp(-0.5*(R3-mu3).^2/sigma3)/sqrt(2*pi*sigma3);

holdonplot(R1,p1,'bo');plot(R2,p2,'r.');plot(R3,p3,'g+');legend('1','2','3');boxon;xlabel('x'),ylabel('p(x)'),title('單變量正態(tài)分布');holdoff2.7正態(tài)分布模式的貝葉斯決策程序2.7正態(tài)分布模式的貝葉斯決策結(jié)果圖（5）正態(tài)概率模型下的最小錯(cuò)誤率貝葉斯決策2.7正態(tài)分布模式的貝葉斯決策判別函數(shù)決策面方程

每一類的協(xié)方差矩陣相等，類內(nèi)各特征間相互獨(dú)立（各協(xié)方差為0），具有相等的方差。2.7正態(tài)分布模式的貝葉斯決策2.7正態(tài)分布模式的貝葉斯決策最小歐氏距離分類器

關(guān)于x的線性函數(shù)2.7正態(tài)分布模式的貝葉斯決策例2-10：二維的兩類分類問題，先驗(yàn)概率相等，求最小錯(cuò)誤率的貝葉斯判別函數(shù)和決策面方程。解：模式呈正態(tài)分布，且判別函數(shù)為：決策面方程為：

2.7正態(tài)分布模式的貝葉斯決策

關(guān)于x的線性函數(shù)最小馬氏距離分類器

2.7正態(tài)分布模式的貝葉斯決策解：參數(shù)計(jì)算2.7正態(tài)分布模式的貝葉斯決策2.7正態(tài)分布模式的貝葉斯決策2.7正態(tài)分布模式的貝葉斯決策

去掉與類別j無關(guān)的第一項(xiàng)可化簡為x的二次型，決策面為超二次曲面2.7正態(tài)分布模式的貝葉斯決策

解：2.7正態(tài)分布模式的貝葉斯決策2.8貝葉斯決策的實(shí)例例2-16：不同字體數(shù)字的圖像構(gòu)成的圖像集，實(shí)現(xiàn)基于樸素貝葉斯分類器的數(shù)字識(shí)別。2.8貝葉斯決策的實(shí)例設(shè)計(jì)思路反色：目標(biāo)變?yōu)榘咨祷簩D像變?yōu)榍熬昂捅尘矮@取外接矩形：截取數(shù)字所在區(qū)域歸一化：16×16的子圖像預(yù)處理2.8貝葉斯決策的實(shí)例設(shè)計(jì)思路由于各個(gè)數(shù)字上中下寬度不一樣，所以統(tǒng)計(jì)圖像每一行數(shù)字所占寬度，生成1×16的向量作為訓(xùn)練樣本。提取特征僅適用于不同字體的數(shù)字2.8貝葉斯決策的實(shí)例設(shè)計(jì)思路利用訓(xùn)練樣本訓(xùn)練樸素貝葉斯分類器，并對測試樣本進(jìn)行分類決策。分類器設(shè)計(jì)和分類決策程序2.8貝葉斯決策的實(shí)例clc;clear;closeall;fmt={'*.jpg','JPEGimage(*.jpg)';'*.*','AllFiles(*.*)'};[FileName,FilePath]=uigetfile(fmt,'選擇訓(xùn)練圖片','*.jpg','MultiSelect','on');if~isequal([FileName,FilePath],[0,0])FileFullName=strcat(FilePath,FileName);else

returnendN=length(FileFullName);n=16;Image=zeros(50);training=zeros(1,n);labeltrain=[];準(zhǔn)備工作初始化2.8貝葉斯決策的實(shí)例forj=1:NImage=rgb2gray(imread(FileFullName{j}));Image=255-Image;Image=imbinarize(Image,0.2);[y,x]=find(Image==1);

BWI=Image(min(y):max(y),min(x):max(x));BWI=imresize(BWI,[n,n]);

預(yù)處理2.8貝葉斯決策的實(shí)例fori=1:npos=find(BWI(i,:));ifposwidth=max(pos)-min(pos)+1;training(j,i)=width;elsetraining(j,i)=0;endend[pathstr,namestr,ext]=fileparts(FileName{j});labeltrain=[labeltrain;str2num(namestr(1))];end提取特征2.8貝葉斯決策的實(shí)例ObjBayes=fitcnb(training,labeltrain);訓(xùn)練分類器group=predict(ObjBayes,training);ratio1=sum(group==labeltrain)/N對訓(xùn)練樣本進(jìn)行測試……group=predict(ObjBayes,testing);ratio2=sum(group==labeltest)/N生成測試樣本并進(jìn)行測試將在命令窗口輸出：ratio1=1ratio2=0.7000

在分類方法固定的情況下，提高特征的區(qū)別度有利于提高識(shí)別率。第3章概率密度函數(shù)的估計(jì)主要內(nèi)容3.1基本概念3.2參數(shù)估計(jì)3.3非參數(shù)估計(jì)3.4最小錯(cuò)誤率貝葉斯決策的實(shí)例3.1基本概念

貝葉斯決策前提條件是已知各類的先驗(yàn)概率和類條件概率，但實(shí)際中所得到的只是樣本集，如何由樣本集得到所需的概率密度函數(shù)，需要進(jìn)行估計(jì)。參數(shù)估計(jì)：parametricestimation，已知類條件總體概率密度函數(shù)形式，未知其中部分或全部參數(shù)，用樣本來估計(jì)這些參數(shù)。非參數(shù)估計(jì)：nonparametricestimation，未知概率密度函數(shù)形式，求函數(shù)本身。（1）估計(jì)方法3.1基本概念

（2）參數(shù)估計(jì)中的基本概念3.1基本概念（1）最大似然估計(jì)3.2參數(shù)估計(jì)前提假設(shè)

似然函數(shù)（likelihoodfunction）

3.2參數(shù)估計(jì)樣本集中的樣本最有可能來源于概率密度最大的地方。似然函數(shù)定義為聯(lián)合概率密度，樣本獨(dú)立抽取時(shí)為概率密度的乘積，已知一組樣本，最有可能來自于似然函數(shù)最大所對應(yīng)的密度函數(shù)。因此，可以利用似然函數(shù)作參數(shù)估計(jì)。最大似然估計(jì)量至此，估計(jì)問題轉(zhuǎn)化為求極值的問題。

3.2參數(shù)估計(jì)最大似然估計(jì)求解

防止數(shù)值下溢3.2參數(shù)估計(jì)例題

3.2參數(shù)估計(jì)例3-2：設(shè)x服從正態(tài)分布N(μ,σ2)，其中參數(shù)μ、σ2未知，求它們的最大似然估計(jì)量。

3.2參數(shù)估計(jì)3.2參數(shù)估計(jì)

3.2參數(shù)估計(jì)仿真實(shí)現(xiàn)例3-4：讀取hospital數(shù)據(jù)，按性別分為兩類，對體重?cái)?shù)據(jù)進(jìn)行正態(tài)分布擬合，并繪制概率密度函數(shù)曲線。3.2參數(shù)估計(jì)設(shè)計(jì)思路：hospital數(shù)據(jù)集中有100個(gè)病人的數(shù)據(jù)，包括性別、年齡、體重、是否抽煙、血壓等數(shù)據(jù)采用fitdist函數(shù)擬合數(shù)據(jù)分布，fitdist函數(shù)使用最大似然估計(jì)擬合多種概率分布另外，可以采用mle函數(shù)對不同的分布進(jìn)行ML參數(shù)估計(jì)，normfit等函數(shù)實(shí)現(xiàn)常見分布的參數(shù)的ML估計(jì)。程序3.2參數(shù)估計(jì)clc,clear,closeall;loadhospitalx=hospital.Weight;

gender=hospital.Sex;[pdca,gn,gl]=fitdist(x,'Normal','By',gender);%用正態(tài)分布對兩組數(shù)據(jù)進(jìn)行擬合female=pdca{1};

%第一組對應(yīng)分布male=pdca{2};

%第二組對應(yīng)分布x_values=50:1:250;femalepdf=pdf(female,x_values);%計(jì)算概率密度函數(shù)值malepdf=pdf(male,x_values);figureplot(x_values,femalepdf,'Color','r','LineWidth',2);holdonplot(x_values,malepdf,'Color','b',

'LineStyle','-.','LineWidth',2);xlabel('x');ylabel('p(x)');legend(gn,'Location','NorthEast')holdoff程序3.2參數(shù)估計(jì)結(jié)果3.2參數(shù)估計(jì)female組，估計(jì)的均值為130.4717，標(biāo)準(zhǔn)差為8.3034male組，估計(jì)的均值為180.5319，標(biāo)準(zhǔn)差為9.1932體重?cái)?shù)據(jù)對應(yīng)的正態(tài)概率密度函數(shù)曲線（2）最大后驗(yàn)估計(jì)基本思路把θ看作隨機(jī)變量，考慮θ本身服從的分布，利用貝葉斯公式計(jì)算θ的后驗(yàn)概率，最大后驗(yàn)概率對應(yīng)的參數(shù)值為參數(shù)的估計(jì)值。這種方法稱為最大后驗(yàn)估計(jì)。3.2參數(shù)估計(jì)原理3.2參數(shù)估計(jì)

求解：或：例題3.2參數(shù)估計(jì)

3.2參數(shù)估計(jì)

求極值（3）貝葉斯估計(jì)

基本思路把估計(jì)問題轉(zhuǎn)化成和貝葉斯最小風(fēng)險(xiǎn)決策形式一致，利用Bayes公式解決問題。3.2參數(shù)估計(jì)貝葉斯決策貝葉斯估計(jì)樣本x貝葉斯決策和貝葉斯估計(jì)各變量的對應(yīng)關(guān)系概念3.2參數(shù)估計(jì)貝葉斯風(fēng)險(xiǎn)

3.2參數(shù)估計(jì)

損失函數(shù)平方誤差損失時(shí)的貝葉斯估計(jì)量3.2參數(shù)估計(jì)貝葉斯估計(jì)的步驟

3.2參數(shù)估計(jì)例題

解：確定μ的先驗(yàn)分布P(μ)3.2參數(shù)估計(jì)

3.2參數(shù)估計(jì)應(yīng)用待定系數(shù)法，令兩式對應(yīng)的系數(shù)相等3.2參數(shù)估計(jì)利用定理，求μ貝葉斯估計(jì)量3.2參數(shù)估計(jì)

貝葉斯學(xué)習(xí)

θ的貝葉斯估計(jì)量為：θ的后驗(yàn)分布為：當(dāng)N>1時(shí)，有得遞推公式：3.2參數(shù)估計(jì)隨著樣本數(shù)的增加，得到一系列對概率密度函數(shù)參數(shù)的估計(jì)：稱作遞推的貝葉斯估計(jì)。如果隨著樣本數(shù)的增加，上式的后驗(yàn)概率序列逐漸尖銳，逐步趨向于以θ的真實(shí)值為中心的一個(gè)尖峰，當(dāng)樣本無窮多時(shí)收斂于在參數(shù)真實(shí)值上的脈沖函數(shù)，這一過程稱作貝葉斯學(xué)習(xí)。3.2參數(shù)估計(jì)

3.2參數(shù)估計(jì)clc,clear,closeall;rng('default')N=300;mu0=0;sigma0=3;mu_value=-10:0.1:10;Prior=pdf('Normal',mu_value,mu0,sigma0);plot(mu_value,Prior);mu=2;sd=2;training=normrnd(mu,sd,[N,1]);prev=Prior;holdon程序3.2參數(shù)估計(jì)fori=1:Ntempdata=training(i);npdf=normalDist(tempdata,mu_value,sd);

numerator=npdf.*prev;prev=numerator;TotalP=sum(numerator);Poster=numerator/TotalP;

ifi==10||i==50||i==100||i==200||i==300plot(mu_value,Poster);endend[value,pos]=max(Poster);plot([mu_value(pos)mu_value(pos)],[0value],'k-.');mu_value(pos)holdoff3.2參數(shù)估計(jì)functionnpdf=normalDist(X,Mu,Sigma)Z=(X-Mu)./Sigma;npdf=exp(-0.5*Z.^2)/(sqrt(2*pi)*Sigma);endN=10μ

N=50N=100N=200N=300N=0一系列的后驗(yàn)概率估計(jì)圖很多情況下，我們對樣本的分布并沒有充分的了解，無法事先給出密度函數(shù)的形式，而且有些樣本分布的情況也很難用簡單的函數(shù)來描述。在這種情況下，就需要非參數(shù)估計(jì)，即不對概率密度函數(shù)的形式做任何假設(shè)，而是直接用樣本估計(jì)出整個(gè)函數(shù)。3.3非參數(shù)估計(jì)（1）直方圖方法

基本原理3.3非參數(shù)估計(jì)3.3非參數(shù)估計(jì)仿真實(shí)現(xiàn)例3-10：設(shè)定參數(shù)生成正態(tài)分布數(shù)據(jù)集，利用直方圖方法估計(jì)概率密度函數(shù)并繪制函數(shù)曲線。clc,clear,closeall;rng('default')N=200;mu=0;sd=0.8;x=normrnd(mu,sd,[N,1]);

x_values=-3:0.01:3;px=pdf('Normal',x_values,mu,sd);plot(x_values,px,'Color','k');

[hist1,edge1]=histcounts(x,10,'Normalization','pdf');

%設(shè)定10個(gè)區(qū)間進(jìn)行估計(jì)，大間隔[hist2,edge2]=histcounts(x,30,'Normalization','pdf');

%設(shè)定30個(gè)區(qū)間進(jìn)行估計(jì)，小間隔holdonhistogram('BinEdges',edge1,'BinCounts',hist1,'FaceColor','w');holdofffigure,plot(x_values,px,'Color','k','LineWidth',2);holdonhistogram(x,30,'Normalization','pdf');holdoff3.3非參數(shù)估計(jì)樣本數(shù)N=200大間隔小間隔樣本數(shù)N=2000直方圖估計(jì)方法分析最好能夠根據(jù)樣本分布情況調(diào)整小艙體積過大，設(shè)概率密度為常數(shù)，估計(jì)出的密度函數(shù)粗糙過小，有些小艙內(nèi)可能會(huì)沒有樣本或者樣本很少，導(dǎo)致估計(jì)出的概率密度函數(shù)不連續(xù)小艙的選擇與估計(jì)的效果密切相連隨樣本數(shù)的增加，小艙體積應(yīng)該盡可能小，同時(shí)必須保證小艙內(nèi)有充分多的樣本，但每個(gè)小艙內(nèi)的樣本數(shù)必須是總樣本數(shù)中很小的一部分小艙內(nèi)的樣本數(shù)與樣本分布有關(guān)。小艙的選擇應(yīng)與樣本總數(shù)相適應(yīng)3.3非參數(shù)估計(jì)原理n維單位方窗函數(shù)：（2）Parzen窗法3.3非參數(shù)估計(jì)

-0.5-0.50.50.50原點(diǎn)為中心半徑為1的正方形

落入以x為中心的超立方體內(nèi)的樣本數(shù)為：任意一點(diǎn)x的密度估計(jì)表達(dá)式為：3.3非參數(shù)估計(jì)

0

x點(diǎn)為中心半徑為h的正方形貝葉斯決策密度估計(jì)表達(dá)式變形：定義核函數(shù)(窗函數(shù))：

概率密度估計(jì)即在每一點(diǎn)上把所有觀測樣本的貢獻(xiàn)進(jìn)行平均這種用窗函數(shù)（核函數(shù)）估計(jì)概率密度的方法稱作Parzen窗方法或核密度估計(jì)3.3非參數(shù)估計(jì)核函數(shù)滿足密度函數(shù)的要求：非負(fù)且積分為13.3非參數(shù)估計(jì)方窗核函數(shù)：高斯核函數(shù)：一維單位高斯窗函數(shù)：3.3非參數(shù)估計(jì)一維Epanechnikov窗：Epanechnikov核函數(shù)：三角核函數(shù)：一維三角窗：例題確定窗函數(shù)

選擇正態(tài)窗函數(shù)確定窗口3.3非參數(shù)估計(jì)計(jì)算估計(jì)值

兩個(gè)問題：樣本數(shù)：樣本量越大，估計(jì)結(jié)果越精確；窗寬的選擇對估計(jì)結(jié)果的影響3.3非參數(shù)估計(jì)分析窗函數(shù)的寬度h對估計(jì)量的影響3.3非參數(shù)估計(jì)

對樣本數(shù)目需求較大，只要樣本數(shù)目足夠大，總可以保證收斂于任何復(fù)雜的位置密度，但計(jì)算量和存儲(chǔ)量都比較大當(dāng)樣本數(shù)很少時(shí)，若對密度函數(shù)有先驗(yàn)認(rèn)識(shí)，參數(shù)估計(jì)方法較好3.3非參數(shù)估計(jì)分析樣本數(shù)N對估計(jì)量的影響3.3非參數(shù)估計(jì)仿真實(shí)現(xiàn)

clc,clear,closeall;rng('default')N=1000;mu=0;sigma=1;x=normrnd(mu,sigma,[N,1]);minx=min(x);maxx=max(x);dx=(maxx-minx)/N;x_values=minx:dx:maxx-dx;px=pdf('Normal',x_values,mu,sigma);plot(x_values,px,'Color','k','LineWidth',2);holdon3.3非參數(shù)估計(jì)h=0.01;pxe1=kde(x,x_values,h,N);plot(x_values,pxe1,'r:','LineWidth',2);h=2;pxe3=kde(x,x_values,h,N);plot(x_values,pxe3,'b--','LineWidth',2);xlabel('x'),ylabel('p(x)');legend('p(x)','h=0.01','h=2');holdofffigure,plot(x_values,px,'Color','k','LineWidth',2);h=0.3;

pxe2=kde(x,x_values,h,N);holdonplot(x_values,pxe2,'g-.','LineWidth',2);xlabel('x'),ylabel('p(x)');legend('p(x)','h=0.3');holdoff3.3非參數(shù)估計(jì)%利用高斯窗進(jìn)行估計(jì)的函數(shù)functionpxe=kde(x,x_values,h,N)

pxe=zeros(1,N);forj=1:Nfori=1:Npxe(j)=pxe(j)+

exp(-0.5*(x_values(j)-x(i))^2/h^2)/sqrt(2*pi);endpxe(j)=pxe(j)/N/h;endend3.3非參數(shù)估計(jì)理想及估計(jì)的概率密度函數(shù)曲線h較小，估計(jì)的曲線相對于原始曲線起伏較大，估計(jì)不穩(wěn)定；h較大，估計(jì)的曲線相對于原始曲線較平滑，但跟不上函數(shù)p(x)的變化；

h適中，估計(jì)的較準(zhǔn)確。

3.3非參數(shù)估計(jì)clc,clear,closeall;rng('default')N=[16425610000];h=1./(N.^0.5);

mu=0;sigma=1;x_values=-4:0.01:4;R=zeros(length(N),N(4));form=1:length(N)R(m,1:N(m))=normrnd(mu,sigma,1,N(m));endpx=pdf('Normal',x_values,mu,sigma);len=length(x_values);

3.3非參數(shù)估計(jì)form=1:length(N)

%針對不同樣本數(shù)分別估計(jì)概率密度函數(shù)pxe=zeros(1,len);fori=1:lenforj=1:N(m)ifabs(x_values(i)-R(m,j))<=sqrt(5)*h(m)pxe(i)=pxe(i)+

(1-((x_values(i)-R(m,j))/h(m))^2/5)*3/4/sqrt(5)/h(m);end

%采用Epanechnikov核函數(shù)進(jìn)行估計(jì)endpxe(i)=pxe(i)/N(m);endsubplot(1,4,m),plot(x_values,px,'k');holdonplot(x_values,pxe,'r:','LineWidth',2),axis([-3,3,0.001,1.0]);str=strcat('N=',num2str(N(m)));legend('p(x)',str);holdoffend3.3非參數(shù)估計(jì)利用Epanechnikov核函數(shù)估計(jì)概率密度函數(shù)樣本數(shù)越多估計(jì)效果越好。

3.3非參數(shù)估計(jì)思路采用可變大小的小艙3.3非參數(shù)估計(jì)

仿真實(shí)現(xiàn)

3.3非參數(shù)估計(jì)clc,clear,closeall;rng('default')N=1000;mu=0;sigma=0.8;x=normrnd(mu,sigma,[N,1]);kn1=10;kn2=50;kn3=100;x_values=-3:0.01:3;px=pdf('Normal',x_values,mu,sigma);len=length(x_values);index=1;pxe1=zeros(1,len);pxe2=zeros(1,len);pxe3=zeros(1,len);forj=-3:0.01:3distance=pdist2(j,x);

D=sort(distance);V1=2*D(kn1);

V2=2*D(kn2);

V3=2*D(kn3);pxe1(index)=kn1/N/V1;pxe2(index)=kn2/N/V2;pxe3(index)=kn3/N/V3;index=index+1;endfigure,plot(x_values,px,'Color','k');holdonplot(x_values,pxe1,'r:');holdofffigure,plot(x_values,px,'Color','k');holdonplot(x_values,pxe2,'g--');holdofffigure,plot(x_values,px,'Color','k');holdonplot(x_values,pxe3,'b-.');holdoff3.3非參數(shù)估計(jì)

3.3非參數(shù)估計(jì)對樣本數(shù)目需求較大，只要樣本數(shù)目足夠大，總可以保證收斂于任何復(fù)雜的位置密度，但計(jì)算量和存儲(chǔ)量都比較大。當(dāng)樣本數(shù)很少時(shí)，若對密度函數(shù)有先驗(yàn)認(rèn)識(shí)，參數(shù)估計(jì)方法能取得更好的估計(jì)效果。（4）

非參數(shù)估計(jì)分析3.4最小錯(cuò)誤率貝葉斯決策的實(shí)例

對3種鳶尾花（setosa，versicolor和virginica）各抽取了50個(gè)樣本，每個(gè)樣本含四個(gè)特征，分別為花萼長、寬，花瓣長、寬，單位為厘米。fisheriris數(shù)據(jù)集3.4最小錯(cuò)誤率貝葉斯決策的實(shí)例設(shè)計(jì)思路總體思路：3類樣本數(shù)相同，假設(shè)各類先驗(yàn)概率相等，估計(jì)類條件概率密度函數(shù)，比較樣本對應(yīng)的類條件概率密度的大小即可歸類。估計(jì)方法：非參數(shù)估計(jì)樣本降維：4維數(shù)據(jù)，50個(gè)樣本太少，取原始樣本的第3維和第4維構(gòu)成新的樣本。3.4最小錯(cuò)誤率貝葉斯決策的實(shí)例設(shè)計(jì)流程對于輸入的數(shù)據(jù)降維進(jìn)行非參數(shù)概率密度函數(shù)估計(jì)比較樣本對應(yīng)的各類的概率密度函數(shù)值的大小，將樣本歸入取值最大的類。3.4最小錯(cuò)誤率貝葉斯決策的實(shí)例實(shí)驗(yàn)結(jié)果估計(jì)的setosa類、versicolor類、virginica類概率密度函數(shù)待分類樣本被歸入setosa類第4章線性判別分析主要內(nèi)容4.1基本概念4.2Fisher線性判別分析4.3感知器算法4.4最小二乘法4.5支持向量機(jī)4.6多類問題4.1基本概念（1）貝葉斯決策的局限性前提：對先驗(yàn)概率和類概率密度函數(shù)有充分的先驗(yàn)知識(shí)；或有足夠多的樣本，可以較好地進(jìn)行概率密度估計(jì)。局限：若前提條件不滿足，采用最優(yōu)方法設(shè)計(jì)出的分類器往往不具有最優(yōu)的性質(zhì)估計(jì)：實(shí)際問題中，得到的只是樣本集，樣本的分布形式很難確定，進(jìn)行估計(jì)需要大量樣本；當(dāng)樣本數(shù)有限時(shí)，概率密度函數(shù)估計(jì)問題往往是一個(gè)比分類更難的一般性問題實(shí)際問題中，不去估計(jì)類條件概率，直接利用樣本集設(shè)計(jì)分類器。首先給定某個(gè)判別函數(shù)，利用樣本集去確定判別函數(shù)中的未知參數(shù)。判別函數(shù)分類線性判別函數(shù)非線性判別函數(shù)（2）利用樣本集直接設(shè)計(jì)分類器的思路4.1基本概念（3）線性判別函數(shù)實(shí)例分析一維數(shù)據(jù)

ω2

w0

ω1

兩類的分界點(diǎn)為w0

，判別函數(shù)表示為：g(x)=w1x-w0二維數(shù)據(jù)兩類的判別函數(shù)表示為：w、x均為二維列向量4.1基本概念w、x均為n維列向量，w稱為權(quán)向量（系數(shù)）一般表達(dá)式?jīng)Q策規(guī)則決策面方程

4.1基本概念

幾何解釋w和超平面H上任一向量正交，即w是H的法向量

4.1基本概念把一些高次判別函數(shù)作適當(dāng)變換，變換成一次的線性判別函數(shù)，稱為廣義線性判別函數(shù)。b

a如圖所示，一維樣本空間x，如果x<b或x>a，則x∈ω1，如果b<x<a，則x∈ω2。采用線性判別函數(shù)無法分類但二次判別函數(shù)適用（4）廣義線性判別函數(shù)4.1基本概念二次判別函數(shù)一般表達(dá)式：選擇x→z的映射，變換二次函數(shù)為z的線性函數(shù)意義：經(jīng)過以上變換，可以用簡單的線性判別函數(shù)來解決復(fù)雜問題，但增加了維數(shù)。

4.1基本概念（5）廣義齊次線性判別函數(shù)

經(jīng)過變換，維數(shù)增加一維，但分界面變成了通過原點(diǎn)的超平面，給解決問題帶來了方便。4.1基本概念

（6）例題線性和非線性判別分析例4-1：設(shè)5維空間的線性方程為試求出其權(quán)向量與樣本向量點(diǎn)積的表達(dá)式。4.1基本概念例4-2：設(shè)在三維空間中的一個(gè)類別分類問題，擬采用二次曲面，如果要采用線性方程求解，試問其廣義樣本向量與廣義權(quán)向量的表達(dá)式。4.1基本概念（7）線性判別函數(shù)的設(shè)計(jì)核心思想根據(jù)樣本集去確定權(quán)向量w和w0，或a尋找合適的準(zhǔn)則函數(shù)如何對準(zhǔn)則函數(shù)求最優(yōu)確定的方法首先要有一個(gè)準(zhǔn)則函數(shù)，根據(jù)這個(gè)準(zhǔn)則函數(shù)去找出滿足要求的盡可能好的結(jié)果分類器的設(shè)計(jì)轉(zhuǎn)化為求準(zhǔn)則函數(shù)的極值兩個(gè)關(guān)鍵問題4.1基本概念生成樣本集：一般通過抽樣生成，個(gè)別情況下要轉(zhuǎn)化成增廣樣本集。確定準(zhǔn)則函數(shù)極值對應(yīng)最好的決策是w、w0或a等參數(shù)的函數(shù)求最優(yōu)值w*、w0*或a*設(shè)計(jì)步驟4.1基本概念4.2Fisher線性判別（1）原理降維

把多維空間的樣本變換到低維，簡化問題。這在模式識(shí)別中是一個(gè)關(guān)鍵問題。降維的方法把n維樣本投影到一條直線上，變換成一維樣本投影線不能任意選擇選擇另一個(gè)方向的投影線，投影后兩類樣本相互分開，很容易分類。Fisher法就是要找到這條最易分類的投影線。對于n維樣本，總是可以找到某一個(gè)方向，樣本投影在這個(gè)方向的直線上，分開的最好。如圖所示：藍(lán)色的星為一類數(shù)據(jù)，紅色的圓為一類數(shù)據(jù)，選擇紫色的直線為投影線，投影后兩類的數(shù)據(jù)混在一起，很難分開。（2）數(shù)學(xué)表示

4.2Fisher線性判別（3）基本參量4.2Fisher線性判別線性和非線性判別分析樣本類內(nèi)離散度矩陣：總類內(nèi)離散度矩陣：樣本類間離散度矩陣：各類樣本均值向量：樣本類內(nèi)離散度總類內(nèi)離散度：各類樣本均值：降維前降維后（4）準(zhǔn)則函數(shù)及求解

確定函數(shù)式定義準(zhǔn)則函數(shù)4.2Fisher線性判別

4.2Fisher線性判別求極值點(diǎn)w*（用Lagrange乘數(shù)法）

4.2Fisher線性判別線性和非線性判別分析這是一個(gè)特征方程，求矩陣的特征值w*就是使Fisher準(zhǔn)則函數(shù)取極大值時(shí)的解，也是使兩類樣本投影后分開得最好的投影方向。（5）利用Fisher法分類數(shù)據(jù)轉(zhuǎn)化為一維，只需設(shè)定一個(gè)閾值點(diǎn)，即可分類4.2Fisher線性判別閾值點(diǎn)的設(shè)定

（6）例題

4.2Fisher線性判別4.2Fisher線性判別

4.2Fisher線性判別線性和非線性判別分析

實(shí)際中，一般有部分已知類別的樣本，去求最好的投影方向W*，然后再對未知類別的樣本進(jìn)行投影并分類。3）分類閾值：

4.2Fisher線性判別

（7）仿真實(shí)現(xiàn)按照Fisher線性判別原理，獲取訓(xùn)練數(shù)據(jù)，計(jì)算兩類的均值、類內(nèi)離散度矩陣，確定投影方向，計(jì)算一維閾值點(diǎn)并對數(shù)據(jù)歸類。設(shè)計(jì)思路4.2Fisher線性判別程序clc,clear,closeall;X=[-5-5;-5-4;-4-5;-5-6;-6-5;55;54;45;56;65];label=[11111-1-1-1-1-1];index1=find(label==1);index2=find(label==-1);N1=length(index1);N2=length(index2);mu1=mean(X(index1,:));mu2=mean(X(index2,:));S1=(X(index1,:)-mu1)'*(X(index1,:)-mu1);S2=(X(index2,:)-mu2)'*(X(index2,:)-mu2);Sw=S1+S2;W=Sw\(mu1-mu2)';z1=W'*mu1';z2=W'*mu2';z0=(z1+z2)/2;

4.2Fisher線性判別plot(X(index1,1),X(index1,2),'ro',X(index2,1),X(index2,2),'b*');x1=-6:0.1:6;x2=-(W(1)*x1-z0)/W(2);holdon;plot(x1,x2,'g--');x=[31]';plot(x(1),x(2),'rp');z=W'*x;ifz>z0result='屬于ω1';elseresult='屬于ω2';endresult=strcat('(',num2str(x'),')',result);line1='x1';line2=result;xlabel({line1;line2});ylabel('x2');

title('Fisher線性判別');holdoff;4.2Fisher線性判別仿真結(jié)果4.3感知器算法（1）基本概念

線性可分

4.3感知器算法樣本的規(guī)范化4.3感知器算法解向量和解區(qū)

4.3感知器算法梯度下降算法

分析

準(zhǔn)則函數(shù)

4.3感知器算法

求導(dǎo)梯度法（2）感知器準(zhǔn)則函數(shù)及求解單樣本修正分析

4.3感知器算法準(zhǔn)則函數(shù)

求導(dǎo)梯度法4.3感知器算法任意給定a(1)和系數(shù)ρ利用a(1)去對樣本集分類按梯度下降算法修正權(quán)向量重復(fù)以上過程，直到權(quán)向量對所有樣本正確分類（a不再變化）分類器訓(xùn)練過程

4.3感知器算法（3）例題解：初始工作對樣本進(jìn)行增廣化對樣本進(jìn)行規(guī)范化設(shè)定系數(shù)ρ=1，初始權(quán)向量a(1)=04.3感知器算法迭代權(quán)向量有修正，需進(jìn)行第二輪迭代權(quán)向量有修正，需進(jìn)行第三輪迭代4.3感知器算法權(quán)向量有修正，需進(jìn)行第四輪迭代權(quán)向量無修正，算法結(jié)束4.3感知器算法確定權(quán)向量、判別函數(shù)及決策面方程權(quán)向量：設(shè)樣本：判別函數(shù)：決策面方程：4.3感知器算法（4）仿真實(shí)現(xiàn)

按照感知器算法原理，獲取訓(xùn)練數(shù)據(jù)，進(jìn)行初始化，通過迭代運(yùn)算計(jì)算并更新權(quán)向量。設(shè)計(jì)思路4.3感知器算法clc,clear,closeall;X=[000;100;101;110;001;011;010;111];label=[1111-1-1-1-1];[N,n]=size(X);Z=X;Z(:,n+1)=1;pos=label<0;Z(pos,:)=0-Z(pos,:);A=zeros(n+1,1);rho=1;初始化flag=1;whileflagflag=0;fori=1:Ng=A'*Z(i,:)';ifg<=0

A=A+rho*Z(i,:)';flag=1;endendend迭代求權(quán)向量程序4.3感知器算法pos=label<0;scatter3(X(pos>0,1),X(pos>0,2),X(pos>0,3),'r*');holdonscatter3(X(~pos,1),X(~pos,2),X(~pos,3),'g*');[x1,x2]=meshgrid(0:.01:1,0:.01:1);x3=-(A(1)*x1+A(2)*x2+A(4))/A(3);mesh(x1,x2,x3),title('訓(xùn)練樣本及分界面');xlabel('x1'),ylabel('x2'),zlabel('x3');holdoff繪圖4.3感知器算法仿真結(jié)果（4）算法分析只適用于線性可分情況算法的收斂速度依賴于初始權(quán)向量和系數(shù)ρ非線性可分時(shí)，算法來回?cái)[動(dòng)，不收斂；若運(yùn)算長時(shí)間不收斂，無法判斷是非線性可分還是運(yùn)算時(shí)間不夠長4.3感知器算法4.4最小二乘法

（1）平方誤差和準(zhǔn)則函數(shù)準(zhǔn)則函數(shù)

4.4最小二乘法準(zhǔn)則函數(shù)求最優(yōu)求導(dǎo)令導(dǎo)數(shù)為0，解方程a的確定還依賴于b，需要進(jìn)一步確定b

算法總結(jié)4.4最小二乘法4.4最小二乘法（2）例題

規(guī)范化增廣樣本矩陣取余量：得：4.4最小二乘法（3）仿真實(shí)現(xiàn)

設(shè)計(jì)思路MATLAB中提供的regress、regstats函數(shù)實(shí)現(xiàn)了基于最小二乘法的多元線性回歸，利用回歸函數(shù)實(shí)現(xiàn)權(quán)向量求解程序4.4最小二乘法clc,clear,closeall;X1=[000;100;101;110;001;011;010;111];label1=[1;1;1;1;-1;-1;-1;-1];[N,n]=size(X1);Z1=ones(N,n+1);Z1(:,1:n)=X1;

%樣本增廣化，常數(shù)項(xiàng)加在了右側(cè)A=regress(label1,Z1)

%計(jì)算權(quán)向量

（1）最優(yōu)分類超平面4.5支持向量機(jī)

若一個(gè)樣本集線性可分，存在無數(shù)多解，解區(qū)中的任何向量都是一個(gè)解向量。在這些解中，哪一個(gè)更好？

分類間隔：越大，受擾動(dòng)影響越小H：把兩類沒有錯(cuò)誤地分開的分類線H1、H2：過兩類樣本中離分類線最近的點(diǎn)且平行于分類線的線不但能將兩類無錯(cuò)誤地分開，而且要使兩類的分類間隔最大。最優(yōu)分類超平面

4.5支持向量機(jī)

求解最優(yōu)分類面構(gòu)建拉格朗日函數(shù)4.5支持向量機(jī)KKT條件：Karush-Kuhn-Tucker，不等式約束條件求解

4.5支持向量機(jī)再求解

求解4.5支持向量機(jī)最優(yōu)權(quán)向量是訓(xùn)練向量的線性組合

判別函數(shù)由于最優(yōu)分類面的解最后完全由支持向量決定，因此這種方法后來被稱作支持向量機(jī)(supportvectormachines-SVM)

以上討論僅是線性可分情況下的線性支持向量機(jī)。4.5支持向量機(jī)

（2）優(yōu)化求解算法支持向量機(jī)的求解都依賴于下列式子的最優(yōu)解4.5支持向量機(jī)

解：

4.5支持向量機(jī)

判別函數(shù)：

4.5支持向量機(jī)SMO：SequentialMinimalOptimization，序列最小優(yōu)化算法，一種高效求解支持向量機(jī)的算法迭代單數(shù)據(jù)算法：IterativelySingleDataAlgorithm，ISDA采用二次規(guī)劃的L1QP算法SMO的基本思路：在一次迭代中，只優(yōu)化兩個(gè)變量，固定其他變量，將一個(gè)大的優(yōu)化問題分解為若干個(gè)小的優(yōu)化問題求解。4.5支持向量機(jī)（3）非線性可分情況問題分析

4.5支持向量機(jī)

要求分類面不但要使兩類的分類間隔最大，而且要錯(cuò)分樣本盡可能少且錯(cuò)誤程度盡可能低。4.5支持向量機(jī)C較小，較容忍錯(cuò)誤，強(qiáng)調(diào)分類間隔；C較大，強(qiáng)調(diào)錯(cuò)誤懲罰。目標(biāo)函數(shù)：問題求解4.5支持向量機(jī)構(gòu)建拉格朗日函數(shù)KKT條件：最優(yōu)解4.5支持向量機(jī)

軟間隔支持向量4.5支持向量機(jī)

判別函數(shù)：

4.5支持向量機(jī)

對于原空間中的非線性問題，通過特征變換將到新空間，在這個(gè)新空間中求取最優(yōu)線性分類面。（4）核函數(shù)變換與非線性支持向量機(jī)問題分析4.5支持向量機(jī)

問題求解4.5支持向量機(jī)

判別函數(shù)：4.5支持向量機(jī)結(jié)論分析無論變換的具體形式如何，變換對支持向量機(jī)的影響是把兩個(gè)樣本在原特征空間中的內(nèi)積變成了新空間中的內(nèi)積：

4.5支持向量機(jī)核函數(shù)

定義4.5支持向量機(jī)Mercer條件

選擇一個(gè)滿足Mercer條件的核函數(shù)，可以構(gòu)建非線性支持向量機(jī)。進(jìn)一步證明，該條件可放松為滿足如下條件的正定核：

4.5支持向量機(jī)多項(xiàng)式核函數(shù)徑向基(RBF)核函數(shù)Sigmoid函數(shù)常用的核函數(shù)支持向量機(jī)通過選擇不同的核函數(shù)實(shí)現(xiàn)不同形式的非線性分類器；核函數(shù)需要針對具體問題來具體選擇，很難有一個(gè)一般性的準(zhǔn)則。4.5支持向量機(jī)（5）支持向量機(jī)概括線性支持向量機(jī)：利用支持向量設(shè)計(jì)最優(yōu)分類面非線性數(shù)據(jù)集設(shè)計(jì)線性支持向量機(jī)：引入余量非線性支持向量機(jī)：通過非線性變換將輸入空間變換到高維空間，然后在這個(gè)新空間中求取最優(yōu)線性分類面非線性變換通過定義適當(dāng)?shù)膬?nèi)積核函數(shù)實(shí)現(xiàn)4.5支持向量機(jī)（6）仿真實(shí)現(xiàn)4.5支持向量機(jī)

利用MATLAB中的fitcsvm、predict函數(shù)實(shí)現(xiàn)。MODEL=fit