模式識(shí)別習(xí)題及答案

第一章緒論1.什么是模式？具體事物所具有的信息。模式所指的不是事物本身，而是我們從事物中獲得的___信息__。2.模式識(shí)別的定義？讓計(jì)算機(jī)來(lái)判斷事物。3.模式識(shí)別系統(tǒng)主要由哪些部分組成？數(shù)據(jù)獲取—預(yù)處理—特征提取與選擇—分類器設(shè)計(jì)/分類決策。第二章貝葉斯決策理論1.最小錯(cuò)誤率貝葉斯決策過(guò)程？答：已知先驗(yàn)概率，類條件概率。利用貝葉斯公式得到后驗(yàn)概率。根據(jù)后驗(yàn)概率大小進(jìn)行決策分析。2.最小錯(cuò)誤率貝葉斯分類器設(shè)計(jì)過(guò)程？答：根據(jù)訓(xùn)練數(shù)據(jù)求出先驗(yàn)概率類條件概率分布利用貝葉斯公式得到后驗(yàn)概率如果輸入待測(cè)樣本X，計(jì)算X的后驗(yàn)概率根據(jù)后驗(yàn)概率大小進(jìn)行分類決策分析。3.最小錯(cuò)誤率貝葉斯決策規(guī)則有哪幾種常用的表示形式？答：4.貝葉斯決策為什么稱為最小錯(cuò)誤率貝葉斯決策？答：最小錯(cuò)誤率Bayes決策使得每個(gè)觀測(cè)值下的條件錯(cuò)誤率最小因而保證了（平均）錯(cuò)誤率最小。Bayes決策是最優(yōu)決策：即，能使決策錯(cuò)誤率最小。5.貝葉斯決策是由先驗(yàn)概率和（類條件概率）概率，推導(dǎo)（后驗(yàn)概率）概率，然后利用這個(gè)概率進(jìn)行決策。6.利用乘法法則和全概率公式證明貝葉斯公式答：所以推出貝葉斯公式7.樸素貝葉斯方法的條件獨(dú)立假設(shè)是（P(x|ωi)=P(x1,x2,…,xn|ωi)=P(x1|ωi)P(x2|ωi)…P(xn|ωi)）怎樣利用樸素貝葉斯方法獲得各個(gè)屬性的類條件概率分布？答：假設(shè)各屬性獨(dú)立，P(x|ωi)=P(x1,x2,…,xn|ωi)=P(x1|ωi)P(x2|ωi)…P(xn|ωi)后驗(yàn)概率：P(ωi|x)=P(ωi)P(x1|ωi)P(x2|ωi)…P(xn|ωi)類別清晰的直接分類算，如果是數(shù)據(jù)連續(xù)的，假設(shè)屬性服從正態(tài)分布，算出每個(gè)類的均值方差，最后得到類條件概率分布。均值：方差：計(jì)算屬性MaritalStatus的類條件概率分布給表格計(jì)算，婚姻狀況幾個(gè)類別和分類幾個(gè)就求出多少個(gè)類條件概率。10，樸素貝葉斯分類器的優(yōu)缺點(diǎn)？答：分類器容易實(shí)現(xiàn)。面對(duì)孤立的噪聲點(diǎn)，樸素貝葉斯分類器是健壯的。因?yàn)樵趶臄?shù)據(jù)中估計(jì)條件概率時(shí)。這些點(diǎn)被平均。面對(duì)無(wú)關(guān)屬性，該分類器是健壯的。相關(guān)屬性可能降低分類器的性能。因?yàn)閷?duì)這些屬性，條件獨(dú)立的假設(shè)已不成立。我們將劃分決策域的邊界稱為(決策面)，在數(shù)學(xué)上用可以表示成(決策面方程)用于表達(dá)決策規(guī)則的函數(shù)稱為(判別函數(shù))判別函數(shù)與決策面方程是密切相關(guān)的，且它們都由相應(yīng)的決策規(guī)則所確定.寫出多元正態(tài)概率下的最小錯(cuò)誤率貝葉斯決策的判別函數(shù)，即多元正態(tài)概率下的最小錯(cuò)誤率貝葉斯決策的決策面方程為多元正態(tài)概率下的最小錯(cuò)誤率貝葉斯決策，當(dāng)類條件概率分布的協(xié)方差矩陣為時(shí)，每類的協(xié)方差矩陣相等，且類內(nèi)各特征間（相互獨(dú)立），并具有相等的方差。多元正態(tài)概率下的最小錯(cuò)誤率貝葉斯決策，如果先驗(yàn)概率相等，并且i=1,2,...c，那么分類問(wèn)題轉(zhuǎn)化為只要計(jì)算待測(cè)樣本x到各類均值的(歐式距離)，然后把x歸于具有（最小距離平方）的類。這種分類器稱為（最小距離分類器）。多元正態(tài)概率下的最小錯(cuò)誤率貝葉斯決策，類條件概率密度各類的協(xié)方差矩陣不相等時(shí)，決策面是（超二次曲面），判別函數(shù)是（二次型） 第三章概率密度函數(shù)的估計(jì)類條件概率密度估計(jì)的兩種主要方法（參數(shù)估計(jì)）和（非參數(shù)估計(jì)）。類條件概率密度估計(jì)的非參數(shù)估計(jì)有兩種主要的方法（Parzen窗法）和（KN近鄰法）。它們的基本原理都是基于樣本對(duì)分布的（未知）原則。如果有N個(gè)樣本，可以計(jì)算樣本鄰域的體積V，然后獲得V中的樣本數(shù)k，那么P(x)=假設(shè)正常細(xì)胞和癌細(xì)胞的樣本的類條件概率服從多元正態(tài)分布，使用最大似然估計(jì)方法，對(duì)概率密度的參數(shù)估計(jì)的結(jié)果為。證明：使用最大似然估計(jì)方法，對(duì)一元正態(tài)概率密度的參數(shù)估計(jì)的結(jié)果如下：5.已知5個(gè)樣本和2個(gè)屬性構(gòu)成的數(shù)據(jù)集中，w1類有3個(gè)樣本，w2類有兩個(gè)樣本。如果使用貝葉斯方法設(shè)計(jì)分類器，需要獲得各類樣本的條件概率分布，現(xiàn)假設(shè)樣本服從多元正態(tài)分布則只需獲得分布的參數(shù)均值向量和協(xié)方差矩陣即可，那么采用最大似然估計(jì)獲得的w1類的類條件概率密度均值向量為（轉(zhuǎn)置）,以及協(xié)方差矩陣為（）。第四章線性判別函數(shù)1.已知兩類問(wèn)題的樣本集中，有兩個(gè)樣本。屬于類，屬于類，對(duì)它們進(jìn)行增廣后，這兩個(gè)樣本的增廣樣本分別為[y1=(1,1,-3,2)T,y2=(-1,-1,-2,3)T]廣義線性判別函數(shù)主要是利用(映射)原理解決（普通函數(shù)不能解決的高次判別函數(shù)）問(wèn)題，利用廣義線性判別函數(shù)設(shè)計(jì)分類器可能導(dǎo)致（維數(shù)災(zāi)難）。線性分類器設(shè)計(jì)步驟？主要步驟：1.收集訓(xùn)練數(shù)據(jù)集D={x1,x2,…,xN}2.按需要確定一個(gè)準(zhǔn)則函數(shù)J(D,w,w0)或J(D,a)，其值反映分類器的性能，其極值解對(duì)應(yīng)于“最好”決策。3.用最優(yōu)化技術(shù)求準(zhǔn)則函數(shù)J的極值解w*，w*或a*。4.最終，得到線性判別函數(shù)，完成分類器設(shè)計(jì)5.線性判別函數(shù)g(x)的幾何表示是：點(diǎn)x到?jīng)Q策面H的（距離的一種代數(shù)度量）。6.增廣樣本向量使特征空間增加了（一）維，但樣本在新的空間中保持了樣本間的（歐氏距離）不變，對(duì)于分類效果也與原決策面相同。在新的空間中決策面H通過(guò)坐標(biāo)（原點(diǎn)）準(zhǔn)則的基本原理為：找到一個(gè)最合適的投影軸，使_(類間)在該軸上投影之間的距離盡可能遠(yuǎn)，而（類內(nèi)）的投影盡可能緊湊，從而使分類效果為最佳。Fisher準(zhǔn)則函數(shù)的定義為 9Fisher方法中，樣本類內(nèi)離散度矩陣Si與總類內(nèi)離散度矩陣Sw分別為 10.利用Lagrange乘子法使Fisher線性判別的準(zhǔn)則函數(shù)極大化，最終可以得到的判別函數(shù)權(quán)向量11.敘述Fisher算法的基本原理。Fisher準(zhǔn)則的基本原理：找到一個(gè)最合適的投影軸，使兩類樣本在該軸上投影之間的距離盡可能遠(yuǎn)，而每一類樣本的投影盡可能緊湊，從而使分類效果為最佳。1213.已知兩類問(wèn)題的樣本集中，有兩個(gè)樣本。屬于w1類，屬于w2類，對(duì)它們進(jìn)行增廣規(guī)范化后，這兩個(gè)樣本的規(guī)范化增廣樣本分別為y1=(1,1,-3,2)轉(zhuǎn)置和y2=(1,-1,-2,3)轉(zhuǎn)置。敘述感知準(zhǔn)則的梯度下降算法的基本過(guò)程。答：1.初值:任意給定一向量初始值a(1)2.迭代:第k+1次迭代時(shí)的權(quán)向量a(k+1)等于第k次的權(quán)向量a(k)加上被錯(cuò)分類的所有樣本之和與pk的乘積3.終止:對(duì)所有樣本正確分類15感知準(zhǔn)則函數(shù)16線性判別函數(shù)g(x)的幾何表示是：點(diǎn)x到?jīng)Q策面H的（距離的代數(shù)度量）感知機(jī)方法主要有兩種，批量樣本修正法與單樣本修正法。它們之間的區(qū)別是什么？答單樣本修正法：樣本集視為不斷重復(fù)出現(xiàn)的序列，逐個(gè)樣本檢查，修正權(quán)向量批量樣本修正法：樣本成批或全部檢查后，修正權(quán)向量感知準(zhǔn)則特點(diǎn)是隨意確定權(quán)向量（初始值），在對(duì)樣本分類訓(xùn)練過(guò)程中（逐步修正）權(quán)向量直至最終確定。對(duì)于感知準(zhǔn)則函數(shù)，滿足（）的權(quán)向量稱為解向量，解向量不止一個(gè)，而是由無(wú)窮多個(gè)解向量組成的解，稱這樣的區(qū)域?yàn)椋ń鈪^(qū)域）。感知準(zhǔn)則函數(shù)為 極小值時(shí)的a為最優(yōu)解證明使用梯度下降算法的迭代過(guò)程公式證明： 21.下列哪種分類方法最不適用于樣本集線性不可分情況：BA．Fisher線性判別的Lagrange乘子法B．感知準(zhǔn)則的梯度下降算法C．最小錯(cuò)分樣本數(shù)準(zhǔn)則的共軛梯度法D．最小平方誤差準(zhǔn)則的梯度下降法22.多類問(wèn)題可以利用求兩類問(wèn)題的方法來(lái)求解。這樣做的缺點(diǎn)是會(huì)造成(無(wú)法確定類別的區(qū)域增大)，需要訓(xùn)練的(子分類器及參數(shù)增多)。利用最小平方誤差準(zhǔn)則函數(shù)進(jìn)行分類器設(shè)計(jì)，主要是求極小化時(shí)的權(quán)向量。當(dāng)時(shí)，最小平方誤差準(zhǔn)則函數(shù)的解等價(jià)于(Bayes)線性判別的解。敘述分類器錯(cuò)誤率估計(jì)中的留一法的運(yùn)算過(guò)程。答：個(gè)樣本，取N-1個(gè)樣本作為訓(xùn)練集，設(shè)計(jì)分類器。2.剩下的一個(gè)樣本作為測(cè)試集，輸入到分類器中，檢驗(yàn)是否錯(cuò)分。3.然后放回樣本，重復(fù)上述過(guò)程，直到N次，即每個(gè)樣本都做了一次測(cè)試。統(tǒng)計(jì)被錯(cuò)分的次數(shù)k, 作為錯(cuò)誤率的估計(jì)率。25利用兩類問(wèn)題的線性分類器解決多類問(wèn)題常用的兩種方法的優(yōu)缺點(diǎn)。答：優(yōu)點(diǎn)：設(shè)計(jì)思想簡(jiǎn)單，容易實(shí)現(xiàn)。缺點(diǎn)：（1）需要訓(xùn)練的子分類器或參數(shù)多，效率低。（2）無(wú)法確定類別的區(qū)域多?！驹斐稍搯?wèn)題的根本原因是將多類問(wèn)題看成了多個(gè)兩類問(wèn)題來(lái)解決。這樣必然造成陰影區(qū)域的出現(xiàn)。解決辦法用多類問(wèn)題的分類器】26線性分類器設(shè)計(jì)中的最小平方準(zhǔn)則函數(shù)方法采用的準(zhǔn)則函數(shù)公式是什么？當(dāng)利用偽逆解方法求解時(shí)，遇到計(jì)算量過(guò)大時(shí)，可以代替采用何種方法來(lái)訓(xùn)練分類器參數(shù)？敘述你所使用方法的基本原理，并解釋為什么你的方法可以降低計(jì)算量。答：因?yàn)閑=Ya-b， 常用梯度下降法來(lái)降低計(jì)算復(fù)雜度 批量樣本修正法： 單樣本修正法：27利用兩類別的線性分類器如何解決多類別的分類問(wèn)題？ωi/~ωi法：將C類別問(wèn)題化為(C-1)個(gè)兩類（第i類與所有非i類）問(wèn)題，按兩類問(wèn)題確定其判別函數(shù)與決策面方程ωi/ωj法：將C類中的每?jī)深悇e單獨(dú)設(shè)計(jì)其線性判別函數(shù)，因此總共有C(C-1)/2個(gè)線性判別函數(shù)敘述分類器錯(cuò)誤率估計(jì)中的m-重交叉驗(yàn)證方法的運(yùn)算過(guò)程，并說(shuō)明什么情況下該方法將退化為留一法。答：（1）N個(gè)樣本被劃分成m個(gè)不相交的集合，每組有個(gè)樣本。（2）在m個(gè)樣本中取m-1個(gè)組的樣本作為訓(xùn)練集，設(shè)計(jì)分類器。（3）剩下的一組樣本作為測(cè)試集，輸入到分類器中檢驗(yàn)，統(tǒng)計(jì)錯(cuò)分?jǐn)?shù)k.（4）然后放回，重復(fù)上述過(guò)程，直到m次。（5）設(shè)ki（i=1,…,m)是第i次測(cè)試的錯(cuò)分?jǐn)?shù)，則 當(dāng)m=N時(shí)，退化為留一法。第五章近鄰法近鄰法性能優(yōu)點(diǎn)：（1）設(shè)計(jì)簡(jiǎn)單（2）分類性能優(yōu)良（3）適用于線性不可分情況缺點(diǎn)：（1）計(jì)算量大，存儲(chǔ)量大特征的選擇與提取敘述用于特征選擇的增l減r搜索算法的算法步驟。并考慮l值大于（或小于）r值時(shí)，增l減r算法步驟應(yīng)做出怎樣的修改，以及該情況下，增l減r搜索算法的特點(diǎn)？答步驟一：用SFS法在未入選特征組中逐個(gè)選入L個(gè)特征，形成新特征組Xk+L，設(shè)置k=k+L，步驟二：用SBS法從特征組Xk中逐個(gè)剔除r個(gè)最差的特征，形成新特征組Xk-r，設(shè)置k=k-r，若k=d，則終止算法，否則設(shè)置xk=xk-r，轉(zhuǎn)向第一步。（1）當(dāng)L>r時(shí)，L-r法是一種自下而上的算法，先執(zhí)行第一步，然后執(zhí)行第二步，開始時(shí)，設(shè)置k=0，x0=空（2）當(dāng)L<r時(shí)，L-r法是一種自上而下的算法，此時(shí)先執(zhí)行第二步，然后執(zhí)行第一步，開始時(shí)設(shè)置k=0，x0={