《模式識別及其應用》試卷(A)標準答案

PAGE模式識別及其應用試卷（A）標準答案共2頁第PAGE22006~2007學年第二學期期末考試《模式識別及其應用》試卷（A）標準答案一、結合自己的理解對如下基本概念作出解釋（每小題4分,共20分)（1）模式識別和模式（2）樣本的規(guī)范化（3）最近鄰法（4）非監(jiān)督參數(shù)估計（5）特征的選擇與特征提取答：（1）模式識別就是要用機器去完成人類智能中通過視覺聽覺觸覺等感官去識別外界環(huán)境的自然信息的這些工作。存在于時間和空間中可觀察的事物,如果我們可以區(qū)別它們是否相同或是相似,都可以稱為模式,但模式所指的不是事物本身,而是我們從事物獲得的信息,因此,模式往往表現(xiàn)為具有時間和空間分布的信息。（2）如果樣本集，，……，時線性可分的，則必存在某個或某些權向量，使得對于任何都有，而對于任何，都有，如果在來自的樣本前面加上一個負號，即令，有則，我們稱這一過程為樣本的規(guī)范化。（3）最近鄰法就是對待識別的模式向量，只要比較與所有已知類別的樣本之間的歐式距離，并決策與離它最近的樣本同類。（4）非監(jiān)督參數(shù)估計已知總體概率密度函數(shù)的形式但未知樣本所屬類別，要求推斷出概率密度函數(shù)的某些參數(shù)。（5）特征提取在原始特征的維數(shù)很高的情況下，基于某種類別可分離性判據(jù)通過變換的方法用低維空間來表示樣本，這個過程叫特征提取。特征選擇基于某種類別可分離性判據(jù)，從一組特征中挑選出一些最有效的特征以達到降低特征空間維數(shù)的目的，稱為特征選擇。二、問答題（每小題5分,共35分）（1）指出在Fisher線性判別中，的比例因子對Fisher判別結果無影響的原因。（2）對于同一個決策規(guī)則判別函數(shù)可定義成不同形式，從而有不同的決策面方程，指出決策區(qū)域是不變的。（3）類別可分離性判據(jù)應滿足的基本條件是什么？（4）應用線性判別函數(shù)方法和Bayes決策方法進行模式分類各自的前提是什么？（5）試說明Mahalanobis距離平方的定義，到某點的Mahalanobis距離平方為常數(shù)的軌跡的幾何意義，它與歐氏距離的區(qū)別與聯(lián)系。（6）如果只知道各類的先驗概率，最小錯誤率Bayes決策規(guī)則應如何表示？（7）結合你所學的談談你對“模式識別及其應用”這門課程的認識。答：（1）在Fisher線性判別中，由于我們的目的是尋求最好的投影方向，因此的比例因子對此并無影響。（2）對于同一個決策規(guī)則判別函數(shù)可定義成不同的等價形式，彼此決策面方程是不同的，但是決策域中的可以使所取的不同的等價判別函數(shù)滿足對一切都成立，則將始終歸于類，所以決策區(qū)域是不變的。（3）類別可分離性判據(jù)應滿足的基本條件：①與錯誤概率（或其的上下界）有單調關系；②當特征獨立時有可加性③具有“距離”的某些特性，即④對特征數(shù)目是單調不減，即加入新的特征后，判據(jù)值不減即（4）應用線性判別函數(shù)方法的前提：抽取到的模式樣本的邊界是“整齊”而不混雜的，而且以后遇到的待分類模式基本上不超過學習樣本的分布范圍；應用Bayes決策方法的前提：各類別先驗概率以及條件概率密度均為已知，即各類別總體的概率分布是已知的和要決策分類的類別是一定的；（5）Mahalanobis距離的平方定義為：，其中，為兩個數(shù)據(jù)，是一個正定對稱矩陣（一般為協(xié)方差矩陣）。根據(jù)定義，距某一點的Mahalanobis距離相等點的軌跡是超橢球，如果是單位矩陣，則Mahalanobis距離就是通常的歐氏距離。（6）如果只知道各類的先驗概率（，2，……，），最小錯誤率Bayes決策規(guī)則應如何表示為。（7）略。（內容可以為學習心得，學習小結及對這門課程的歸納，也可以是它的應用等）三、非主觀題：（本大題共兩小題，第一小題8分，第二小題7分）（1）設在一維特征空間中兩類樣本服從正態(tài)分布，，，，兩類先驗概率之比，試求按基于最小錯誤率貝葉斯決策原則的決策分界面的值。（2）對兩類問題，若損失函數(shù)；，，，試求基于最小風險貝葉斯決策分界面處的兩類錯誤率、與、的關系。（1）由于按基于最小錯誤率的貝葉斯決策，則分界面上的點服從（2）答：由于在基于最小風險貝葉斯決策分界面處有而在兩類問題中，,故四、非主觀題：（本大題8分）設總體分布密度為，，，并設，分別用最大似然估計和貝葉斯估計計算。已知的先驗概率分布。解：五、非主觀題：（本大題共三小題，每小題5分）（1）指出從到超平面的距離是在的約束條件下，使達到極小的解；在超平面上的投影是。（2）對于二維線性判別函數(shù)，將判別函數(shù)寫成的形式，并畫出的幾何圖形；同時將其影射成增廣齊次線性判別函數(shù)。（3）為什么說近鄰法的分類器是線性分類器，試以以下樣本數(shù)據(jù)集說明，并畫出用近鄰法得到的分類器。第一類樣本：，，，；第二類樣本：，，，。解：（1）表明在超平面上，當達到極小時，應是在超平面上的投影。那么則即的極小解。、則在超平面上的投影是。（2）這里，；若將其影射成增廣齊次線性判別函數(shù)則，。（3）近鄰法分類器的每條分界線必然由兩個分別屬于兩類的樣本點決定，故一定是線性的。這些分界面拼接起來，就得到了分段線