距離判別法及其應用

1、距離判別法及其應用一、什么是距離判別（一）定義距離判別分析方法是判別樣品所屬類別的一應用性很強的多因素決策 方法，根據(jù)已掌握的、歷史上每個類別的若干樣本數(shù)據(jù)信息，總結(jié)出客觀 事物分類的規(guī)律性，建立判別準則，當遇到新的樣本點，只需根據(jù)總結(jié)得 出的判別公式和判別準則，就能判別該樣本點所屬的類別。距離判別分析的基本思想是：樣本和哪個總體的距離最近，就判它屬 于哪個總體。（二）作用判別個體所屬類型。例如在經(jīng)濟學中，可根據(jù)各國的人均國人民收入、 人均工農(nóng)業(yè)產(chǎn)值和人均消費水平等多種指標來判定一個國家經(jīng)濟發(fā)展程度 的怕屬類型醫(yī)學上根據(jù)口才的體溫、白血球數(shù)目以及其他病理指標來判斷 患者所患何病等。二、距離判別

2、分析原理（一）歐氏距離歐氏距離（Euclidean distance ）是一個通常采用的距離定義,最多的 應用是對距離的測度。大多情況下，人們談到距離的時候，都會很自然的 想到歐氏距離。從數(shù)學的角度來講，它是在m維空間中兩個點之間的真實 距離。在二維空間中其公式為：，（內(nèi)-）2+（%一%）2推廣到n維空間其公式為:/=1（二）馬氏距離在判別分析中，考慮到歐氏距離沒有考慮總體分布的分散性信息，印 度統(tǒng)計學家馬哈諾必斯（Mahalanobis ）于1936年提出了馬氏距離的概 念。設(shè)總體G = X1,X2，.,Xj7為m維總體（考察m個指標），樣本 X=項，七J。令n = 4x,）（i = L2，

3、m）,則總體均值向量為 =4,，"'總體G的協(xié)方差矩陣為:£ = COV （G） = £（G - ）（G -。設(shè)X , Y是從總體G中抽取的兩個樣本，則X與Y之間的平方馬氏距 離為：j2（x,y）=（x-y）7s-1（x-y）樣本X與總體G的馬氏距離的平方定義為： 42（x,g）=（x-）H（x-）1 .兩總體距離判別。設(shè)有兩總體G和Gz的均值分別為從和2，協(xié) 方差矩陣分別為Z和,22>0）, X,網(wǎng)是一個新樣本，判斷其 屬于哪個總體。定義X,向到G和G?的距離為（x，G）和"（XQ）, 則按如下判別規(guī)則進行判斷：X eG ,若d2（x，G

4、）W/（xG）x eG2，若?。▁,G2）< ?。╔，G） X.（1）當X = 時，該判別式可進行如下簡化：/(X，G)-d2(x,G2)= (X4)>T(X2/2一«=-2,_”1卜(2) z )=-2A，(X /) i其中"= W(i+2), A = 2-(一2)注意到實數(shù)的轉(zhuǎn)置等于實數(shù)自身，故有(X -(2)傘仙 -2)x -警)令W(X) = A/(X從)，則判別規(guī)則就成為： X e。，若W(X)2OX G2 ,若W(X) < 0在實際問題中，由于總體的均值、協(xié)方差矩陣通常是未知的，數(shù)據(jù)資 料來自兩個總體的訓練樣本，于是用樣本的均值、樣本的協(xié)方差矩

5、陣代替 總體的均值與協(xié)方差。由于實際問題中只能得到兩個樣本的協(xié)方差矩陣S一邑，因此當兩個 總體協(xié)方差矩陣相等時如何確定總體的協(xié)方差矩陣S(i 1)S +(n2 -1)523 =/11 + 一 2其中nl,n2分別為兩個樣本的容量。(2)當時,W(X) = d2(X,Gl)-d2(X,G2)=(X從 yz(x 從)一(X 2)X(X2)判別規(guī)則為:X,若W（X）N。Vx g2 ,若w（x） 0例設(shè)有兩個二元總體G1和G2 ,從中分別抽取樣本計算得到又= 5 又 =3£ = 5。8 2.1一一1-21一（27.6）假設(shè)=、2，試用距離判別法建立判別函數(shù)和規(guī)則。樣品X = （6,0）7應屬

6、于哪個總體。解：02（x，g）=（x”T（x從）(6,0) - (5,1)58 2.1Y112.1 7.6,'(6,0)、< (54)= (h-l)5.8 2.1Y12.1 7.6；= 0.4436602D2(X,G?)=(X_2)= L673809由于。2(x,G>O2(x，g)所以X屬于G-2 .多總體的距離判別。設(shè)有g(shù)個m維總體5, G2，Gr ,均值 向量分別為1 , 2,協(xié)方差矩陣分別為, S2，J , 則樣本X到各組的平方馬氏距離是：2（x,G,）= （X/%）,2, 判別規(guī)則為：X ，若2（X，G）=戲5/（x,Gj）三、距離判別法的應用距離判別法可以應用于醫(yī)

7、學、建設(shè)、環(huán)境、城鎮(zhèn)規(guī)劃等多個領(lǐng)域的工 程項目中。如距離判別法在類風濕性關(guān)節(jié)炎中醫(yī)證候診斷中的應用，距離 判別法相似礦區(qū)突水水源識別中的應用，在大氣環(huán)境質(zhì)量現(xiàn)狀評價中的應 用以及在城鎮(zhèn)土地定級中的應用等。在實際工程中，經(jīng)常采用多總體的距離判斷。設(shè)有g(shù)個m維總體G , G?，Gg ,均值向量分別為從，弓,3，協(xié)方差矩陣分別為,，Eg ,任意給定一個m維樣本X =玉,乙7。假設(shè)Zi = S2 =.= Eg = £ ,則新樣本到各億和G,的馬氏距離平方差為/（1, G/）屋 « g,.）=2x -1 （從 + 勺）S'1 （"勺），令% （x）=|x +勺）7 2T（4 -勺）。利用各總體的訓練樣本對從和心（i=l , 2 ,g ）進行估計。設(shè)染，心）,，K?為來自總體為的訓練樣本（k=l, 2 一.，g ）,令"«= 土與"產(chǎn)（k=l , 2，g）臬=£（靖）*）（春女叫,