第六講判別分析

第六講判別分析第1頁，課件共90頁，創(chuàng)作于2023年2月分類俗語說，物以類聚、人以群分。但什么是分類的根據(jù)呢？比如，要想把中國的縣分成若干類，就有很多種分類法；可以按照自然條件來分，比如考慮降水、土地、日照、濕度等各方面；也可以考慮收入、教育水準、醫(yī)療條件、基礎設施等指標；既可以用某一項來分類，也可以同時考慮多項指標來分類。第2頁，課件共90頁，創(chuàng)作于2023年2月

分類學是人類認識世界的基礎科學。聚類分析和判別分析是研究事物分類的基本方法，廣泛地應用于自然科學、社會科學、工農(nóng)業(yè)生產(chǎn)的各個領域。在自然科學和社會科學的各個領域經(jīng)常遇到需要對某個個體屬于哪一類進行判斷。如動物學家對動物如何分類的研究和某個動物屬于哪一類、目、綱的判斷。第3頁，課件共90頁，創(chuàng)作于2023年2月判別有一些昆蟲的性別很難看出，只有通過解剖才能夠判別；但是雄性和雌性昆蟲在若干體表度量上有些綜合的差異。于是統(tǒng)計學家就根據(jù)已知雌雄的昆蟲體表度量（這些用作度量的變量亦稱為預測變量）得到一個標準，并且利用這個標準來判別其他未知性別的昆蟲。這樣的判別雖然不能保證百分之百準確，但至少大部分判別都是對的，而且用不著殺死昆蟲來進行判別了。

第4頁，課件共90頁，創(chuàng)作于2023年2月判別分析是根據(jù)觀測到的某些指標對所研究的對象進行分類的一種多元統(tǒng)計分析方法。在醫(yī)學研究中經(jīng)常遇到這類問題；例如,臨床上常需根據(jù)就診者的各項癥狀、體征、實驗室檢查、病理學檢查及醫(yī)學影像學資料等對其作出是否有某種疾病的診斷或對幾種可能患有的疾病進行鑒別診斷，有時已初步診斷為某種疾病，還需進一步作出屬該類疾病中哪一種或哪一型的判斷。什么是判別分析第5頁，課件共90頁，創(chuàng)作于2023年2月聚類分析是根據(jù)事物本身的特性研究個體分類的方法，原則是同一類中的個體有較大的相似性，不同類中的個體差異很大。判別分析是根據(jù)表明事物特點的變量值和它們所屬的類，求出判別函數(shù)。根據(jù)判別函數(shù)對未知所屬類別的事物進行分類的一種分析方法。第6頁，課件共90頁，創(chuàng)作于2023年2月主要不同點就是，在聚類分析中一般人們事先并不知道或一定要明確應該分成幾類，完全根據(jù)數(shù)據(jù)來確定。而在判別分析中，至少有一個已經(jīng)明確知道類別的“訓練樣本”，利用這個數(shù)據(jù)，就可以建立判別準則，并通過預測變量來為未知類別的觀測值進行判別了。判別分析和聚類分析有什么不同呢？第7頁，課件共90頁，創(chuàng)作于2023年2月聚類分析第8頁，課件共90頁，創(chuàng)作于2023年2月聚類要注意的問題聚類結果主要受所選擇的變量影響。如果去掉一些變量，或者增加一些變量，結果會很不同。相比之下，聚類方法的選擇則不那么重要了。因此，聚類之前一定要目標明確。

另外就分成多少類來說，也要有道理。只要你高興，從分層聚類的計算機結果可以得到任何可能數(shù)量的類。但是，聚類的目的是要使各類距離盡可能的遠，而類中點的距離盡可能的近，而且分類結果還要有令人信服的解釋。這一點就不是數(shù)學可以解決的了。第9頁，課件共90頁，創(chuàng)作于2023年2月判別分析第10頁，課件共90頁，創(chuàng)作于2023年2月概述距離判別法貝葉斯判別法費歇爾判別法逐步判別法第11頁，課件共90頁，創(chuàng)作于2023年2月12一、什么是判別分析？設有k個總體G1，G2，…，Gk，希望建立一個準則，對給定的任意一個樣本x，依據(jù)這個準則就能判斷它是來自哪個總體。應當要求這種準則在某種意義下是最優(yōu)的，如：錯判概率最小或錯判損失最小等等。第一節(jié)概述第12頁，課件共90頁，創(chuàng)作于2023年2月判別分析的一般步驟第13頁，課件共90頁，創(chuàng)作于2023年2月14

判別分析利用已知類別的樣本培訓模型，為未知樣本判類的一種統(tǒng)計方法。

它產(chǎn)生于本世紀30年代。近年來，在自然科學、社會學及經(jīng)濟管理學科中都有廣泛的應用。

判別分析的特點是根據(jù)已掌握的、歷史上每個類別的若干樣本的數(shù)據(jù)信息，總結出客觀事物分類的規(guī)律性，建立判別公式和判別準則。然后，當遇到新的樣本點時，只要根據(jù)總結出來的判別公式和判別準則，就能判別該樣本點所屬的類別。

第14頁，課件共90頁，創(chuàng)作于2023年2月15判別分析舉例：根據(jù)發(fā)掘出來的人類頭蓋骨的高、寬等特征來判斷其是男性還是女性。在稅務稽查中，要判斷某企業(yè)是否偷漏稅。醫(yī)生對病情的診斷。信用風險的判定。成功概率的判定。企業(yè)運行狀態(tài)或財務狀況的判定。第15頁，課件共90頁，創(chuàng)作于2023年2月16二、判別分析的種類1、按判別的組數(shù)分有兩組判別分析和多組判別分析2、按區(qū)分不同總體所用的數(shù)學模型分有線性判別和非線性判別3、按判別準則的不同有距離判別、費歇爾（Fisher）判別和貝葉斯（Bayes）判別。第16頁，課件共90頁，創(chuàng)作于2023年2月判別分析的假設前提每一個判別變量不能是其他判別變量的線性組合各組變量的協(xié)方差陣相等各判別變量之間具有多元正態(tài)分布17第17頁，課件共90頁，創(chuàng)作于2023年2月第二節(jié)距離判別

（一）馬氏距離距離判別的最直觀的想法是計算樣品到第i類總體的平均數(shù)的距離，哪個距離最小就將它判歸哪個總體，所以，我們首先考慮的是是否能夠構造一個恰當?shù)木嚯x函數(shù)，通過樣本與某類別之間距離的大小，判別其所屬類別。

第18頁，課件共90頁，創(chuàng)作于2023年2月19

設是從期望μ=和方差陣Σ=的總體G抽得的兩個觀測值，則

樣本X和Gi類之間的馬氏距離定義為X與Gi類重心間的距離：

X與Y之間的Mahalanobis距離

第19頁，課件共90頁，創(chuàng)作于2023年2月20馬氏距離和歐式距離之間的差別

馬氏距離歐氏距離第20頁，課件共90頁，創(chuàng)作于2023年2月21馬氏距離有如下的特點：

2、馬氏距離是標準化后的變量的歐式距離1、馬氏距離不受計量單位的影響;

第21頁，課件共90頁，創(chuàng)作于2023年2月22

3、若變量之間是相互無關的，則協(xié)方差矩陣為對角矩陣第22頁，課件共90頁，創(chuàng)作于2023年2月23此時的馬氏距離為第23頁，課件共90頁，創(chuàng)作于2023年2月

（二）兩個總體距離判別法

先考慮兩個總體的情況，設有兩個協(xié)差陣相同的p維正態(tài)總體，對給定的樣本X，判別一個樣本X到底是來自哪一個總體，一個最直觀的想法是計算X到兩個總體的距離。故我們用馬氏距離來給定判別規(guī)則，有：1、方差相等第24頁，課件共90頁，創(chuàng)作于2023年2月25考慮

和的差，就有：第25頁，課件共90頁，創(chuàng)作于2023年2月26則前面的判別法則表示為

當和已知時，

是一個已知的p維向量，W（x）是x的線性函數(shù)，稱為線性判別函數(shù)。稱為判別系數(shù)。用線性判別函數(shù)進行判別分析非常直觀，使用起來最方便，在實際中的應用也最廣泛。第26頁，課件共90頁，創(chuàng)作于2023年2月27

例在企業(yè)的考核中，可以根據(jù)企業(yè)的生產(chǎn)經(jīng)營情況把企業(yè)分為優(yōu)秀企業(yè)和一般企業(yè)?？己似髽I(yè)經(jīng)營狀況的指標有：資金利潤率=利潤總額/資金占用總額勞動生產(chǎn)率=總產(chǎn)值/職工平均人數(shù)產(chǎn)品凈值率=凈產(chǎn)值/總產(chǎn)值三個指標的均值向量和協(xié)方差矩陣如下?，F(xiàn)有二個企業(yè)，觀測值分別為（7.8，39.1，9.6）和（8.1，34.2，6.9），問這兩個企業(yè)應該屬于哪一類？第27頁，課件共90頁，創(chuàng)作于2023年2月28變量均值向量協(xié)方差矩陣優(yōu)秀一般資金利潤率13.55.468.3940.2421.41

勞動生產(chǎn)率40.729.840.2454.5811.67

產(chǎn)品凈值率10.76.221.4111.677.90第28頁，課件共90頁，創(chuàng)作于2023年2月第29頁，課件共90頁，創(chuàng)作于2023年2月線性判別函數(shù)：第30頁，課件共90頁，創(chuàng)作于2023年2月312、當總體的協(xié)方差已知，且不相等第31頁，課件共90頁，創(chuàng)作于2023年2月32

隨著計算機計算能力的增強和計算機的普及，距離判別法的判別函數(shù)也在逐步改進，一種等價的距離判別為：設有個K總體，分別有均值向量μi(i=1,2,…,k)和協(xié)方差陣Σi=Σ，各總體出現(xiàn)的先驗概率相等。又設Y是一個待判樣品。則與總體i的距離為（即判別函數(shù)）(三)多總體的距離判別法

上式中的第一項x’Σ-1x與i無關，則舍去，得一個等價的函數(shù)第32頁，課件共90頁，創(chuàng)作于2023年2月33

將上式中提-2，得則距離判別法的判別函數(shù)為：注：這與前面所提出的距離判別是等價的.判別規(guī)則為第33頁，課件共90頁，創(chuàng)作于2023年2月34（四）對判別效果做出檢驗

1、錯判概率

由上面的分析可以看出，馬氏距離判別法是合理的，但是這并不意味著不會發(fā)生誤判。兩總體分別服從

其判別函數(shù)為第34頁，課件共90頁，創(chuàng)作于2023年2月35顯然，只有兩個總體的均值有顯著差異時，判別分析才有實際意義第35頁，課件共90頁，創(chuàng)作于2023年2月362、交叉核實交叉核實法的思想是：為了判斷第i個觀測的判別正確與否，用刪除第i個觀測的樣本數(shù)據(jù)集計算出判別函數(shù)，然后用此判別函數(shù)來判別第i個觀測。對每一個觀測都這樣進行。

交叉核實檢查比較嚴格，能說明所選擇判別方法的有效性。交叉核實可以檢驗所用方法是否穩(wěn)定。交叉核實可以解決樣本容量不大的情形，改變樣本，來檢驗方法是否穩(wěn)定的問題。第36頁，課件共90頁，創(chuàng)作于2023年2月37

判類原類合計第37頁，課件共90頁，創(chuàng)作于2023年2月38

加權錯判率：

設qi是第i類的先驗概率，pi是第i類的錯判概率，則加權錯判率為

簡單錯判率：第38頁，課件共90頁，創(chuàng)作于2023年2月

距離判別只要求知道總體的數(shù)字特征，不涉及總體的分布函數(shù)，當參數(shù)未知和協(xié)方差時，就用樣本的均值和協(xié)方差矩陣來估計。距離判別方法簡單實用，但沒有考慮到每個總體出現(xiàn)的機會大小，即先驗概率，沒有考慮到錯判的損失。貝葉斯判別法正是為了解決這兩個問題提出的判別分析方法。第39頁，課件共90頁，創(chuàng)作于2023年2月40

辦公室新來了一個雇員小王，小王是好人還是壞人大家都在猜測。按人們主觀意識，一個人是好人或壞人的概率均為0.5。壞人總是要做壞事，好人總是做好事，偶爾也會做一件壞事，一般好人做好事的概率為0.9，壞人做好事的概率為0.2，一天，小王做了一件好事，小王是好人的概率有多大，你現(xiàn)在把小王判為何種人。第三節(jié)貝葉斯判別法一、最大后驗準則第40頁，課件共90頁，創(chuàng)作于2023年2月41第41頁，課件共90頁，創(chuàng)作于2023年2月42

距離判別簡單直觀，很實用，但是距離判別的方法把總體等同看待，沒有考慮到總體會以不同的概率（先驗概率）出現(xiàn)，也沒有考慮誤判之后所造成的損失的差異。一個好的判別方法，既要考慮到各個總體出現(xiàn)的先驗概率，又要考慮到錯判造成的損失，Bayes判別就具有這些優(yōu)點，其判別效果更加理想，應用也更廣泛。貝葉斯公式是一個我們熟知的公式

第42頁，課件共90頁，創(chuàng)作于2023年2月43

設有總體，具有概率密度函數(shù)。并且根據(jù)以往的統(tǒng)計分析，知道出現(xiàn)的概率為。即當樣本發(fā)生時，求它屬于某類的概率。由貝葉斯公式計算后驗概率，有：判別規(guī)則則判給。在正態(tài)的假定下，為正態(tài)分布的密度函數(shù)。第43頁，課件共90頁，創(chuàng)作于2023年2月44

則判給。

上式兩邊取對數(shù)并去掉與i無關的項，則等價的判別函數(shù)為：

特別，總體服從正態(tài)分布的情形第44頁，課件共90頁，創(chuàng)作于2023年2月45問題轉化為若，則判。第45頁，課件共90頁，創(chuàng)作于2023年2月46則判別函數(shù)退化為令

問題轉化為若，則判。當協(xié)方差陣相等

第46頁，課件共90頁，創(chuàng)作于2023年2月47

令完全成為距離判別法。有問題轉化為若，則判。當先驗概率相等，第47頁，課件共90頁，創(chuàng)作于2023年2月48二、最小平均誤判代價準則

設有總體，具有概率密度函數(shù)。并且根據(jù)以往的統(tǒng)計分析，知道出現(xiàn)的概率為，且。又D1，D2，┅，Dk是R(p)的一個分劃，判別法則為：當樣品X落入Di時，則判

關鍵的問題是尋找D1，D2，┅，Dk分劃，這個分劃應該使平均錯判率最小。

第48頁，課件共90頁，創(chuàng)作于2023年2月49【定義】（平均錯判損失）

用P(j/i)表示將來自總體Gi的樣品錯判到總體Gj的條件概率。

若用C(j/i)表示相應錯判所造成的損失。則平均錯判損失為：使ECM最小的分劃，是Bayes判別分析的解。

第49頁，課件共90頁，創(chuàng)作于2023年2月50【定理】若總體G1，G2，，Gk的先驗概率為

且相應的密度函數(shù)為，損失為則劃分的Bayes解為式中第50頁，課件共90頁，創(chuàng)作于2023年2月51

含義是：當抽取了一個未知總體的樣品值x，要判別它屬于那個總體，只要先計算出k個按先驗概率加權的誤判平均損失為了直觀說明，作為例子，我們討論k=2的情形。

然后比較其大小，選取其中最小的，則判定樣品屬于該總體。第51頁，課件共90頁，創(chuàng)作于2023年2月52

第52頁，課件共90頁，創(chuàng)作于2023年2月53

由此可見，要使ECM最小，被積函數(shù)必須在D1是負數(shù)，則有分劃

第53頁，課件共90頁，創(chuàng)作于2023年2月54Bayes判別準則為：

第54頁，課件共90頁，創(chuàng)作于2023年2月55特別，若

與標準Bayes判別等價第55頁，課件共90頁，創(chuàng)作于2023年2月

下表是某金融機構客戶的個人資料，這些資料對一個金融機構來說，對于客戶信用度的了解至關重要，因為利用這些資料，可以挖掘出許多的信息，建立客戶的信用度評價體系。所選變量為：

x1:

月收入

x2：月生活費支出

x3：虛擬變量，住房的所有權，自己的為“1”，租用的“0”

x4：目前工作的年限

x5：前一個工作的年限

x6：目前住所的年限

x7：前一個住所的年限x8：信用程度，“5”的信用度最高，“1”的信用度最低。第56頁，課件共90頁，創(chuàng)作于2023年2月第57頁，課件共90頁，創(chuàng)作于2023年2月第58頁，課件共90頁，創(chuàng)作于2023年2月第四節(jié)Fisher判別法第59頁，課件共90頁，創(chuàng)作于2023年2月Fisher判別法(先進行投影)所謂Fisher判別法，就是一種先投影的方法。考慮只有兩個（預測）變量的判別分析問題。假定這里只有兩類。數(shù)據(jù)中的每個觀測值是二維空間的一個點。見圖（下一張幻燈片）。這里只有兩種已知類型的訓練樣本。其中一類有38個點（用“o”表示），另一類有44個點（用“*”表示）。按照原來的變量（橫坐標和縱坐標），很難將這兩種點分開。于是就尋找一個方向，也就是圖上的虛線方向，沿著這個方向朝和這個虛線垂直的一條直線進行投影會使得這兩類分得最清楚?？梢钥闯?，如果向其他方向投影，判別效果不會比這個好。有了投影之后，再用前面講到的距離遠近的方法來得到判別準則。這種首先進行投影的判別方法就是Fisher判別法。第60頁，課件共90頁，創(chuàng)作于2023年2月第61頁，課件共90頁，創(chuàng)作于2023年2月用家庭收入和草地面積來區(qū)別城市中家庭可能購買割草機和不太可能購買割草機將坐標軸旋轉至總體單位盡可能分開的方向，此時分類變量被簡化為一個第62頁，課件共90頁，創(chuàng)作于2023年2月從距離判別法，我們已經(jīng)看到判別規(guī)則是一個線性函數(shù)，由于線性判別函數(shù)使用簡便，因此我們希望能在更一般的情況下，建立一種線性判別函數(shù)。Fisher判別法是根據(jù)方差分析的思想建立起來的一種能較好區(qū)分各個總體的線性判別法，F(xiàn)isher在1936年提出。該判別方法對總體的分布不做任何要求。第63頁，課件共90頁，創(chuàng)作于2023年2月64

（1）基本思想：從兩個總體中抽取具有p個指標的樣品觀測數(shù)據(jù)，借助方差分析的思想構造一個判別函數(shù)或稱判別式：，其中系數(shù)c1、c2、c3….cp確定的原則是使兩組間的區(qū)別最大，而使每個組內(nèi)部的離差最小。有了判別式后，對于一個新的樣品，將它的p個指標值代入判別式中求出y值，然后與判別臨界值（或稱分界點后面給出）進行比較，就可以判別它應屬于哪一個總體。一、不等協(xié)差陣的兩總體Fisher判別法第64頁，課件共90頁，創(chuàng)作于2023年2月65（2）判別函數(shù)的導出假設有兩個總體G1、G2，從第一個總體中抽取n1個樣品，從第二個總體中抽取n2個樣品，每個樣品觀測p個指標，列表如下：第65頁，課件共90頁，創(chuàng)作于2023年2月66假設新建立的判別式為，今將屬于不同兩總體的樣品觀測值代入判別式中去，則得：對上邊兩式分別左右相加，再乘以相應的樣品個數(shù)，則有：第一組樣品的“重心”

第二組樣品的“重心”

第66頁，課件共90頁，創(chuàng)作于2023年2月

為了使判別函數(shù)能夠很好地區(qū)別來自不同總體的樣品，自然希望：

i）來自不同總體的兩個平均值相差愈大愈好。ii）對于來自第一個總體要求它們的離差平方和愈小愈好，同樣也要求愈小愈好。

綜合以上兩點，就是要求

愈大愈好

記

為兩組間離差。為兩組內(nèi)的離差。第67頁，課件共90頁，創(chuàng)作于2023年2月有了判別函數(shù)之后，欲建立判別準則還要確定判別臨界值（分界點）y0，在兩總體先驗概率相等的假設下，一般常取y0為

和的加權平均值即

如果由原始數(shù)據(jù)求得與，且滿足＞，則建立判別準則為：對一個新樣品代入判別函數(shù)中去，所取得的值記為y，若y＞y0，則判定；若y<y0，則判定。如果＜，判別準則則相反。則

利用微積分求極值的必要條件可求出使I達到最大值。或第68頁，課件共90頁，創(chuàng)作于2023年2月（3）計算步驟

i）建立判別函數(shù)求的最大值點，根據(jù)極值原理，需解方程組可得到，寫出判別函數(shù)：第69頁，課件共90頁，創(chuàng)作于2023年2月70ii）計算判別臨界值，然后根據(jù)判別準則對新樣品判別分類。

iii）檢驗判別效果（當兩個總體協(xié)差陣相同且總體服從正態(tài)分布）。檢驗統(tǒng)計量：其中第70頁，課件共90頁，創(chuàng)作于2023年2月71給定檢驗水平a,

查F分布表，確定臨界值，若，則被否定，認為判別有效。否則認為判別無效。第71頁，課件共90頁，創(chuàng)作于2023年2月結論

考慮比根據(jù)Fisher的思想我們要選擇使得比值達到最大。利用最大值引理，當

時，比值達到最大。特別取時線性函數(shù)

稱為Fisher線性判別函數(shù)。第72頁，課件共90頁，創(chuàng)作于2023年2月

設在維總體的情況下，的線性組合為其中為維向量。設和的均值向量分別為和，且有公共的協(xié)方差陣。那么線性組合的均值為

第73頁，課件共90頁，創(chuàng)作于2023年2月

令則有于是Fisher判別準則為:第74頁，課件共90頁，創(chuàng)作于2023年2月注意到Fisher判別準則可寫為：這就是馬氏距離最小判別準則。第75頁，課件共90頁，創(chuàng)作于2023年2月76例子已知云南某地鹽礦分為鉀鹽及非鉀鹽（即鈉鹽）兩類?，F(xiàn)我們已掌握有兩類鹽礦有關歷史樣本數(shù)據(jù)如下表7-1所示。第76頁，課件共90頁，創(chuàng)作于2023年2月77為對待判樣本進行判別，需要進行判別分析。

可以求出判別函數(shù)為：根據(jù)上述判別函數(shù)，可求得：使用上述判別函數(shù)進行回判，正確回判率為V=100%。對上述兩類進行顯著性檢驗，說明A，B兩類差異顯著，判別效果是有效的。第77頁，課件共90頁，創(chuàng)作于2023年2月78待判樣品結果為：第78頁，課件共90頁，創(chuàng)作于2023年2月79二、多總體Fisher判別法

設有k個總體G1,…,Gk，抽取樣品數(shù)分別為，令為第i個總體的第a個樣品的觀測向量假定所建立的判別函數(shù)為其中第79頁，課件共90頁，創(chuàng)作于2023年2月記和分別是總體內(nèi)x的樣本均值向量和樣本協(xié)差陣，根據(jù)求隨機變量線性組合的均值和方差的性質可知，在上的樣本均值和樣本方差為記為總的均值向量，則。在多總體情況下，F(xiàn)isher準則就是要選取系數(shù)向量c，使達到最大，其中是人為的正的加權系數(shù)，它可以取為先驗概率。如果取，并將代入上式可化為：第80頁，課件共90頁，創(chuàng)作于2023年2月81其中E為組內(nèi)離差陣，A為總體之間樣本協(xié)差陣，即我們選擇，使得上式達到最大，為了方便，我們約定第81頁，課件共90頁，創(chuàng)作于2023年2月

定理

設為的個非零特征值，，為相應的特征向量（滿足），則時使得式達到最大，稱為第一判別函數(shù)。除去，則是在約束條件之下使得式達到最大的解，稱為第二判別函數(shù)。類推下去，除去，則是在約束條件之下使得式達到最大，稱為第個判別函數(shù)。第82頁，課件共90頁，創(chuàng)作于2023年2月83于是可構造m個判別函數(shù)：對于每一個判別函數(shù)必須給出一個用以衡量判別能力的指標定義為：