第六章判別分析方案課件

第六章判別分析

discriminantanalysis判別分析的基本概念兩總體判別分析多總體判別分析SPSS的判別分析過程第六章判別分析

discriminantanalysis

一、判別分析的基本概念判別分析問題的描述：已知若干組分類數(shù)據(jù)現(xiàn)有一新樣本，要求判定新樣本數(shù)據(jù)屬于已知分類中的哪一類判別分析的關(guān)鍵：判別函數(shù)：由描述各類的數(shù)值指標(biāo)構(gòu)成的分類規(guī)則，明確已知各類應(yīng)如何區(qū)別例：肝炎病人的診斷兩總體判別：肝炎病人和正常人判別依據(jù)：一些化驗指標(biāo)，形成判別公式-判別函數(shù)一、判別分析的基本概念判別分析問題的描述：Simple,Two-GroupDAMeanofgroup1–fromdatayouhaveMeanofgroup2–fromdatayouhaveUnknownobservationx如何判別：x與哪類距離近，就歸屬于哪類：若dx1<dx2,則x屬于第1類若dx1>dx2,則x屬于第2類判別函數(shù)：f=dx1-dx2>0,x∈2,<0,x∈1判別規(guī)則中國屬于發(fā)展中國家還是發(fā)達(dá)國家？Simple,Two-GroupDAMeanofgrPatternRecognitionProblem

PatternRecognitionProblem

判別分析與方差分析、聚類分析判別分析與方差分析、聚類分析聚類分析與判別分析間的聯(lián)系

先采用聚類分析獲得各個個體的類別（classification）；然后采用判別分析建立判別函數(shù)，對新個體進(jìn)行類型識別（identification）聚類分析與判別分析間的聯(lián)系先采用聚類分析獲得各聚類分析的數(shù)據(jù)格式k聚類分析的數(shù)據(jù)格式k判別分析的數(shù)據(jù)格式判別分析的數(shù)據(jù)格式判別分析的方法與數(shù)學(xué)描述數(shù)據(jù)描述對于m類總體G1，G2，……，Gm，其分布函數(shù)分別為f1(y)，f2(y)，……fm(y)，對于一個給定樣品y，我們要判斷出這個樣本來自哪個總體。判別分析的主要問題就是如何尋找最佳的判別函數(shù)和建立判別規(guī)則。誤判問題肝功指標(biāo)高就一定是肝炎病人嗎？判別分析的方法與數(shù)學(xué)描述數(shù)據(jù)描述誤判率Misclassification(1-Dcase)

兩總體單指標(biāo)的判別分析，假設(shè)正態(tài)分布，等方差判別規(guī)則轉(zhuǎn)氨酶肝炎患者非患者非典？?誤判率Misclassification(1-DcaseBest-InWhatSense?MinimizesprobabilityofmisclassificationMaximizesposteriorprobabilityofcorrectclassificationManyothersForexampleminimizesthecostofmisclassification具體問題具體分析疾病的診斷市場分析LotsofperspectivessuggestthisbasicruleasbestBest-InWhatSense?Minimizes影響誤判率的因素

當(dāng)分布中心過于接近，誤判率很高三總體單指標(biāo)——組均值差異影響誤判率的因素

當(dāng)分布中心過于接近，誤判率很高三總體單指標(biāo)Threegroups-Twofeatures

Threegroups-Twofeatures

二、兩總體判別分析基本思想：樣品和哪個總體距離最近，就判斷它屬于那個總體。設(shè)：兩個總體G1和G2，x是一個p維樣本，x到總體G1和G2的馬氏距離分別記為d2(x,G1)和d2(x,G2),判別規(guī)則：若d2(x,G1)<d2(x,G2),則認(rèn)為x屬于G1

，反之若d2(x,G1)>d2(x,G2),認(rèn)為x屬于G2

。或判別函數(shù)：

W(x)=d2(x,G2)-d2(x,G1)>0，x∈

G1<0，x∈G2所謂“等距離”：到兩總體距離相等的點構(gòu)成類分界線1.馬氏等距離法二、兩總體判別分析基本思想：樣品和哪個總體距離最近，就判斷它兩指標(biāo)、正態(tài)分布且方差相等的兩總體類分界線樣本點到某一類的距離越近,屬于該類的概率越大兩指標(biāo)、正態(tài)分布且方差相等的兩總體類分界線樣本點到某一類的距線性判別函數(shù)設(shè)G1～N(

1,∑1)和G2～N(

2,∑2)為兩正態(tài)總體，且協(xié)差陣相等，即∑1=∑2=∑，則樣本x到G1、G2的馬氏距離為可以證明：線性判別函數(shù)設(shè)G1～N(1,∑1)和G2～N(2,∑2)容易看出上述函數(shù)W(x)為x的線性函數(shù)，稱為線性判別函數(shù)，判別準(zhǔn)則：W(x)與0比較x∈G1，當(dāng)W(x)>0，x∈G2當(dāng)W(x)<0，令W(x)=0可以得到兩類分界線容易看出上述函數(shù)W(x)為x的線性函數(shù)，稱為線性判別函數(shù)，判LinearDiscriminationRule

W(x1,x2)=0W(x1,x2)>0LinearDiscriminationRule

W(x01G1G2考察p=1的情況設(shè)G1～N(

1,2)和G2～N(

2,2)，判別函數(shù)為：x=0.5誤判率P(2/1)=0.3085誤判率P(1/2)=？01G1G2考察p=1的情況設(shè)G1～N(1,2)和G2～∑1≠∑2時，非線性判別函數(shù)判別函數(shù)W(x)為x的二次函數(shù)∑1≠∑2時，非線性判別函數(shù)判別函數(shù)W(x)為x的二次函數(shù)直觀判斷x0屬于哪一類？G1:N(80,0.25)G2:N(75,4)7580x0=78

已知G1是設(shè)備A生產(chǎn)的產(chǎn)品，G2是設(shè)備B生產(chǎn)的產(chǎn)品。A設(shè)備質(zhì)量高，其產(chǎn)品平均耐磨度

1=80，方差12=0.25，B設(shè)備質(zhì)量較差，其產(chǎn)品平均耐磨度2=75，方差22=4?，F(xiàn)有一產(chǎn)品X0，其耐磨度x0=78，試判斷該產(chǎn)品是哪臺設(shè)備生產(chǎn)的。建立判別規(guī)則，誤判率多大？考察p=1的情況直觀上看，x0距

1較近,但是考慮到相對分散度，判別準(zhǔn)則x1x2誤判率：4.5%直觀判斷x0屬于哪一類？G1:N(80,0.25)G2:N(2.Fisher判別法判別思想：投影，使多維問題簡化為一維問題來處理方法：尋找原變量x的一個線性組合，使得各組在此方向上投影的差異最大化，再選擇合適的判別規(guī)則對樣品進(jìn)行分類判別。2.Fisher判別法判別思想：投影，使多維問題簡化為Fisher’sapproachFindalinearcombinationofvariablesxthatwouldproduce“maximallydifferent”discriminantscoresacrossgroupFisher’sapproachFindalinear數(shù)學(xué)模型設(shè)：線性組合的系數(shù)向量為a,考慮線性組合：z=xa——z:x在a方向的投影通過尋找合適的a，使投影到此方向的組間變異大，組內(nèi)變異比較小，即使組間變異/組內(nèi)變異（離差平方和）取最大值。數(shù)學(xué)模型設(shè)：線性組合的系數(shù)向量為a,考慮線性組合：z=xa兩總體Fisher判別函數(shù)設(shè)：兩協(xié)差陣相等的總體G1:n1個樣本，G2:n2，

1，2和分別表示兩總體均值和總均值線性組合的系數(shù)向量為a,考慮線性組合：z=xa投影后的組內(nèi)變異：組內(nèi)離差平方和為兩總體Fisher判別函數(shù)設(shè)：兩協(xié)差陣相等的總體G1:n1個投影后的組間變異：組間離差平方和為投影后的組間變異：組間離差平方和為以上證明，當(dāng)a∝

-1(2-1)時滿足我們的要求，即：判別投影方向在兩類均值點的連線上。通常我們將a標(biāo)準(zhǔn)化。∴判別函數(shù)為：z=x-1(2-1)判別規(guī)則：z>c時，x∈G2；z<c時，x∈G1，以上證明，當(dāng)a∝-1(2-1)時滿足我們的要求，即：判LinearDiscriminators

criticalvalue投影方向判別函數(shù)判別得分c2<c1,x∈G1c3<c1,x∈G2LinearDiscriminators

critical練習(xí)題兩類總體相關(guān)統(tǒng)計資料如下：一個新的樣本為x=(0.0,0.5)，問x屬于（1）類還是（2）類。

解法1：馬式等距離法解法2：Fisher法練習(xí)題兩類總體相關(guān)統(tǒng)計資料如下：一個新的樣本為x=(0.0解：求Fisher判別函數(shù)z=x-1(2-1)C=0Z(1)Z(2)Z結(jié)論：x屬于（1）類解：求Fisher判別函數(shù)z=x-1(2-1)C=0Z例：booksbymail某書商從事郵購書業(yè)務(wù)。有50,000個顧客的統(tǒng)計數(shù)據(jù)，現(xiàn)公司計劃推銷一本新的藝術(shù)類書“thearthistoryofFlorence”。希望有針對性地郵寄訂購單，即只向有可能購買該書的顧客推銷，以降低成本。為了了解顧客情況，公司從50,000個現(xiàn)有顧客中隨機抽取1000人發(fā)訂購單，其中83人購買了該書。要求利用此數(shù)據(jù)中分析潛在購買者的特征。對1000個顧客樣本進(jìn)行判別分析，選取“最近一次購買至今的月數(shù)”和“購買藝術(shù)類書的本數(shù)”為判別變量。分類變量“buystatu”:0未購買者，1購買者例：booksbymail某書商從事郵購書業(yè)務(wù)。有50,求判別函數(shù)系數(shù)a∝

-1(

2-

1)∴判別函數(shù)為z=-0.056month+1.577artnumz2=-0.056×9.41+1.577×1=1.05,z1=-0.056×12.73+1.577×0.33=-0.19c=(1.05-0.19)/2=0.43判別規(guī)則：z>0.43∈buyer求判別函數(shù)系數(shù)a∝-1(2-1)∴判別函數(shù)為z=-0.SPSS輸出結(jié)果判別規(guī)則：z>c=(1.018-0.0922)/2=0.4629∈buyer判別函數(shù)：SPSS輸出結(jié)果判別規(guī)則：z>c=(1.018-0.0922判別變量和標(biāo)準(zhǔn)化判別函數(shù)的相關(guān)系數(shù)購買藝術(shù)書越多的顧客越可能購買，越近期的顧客越可能購買判別變量和標(biāo)準(zhǔn)化判別函數(shù)的相關(guān)系數(shù)購買藝術(shù)書越多的顧客越可能判別得分的分布Non-buyersbuyersz=0z=0判別得分的分布Non-buyersbuyersz=0z=0回判結(jié)果誤判率25%發(fā)出263封訂購信，約18.3%會訂購回判結(jié)果誤判率25%發(fā)出263封訂購信，約18.3%會訂購協(xié)方差陣相等的檢驗-Box’stestH0:

1=2=…=m協(xié)方差不等時的判別：非線性判別函數(shù)如果仍用線性判別，誤判率增大組內(nèi)協(xié)方差相等時G1G2G2協(xié)方差陣相等的檢驗-Box’stestH0:1=2=Booksbymail協(xié)方差相等算法的誤判率協(xié)方差不等算法的誤判率發(fā)出263封訂購信，約18.3%會訂購發(fā)出197封訂購信，約20.3%會訂購Booksbymail協(xié)方差相等算法的誤判率協(xié)方差不等算判別函數(shù)的鑒別能力

類中心差異的顯著檢驗Wilks’stest為什么要檢驗？類中心距離太近時，誤判率高。如果某個判別函數(shù)不能拒絕原假設(shè)，則這個判別函數(shù)的判別能力很差

如何檢驗：該判別函數(shù)在各類中心相等

H0:

1=2判別函數(shù)的鑒別能力

類中心差異的顯著檢驗Wilks’s3.Bayesianapproach前面兩種方法中都沒有考慮各類中樣本數(shù)的差異沒有考慮誤判帶來的不對稱經(jīng)濟損失當(dāng)各類樣本數(shù)不同/誤判損失不對稱時，是否會影響判別函數(shù)的選取或判別規(guī)則？3.Bayesianapproach前面兩種方法中都沒IncorporatingPriorProbs

考慮先驗概率R1的誤判率高于R2考慮到各類樣本容量不同對誤判率的影響，判別規(guī)則應(yīng)作適當(dāng)調(diào)整IncorporatingPriorProbs

考慮先驗3.Bayesianapproach貝葉斯的統(tǒng)計思想：假定對研究的對象已有一定的認(rèn)識（常用先驗概率反映這種認(rèn)識），然后抽取一個樣本，用樣本來修正已有的認(rèn)識。3.Bayesianapproach貝葉斯的統(tǒng)計思想：影響分類的因素先驗概率用概率描述的人們事先對所研究對象的認(rèn)識誤判損失costofmisclassification:x被判為屬于G2，而它實際屬于G1，則稱發(fā)生了誤判誤判可能會帶來經(jīng)濟損失當(dāng)誤判損失不對稱時（比如G1樣本誤判為G2的成本是G2樣本誤判為G1的成本的10倍時），我們通常會改變判別準(zhǔn)則（使之偏向誤判成本低的一方），寧可將G2誤判給G1，也不愿相反。影響分類的因素先驗概率3.Bayesianapproach基本思路：誤判期望損失最小化設(shè)有m個總體G1,…Gm,其概率密度函數(shù)分別為fi(x),i=1,2…m。來自總體Gi的樣品x被錯判為總體Gj所產(chǎn)生的損失為C(j/i)，那么，對于判別規(guī)則R產(chǎn)生的誤判概率記為P(j/i,R),有：如果已知x來自總體Gi的先驗概率為qi(i=1,2,…m)，則在規(guī)則R下，誤判期望損失為：3.Bayesianapproach基本思路：誤判期望貝葉斯定理若總體G1,…Gm的先驗概率為{qi}，且相應(yīng)的密度函數(shù)為{fi(x)}，損失是{C(j/i)}時，則劃分R的貝葉斯解為：當(dāng)抽取了一個未知總體的樣品值x(p維向量），要判斷它屬于哪個總體，只要先計算出ｍ個按先驗分布加權(quán)的誤判平均損失hj(x)，然后比較這m個平均損失的大小，取其中最小的，則判定x來自該總體貝葉斯定理若總體G1,…Gm的先驗概率為{qi}，且相應(yīng)的兩總體判別設(shè)有2個總體，其先驗概率分別為q1,q2，滿足：qi≥0，∑qi=1，誤判成本分別為C(1/2),C(2/1)，h1(x)=q2f2(x)C(1/2),h2(x)=q1f1(x)C(2/1),R1={x|q2f2(x)C(1/2)<q1f1(x)C(2/1)}R2={x|q2f2(x)C(1/2)>q1f1(x)C(2/1)}兩總體判別設(shè)有2個總體，其先驗概率分別為q1,q2，滿足：q兩總體判別其中：z-Fisher判別函數(shù)得分，c-兩個類中心連線的中點（Fisher判別準(zhǔn)則）當(dāng)先驗概率和誤判損失各類都相等時，即為Fisher判別。先驗概率/誤判損失不對稱時，相當(dāng)于對原判別值做一個修正如果f1(x)與f2(x)分別為Np(

1,∑)和Np(

2,∑)，則兩總體判別其中：z-Fisher判別函數(shù)得分，c-兩個類中心練習(xí)題考慮下列判別分析問題：隨機抽取60個樣本，相關(guān)統(tǒng)計資料如下：一個新的樣本為x=(0.0,0.5)，問x屬于（1）類還是（2）類。

練習(xí)題考慮下列判別分析問題：隨機抽取60個樣本，相關(guān)統(tǒng)計資料Booksbymail1000個樣本顧客中，buyer只有83人，其他917名都是non-buyer,先驗概率相差很大。做先驗概率修正后，分類結(jié)果：修正后（Bayers法）發(fā)出197封訂購信，約20.3%會訂購發(fā)出44封訂購信，約43.2%會訂購修正前Booksbymail1000個樣本顧客中，buyer只誤判損失修正此例為典型非對稱誤判損失：非買者誤判為買者，損失較?。ㄠ]資費、資料費、人工費），設(shè)為1元；買者誤判為非買者損失較大，為一本書的凈利潤，設(shè)為6元發(fā)出160封訂購信，約21.3%會訂購：準(zhǔn)確率下降！凈利潤=＄6×34-＄1×126=78凈利潤=＄6×11-＄1×10=56注意：誤判損失修正需用syntax語句編程，人工輸入先驗概率（0.648)僅先驗概率修正誤判損失修正此例為典型非對稱誤判損失：非買者誤判為買者，損失3Groupsin2Dimensions

三、多總體判別分析3Groupsin2Dimensions

三、多總體Partitioning2-DSpace

Partitioning2-DSpace

AlternateView

AlternateView

LikelihoodView

LikelihoodView

Non-LinearDiscriminators

兩個判別變量、三類Non-LinearDiscriminators

兩個判別四、SPSS的Discriminant過程Discriminant過程的大部分功能都可以通過對話框來指定，還有一些功能可以在Syntax頁中給予補充或修改。例如，指定各類的先驗概率；顯示旋轉(zhuǎn)方式和結(jié)構(gòu)矩陣；限制提取的判別函數(shù)的數(shù)目；讀取一個相關(guān)矩陣；分析后把相關(guān)矩陣寫入文件；指定對參與分析的觀測量進(jìn)行回代分類，對沒有參與分析的觀測量進(jìn)行預(yù)測分類等。四、SPSS的Discriminant過程SPSS的判別分析方法

為研究舒張期血壓和血漿膽固醇對冠心病的作用，某醫(yī)院測定了50-59歲冠心病人15例和正常人16例的舒張壓和膽固醇指標(biāo)，結(jié)果如下，試作判別分析，建立判別函數(shù)以便在臨床中用于篩選冠心病人。SPSS的判別分析方法為研究舒張期血壓和血漿膽判別分析數(shù)據(jù)結(jié)構(gòu)設(shè)一分組變量表示分組類別判別分析數(shù)據(jù)結(jié)構(gòu)設(shè)一分組變量表示分組類別判別分析過程

分析→分類→判別...

，彈出判別分析對話框。定義分組變量取值范圍SPSS提供6種方法進(jìn)行判別函數(shù)分析：強迫變量進(jìn)入法及其他5種逐步進(jìn)入法強迫進(jìn)入法：已選變量全部進(jìn)入模型逐步進(jìn)入法選擇滿足指定條件的樣本進(jìn)行分析判別分析過程分析→分類→判別...，彈出定義分組變量取值范圍分組變量最大值分組變量最小值定義分組變量取值范圍分組變量最大值分組變量最小值逐步進(jìn)入方法選擇對話框“組間最小F比率”值最大的變量具有最小總體Wilk‘s

值的變量進(jìn)入模型具有最小未被解釋的組間方差的變量具有近鄰組間最大馬式距離的變量具有最大RaosV增量的變量顯示每步每個變量的統(tǒng)計量顯示兩兩類間的F統(tǒng)計量逐步判別停止判據(jù)根據(jù)F值：F>entry值保留，F(xiàn)<removal剔除根據(jù)F的精確p值逐步進(jìn)入方法選擇對話框“組間最小F比率”值最大的變量具有最小“統(tǒng)計量”對話框輸出各類中各自變量均值單變量方差分析,H0:各類中同一自變量均值相等各類協(xié)方差矩陣相等的檢驗判別函數(shù)系數(shù)的輸出形式對新樣本進(jìn)行判別分類的費雪系數(shù)，對每一類給出一組系數(shù)，并給出該組中判別分?jǐn)?shù)最大的觀測量非標(biāo)準(zhǔn)化的判別系數(shù)類內(nèi)相關(guān)陣合并類內(nèi)協(xié)方差陣每類顯示一個協(xié)方差陣總樣本協(xié)方差陣“統(tǒng)計量”對話框輸出各類中各自變量均值單變量方差分析,H0“分類”對話框

指定分類參數(shù)和判別結(jié)果選擇先驗概率各類先驗概率相等：若分為m類，先驗概率為1/m根據(jù)各類樣本容量的比例：先驗概率與其樣本量成正比選擇分類使用的協(xié)方差陣顯示各樣本分類結(jié)果：判別分?jǐn)?shù)、實際類、預(yù)測類、后驗概率各組協(xié)方差陣用于協(xié)差陣不等時一張包含各類的散點圖對每一類生成一張散點圖根據(jù)函數(shù)值分組的邊界圖每個觀測量的分類結(jié)果：判別依據(jù)是由除該觀測量以外的其它觀測量導(dǎo)出的，也稱交互檢驗結(jié)果合并組內(nèi)協(xié)方差陣，用于類協(xié)方差相等時“分類”對話框

指定分類參數(shù)和判別結(jié)果選擇先驗概率各類先驗“保存”對話框根據(jù)判別分?jǐn)?shù)把觀測量按后驗概率最大指派所屬類保存判別分?jǐn)?shù)保存觀測量屬于某一類的概率：若分m類，每個觀測量將保存m個概率值“保存”對話框根據(jù)判別分?jǐn)?shù)把觀測量按后驗概率最大指派所屬類計算結(jié)果舒張壓對冠心病的影響大于膽固醇計算結(jié)果舒張壓對冠心病的影響大于膽固醇類均值處的線性判別函數(shù)判別方程為：D=0.638X1+0.800X2-10.753依此方程，病人組的中心得分點為1.11198，正常人組的中心得分點為-1.04248。本例為二類判別，二類判別以0為分界點，若將某人的舒張壓和膽固醇值代入判別方程，求出的判別分>0的為冠心病人，判別分<0的為正常人。類均值處的線性判別函數(shù)判別方程為：第六章判別分析方案課件例：mba-car-preferrence前一章MBA汽車偏好例先用快速聚類將偏好數(shù)據(jù)分為3類再用判別分析建立判別函數(shù)首先進(jìn)行方差檢驗，以確定判別方法再進(jìn)行相應(yīng)的判別分析，給出誤判率例：mba-car-preferrence前一章MBA汽車偏協(xié)方差相等假設(shè)下的判別結(jié)果協(xié)方差相等假設(shè)下的判別結(jié)果TerritorialPlotTerritorialPlotTerritorialPlotDrawinperpendicularbisectorsTerritorialPlotDrawinperpenTerritorialPlotThisis“closestmean”classification.TerritorialPlotThisis“close用