第十講Modeler分類預(yù)測：判別分析

1、分類預(yù)測：判別分析判別分析的一般內(nèi)容 判別分析是一種實現(xiàn)統(tǒng)計分類的分析方法 例如：不同類型客戶的預(yù)測應(yīng)用 特點： 數(shù)據(jù)中包含用于預(yù)測的判別變量(自變量)，其類型可以為定距，也可以為定類 數(shù)據(jù)中包含已知所屬類別的類別變量(因變量)，為定類型 判別分析可以根據(jù)已有數(shù)據(jù)，確定分類與判別變量之間的數(shù)量關(guān)系，建立判別函數(shù)，并可通過判別函數(shù)實現(xiàn)對未知數(shù)據(jù)類別的判定和預(yù)測判別分析的一般內(nèi)容 判別分析與聚類分析的不同點： 聚類分析中的類別是未知的，完全通過數(shù)據(jù)來確定 判別分析，通過對已知類別的“訓(xùn)練樣本”的學(xué)習(xí)，建立判別準(zhǔn)則，具有“預(yù)測”意義 判別分析方法的劃分： 根據(jù)類數(shù)：兩組判別分析、多組判別分析 根據(jù)數(shù)

2、學(xué)模型：線性判別、非線性判別 根據(jù)判別準(zhǔn)則：距離判別法、Fisher判別法、Bayes判別法距離判別 設(shè)有來自k2個總體的k組樣本，每組樣本有ni(i=1,2,.k)個關(guān)于X1，X2，Xp個輸入(判別)變量的觀察值(p k) 將n個樣本數(shù)據(jù)看成p維空間中的點，計算出每個類別的中心(分類均值) 分別計算任一樣本點到各個類別中心的馬氏距離 根據(jù)距離最近的原則，距離哪個中心近，則屬于哪個類距離判別 假設(shè)有兩個總體G1和G2,從第一個總體中抽取n個樣本，從第二個總體中抽取m個樣本，每個樣本有p個判別變量 (1), (2), (1), (2)分別為G1和G2的均值向量和協(xié)差陣,則點X到Gi的馬氏距離定義

3、為:21 )()()(),()(1)()(2,iXXGXDiiii為什么用馬氏距離？距離判別 根據(jù)D(X,G1)、D(X,G2)判斷： 如果D(X,G1)D(X,G2),則:XG1 如果D(X,G2)0,則:XG1 如果W(X)0, 相應(yīng)的特征向量為v1,vr. 則判別函數(shù)為：yi(x)=vix (= ax)記pi為第I個判別函數(shù)的判別能力(效率), 有：m個判別函數(shù)的判別能力為：最大的值為方程|B-l lE|=0的最大特征根l l11iirhhpll使a Baa Ea111mimiirihhpllFisher判別-基本計算 如果y空間是一維的，則只需要計算判別閾值y0，并將新樣本的判別得分與

4、閾值進行比較即可得到判別結(jié)果 通常y空間不是一維的，需要在y維空間中建立基于距離判別的判別函數(shù) 對新樣本，求出它們離各個類別中心的距離，依據(jù)判別函數(shù)，判別屬于哪個類別-4-20246-4-3-2-101232122110nnynynyBayes判別 在先驗概率的基礎(chǔ)上，利用判別函數(shù)所提供的信息對先驗概率進行調(diào)整，最后得到某個樣本屬于哪個類別的概率估計 首先，計算樣本點X屬于總體Gi（i=1,2,k）的概率 然后，根據(jù)k個概率值的大小決策，樣本點X應(yīng)屬于概率最大的類別（總體）)|(XGpiBayes判別 第一，計算先驗概率 ，設(shè)k個總體G1,G2,Gk的先驗概率分別為q1,q2,qk 第二，計算

5、樣本似然，即在總體Gi（i=1,2,k）中抽到樣本X的概率 例如： 輸入變量服從多元正態(tài)分布，且各總體協(xié)差陣相等，則在總體G1中抽到樣本X的概率為)(iGp)|(iGXp)()()(21exp2|1)|()1(1)1(1XXGXp21exp2|1)|(211DGXp21exp2|1)|(222DGXpBayes判別 第三，計算樣本屬于總體Gi（i=1,2,k）的概率)|(XGpikiGXpqGXpqXGpkjjjiii,.2 , 1,)|()|()|(1kiDqDqXGpkjjjiii,.2 , 1,)2/exp()2/exp()|(12222/1ln)|(iiiDqxGp21 )()()()

6、,()(1)()(2,iXXGXDiiii判別分析的應(yīng)用示例 采用一份某商學(xué)院招收MBA學(xué)生的數(shù)據(jù)：大學(xué)平均學(xué)分績（X1）、管理才能得分（X2）以及錄取結(jié)果（Y，1表示錄取，2不錄取，3待定）判別分析的應(yīng)用示例-準(zhǔn)備工作 均值檢驗 原假設(shè)：某輸入變量各總體的均值無顯著差異 操作：Means：輸出輸入變量的均值、方差等基本描述統(tǒng)計量；Univariate ANOVAS，進行Wilks均值檢驗SSTSSEWilksl 判別分析的應(yīng)用示例-準(zhǔn)備工作 方差齊性檢驗：直接觀測 Matrix框下：Within-groups correlation；Within-groups covariance；Sepa

7、rate-groups covariance判別分析的應(yīng)用示例-結(jié)果解讀 Fisher判別函數(shù) 判別函數(shù)(選擇Fishers選項) 原始變量對新空間中樣本點位置確定的貢獻程度Canonical Discriminant Function Coefficients4.086-1.831.007.014-15.595-1.470大學(xué)平均成績管理才能評分(Constant)12FunctionUnstandardized coefficientsStandardized Canonical DiscriminantFunction Coefficients.913-.409.449.895大學(xué)平均成

8、績管理才能評分12Function212211014. 0831. 1470. 1007. 0086. 4595.15xxyxxyFunctions at Group Centroids2.368.241-2.403.321-.236-.633錄取結(jié)果錄取不錄取待定12FunctionUnstandardized canonical discriminantfunctions evaluated at group means判別分析的應(yīng)用示例-結(jié)果解讀 判別能力檢驗 哪個判別函數(shù)更重要iieigenvalueWilks11lWilks Lambda.165146.7104.000.84513.

9、7731.000Test of Function(s)1 through 22Wilks LambdaChi-squaredfSig.Eigenvalues4.110a95.795.7.897.184a4.3100.0.394Function12Eigenvalue% of VarianceCumulative %CanonicalCorrelationFirst 2 canonical discriminant functions were used in theanalysis.a. kiGXpqGXpqXGpkjjjiii,.2 , 1,)|()|()|(1 Bayes判別Classification Function Coefficients70.25550.61661.215.152.120.121-163.901-89.717-119.397大學(xué)平均成績管理才能評分(Constant)錄取不錄取待定錄取結(jié)果Fishers linear discriminant functionsPrior Probab