第六判別分析演示文稿

第六判別分析演示文稿當前第1頁\共有115頁\編于星期三\10點（優(yōu)選）第六判別分析當前第2頁\共有115頁\編于星期三\10點判斷該樣品應屬于這g個總體中的哪一個。

當前第3頁\共有115頁\編于星期三\10點§6.1距離判別

如何定義樣本空間中兩點之間的距離?如果距離定義不合適，可能會出現(xiàn)不該發(fā)生的誤判錯誤。距離判別是通過定義樣品指標X的觀測值x(p維）到各總體的距離，以其大小判定樣品屬于哪個總體。當前第4頁\共有115頁\編于星期三\10點今有一樣品，值在交點A處，問A距哪個總體近？

當前第5頁\共有115頁\編于星期三\10點另一缺陷，距離與單位有關(guān)。

當前第6頁\共有115頁\編于星期三\10點想法：

用協(xié)方差陣把“距離”標準化以后化為無綱的量作為兩點間距離。X，Y兩點之間的距離為d（X，Y）

X與總體G的距離為d(X,G)當前第7頁\共有115頁\編于星期三\10點(1)兩總體的距離判別

當前第8頁\共有115頁\編于星期三\10點當前第9頁\共有115頁\編于星期三\10點當前第10頁\共有115頁\編于星期三\10點判別函數(shù)W（x）是X的二次函數(shù).

當前第11頁\共有115頁\編于星期三\10點（2）多總體的距離判別

當前第12頁\共有115頁\編于星期三\10點當前第13頁\共有115頁\編于星期三\10點當前第14頁\共有115頁\編于星期三\10點當前第15頁\共有115頁\編于星期三\10點（3）判別準則的評價

判別準則的優(yōu)劣，可以用它的誤判概率來衡量。

只有當總體的分布完全已知時，才有可能計算誤判概率。當前第16頁\共有115頁\編于星期三\10點在實際應用中，我們可利用的資料只是來自各總體的訓練樣本，而總體的分布是未知的，下面以兩個總體為例，介紹兩種以訓練樣本為基礎(chǔ)的評價準則：（i）貌似誤判率方法

——利用回判的誤判率來衡量判別準則的效果：當前第17頁\共有115頁\編于星期三\10點當前第18頁\共有115頁\編于星期三\10點(ii)刀切法或稱交叉確認法（Cross-Validation）基本思想：

當前第19頁\共有115頁\編于星期三\10點注意：1.誤判率依賴于所考慮的各總體之間的分離程度。各總體之間離得越遠，就越能建立有效的判別準則。

2.協(xié)方差陣是否相等需要經(jīng)過檢驗?？梢宰C明它是實際誤判概率的漸近無偏估計。

當前第20頁\共有115頁\編于星期三\10點§6.2.Bayes判別

當前第21頁\共有115頁\編于星期三\10點

首先，在全年的365天中有感地震是較少的,破壞性地震更是罕見。如果考慮到這個因素，在沒有特大的異常時，就應該預報“無震”，這樣比較穩(wěn)妥，這是由于歷史上的先驗知識告訴我們：“有震”與“無震”這兩個總體本身各自出現(xiàn)的概率相差懸殊，在難以判斷時，應優(yōu)先判為出現(xiàn)的概率較大的那個總體。其次，錯判有兩種：“有震”報為“無震”是“漏報”，“無震”報為“有震”是“虛報”。二者皆可以造成損失，但損失卻會很不相同?！奥﹫蟆睍谷嗣袢罕娫诤翢o準備的情況下，面臨巨大災難，會造成大量傷亡，而“虛報”會造成生產(chǎn)停頓，人心不安，有時的損失也不亞于“漏報”造成的損失。當前第22頁\共有115頁\編于星期三\10點例2．將一個正品電子元件判為次品，所損失的只是生產(chǎn)廠家（若這種元件的成本不是很昂貴的話），但若將次品判為正品而使用到更大的系統(tǒng)中，則有可能造成整個系統(tǒng)的損壞（這種損失往往是很大的）。例3．將實際生病的人判為無病，有可能導致病情加重甚至死亡而造成損失，反之將無病者診斷為有病，可給他們造成不必要的醫(yī)療費用支出和精神負擔。

當前第23頁\共有115頁\編于星期三\10點

Bayes判別的基本思想

當前第24頁\共有115頁\編于星期三\10點判定為實際為當前第25頁\共有115頁\編于星期三\10點當前第26頁\共有115頁\編于星期三\10點在判別準則D之下總期望損失為

當前第27頁\共有115頁\編于星期三\10點(1)兩總體的Bayes判別

總期望損失為

當前第28頁\共有115頁\編于星期三\10點Bayes判別準則：

對給定的樣品x，計算兩總體的概率密度函數(shù)在x處的值。

當前第29頁\共有115頁\編于星期三\10點當前第30頁\共有115頁\編于星期三\10點當前第31頁\共有115頁\編于星期三\10點當前第32頁\共有115頁\編于星期三\10點當前第33頁\共有115頁\編于星期三\10點當前第34頁\共有115頁\編于星期三\10點當時SAS程序為：datak62;inputcategory$x1x2@@;cards;h24.8-2h24.1-2.4h26.6-3h23.5-1.9h25.5-2.1h27.4-3.1w22.1-0.7w21.6-1.4w22-0.8w22.8-1.6w22.7-1.5w21.5-1w22.1-1.2w21.4-1.3;proc

discrim

data=k62pool=yeswcovpcovcrosslisterr;priorsproportional;

classcategory;varx1x2;

run;

當前第35頁\共有115頁\編于星期三\10點

TheDISCRIMProcedure

Observations14DFTotal13Variables2DFWithinClasses12Classes2DFBetweenClasses1

ClassLevelInformation

VariablePriorcategoryNameFrequencyWeightProportionProbabilityhh66.00000.4285710.428571ww88.00000.5714290.571429輸出結(jié)果為：當前第36頁\共有115頁\編于星期三\10點

TheDISCRIMProcedureWithin-ClassCovarianceMatrices

category=h,DF=5

VariableLabelx1x2x1x12.213666667-0.657666667x2x2-0.6576666670.269666667

category=w,DF=7

VariableLabelx1x2x1x10.2735714286-.0632142857x2x2-.06321428570.1069642857當前第37頁\共有115頁\編于星期三\10點

TheDISCRIMProcedure

PooledWithin-ClassCovarianceMatrix,DF=12

VariableLabelx1x2x1x11.081944444-0.310902778x2x2-0.3109027780.174756944

PooledCovarianceMatrixInformation

NaturalLogoftheCovarianceDeterminantoftheMatrixRankCovarianceMatrix2-2.38145當前第38頁\共有115頁\編于星期三\10點

TheDISCRIMProcedure

PairwiseGeneralizedSquaredDistancesBetweenGroups

2__-1__D(i|j)=(X-X)'COV(X-X)-2lnPRIORijijj

GeneralizedSquaredDistancetocategory

Fromcategoryhwh1.6946012.07320

w12.648571.11923當前第39頁\共有115頁\編于星期三\10點

TheDISCRIMProcedure

LinearDiscriminantFunction

_-1_-1_Constant=-.5X'COVX+lnPRIORCoefficientVector=COVXjjjj

LinearDiscriminantFunctionforcategory

VariableLabelhwConstant-435.20128-379.48048

x1x139.7429537.65361x2x256.8762960.19281當前第40頁\共有115頁\編于星期三\10點

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K322ResubstitutionSummaryusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction

2_-1_D(X)=(X-X)'COV(X-X)-2lnPRIORjjjjPosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkkNumberofObservationsandPercentClassifiedintocategoryFromcategoryhwTotalh51683.3316.67100.00w0880.00100.00100.00Total591435.7164.29100.00當前第41頁\共有115頁\編于星期三\10點

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K322ResubstitutionSummaryusingLinearDiscriminantFunction

NumberofObservationsandPercentClassifiedintocategory

FromcategoryhwTotalPriors0.42860.5714

ErrorCountEstimatesforcategory

hwTotalRate0.16670.00000.0714Priors0.42860.5714當前第42頁\共有115頁\編于星期三\10點

TheDISCRIMProcedureClassificationResultsforCalibrationData:WY2.K322Cross-validationResultsusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction

2_-1_D(X)=(X-X)'COV(X-X)j(X)j(X)(X)j

PosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkk當前第43頁\共有115頁\編于星期三\10點

TheDISCRIMProcedureClassificationResultsforCalibrationData:WY2.K322Cross-validationResultsusingLinearDiscriminantFunction

PosteriorProbabilityofMembershipincategory

ClassifiedFromintoObscategorycategoryhw4hw*0.19500.8050

*Misclassifiedobservation當前第44頁\共有115頁\編于星期三\10點

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K322Cross-validationSummaryusingLinearDiscriminantFunctionGeneralizedSquaredDistanceFunction

2_-1_D(X)=(X-X)'COV(X-X)-2lnPRIORj(X)j(X)(X)jjPosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkkNumberofObservationsandPercentClassifiedintocategoryFromcategoryhwTotalh51683.3316.67100.00w0880.00100.00100.00Total591435.7164.29100.00

當前第45頁\共有115頁\編于星期三\10點

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K322Cross-validationSummaryusingLinearDiscriminantFunction

NumberofObservationsandPercentClassifiedintocategory

FromcategoryhwTotalPriors0.42860.5714

ErrorCountEstimatesforcategory

hwTotalRate0.16670.00000.0714Priors0.42860.5714當前第46頁\共有115頁\編于星期三\10點(2)多總體的Bayes判別

1)一般總體

當前第47頁\共有115頁\編于星期三\10點當前第48頁\共有115頁\編于星期三\10點當前第49頁\共有115頁\編于星期三\10點當前第50頁\共有115頁\編于星期三\10點在給定的誤判損失下，有當前第51頁\共有115頁\編于星期三\10點2)正態(tài)總體

在誤判損失不等的情況下，只能按一般準則判別。在等誤判損失下，Bayes判別準則等價于當前第52頁\共有115頁\編于星期三\10點當前第53頁\共有115頁\編于星期三\10點當前第54頁\共有115頁\編于星期三\10點當前第55頁\共有115頁\編于星期三\10點將以上數(shù)據(jù)建立SAS數(shù)據(jù)文件k61,根據(jù)該數(shù)據(jù)建立判別砂基是否液化的準則，并對其優(yōu)良性作評價，其sas程序如下（假設(shè)）：Datak61;Inputcategory$x1x2x3x4x5x6x7;Cards;I6.6039.001.006.006.00.1220.00I6.6039.001.006.0012.00.1220.00I6.1047.001.006.006.00.0812.00I6.1047.001.006.0012.00.0812.00I8.4032.002.007.5019.00.3575.00I7.206.001.007.0028.00.3030.00I8.40113.003.506.0018.00.1575.00I7.5052.001.006.0012.00.1640.00I7.5052.003.507.506.00.1640.00I8.30113.00.007.5035.00.12180.00I7.80172.001.003.5014.00.2145.00I7.80172.001.503.0015.00.2145.00II8.4032.001.005.004.00.3575.00II8.4032.002.009.0010.00.3575.00II8.4032.002.504.0010.00.3575.00II6.3011.004.507.503.00.2015.00當前第56頁\共有115頁\編于星期三\10點II7.008.004.504.509.00.2530.00II7.008.006.007.504.00.2530.00II7.008.001.506.001.00.2530.00II8.30161.001.504.004.00.0870.00II8.30161.00.502.501.00.0870.00II7.206.003.504.0012.00.3030.00II7.206.001.003.003.00.3030.00II7.206.001.006.005.00.3030.00II5.506.002.503.007.00.1818.00II8.40113.003.504.506.00.1575.00II8.40113.003.504.508.00.1575.00II7.5052.001.006.006.00.1640.00II7.5052.001.007.508.00.1640.00II8.3097.00.006.005.00.15180.00II8.3097.002.506.005.00.15180.00II8.3089.00.006.0010.00.16180.00II8.3056.001.506.0013.00.25180.00II7.80172.001.003.506.00.2145.00II7.80233.001.004.506.00.1845.00;procdiscrimdata=k61pool=yeswcovpcovlisterrcrosslisterr;classcategory;varx1-x7;run;當前第57頁\共有115頁\編于星期三\10點輸出結(jié)果如下：

TheDISCRIMProcedure

Observations35DFTotal34Variables7DFWithinClasses33Classes2DFBetweenClasses1

ClassLevelInformation

VariablePriorcategoryNameFrequencyWeightProportionProbabilitII1212.00000.3428570.500000IIII2323.00000.6571430.500000當前第58頁\共有115頁\編于星期三\10點DiscriminantAnalysisWithin-ClassCovarianceMatrices

CATEGORY=IDF=11

VariableX1X2X3X4X5X6X7

X10.7122.340.300.054.190.0428.32X222.343046.611.12-58.5968.73-0.23905.91X30.301.121.110.20-2.940.02-6.11X40.05-58.590.202.093.450.0120.45X54.1968.73-2.943.4578.570.28314.32X60.04-0.230.020.010.280.010.41X728.32905.91-6.1120.45314.320.412135.00當前第59頁\共有115頁\編于星期三\10點DiscriminantAnalysisWithin-ClassCovarianceMatrices

CATEGORY=IIDF=22

VariableX1X2X3X4X5X6X7

X10.6227.62-0.460.030.47-0.0128.36X227.624339.71-38.70-35.34-28.98-3.391023.57X3-0.46-38.702.450.430.510.02-31.88X40.03-35.340.432.770.710.0314.53X50.47-28.980.510.7110.510.0852.74X6-0.01-3.390.020.030.080.01-1.03X728.361023.57-31.8814.5352.74-1.033040.96當前第60頁\共有115頁\編于星期三\10點DiscriminantAnalysis

PooledWithin-ClassCovarianceMatrixDF=33

VariableX1X2X3X4X5X6X7

X10.6525.86-0.210.041.710.0128.35X225.863908.68-25.43-43.093.59-2.33984.35X3-0.21-25.432.010.36-0.640.02-23.29X40.04-43.090.362.541.620.0216.50X51.713.59-0.641.6233.200.15139.93X60.01-2.330.020.020.150.01-0.55X728.35984.35-23.2916.50139.93-0.552738.98當前第61頁\共有115頁\編于星期三\10點

TheDISCRIMProcedurePooledCovarianceMatrixInformation

NaturalLogoftheCovarianceDeterminantoftheMatrixRankCovarianceMatrix713.2611314

PairwiseGeneralizedSquaredDistancesBetweenGroups2__-1__D(i|j)=(X-X)'COV(X-X)ijijGeneralizedSquaredDistancetocategoryFromcategoryIIII07.35277II7.352770當前第62頁\共有115頁\編于星期三\10點

TheDISCRIMProcedureLinearDiscriminantFunction

_-1_-1_Constant=-.5X'COVXCoefficientVector=COVXjjj

LinearDiscriminantFunctionforcategory

VariableIIIConstant

-98.84752-95.00006X130.3506029.87680X2-0.15214-0.15210X3-0.78868-0.22662X41.951761.39528X50.589640.06490X6-108.10195-85.33735X7-0.31156-0.25957

當前第63頁\共有115頁\編于星期三\10點

TheDISCRIMProcedureClassificationResultsforCalibrationData:WY2.K321ResubstitutionResultsusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction

2_-1_D(X)=(X-X)'COV(X-X)jjj

PosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkk當前第64頁\共有115頁\編于星期三\10點

TheDISCRIMProcedureClassificationResultsforCalibrationData:WY2.K321ResubstitutionResultsusingLinearDiscriminantFunction

PosteriorProbabilityofMembershipincategory

ClassifiedFromintoObscategorycategoryIII

9III*0.34010.659929III*0.85710.1429*Misclassifiedobservation

當前第65頁\共有115頁\編于星期三\10點

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K321ResubstitutionSummaryusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction2_-1_D(X)=(X-X)'COV(X-X)jjj

PosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkkNumberofObservationsandPercentClassifiedintocategoryFromcategoryIIITotal

I1111291.678.33100.00II122234.3595.65100.00Total122335Percent34.2965.71100.00當前第66頁\共有115頁\編于星期三\10點

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K321ResubstitutionSummaryusingLinearDiscriminantFunction

NumberofObservationsandPercentClassifiedintocategory

FromcategoryIIITotalPriors0.50.5

ErrorCountEstimatesforcategory

IIITotalRate0.08330.04350.0634Priors0.50000.5000當前第67頁\共有115頁\編于星期三\10點

TheDISCRIMProcedure

ClassificationResultsforCalibrationData:WY2.K321

Cross-validationResultsusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction

2_-1_

D(X)=(X-X)'COV(X-X)

j(X)j(X)(X)j

PosteriorProbabilityofMembershipinEachcategory

22

Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))

jkk

當前第68頁\共有115頁\編于星期三\10點

TheDISCRIMProcedureClassificationResultsforCalibrationData:WY2.K321Cross-validationResultsusingLinearDiscriminantFunction

PosteriorProbabilityofMembershipincategory

ClassifiedFromintoObscategorycategoryIII

9III*0.09730.902728III*0.61300.387029III*0.96430.035735III*0.84700.1530

*Misclassifiedobservation當前第69頁\共有115頁\編于星期三\10點

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K321Cross-validationSummaryusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction2_-1_D(X)=(X-X)'COV(X-X)j(X)j(X)(X)jPosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkkNumberofObservationsandPercentClassifiedintocategoryFromcategoryIIITotal

I1111291.678.33100.00II3202313.0486.96100.00Total1421