數(shù)學(xué)實(shí)驗(yàn)判別分析

數(shù)學(xué)實(shí)驗(yàn)判別分析第一頁(yè)，共三十一頁(yè)，編輯于2023年，星期六§3.1判別分析

(discriminantanalysis)

某些昆蟲(chóng)的性別只有通過(guò)解剖才能夠判別但雄性和雌性昆蟲(chóng)在若干體表度量上有些綜合的差異。人們就根據(jù)已知雌雄的昆蟲(chóng)體表度量（這些用作度量的變量亦稱為預(yù)測(cè)變量）得到一個(gè)標(biāo)準(zhǔn)，并以此標(biāo)準(zhǔn)來(lái)判別其他未知性別的昆蟲(chóng)。這樣雖非100%準(zhǔn)確的判別至少大部分是對(duì)的，而且用不著殺生。此即判別分析。第二頁(yè)，共三十一頁(yè)，編輯于2023年，星期六判別分析(discriminantanalysis)

判別分析和聚類分析有何異同？判別分析和聚類分析都是分類.但判別分析是在已知對(duì)象有若干類型和一批已知樣品的觀測(cè)數(shù)據(jù)(訓(xùn)練樣本)后的基礎(chǔ)上根據(jù)某些準(zhǔn)則建立判別式.在聚類分析中，人們一般事先并不知道應(yīng)該分成幾類及哪幾類，全根據(jù)數(shù)據(jù)確定?？梢韵染垲愐缘弥愋?再進(jìn)行判別.第三頁(yè)，共三十一頁(yè)，編輯于2023年，星期六判別分析例子數(shù)據(jù)disc.txt:企圖用一套打分體系來(lái)描繪企業(yè)的狀況。該體系對(duì)每個(gè)企業(yè)的一些指標(biāo)（變量）進(jìn)行評(píng)分。指標(biāo)有:企業(yè)規(guī)模（is）、服務(wù)(se)、雇員工資比例(sa)、利潤(rùn)增長(zhǎng)(prr)、市場(chǎng)份額(ms)、市場(chǎng)份額增長(zhǎng)(msr)、流動(dòng)資金比例(cp)、資金周轉(zhuǎn)速度(cs)等.另外，有一些企業(yè)已經(jīng)被某雜志劃分為上升企業(yè)、穩(wěn)定企業(yè)和下降企業(yè)。第四頁(yè)，共三十一頁(yè)，編輯于2023年，星期六希望根據(jù)這些企業(yè)的上述變量的打分及其已知的類別(三個(gè)類別之一：group-1代表上升，group-2代表穩(wěn)定，group-3代表下降)找出一個(gè)分類標(biāo)準(zhǔn)，以對(duì)尚未被分類的企業(yè)進(jìn)行分類。該數(shù)據(jù)有90個(gè)企業(yè)（90個(gè)觀測(cè)值），其中30個(gè)屬于上升型，30個(gè)屬于穩(wěn)定型，30個(gè)屬于下降型。這個(gè)數(shù)據(jù)就是一個(gè)“訓(xùn)練樣本”。判別分析例子第五頁(yè)，共三十一頁(yè)，編輯于2023年，星期六Disc.sav數(shù)據(jù)

第六頁(yè)，共三十一頁(yè)，編輯于2023年，星期六1.根據(jù)距離判別的思想Disc.txt數(shù)據(jù)有8個(gè)用來(lái)建立判別標(biāo)準(zhǔn)(或判別函數(shù))的(預(yù)測(cè))變量,另一個(gè)(group)是類別每一個(gè)企業(yè)的打分在這8個(gè)變量所構(gòu)成的8維空間中是一個(gè)點(diǎn)。這個(gè)數(shù)據(jù)在8維空間有90個(gè)點(diǎn)，由于已知所有點(diǎn)的類別，可以求得每個(gè)類型的中心。這樣只要定義了距離，就可以得到任何給定的點(diǎn)（企業(yè)）到這三個(gè)中心的三個(gè)距離。第七頁(yè)，共三十一頁(yè)，編輯于2023年，星期六最簡(jiǎn)單的辦法就是:某點(diǎn)離哪個(gè)中心距離最近，就屬于哪一類。一個(gè)常用距離是Mahalanobis距離。用來(lái)比較到各個(gè)中心距離的數(shù)學(xué)函數(shù)稱為判別函數(shù)(discriminantfunction).這種根據(jù)遠(yuǎn)近判別的思想，原理簡(jiǎn)單，直觀易懂。為判別分析的基礎(chǔ)1.根據(jù)距離判別的思想第八頁(yè)，共三十一頁(yè)，編輯于2023年，星期六距離判別法假設(shè)有兩個(gè)總體G1和G2,如果能夠定義點(diǎn)x到它們的距離D(x,G1)和D(x,G2),則如果D(x,G1)<D(x,G2)則x∈G1如果D(x,G2)<D(x,G1)則x∈G2如果D(x,G1)=D(x,G2)則待判1.根據(jù)距離判別的思想第九頁(yè)，共三十一頁(yè)，編輯于2023年，星期六Mahalanobis距離假設(shè)m(1),m(2),S(1),S(2)分別為G1和G2的均值向量和協(xié)差陣,則點(diǎn)x到Gi的馬氏距離定義為

D2(x,Gi)=(x-m(i))’(S(i))-1(x-m(i))

其他一些距離為馬氏距離的特殊情況,因此我們著重討論馬氏距離.馬氏距離的好處是可以克服變量之間的相關(guān)性干擾,并且消除各變量量綱的影響.第十頁(yè)，共三十一頁(yè)，編輯于2023年，星期六線性判別函數(shù):當(dāng)S(1)=S(2)=S時(shí)記如果W(x)>0即D(x,G1)<D(x,G2)則x∈G1如果W(x)<0即D(x,G1)>D(x,G2)則x∈G2如果W(x)=0即D(x,G1)=D(x,G2)則待判第十一頁(yè)，共三十一頁(yè)，編輯于2023年，星期六當(dāng)m(1),m(2),S已知時(shí),令a=S-1(m(1)-m(2))≡(a1,…,ap)’,則顯然W(x)為x1,…,xp的線性函數(shù),稱為線性判別函數(shù);a稱為判別系數(shù).第十二頁(yè)，共三十一頁(yè)，編輯于2023年，星期六當(dāng)m(1),m(2),S未知時(shí),可通過(guò)樣本來(lái)估計(jì):判別函數(shù)為為來(lái)自Gi的樣本為(i=1,2)第十三頁(yè)，共三十一頁(yè)，編輯于2023年，星期六非線性判別函數(shù):當(dāng)S(1)≠S(2)時(shí)這是x的一個(gè)二次函數(shù),按照距離最近原則,判別準(zhǔn)則仍然為如果W(x)>0即D(x,G1)<D(x,G2)則x∈G1如果W(x)<0即D(x,G1)>D(x,G2)則x∈G2如果W(x)=0即D(x,G1)=D(x,G2)則待判第十四頁(yè)，共三十一頁(yè)，編輯于2023年，星期六多總體時(shí)的線性判別函數(shù):當(dāng)S(1)=…=S(k)=S時(shí)記相應(yīng)的準(zhǔn)則為:如果對(duì)一切j≠i,Wij(x)<0,則x∈Gi如果有某一個(gè)Wij(x)=0,則待判第十五頁(yè)，共三十一頁(yè)，編輯于2023年，星期六非線性判別函數(shù):當(dāng)S(1),…,S(k)不等時(shí)相應(yīng)的準(zhǔn)則為:如果對(duì)一切j≠i,Wij(x)>0,則x∈Gi如果有某一個(gè)Wij(x)=0,則待判.當(dāng)m(i),S(i)

未知時(shí),可通過(guò)樣本來(lái)估計(jì)第十六頁(yè)，共三十一頁(yè)，編輯于2023年，星期六2.Fisher判別法(先進(jìn)行投影)Fisher判別法是一種先投影的方法?？紤]只有兩個(gè)(預(yù)測(cè))變量的判別問(wèn)題。假定只有兩類。數(shù)據(jù)中的每個(gè)觀測(cè)值是二維空間的一個(gè)點(diǎn)。見(jiàn)下頁(yè)圖。這里只有兩種已知類型的訓(xùn)練樣本。一類有38個(gè)點(diǎn)(用“o”表示),另一類有44個(gè)點(diǎn)(用“*”表示)。按原來(lái)變量(橫坐標(biāo)和縱坐標(biāo))，很難將這兩種點(diǎn)分開(kāi)。第十七頁(yè)，共三十一頁(yè)，編輯于2023年，星期六-4-20246-4-3-2-10123第十八頁(yè)，共三十一頁(yè)，編輯于2023年，星期六于是就尋找一個(gè)方向，下頁(yè)圖上的虛線方向，沿該方向朝和這個(gè)虛線垂直的一條直線進(jìn)行投影會(huì)使得這兩類分得最清楚?？梢钥闯?，如果向其他方向投影，判別效果不會(huì)比這個(gè)好。有了投影之后，再用前面講到的距離遠(yuǎn)近的方法得到判別準(zhǔn)則。這種先投影的判別方法就是Fisher判別法。

2.Fisher判別法(先進(jìn)行投影)第十九頁(yè)，共三十一頁(yè)，編輯于2023年，星期六Fisher判別法的數(shù)學(xué)第二十頁(yè)，共三十一頁(yè)，編輯于2023年，星期六練習(xí)：中小企業(yè)的破產(chǎn)問(wèn)題研究為了研究中小企業(yè)的破產(chǎn)模型，選定4個(gè)經(jīng)濟(jì)指標(biāo)：

X1總負(fù)債率（現(xiàn)金收益/總負(fù)債）

X2收益性指標(biāo)（純收入/總財(cái)產(chǎn)）

X3短期支付能力（流動(dòng)資產(chǎn)/流動(dòng)負(fù)債）

X4生產(chǎn)效率性指標(biāo)（流動(dòng)資產(chǎn)/純銷售額）對(duì)17個(gè)破產(chǎn)企業(yè)（1類）和21個(gè)正常運(yùn)行企業(yè)（2類）進(jìn)行了調(diào)查，得如下資料：第二十一頁(yè)，共三十一頁(yè)，編輯于2023年，星期六總負(fù)債率收益性指標(biāo)短期支付能力生產(chǎn)效率指標(biāo)類別-.45-.411.09.451-.56-.311.51.161.06.021.01.401-.07-.091.45.261-.10-.091.56.671-.14-.07.71.281-.23-.30.22.181.07.021.31.251.01.002.15.701-.28-.231.19.661.15.051.88.271.37.111.99.381-.08-.081.51.421.05.031.68.951.01.001.26.601.12.111.14.171-.28-.271.27.511.51.102.49.542.08.022.01.532第二十二頁(yè)，共三十一頁(yè)，編輯于2023年，星期六.38.113.27.552.19.052.25.332.32.074.24.632.31.054.45.692.12.052.52.692-.02.022.05.352.22.082.35.402.17.071.80.522.15.052.17.552-.10-1.012.50.582.14-.03.46.262.14.072.61.522-.33-.093.01.472.48.091.24.182.56.114.29.452.20.081.99.302.47.142.92.452.17.042.45.142.58.045.06.132.04.011.50.71待判-.06-.061.37.40待判第二十三頁(yè)，共三十一頁(yè)，編輯于2023年，星期六§3.2判別分析要注意的問(wèn)題訓(xùn)練樣本中必須包含所有要判別的類型，分類必須清楚，不能有混雜。

要選擇好可能用于判別的預(yù)測(cè)變量。這是最重要的。當(dāng)然，在應(yīng)用中，選擇余地不見(jiàn)得有多大。

判別分析是為了正確地分類，但同時(shí)也要注意對(duì)未知樣本的判定不一定總會(huì)得到正確的結(jié)果。所以我們需要對(duì)錯(cuò)判率進(jìn)行進(jìn)一步的思考和研究。第二十四頁(yè)，共三十一頁(yè)，編輯于2023年，星期六判別分析的Matlab命令：calssify第二十五頁(yè)，共三十一頁(yè)，編輯于2023年，星期六附錄第二十六頁(yè)，共三十一頁(yè)，編輯于2023年，星期六費(fèi)歇(Fisher)判別法并未要求總體分布類型工作原理就是對(duì)原數(shù)據(jù)系統(tǒng)進(jìn)行坐標(biāo)變換,尋求能夠?qū)⒖傮w盡可能分開(kāi)的方向.點(diǎn)x在以a為法方向的投影為a’x各組數(shù)據(jù)的投影為

第二十七頁(yè)，共三十一頁(yè)，編輯于2023年，星期六將Gm組中數(shù)據(jù)投影的均值記為有記k組數(shù)據(jù)投影的總均值為有第二十八頁(yè)，共三十一頁(yè)，編輯于2023年，星期六組間離差平方和為:這里組內(nèi)離差平方和為:這里第二十九頁(yè)，共三十一頁(yè)，編輯于2023年，星期六希望尋找a使得SSG盡可能大而SSE盡可能小,即記方程|B