多元統(tǒng)計分析方法

多元統(tǒng)計分析概述目錄TOC\o"1-5"\h\z一、引言3二、多元統(tǒng)計分析方法的研究對象和主要內(nèi)容3多元統(tǒng)計分析方法的研究對象3多元統(tǒng)計分析方法的主要內(nèi)容3三、各種多元統(tǒng)計分析方法3回歸分析3判別分析………………6聚類分析………………8主成分分析10因子分析………………10對應(yīng)分析方法…………11典型相關(guān)分析…………11四、多元統(tǒng)計分析方法的一般步驟12五、多元統(tǒng)計分析方法在各個自然領(lǐng)域中的應(yīng)用12六、總結(jié)13參考文獻…………14謝辭………………15一、引言統(tǒng)計分布是用來刻畫隨機變量特征及規(guī)律的重要手段，是進行統(tǒng)計分布的基礎(chǔ)和提高。多元統(tǒng)計分析方法則是建立在多元統(tǒng)計分布基礎(chǔ)上的一類處理多元統(tǒng)計數(shù)據(jù)方法的總稱，是統(tǒng)計學中的具有豐富理論成果和眾多應(yīng)用方法的重要分支。在本文中，我們將對多元統(tǒng)計分析方法做一個大體的描述，并通過一部分實例來進一步了解多元統(tǒng)計分析方法的具體實現(xiàn)過程。二、多元統(tǒng)計分析方法的研究對象和主要內(nèi)容（一）多元統(tǒng)計分析方法的研究對象由于大量實際問題都涉及到多個變量，這些變量又是隨機變量，所以要討論多個隨機變量的統(tǒng)計規(guī)律性。多元統(tǒng)計分析就是討論多個隨機變量理論和統(tǒng)計方法的總稱。其內(nèi)容包括一元統(tǒng)計學中某些方法的直接推廣，也包括多個隨即便量特有的一些問題，多元統(tǒng)計分析是一類范圍很廣的理論和方法?，F(xiàn)實生活中，受多個隨機變量共同作用和影響的現(xiàn)象大量存在。統(tǒng)計分析中，有兩種方法可同時對多個隨機變量的觀測數(shù)據(jù)進行有效的分析和研究。一種方法是把多個隨機變量分開分析，一次處理一個隨機變量，分別進行研究。但是，這樣處理忽略了變量之間可能存在的相關(guān)性，因此，一般丟失的信息太多，分析的結(jié)果不能客觀全面的反映整個問題，而且往往也不容易取得好的研究結(jié)論。另一種方法是同時對多個隨機變量進行研究分析，此即多元統(tǒng)計方法。通過對多個隨即便量觀測數(shù)據(jù)的分析，來研究隨機變量總的特征、規(guī)律以及隨機變量之間的相互關(guān)系。所以，多元統(tǒng)計分析是研究多個隨機變量之間相互依賴關(guān)系及內(nèi)在統(tǒng)計規(guī)律的一門統(tǒng)計學科。（二）多元統(tǒng)計分析方法的主要內(nèi)容近年來，隨著統(tǒng)計理論研究的不斷深入，多元統(tǒng)計分析方法的內(nèi)容一直在豐富。其中，主要內(nèi)容包括多元正態(tài)總體參數(shù)估計、假設(shè)檢驗和常用的多元統(tǒng)計方法。多元正態(tài)總體參數(shù)估計、假設(shè)檢驗是多元統(tǒng)計推斷的核心和基礎(chǔ)，而常用的多元統(tǒng)計分析方法則是具體應(yīng)用。從形式上，常用多元統(tǒng)計分析方法可劃分為兩類：一類屬于單變量常用的統(tǒng)計方法在多元隨機變量情況下的推廣和應(yīng)用，如多元回歸分析，典型相關(guān)分析等；另一類是對多元變量本身進行研究所形成的一些特殊方法。如主成分分析，因子分析，聚類分析，判別分析，對應(yīng)分析等。三、各種多元統(tǒng)計分析方法具體來說，常用的多元統(tǒng)計分析方法主要包括：多元回歸分析、聚類分析、判別分析、主成分分析、因子分析、對應(yīng)分析、典型相關(guān)分析等。下面我們對各種多元統(tǒng)計分析方法就行分別描述，（一）回歸分析回歸分析是最靈活最常用的統(tǒng)計分析方法之一，它用于分析一個因變量與一個或多個自變量之間的關(guān)系。特別是用于：（1）定量的描述和解釋相互關(guān)系；（2）估測或預(yù)測因變量的值?；貧w分析方法是在眾多的相關(guān)變量中，根據(jù)實際問題考察其中一個或多個變

量與其余變量的依賴關(guān)系。如果只要考察一個變量與其余多個變量之間的相互依賴關(guān)系，我們稱為多元回歸問題。若要同時考察多個因變量與多個自變量之間的相互依賴關(guān)系，我們稱為多因變量的多元回歸問題。多元回歸分析是研究因變量Y與m個自變量x,x，…，x的相關(guān)關(guān)系，而且12m總是假設(shè)因變量Y為隨機變量，而x,x，…，x為一般變量。12m下面我們來看一下多元線性回歸模型的建立。假定因變量Y與x,x，…，x線性相關(guān)。收集到的n組數(shù)據(jù)12m(y,x,x，…，x)(t=l,2,???n)滿足以下回歸模型:tt1t2tmy.=卩+卩1x，1+…+卩x，(t=1,2,…,n)t0111mtmtE(s)=0,Var(s)=c2,Cov(s,s)=0(i主j)或w?N(0q2),相互獨立(t=1,2,…n).tt?jt(1x1m1m11??則所建回歸模型的矩陣形式為Y=y1則所建回歸模型的矩陣形式為Y=y1y2,卩=P0,s=ss1:2Lyn」-卩-m-s一nC=:??、1x???n1x丿nm“E(s)=0n，D(s)R2InY=C卩+s,s?N(0q21),nn并稱它們?yōu)榻?jīng)典多元回歸模型，其中Y是可觀測的隨機向量，s是不可觀測的隨機向量，C是已知矩陣，卩，o2是未知參數(shù)，并設(shè)n>m，且rank(C)二m+1。在經(jīng)典回歸分析中，我們討論模型中參數(shù)P=(B,P，…,P)'和o2的估計和檢01m驗問題。近代回歸分析中討論變量篩選、估計的改進，以及對模型中的一些假設(shè)進行診斷等問題。我國國內(nèi)生產(chǎn)總值與基本建設(shè)投資額的大小有密切關(guān)系，研究發(fā)現(xiàn)兩變量之間存在線性關(guān)系。根據(jù)甘肅省1990-2003年的國內(nèi)生產(chǎn)總值與基本建設(shè)投資額數(shù)據(jù)，研究它們的數(shù)量規(guī)律性，探討甘肅省基本建設(shè)投資額與國內(nèi)生產(chǎn)總值的數(shù)量TOC\o"1-5"\h\z回歸1殘差12離差13復相關(guān)系數(shù)R=.98剩余標準差SY=回歸方差與剩余方差之比F=各個自變量的t檢驗值17.t檢驗的自由度N-P-1=12F檢驗的自由度第一自由度=1,第二自由度=12各個自變量的偏回歸平方和各個自變量的偏相關(guān)系數(shù)由輸出結(jié)果，得以下結(jié)論回歸方程為y=+x1其中，負相關(guān)系數(shù)為R2=，說明回歸方程擬合優(yōu)度較高。而回歸系數(shù)的t二,

查t分布表t(12)二2.1788，小于t值，因此回歸系數(shù)顯著。查F分布表,0.025F(1,12)二，由下表知，F(xiàn)=>,因此回歸方程也顯著。0.05平方和自由度方差F檢驗值回歸1殘差12離差13(二)判別分析判別分析是多元統(tǒng)計分析中用于判別樣品所屬類型的一種統(tǒng)計分析方法，是一種在已知研究對象用某種方法已經(jīng)分成與若干類的情況下，確定新的樣品屬于哪一類的多元統(tǒng)計分析方法。判別方法處理問題時，通常通常要給出用來衡量新樣品與各已知組別的接近程度的指數(shù)，即判別函數(shù)，同時也指定一種判別準則，借以判別新樣品的歸屬。所謂判別準則是用于衡量新樣品與各已知組別接近程度的理論依據(jù)和方法準則。常用的有，距離準則、Fisher準則、貝葉斯準則等。距離判別的基本思想是：樣品和那個總體距離最近，就判斷它屬于哪個總體。距離判別也稱直觀判別。已知有兩個類G和G，比如G是設(shè)備A生產(chǎn)的產(chǎn)品，G是設(shè)備B生產(chǎn)的同1212類產(chǎn)品。設(shè)備A的產(chǎn)品質(zhì)量高(如考察指標為耐磨度X)，其平均耐磨度p⑴=80,反映設(shè)備精度的方差&2二；設(shè)備B的產(chǎn)品質(zhì)量稍差，其平均耐磨度卩=75，反映12設(shè)備精度的方差&2=4。今有一產(chǎn)品X，測得耐磨度x=78，試判斷該產(chǎn)品是哪200一臺設(shè)備生產(chǎn)的？下面考慮一種相對于分散性的距離。記X與G或G的相對平均距離為012TOC\o"1-5"\h\zd2(x)或d2(x)，貝V有：d2(x)=一0二=16，102010&20.251(x-p⑵)2(78-75)2—d2(x)—0二一。20&24.002因為d(x)—<4—d(x)，按這種距離準則應(yīng)判X為設(shè)備B生產(chǎn)的。20100一般的，我們假設(shè)總體G的分布為N(卩⑴,&2)，總體G的分布為N(卩⑵，&2),1122則利用相對距離的定義，可以找出分界點p*和卩(不妨設(shè)卩⑵〈卩⑴,&<&)，*12(x-p(1))2&21(x-p(1))2&21(x-p⑵)2&22P(1&+P⑵&3x=21&+&12defp*，和x=p(1)&-p(2)&def21二&-&21p。*此例中，卩*=79,卩=。而按這種距離最近法則的判別法為：*廠判XeG，當（X一卩⑴）2<（X一卩⑵卩（即卩*<x<卩）<1Q2Q2*12

判XeG?,當（X一卩⑴）2工（X一卩⑵）2（即x"*或x沖）J2c2C2*12為了區(qū)分小麥品種的兩種不同的分蘗類型,用x,x,x三個指標求其判別函123數(shù)。經(jīng)驗樣品中,第一類取11（主莖型）個樣品,第二類（分蘗型）取12個樣品,數(shù)據(jù)如下表所示。xxx判別歸類123xxx判別歸類1231112第21第22—一31二32類41類42(51(52主61分62莖71蘗72型81型82)91)92101102112114..602122x⑴ix⑵i由表計算得X⑴一X⑵二，，）t,L=LL=L(1)+L(2)=xxxxxx0.56240.18210.282115.51600.835532.30140.835532.3014126.2374——0.0076—0.03520.01701.7978—0.0169S-1=21L-1=21—0.01690.1381xx—0.0076-0.0352?(x)=2(X⑴—X⑵)ts-1(x—X)

x-0.8462=21=21(-0.4425,0.0486,-0.0468)2x一3.82862x一12.12953用e（X）對經(jīng)驗樣本的23個樣品進行判別有如下結(jié)果：第一類的11個樣本中有10個判別為第一類，一個判別為第二類；第二類的12個樣品全部判別為第二類，符合率為22/23=96%。例如，第一類第一個樣品X（1）=（0.71,3.80,12.00）t，則1w（X（1））二>0,則X（1）gG（第一類）。又如，第一類的第11個樣品111X（1）=（1.00,4.50,12.00）t，rn（X⑴）=<0，故X⑴gG（第二類）。1111112將X）投入使用，可判別小麥品種的分蘗類型，如測得某小麥品種x二1,x二3.43,x二16.25，則由①（X）=<0判別該品種為分蘗型。123（三）聚類分析聚類分析是將樣品或變量按照它們在性質(zhì)上的親疏程度進行分類的多元統(tǒng)計分析方法。聚類分析時，用來描述樣品或變量的親疏程度通常有來兩個途徑，一是把每個樣品或變量看成是多維空間上的一個點，在多維坐標中，定一點與點，類和類之間的距離，用點與點間距離來描述樣品或變量之間的親疏程度：另一個是計算樣品或變量的相似系數(shù)，用相似系數(shù)來描述樣品或變量之間的親屬程度。聚類分析是實用多元統(tǒng)計分析的一個新的分支，聚類分析的功能是建立一種分類方法，他將一批樣品或變量，按照它們在性質(zhì)上的親疏、相似程度進行分類。聚類分析的內(nèi)容十分豐富，按其聚類的方法可分為以下幾種：（1）系統(tǒng)聚類法：開始每個對象自成一類，然后每次將最相似的兩類合并，合并后重新計算新類與其他類的距離或相近性測度。這一過程可用一張譜系聚類圖描述。（2）調(diào)優(yōu)法（動態(tài)聚類法）：首先對n個對象初步分類，然后根據(jù)分類的損失函數(shù)盡可能小的原則對其進行調(diào)整，直到分類合理為止。（3）最優(yōu)分割法（有序樣品聚類法）：開始將所有樣品看做一類，然后根據(jù)某種最優(yōu)準則將它們分割為二類、三類，一直分割到所需的K類為止。這種方法適用于有序樣品的分類問題，也稱為有序樣品的聚類法。（4）模糊聚類法：利用模糊集理論來處理分類問題，它對經(jīng)濟領(lǐng)域中具有模糊特征兩態(tài)數(shù)據(jù)或多態(tài)數(shù)據(jù)具有明顯的分類效果。（5）圖論聚類法：利用圖論中最小支撐樹的理論來處理分類問題，創(chuàng)造了獨具風格的方法。（6）聚類預(yù)報法：利用聚類方法處理預(yù)報問題，在多元統(tǒng)計分析中，可以用來做預(yù)報的方法很多，如回歸分析和判別分析。但對一些異常數(shù)據(jù)，如氣象中的災(zāi)害性天氣的預(yù)報，使用回歸分析或判別分析處理的效果都不好，而聚類預(yù)報彌補了這一不足，只是一個值得重視的方法。聚類分析根據(jù)對象的不同又分為R型和Q型兩大類，R型是對變量（指標）進行分類，Q型是對樣品進行分類。R型聚類分析的目的有以下幾方面：（1）可以了解變量間及變量組合間的親疏關(guān)系；（2）對變量進行分類；（3）根據(jù)分類結(jié)果及它們之間的關(guān)系，在每一類中選擇有代表性的變量作為重要變量，利用少數(shù)幾個重要變量進一步作分析計算，如進行回歸分析或Q型聚類分析等。Q型聚類分析的目的主要是對樣品進行分類。分類的結(jié)果是直觀的，且比傳統(tǒng)的分類方法更細致、全面、合理。當然使用不同的分類方法通常有不同的分類結(jié)果。對任何觀測數(shù)據(jù)都沒有唯一“正確”的分類方法。實際應(yīng)用中，常采用不同的分類方法，對數(shù)據(jù)進行分析計算，一邊對分類提供具體意見，并由實際工作者決定所需要的分類數(shù)及分類情況。下面是聚類分析的一個簡單例子。有五個樣品，每個只測量了一個指標，分別為1,2,6,8,11,我們用最短距離法將它們分類。（2）由D知類間最小距離為1,于是將G和G合并成G，并計算G和其他類（0）1266（四）主成分分析主成分分析是采取一種數(shù)學降維的方法，找出幾個綜合變量來代替原來眾多的變量，是這些綜合變量盡可能的代表原來變量的信息，而且彼此之間互不相關(guān)。這種把多個變化量化為少數(shù)幾個互相無關(guān)的綜合變量的統(tǒng)計分析方法就叫做主成分分析或主分量分析。主成分分析所要做的就是設(shè)法將原來眾多具有一定相關(guān)性的變量，重新組合為一組新的相互無關(guān)的綜合變量來代替原來變量。通常，數(shù)學上的處理方法就是將原來的變量做線性組合，作為新的綜合變量，但是這種組合如果不加以限制，則可以有很多，應(yīng)該如何選擇呢？如果將選取的第一個線性組合即第一個綜合變量記為F，自然希望它盡可能多的反映原來變量信息，這里信息用方差來測量，1即希望Var（F）越大，表示F包含信息越多。因此在所有線性組合中所選取的F應(yīng)111該是方差最大的，故稱F為第一主成分。如果第一主成分不足以代表原來p個變1量的信息，再考慮選取F即第二個線性組合，為了有效地反映原來信息，F(xiàn)已21有的信息就不需要再出現(xiàn)在F中，用數(shù)學語言表達就是要求Cov（F,F）=0，稱F2122為第二主成分，以此類推可以構(gòu)造出第三、四……第p個主成分。（五）因子分析因子分析是主成分分析的推廣和發(fā)展，它是由研究原始數(shù)據(jù)相關(guān)矩陣的內(nèi)部依賴關(guān)系出發(fā)，把一些具有錯綜復雜關(guān)系多個變量（或樣品）綜合為少數(shù)幾個因子，并給出原始變量與綜合因子之間相關(guān)關(guān)系的一種多元統(tǒng)計分析方法。它也屬

于多元分析中數(shù)據(jù)降維的一種統(tǒng)計方法。因子分析是通過變量（或樣品）的相關(guān)系數(shù)矩陣內(nèi)部結(jié)構(gòu)的研究，找出存在于所有變量（或樣品）中具有共性的因素，并綜合為少數(shù)幾個新變量，把原始變量表示成少數(shù)幾個綜合變量的線性組合，以再現(xiàn)原始變量與綜合變量之間的相關(guān)關(guān)系。其中，這里的少數(shù)幾個綜合變量一般是不可觀測指標，通常稱為公公因子。因子分析常用的兩種類型：一種是R型因子分析，即對變量進行因子分析：另一種叫做Q型因子分析，即對樣品進行的因子分析。（六）對應(yīng)分析方法對應(yīng)分析又稱為相應(yīng)分析，是一種目的在于揭示和樣品之間或者定性量資料中變量與其類別之間的相互關(guān)系的多元統(tǒng)計分析方法。對應(yīng)分析的關(guān)鍵是利用一種數(shù)據(jù)變換,使含有p個變量n個樣品的原始數(shù)據(jù)矩陣，變換成為一個過渡矩陣Z，并通過矩陣Z將R型因子分析和Q型因子分析有機的結(jié)合起來。具體地說，首先給出進行R型因子分析時變量點的協(xié)差陣A二ZZ和進行Q型因子分析時樣品點的協(xié)差陣B二ZZ'，由于ZZ和ZZ'有相同的非零特征根，記為九>X0<m<min（p,n）12m,依據(jù)證明，如果A的特征根X對應(yīng)的特征向量為u,則B的特征根X對應(yīng)的iii特征向量就是ZU今V，根據(jù)這個結(jié)論就可以很方便的借助R型因子分析而得到iiuX-12*2uX-222uXuX-12*2uX-222uX-p2'2F=uQXuXF=211lSi"'這樣，利用關(guān)系式ZU今V也很容易地寫出樣品點協(xié)差陣B對應(yīng)的因子載荷ii陣，記為G。則G=v21v11vn1V22v12vnG=v21v11vn1V22v12vn2、V2mVnmV1m從結(jié)果的展示上，由于A和B具有相同的非零特征根，而這些特征根正是公共因子的方差，因此可以用相同的因子軸同時表示變量點和樣品點，即把變量點和樣品點同時反映在具有相同坐標軸的因子平面上，以便顯示出變量點和樣品點之間的相互關(guān)系，并且可以一并考慮進行分類分析。（七）典型相關(guān)分析在經(jīng)濟問題中，不僅經(jīng)常需要考察兩個變量之間的相關(guān)程度，而且還經(jīng)常需要考察多個變量與多個變量之間即兩組變量之間的相關(guān)系。典型相關(guān)分析就是研究兩組變量之間相關(guān)程度的一種多元統(tǒng)計分析方法。典型相關(guān)分析是研究兩組變量之間相關(guān)關(guān)系的一種統(tǒng)計分析方法。為了研究兩組變量X,X，…X和Y,Y，…Y之間的相關(guān)關(guān)系，采用類似于主成分分析的方12p12q法，在兩組變量中，分別選取若干有代表性的變量組成有代表性的綜合指數(shù)，通過研究這兩組變量之間的相關(guān)關(guān)系，來代替這兩組變量之間的相關(guān)關(guān)系，這些綜合指數(shù)稱為典型變量。此外，多元統(tǒng)計分析方法還有方差分析、偏最小二乘回歸分析、邏輯分析、聯(lián)合分析等，我們就不做一一介紹了。四、多元統(tǒng)計分析方法的一般步驟與一般統(tǒng)計分析方法一樣，多元統(tǒng)計分析方法也要經(jīng)過建立模型、進行參數(shù)估計、假設(shè)檢驗以及預(yù)測控制等步驟。以經(jīng)濟統(tǒng)計為例，具體步驟是：1、根據(jù)經(jīng)濟理論進行定性分析，設(shè)計理論模型；2、對實際經(jīng)濟活動的現(xiàn)象抽取樣本，并取得樣本統(tǒng)計資料；3、對描述樣本的指標利用多元統(tǒng)計分析方法進行統(tǒng)計分析，選擇最佳的統(tǒng)計指標；4根據(jù)最佳指標的樣本數(shù)據(jù)，估計參數(shù)，建立數(shù)量模型模型；五、多元統(tǒng)計分析方法在各個自然領(lǐng)域中的應(yīng)用多元統(tǒng)計分析是解決實際問題的有效的數(shù)據(jù)處理方法，其應(yīng)用范圍非常廣泛。多元統(tǒng)計分析方法可以應(yīng)用于地質(zhì)科學、氣象科學、醫(yī)療衛(wèi)生、體育、語言學、考古學、教育學、心理學以及經(jīng)濟學、管理學等各個方面。下面我們以經(jīng)濟學和管理學為例，了解一下多元分析方法在其中的作用和應(yīng)用的場合與領(lǐng)域：1、簡化數(shù)據(jù)結(jié)構(gòu)。對多個變量進行降維處理，選擇數(shù)目較小的變量子集合。在商業(yè)經(jīng)濟中，為了能夠全面刻畫所研究對象的數(shù)量特征，往往要調(diào)查多方面的統(tǒng)計數(shù)據(jù)。數(shù)據(jù)維數(shù)越多，反映問題越全面，但同時也給數(shù)據(jù)分析帶來困難。這是句要用降維的方法將很復雜的數(shù)據(jù)綜合成商業(yè)指數(shù)形式，處理方法主要有主成分分析、因子分析和對應(yīng)分析等。2、對研究對象進行分類與判別。比如根據(jù)各地區(qū)的經(jīng)濟發(fā)展水平、經(jīng)濟發(fā)展特征對我國各地區(qū)的經(jīng)濟發(fā)展類型進行劃分，需要通過反映各地區(qū)經(jīng)濟情況的多項數(shù)據(jù)測算各地區(qū)經(jīng)濟發(fā)展的相似度，并以對各地經(jīng)濟類型此進行劃分和歸類。用來處理這一問題的多元統(tǒng)計方法主要是聚類分析、判別分析等。3、建立經(jīng)濟模型。經(jīng)濟模型一般是指把經(jīng)濟變量之間的依存關(guān)系通過通過數(shù)學表達形式加以模擬。例如根據(jù)我國幾十年來財政收入與國民收入、工農(nóng)業(yè)總值、人口、就業(yè)人口、固定投資等相關(guān)因素，利用回歸方法建立預(yù)測模型，對今后的財政收入進行預(yù)測。4、研究經(jīng)濟現(xiàn)象之間的相互關(guān)系。當我們研究兩組變量之間的相關(guān)程度時，只用簡單直線相關(guān)系數(shù)是不夠的，在多元統(tǒng)計分析中，用典型相關(guān)分析可以處理兩組變量之間的相關(guān)程度的分析和測算。有一點需要特殊說明，由于現(xiàn)實問題的復雜性和每種多元分析方法特殊的應(yīng)用場合和自身的局限性，所以在處理問題時有必要將各種多元分析方法結(jié)合運用。六、總結(jié)經(jīng)過20世紀的空前發(fā)展，數(shù)學的基本理論更加深入和完善，而計算機技術(shù)的發(fā)展使得數(shù)學的應(yīng)用更加廣泛和直接，多元統(tǒng)計分析方法已經(jīng)廣泛的