人民大學(xué)應(yīng)用統(tǒng)計(jì)專碩多元統(tǒng)計(jì)分析部分總結(jié)解析

1、多元統(tǒng)訃分析上成分分析一. 主成分分析概念 主成分分析是指通過考察變量間的相關(guān)性，找到少數(shù)兒個(gè)主成分代表多個(gè)變量的 一種多元統(tǒng)計(jì)方法。主成分分析是通過考察變量之間的相關(guān)性找到少數(shù)兒個(gè)主成分來代表原來大多 數(shù)的變量，同時(shí)使它們盡可能保留原始變量的信息。這些主成分之間彼此不相關(guān)， 數(shù)量遠(yuǎn)遠(yuǎn)少于原始變量的個(gè)數(shù)，從而達(dá)到降維的口的（兩個(gè)變量存在著相關(guān)關(guān)系， 這意味著兩個(gè)變量提供的信息有重疊，如果把兩個(gè)變量用一個(gè)新變量來表示，同 時(shí)這一新變量乂盡可能包含原來的兩個(gè)變量的信息，這就是降維的過程）。如果 想把現(xiàn)有的變量變成少數(shù)兒個(gè)新的變量（新的變量?jī)汉鯉в性瓉硭凶兞康男畔ⅲ?來進(jìn)入后續(xù)的分析，可以使用主成

2、分分析。二. 怎樣選取主成分?載荷：各主成分和原來變量的線性相關(guān)系數(shù)。系數(shù)越大說明主成分對(duì)該變量的代 表性越強(qiáng)。統(tǒng)訃上降維的處理過程是將原始的變量進(jìn)行線性組合作為新的變量（主成分）， 原來有多少變量就有多少主成分。我們不能選擇所有的主成分這樣達(dá)不到降維的 LI的，選擇的標(biāo)準(zhǔn)是所選擇的主成分所代表的主軸長(zhǎng)度之和應(yīng)該占主軸總長(zhǎng)度之 和的大部分。所選的第一個(gè)主成分應(yīng)該是主軸最長(zhǎng)的（方差最大的，主成分所代表的原始變量 的信息用方差來表示），如果第一個(gè)主成分不足以代表原來變量的信息在考慮第 二個(gè)。主成分之間互不相關(guān)且方差遞減。標(biāo)準(zhǔn)：1.選擇的主成分的方差之和占全部方差的80%以上即可；2.此外還可以考

3、庖特淀根的大小，如果特征根小于1,就不再選作主成分了，因?yàn)樵撝鞒煞值慕?釋力度還不如直接用原始變量的解釋力度大；3碎石圖，從碎石圖中我們可以看 岀主軸長(zhǎng)度（特征根）的變化趨勢(shì)，一般情況下，選擇碎石圖中主軸變化趨勢(shì)出 現(xiàn)拐點(diǎn)的前兒個(gè)主成分作為原始變量的代表。原始變量之間相關(guān)程度越高降維的效果越好，所選著的主成分也就越少。如果原 始變量之間不怎么相關(guān)不如用它們本身。三. 主成分建模的步驟特征根：乂稱方差，反應(yīng)主成分對(duì)原始變量影響程度的一個(gè)量，表示引入改主成 分后可以在多大程度上解釋原始變量的信息。主成分方差貢獻(xiàn)率：某個(gè)特征根占總特征根總和的比例稱為主成分方差貢獻(xiàn)率。1. 對(duì)原有的變量進(jìn)行標(biāo)準(zhǔn)化處理

4、，以消除變量水平和量綱的影響。2. 根據(jù)標(biāo)準(zhǔn)化后的數(shù)據(jù)訃算相關(guān)系數(shù)矩陣。如果變量之間存在著較強(qiáng)的相關(guān)系 數(shù)說明適合做主成分分析。3. 求出相關(guān)系數(shù)矩陣的特征根，即主軸或方差，及對(duì)應(yīng)的單位特征向量。從各 主成分的方差貢獻(xiàn)率和累積方差貢獻(xiàn)率來選擇主成分。4. 確定主成分，并對(duì)主成分的含義做出適當(dāng)?shù)慕忉?。?duì)主成分進(jìn)行解釋主要根 據(jù)主成分的因子載荷矩陣。通過因子載荷可以看出主成分分別主要代表哪些 原始變量。但是主成分的這種解釋模棱兩可主要原因是因子載荷含義不清楚。因子分析一. 因子分析含義因子分析是通過對(duì)變量之間關(guān)系的研究，找出能綜合原始變量的少數(shù)兒個(gè)因子代 表多個(gè)原始變量的一種多元統(tǒng)計(jì)方法。二. 主

5、成分分析和因子分析的聯(lián)系和區(qū)別聯(lián)系：都是找出少數(shù)兒個(gè)新的變量來代表原始變量，從而達(dá)到降維的LI的。區(qū)別：1.主成分中的主成分個(gè)數(shù)與原始變量的個(gè)數(shù)相同，有兒個(gè)變量就有兒個(gè)主 成分而因子分析則需要事先確定要找兒個(gè)因子，然后將原始變量綜合和為少數(shù)的 兒個(gè)因子以再現(xiàn)原始變量與因子之間的關(guān)系。2.主成分是因子分析的一個(gè)特例， 因子分析是主成分分析的推廣和拓展。3 因子分析的計(jì)算較主成分分析更加復(fù)雜。4. 因子分析在實(shí)際中廣泛應(yīng)用，而主成分分析通常只作為大型數(shù)據(jù)分析的中間步 驟，不再單獨(dú)使用，但它的思想對(duì)我們有很大的啟迪。三. 因子分析模型因子載荷：載荷為變量與因子之間的線性相關(guān)系數(shù)，反應(yīng)變量與因子之間的

6、相關(guān) 程度。公因子：山于因子出現(xiàn)在每個(gè)原始變量與因子的線性組合中因此也成為公因子。變量共同度量：它是公因子對(duì)特定的變量的方差貢獻(xiàn)率。（訃算方法為一個(gè)線性 組合中相關(guān)系數(shù)的平方和）：共同度量越大說明公因子對(duì)原始變量的解釋能力越 強(qiáng)。公因子的方差貢獻(xiàn)率：指的是某個(gè)因子對(duì)變量所提供的方差總和，反映了某個(gè)因 子的相對(duì)重要程度。方差貢獻(xiàn)率越大表明該公因子對(duì)變量的貢獻(xiàn)越大。因子分析模型把每個(gè)變量看成是個(gè)因子的線性組合。考察變量的信息能夠被k個(gè) 公因子所解釋的程度。四. 因子分析的步驟 因子分析的步驟分為數(shù)據(jù)檢驗(yàn)，因子提取，因子的命名和解釋，計(jì)算因子得分并 進(jìn)行綜合評(píng)價(jià)。1. 數(shù)據(jù)檢驗(yàn)數(shù)據(jù)檢驗(yàn)用語(yǔ)判斷手頭上

7、的數(shù)據(jù)是否適合作因子分析。因子分析的U的是把原始 變量降維，如果原始變量是獨(dú)立的意味著每個(gè)變量的作用都是不可替代的，也就 無法降維了。條件一：用于因子分析的變量必須是相關(guān)的。方法一：計(jì)算變量之間的相關(guān)系數(shù)矩陣，并觀察各相關(guān)系數(shù)。一般來說若相關(guān)矩 陣的大部分相關(guān)系數(shù)小于0.3,就不適合作因子分析方法二：可以作KM0檢驗(yàn)和Bartlett球度檢驗(yàn)來判斷；Bartlett檢驗(yàn)是以變量 的相關(guān)系數(shù)矩陣為基礎(chǔ)，如果相關(guān)系數(shù)矩陣是單位陣，則變量是獨(dú)立的，也就無 法進(jìn)行因子分析了。KM0檢驗(yàn)用語(yǔ)檢驗(yàn)變量間的偏相關(guān)性，取值范圍在0-1之間， 如果統(tǒng)計(jì)量取值接近于1,變量間的偏相關(guān)性越強(qiáng)，因子分析的效果就越好。

8、一 般來說，KM0統(tǒng)計(jì)量在0. 7以上時(shí)因子分析的效果好；0. 5以下效果很差。條件二：從樣本量上來看，因子分析要求樣本的個(gè)數(shù)足夠多。一般要求樣本的個(gè) 數(shù)至少是變量的5倍以上同時(shí)樣本總數(shù)據(jù)量也不能太少，理論要求應(yīng)該在100 個(gè)以上。2. 因子提取因子提取是根據(jù)原始變量提取出少數(shù)兒個(gè)因子，使得少數(shù)兒個(gè)因子能夠反應(yīng)原始 變量的絕大部分信息。，從而達(dá)到降維的目的。因子的提取方法：主成分法；根據(jù)因子的方差貢獻(xiàn)率來選擇。一般悄況下貢獻(xiàn)率 達(dá)到80%以上的前兒個(gè)因子可以作為最后的公因子。實(shí)際應(yīng)用中，因子的提取要 結(jié)合具體問題而定，在某種程度上取決于研究者自身的知識(shí)和經(jīng)驗(yàn)。3. 因子的命名和解釋 因子命名：

9、考察因子究竟反映了原始變量的那些信息（代表了哪些原始變量）正交旋轉(zhuǎn)：是指坐標(biāo)軸始終保持垂直90度旋轉(zhuǎn)，這樣新生成的因子仍可保持不 相關(guān)。斜交旋轉(zhuǎn)：坐標(biāo)軸的夾角可以是任意的，因此新生成的因子不能保證不相關(guān)。 對(duì)因子命名和解釋之前需要對(duì)因子載荷進(jìn)行因子旋轉(zhuǎn)，以便旋轉(zhuǎn)之后因子的意義 更加明顯，能夠得到更加合理的解釋。進(jìn)行因子旋轉(zhuǎn)，就是要使因子載荷矩陣中 因子載荷的平方值向0和1兩個(gè)方向分化，使大的載荷更大，小的載荷更小。方 法有正交旋轉(zhuǎn)和斜交旋轉(zhuǎn)。4. 計(jì)算因子得分因子分析模型建立后，還有一個(gè)重要的作用是應(yīng)用因子分析模型去評(píng)價(jià)每個(gè)樣品 在整個(gè)模型中的地位，即進(jìn)行綜合評(píng)價(jià)。例如地區(qū)經(jīng)濟(jì)發(fā)展的因子分析模

10、型建立 后，我們希望知道每個(gè)地區(qū)經(jīng)濟(jì)發(fā)展的情況，把區(qū)域經(jīng)濟(jì)劃分歸類，哪些地區(qū)發(fā) 展較快，哪些中等發(fā)達(dá)，哪些較慢等。這時(shí)需要將公共因子用變量的線性組合來 表示，也即由地區(qū)經(jīng)濟(jì)的各項(xiàng)指標(biāo)值來估計(jì)它的因子得分。五. 因子分析的具體步驟1. 將原始數(shù)據(jù)標(biāo)準(zhǔn)化，以消除變量間在數(shù)量級(jí)和量綱上的不同。2. 求標(biāo)準(zhǔn)化數(shù)據(jù)的相關(guān)矩陣，判斷數(shù)據(jù)是否適合用因子分析來進(jìn)行分析。3. 求相關(guān)矩陣的特征值和特征向量；4. 計(jì)算方差貢獻(xiàn)率與累積方差貢獻(xiàn)率；從共同度量表中確定因子是否可以充分 解釋原始變量5. 確定因子：設(shè)Fl, F2,，F(xiàn)p為p個(gè)因子，其中前m個(gè)因子包含的數(shù)據(jù)信 息總量（即其累積貢獻(xiàn)率）不低于80%時(shí)，可取

11、前m個(gè)因子來反映原評(píng)價(jià)指 標(biāo)；6. 因子旋轉(zhuǎn)：若所得的m個(gè)因子無法確定或其實(shí)際意義不是很明顯，這時(shí)需將 因子進(jìn)行旋轉(zhuǎn)以獲得較為明顯的實(shí)際含義。7. 用原指標(biāo)的線性組合來求各因子得分：釆用回歸估計(jì)法，Bartlett估計(jì)法或 Thomson估計(jì)法計(jì)算因子得分。8. 綜合得分以各因子的方差貢獻(xiàn)率為權(quán)，山各因子的線性組合得到綜合評(píng)價(jià)指 標(biāo)函數(shù)。9. 得分排序：利用綜合得分可以得到得分名次聚類分析一. 聚類分析的概念在一些分類中，事先并不知道有多少類別，安全按照反映對(duì)象特征的數(shù)據(jù)把對(duì)象 進(jìn)行分類，這在統(tǒng)計(jì)上稱為聚類分析；有的則是在事先有了某種分類標(biāo)準(zhǔn)之后, 判定一個(gè)新的研究對(duì)象應(yīng)該歸屬到哪一類別，這在

12、統(tǒng)計(jì)上稱為判別分析。聚類就是把對(duì)象分成不同的類別，這些類不是事先定的，而是直接根據(jù)數(shù)據(jù)的特 征確定的。對(duì)象可以是所觀察的多個(gè)樣本，也可以是針對(duì)多個(gè)樣本的多個(gè)變量。如果是根據(jù)變量對(duì)所觀察的樣本進(jìn)行分類稱為Q類聚類；如果是根據(jù)樣本對(duì)多個(gè) 變量進(jìn)行分類則稱為R類聚類。聚類是把相似的東西放在一起，從而使得類別內(nèi)部的差異盡可能的小，而類別之 間的差異盡可能大。聚類中的相似是指對(duì)象之間關(guān)系或距離的遠(yuǎn)近。根據(jù)樣本觀測(cè)數(shù)據(jù)測(cè)度變量之間 的相似性（r類聚類）可以用相似系數(shù)，計(jì)算方法有夾角余弦，變量間的相關(guān)系 數(shù)越大說明它們?cè)较嘟?。根?jù)變量來測(cè)度樣本之間（q類聚類）的相似程度則使 用距離。二. 相似性的度量 聚類

13、分析中用“距離”或“相似系數(shù)”來度量對(duì)象之間的相似性。1. 樣本之間的距離度量樣本點(diǎn)間距離的計(jì)算方法：平方歐氏距離變量間相似系數(shù)的計(jì)算方法：夾角余弦，pearson相關(guān)系數(shù)。2 類間距離的度量常用的方法是離差平方和法。最短距離法：用兩個(gè)類別中各樣本點(diǎn)之間最短的距離表示兩個(gè)類別之間的距離。 最長(zhǎng)距離法：用兩個(gè)類別中各樣本點(diǎn)之間最長(zhǎng)的距離表示兩個(gè)類別之間的距離。 重心法：用兩個(gè)類別的重心之間的距離表示兩個(gè)類別之間的距離。組間平均距離：用兩個(gè)類別各樣本點(diǎn)之間的距離的平均表示兩個(gè)類別之間的距離。 離差平方和：先將所有的兩個(gè)類別中的點(diǎn)當(dāng)作一個(gè)類別訃算離差平方和，再分別 計(jì)算各類別的離差平方和。用總的離差

14、平方和減去各離差平方和。三. 聚類方法1. 層次聚類層次聚類分為合并法和分解法。合并法：1將每個(gè)樣本作為一類。2.按照某種方法度量樣本之間的距離，并將 距離最近的兩個(gè)樣本合并為一個(gè)類別。3.計(jì)算新產(chǎn)生的類別和其他類別之間的 距離，并將距離最近的兩個(gè)類別分為一類。4一直重復(fù)進(jìn)行分類指導(dǎo)類別數(shù)為 b所有類別都合并成為一類。分解法：將所有樣本作為一個(gè)大類，然后度量對(duì)象之間的距離或者相似系數(shù)，然 后將距離最遠(yuǎn)或相似系數(shù)最小的對(duì)象分離出去，然后形成兩大類。再度量類別中 剩余對(duì)象之間的距離或相似系數(shù)，并將最遠(yuǎn)的分離出去，不斷重復(fù)過程，直到所 有的對(duì)象都自成一類為止。合并法和分解法事先不確定分的組數(shù)，需要根

15、據(jù)聚類的樹狀圖以及需要來決定最 后要分兒組。再得到分類結(jié)果后，需要分析個(gè)類別中所屬樣本的變量特征，以判斷所分的類別 是否合理。通過對(duì)各類別所屬地區(qū)的描述統(tǒng)訃分析，可以檢驗(yàn)所分的類別是否合 理。如果個(gè)類別差異顯著意味著所分的類別基本上是合理的。此外還可以使用方 差分析來檢驗(yàn)各不同類別相同變量之間是否有顯著差異。2. K-均值聚類K-均值聚類的含義是“K”即事先指定要分的類別個(gè)數(shù)，而"均值”則是指聚類 的重心。計(jì)算量較層次聚類法小，效率高也稱為快速聚類法。K-均值聚類法不是把所有可能的聚類結(jié)果都列出來，而是要求研究者先指定要?jiǎng)?分的類別個(gè)數(shù)，然后確定各聚類中心，在計(jì)算各樣本到聚類中心的距

16、離，最后按 距離遠(yuǎn)近進(jìn)行分類。具體步驟：1 首先如果原始變量取值差異較大，應(yīng)先將原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，以避免數(shù)量 級(jí)和量綱上的差異。2. 確定要分的類別數(shù)LI。這需要硏究者自己確定。在實(shí)際應(yīng)用中往往需要研究 者根據(jù)實(shí)際問題反復(fù)嘗試，得到不同分類并進(jìn)行比較，最后得到要分的類別 數(shù)量。3. 確定k個(gè)類別的初始聚類中心。這一步要求在用于聚類的全部樣本中，選擇 k個(gè)樣本作為k個(gè)類別的初始聚類中心。與確定類別數(shù)H樣，原始聚類中 心的確定也需要研究者根據(jù)實(shí)際問題和經(jīng)驗(yàn)來綜合考慮，選擇的原則是中心 點(diǎn)距離其他點(diǎn)盡可能遠(yuǎn)。4. 根據(jù)確定的k個(gè)初始聚類中心，依次計(jì)算每個(gè)樣本點(diǎn)到k個(gè)聚類中心的歐式 距離，并根據(jù)距離

17、最近的原則將所有的樣本分到事先確定的k個(gè)類別中。5. 根據(jù)所分成的k個(gè)類別，計(jì)算出各類別中每個(gè)變量的均值，并以均值點(diǎn)作為 新的k個(gè)類別中心。根據(jù)新的中心位置，重新計(jì)算每個(gè)樣本到新中心的距離， 并重新進(jìn)彳亍分類。6. 重復(fù)笫四步，直到滿足終止聚類的條件為止。終止聚類的條件包括：1.迭代 次數(shù)達(dá)到研究者事先指定的最大迭代次數(shù)。2 新確定的聚類中心點(diǎn)與上一 次聚類形成的中心點(diǎn)的最大偏移量小于指定的量。7. 對(duì)所分類別的每個(gè)變量之間進(jìn)行方差分析判斷所分的類別是否合理。四. 注意事項(xiàng)從數(shù)據(jù)要求上1. 參與分類的變量首先應(yīng)符合要求，也就是選擇與口標(biāo)相關(guān)的變量。2.各變量 的去職不應(yīng)有數(shù)量級(jí)上的過大差異，否

18、則對(duì)分類結(jié)果產(chǎn)生較大影響。一般需要進(jìn) 行標(biāo)準(zhǔn)化處理。3 各變量之間不應(yīng)該有強(qiáng)的相關(guān)關(guān)系。從聚類方法的選擇上1. 首先看數(shù)據(jù)，如果參與分類的變量是連續(xù)變量，層次聚類法，k均值聚類法 以及兩步聚類法都是適用的；如果變量中包括離散變量（訃數(shù)變量），則需要對(duì) 離散變量進(jìn)行連續(xù)處理，否則應(yīng)該使用兩步驟聚類法；當(dāng)數(shù)據(jù)量較少時(shí)三種方法 都可以選用，當(dāng)數(shù)據(jù)較多時(shí)，應(yīng)考慮選用其他兩種。2. 其次要看分類對(duì)象。如果對(duì)樣本進(jìn)行分類三種方法都是可用的；如果是對(duì)變量 進(jìn)行分類則應(yīng)該選擇層次聚類法。3. 注意對(duì)分類結(jié)果的檢驗(yàn)。兩種聚類方法的不同：1層次聚類的分類是不確定的，k均值聚類事先確定類別 數(shù)LK 2計(jì)算量以及效率

19、上3具體的聚類步驟上。典型相關(guān)分析 一典型相關(guān)分析解決的問題及其思想應(yīng)用范圍I典型相關(guān)分析是研究?jī)山M變量之間整體相關(guān)程度的多元分析方法。它是將每一組 變量作為一個(gè)整體進(jìn)行研究，而不是分析每一組變量?jī)?nèi)部的各個(gè)變量。所研究的 兩組變量可以是一組變量為自變量，而另一組變量為因變量，也可以處于同等地 位，但典型相關(guān)分析要求兩組變量都至少是間隔尺度的。思想典型相關(guān)分析借用主成分分析降維的思想，分別對(duì)兩組變量提取主成分（原因在 于使新生成的新的綜合變量能代表原始變量大部分信息，同時(shí)與另一組變量生成 的新的綜合變量的相關(guān)程度最大；這樣一組新的綜合變量稱為第一對(duì)典型相關(guān)變 量，典型相關(guān)變量（不是一對(duì)）之間的簡(jiǎn)

20、單相關(guān)系數(shù)稱為典型相關(guān)系數(shù)，典型相 關(guān)變量反映了 X, y之間的線性相關(guān)情況）使兩組變量提取的主成分之間的相關(guān)程度達(dá)到最大，而同一組內(nèi)部提取的主成分 之間互不相關(guān)。用兩組分別提取的主成分的相關(guān)性來描述兩組變量整體的線性相關(guān)關(guān)系。可以通過少數(shù)典型相關(guān)變量的研究代替原來兩組變量之間的相關(guān)關(guān)系研究，從而 抓住為題的本質(zhì)?？梢酝ㄟ^典型相關(guān)分析找出兒對(duì)主要的典型相關(guān)變量，根據(jù)典 型相關(guān)變量相關(guān)程度及各典型相關(guān)變量線性組合中原變量相關(guān)系數(shù)的大小，結(jié)合 對(duì)所研究實(shí)際問題的定性分析，盡可能給出較為深刻的分析結(jié)果。典型權(quán)重：傳統(tǒng)的解釋典型函數(shù)的方法包括觀察每個(gè)原始變量在它的典型變量中 的典型權(quán)jg的符號(hào)和大小。

21、有較大的典型權(quán)重則說明原始變量對(duì)它的典型變量貢 獻(xiàn)較大，反之則相反。原始變量的典型權(quán)重有相反的符號(hào)，說明變量之間存在一 種反向關(guān)系，反之則存在正向關(guān)系。典型載荷：也稱為典型結(jié)構(gòu)相關(guān)系數(shù)，是原始變量和它的典型變量間的簡(jiǎn)單線性 相關(guān)系數(shù)。典型載荷反映原始變量與典型變量的共同方差，它的解釋類似于因子 載荷，也就是每個(gè)原始變量對(duì)典型函數(shù)的相對(duì)貢獻(xiàn)。典型交義載荷：訃算典型交義載荷包括使每個(gè)原始因變量與自變量典型變量直接 相關(guān)，提供了一個(gè)更直接地測(cè)量因變量組與自變量組關(guān)系的指標(biāo)。判別分析一.判別分析解決的問題判別分析的主要U的是識(shí)別一個(gè)個(gè)體所屬類別。在被解釋變量是屬性變量而解釋 變量是度量變量時(shí)判別分析是合適的統(tǒng)計(jì)分析方法。判別分析的基本要求是：分組類型在兩組以上；每組案例的規(guī)模必須至少在一個(gè) 以上:解釋變量必須是可測(cè)的。第一個(gè)判別變量不能是其他判別變量的線性組合。 各組變量的協(xié)方差矩陣相等。各判別變量遵從多元正態(tài)分布。距離判別：其基本思想是有訓(xùn)練樣品