多元統(tǒng)計(jì)分析的重點(diǎn)和內(nèi)容和方法

1、v 多元統(tǒng)計(jì)分析是運(yùn)用數(shù)理統(tǒng)計(jì)的方法來(lái)研究多變量（多指標(biāo)）問題的理論和方法，是一元統(tǒng)計(jì)學(xué)的推廣。v 多元統(tǒng)計(jì)分析是研究多個(gè)隨機(jī)變量之間相互依賴關(guān)系以及內(nèi)在統(tǒng)計(jì)規(guī)律的一門統(tǒng)計(jì)學(xué)科。二、多元統(tǒng)計(jì)分析的內(nèi)容和方法v 1、簡(jiǎn)化數(shù)據(jù)結(jié)構(gòu)（降維問題）將具有錯(cuò)綜復(fù)雜關(guān)系的多個(gè)變量綜合成數(shù)量較少且互不相關(guān)的變量，使研究問題得到簡(jiǎn)化但損失的信息又不太多。 （1）主成分分析 （2）因子分析 （3）對(duì)應(yīng)分析等v 2、分類與判別（歸類問題）對(duì)所考察的變量按相似程度進(jìn)行分類。 （1）聚類分析：根據(jù)分析樣本的各研究變量，將性質(zhì)相似的樣本歸為一類的方法。 （2）判別分析：判別樣本應(yīng)屬何種類型的統(tǒng)計(jì)方法。例5：根據(jù)信息基礎(chǔ)設(shè)

2、施的發(fā)展?fàn)顩r，對(duì)世界20個(gè)國(guó)家和地區(qū)進(jìn)行分類。 考察指標(biāo)有6個(gè)： 1、X1：每千居民擁有固定電話數(shù)目 2、X2：每千人擁有移動(dòng)電話數(shù)目 3、X3：高峰時(shí)期每三分鐘國(guó)際電話的成本 4、X4：每千人擁有電腦的數(shù)目 5、X5：每千人中電腦使用率 6、X6：每千人中開通互聯(lián)網(wǎng)的人數(shù)v 3、變量間的相互聯(lián)系一是：分析一個(gè)或幾個(gè)變量的變化是否依賴另一些變量的變化。（回歸分析） 二是：兩組變量間的相互關(guān)系（典型相關(guān)分析）v 4、多元數(shù)據(jù)的統(tǒng)計(jì)推斷 點(diǎn)估計(jì) 參數(shù)估計(jì) 區(qū)間估計(jì) 統(tǒng) u檢驗(yàn) 計(jì) 參數(shù) t檢驗(yàn) 推 F檢驗(yàn) 斷 假設(shè) 相關(guān)與回歸 檢驗(yàn) 卡方檢驗(yàn) 非參 秩和檢驗(yàn) 秩相關(guān)檢驗(yàn)v 1、假設(shè)檢驗(yàn)的基本原理

3、小概率事件原理v 小概率思想是指小概率事件（P<0.01或P<0.05等）在一次試驗(yàn)中基本上不會(huì)發(fā)生。反證法思想是先提出假設(shè)(檢驗(yàn)假設(shè)H0)，再用適當(dāng)?shù)慕y(tǒng)計(jì)方法確定假設(shè)成立的可能性大小，如可能性小,則認(rèn)為假設(shè)不成立；反之，則認(rèn)為假設(shè)成立。 v 2、假設(shè)檢驗(yàn)的步驟 （1）提出一個(gè)原假設(shè)和備擇假設(shè) v 例如：要對(duì)婦女的平均身高進(jìn)行檢驗(yàn)，可以先假設(shè)婦女身高的均值等于 160 cm（u=160cm ）。這種原假設(shè)也稱為零假設(shè)（ null hypothesis ），記為 H 0 。 2.1 均值向量的檢驗(yàn)v 1、正態(tài)總體均值檢驗(yàn)的類型 v 根據(jù)樣本對(duì)其總體均值大小進(jìn)行檢驗(yàn)（ One-Samp

4、le T Test ）如婦女身高的檢驗(yàn)。v 根據(jù)來(lái)自兩個(gè)總體的獨(dú)立樣本對(duì)其總體均值的檢驗(yàn)（ Indepent Two-Sample T Test ） 如兩個(gè)班平均成績(jī)的檢驗(yàn)。 v 配對(duì)樣本的檢驗(yàn)（ Pair-Sample T Test ） 如減肥效果的檢驗(yàn)。 v 多個(gè)總體均值的檢驗(yàn)v A、總體方差已知用u檢驗(yàn)，檢驗(yàn)的拒絕域?yàn)?即 v B、總體方差未知 用樣本方差 代替總體方差 ，這種檢驗(yàn)叫t檢驗(yàn).首先，可以畫出這些重量的直方圖（下圖）v 判斷樣本是否服從正態(tài)分布（2）根據(jù)來(lái)自兩個(gè)總體的獨(dú)立樣本對(duì)其總體均值的檢驗(yàn) v 目的是推斷兩個(gè)樣本分別代表的總體均數(shù)是否相等。其檢驗(yàn)過程與上述兩種t檢驗(yàn)也沒有

5、大的差別，只是假設(shè)的表達(dá)和t值的計(jì)算公式不同。 v 兩樣本均數(shù)比較的t檢驗(yàn),其假設(shè)一般為： H0：µ1=µ2，即兩樣本來(lái)自的總體均數(shù)相等. H1：µ1>µ2或µ1<µ2，即兩樣本來(lái)自的總體均數(shù)不相等，檢驗(yàn)水準(zhǔn)為0.05。v 計(jì)算t統(tǒng)計(jì)量時(shí)是用兩樣本均數(shù)差值的絕對(duì)值除以兩樣本均數(shù)差值的標(biāo)準(zhǔn)誤。v 相應(yīng)的假設(shè)檢驗(yàn)問題為：H0：1=2 H1: 1大于2 v 1 為第一組的總體均值，而2 為第二組的總體均值。 v 用 SPSS 處理數(shù)據(jù)： Spss 選項(xiàng)：AnalyzeCompare Means Independent-Sampl

6、es T Testv 3、配對(duì)樣本的檢驗(yàn)（ paired samples ） （針對(duì)同樣的樣本）考察實(shí)驗(yàn)前后樣本均值有無(wú)差異。能夠很好地控制非實(shí)驗(yàn)因素對(duì)結(jié)果的影響注意：實(shí)驗(yàn)前后兩個(gè)樣本兩個(gè)樣本并不獨(dú)立v 注意：同一樣本實(shí)驗(yàn)前后并不獨(dú)立，但不同樣本之間卻相互獨(dú)立。v 配對(duì)樣本的檢驗(yàn)實(shí)際上是用配對(duì)差值與總體均數(shù)“0”進(jìn)行比較，即推斷差數(shù)的總體均數(shù)是否為“0”。故其檢驗(yàn)過程與依據(jù)樣本均數(shù)推斷總體均數(shù)大小的t檢驗(yàn)類似，即： v A、建立假設(shè)H0：µd=0，即差值的總體均數(shù)為“0”，H1：µd>0或µd<0，即差值的總體均數(shù)不為“0”，檢驗(yàn)水平為 。v B. 計(jì)

7、算統(tǒng)計(jì)量進(jìn)行配對(duì)設(shè)計(jì)t檢驗(yàn)時(shí) t值為差值均數(shù)與0之差的絕對(duì)值除以差值標(biāo)準(zhǔn)誤的商，其中差值標(biāo)準(zhǔn)誤為差值標(biāo)準(zhǔn)差除以樣本含量算術(shù)平方根的商。v C. 確定概率，作出判斷以自由度v(對(duì)子數(shù)減1)查t界值表，若P<，則拒絕H0，接受H1，若P>=，則還不能拒絕H0。v 例4：要比較50個(gè)人在減肥前和減肥后的重量。這樣就有了兩個(gè)樣本，每個(gè)都有50個(gè)數(shù)目。v 這里不能用前面的獨(dú)立樣本均值差的檢驗(yàn)；這是因?yàn)閮蓚€(gè)樣本并不獨(dú)立。v 每一個(gè)人減肥后的重量都和自己減肥前的重量有關(guān)。但不同人之間卻是獨(dú)立的。令減肥前的重量均值為 1 ，而減肥后的均值為2 ；這樣所要進(jìn)行的檢驗(yàn)為： H0： 12 H1： 1大于

8、2一、方差分析的基本思想1、定義方差分析又稱變異數(shù)分析或F檢驗(yàn)，其目的是推斷兩組或多組資料的總體均數(shù)是否相同，檢驗(yàn)兩個(gè)或多個(gè)樣本均數(shù)的差異是否有統(tǒng)計(jì)學(xué)意義。v 2、了解方差分析中幾個(gè)重要概念：v （1）觀測(cè)因素或稱為觀測(cè)變量 如：考察農(nóng)作物產(chǎn)量的影響因素。農(nóng)作物產(chǎn)量就是觀測(cè)變量。v （2）控制因素或稱控制變量進(jìn)行試驗(yàn)(實(shí)驗(yàn))時(shí),我們稱可控制的試驗(yàn)條件為因素(Factor),因素變化的各個(gè)等級(jí)為水平(Level)。 影響農(nóng)作物產(chǎn)量的因素，如品種、施肥量、土壤等。如果在試驗(yàn)中只有一個(gè)因素在變化,其他可控制的條件不變,稱它為單因素試驗(yàn); 若試驗(yàn)中變化的因素有兩個(gè)或兩個(gè)以上,則稱為雙因素或多因素試驗(yàn)

9、。 v 方差分析就是從觀測(cè)變量的方差入手，研究諸多控制變量（因素）中哪些變量是對(duì)觀測(cè)變量有顯著影響的變量v 3、方差分析的基本原理 設(shè)有r個(gè)總體，各總體分別服從 ，假定各總體方差相等?，F(xiàn)從各總體隨機(jī)抽取樣本。透過各總體的樣本數(shù)據(jù)推斷r個(gè)總體的均值是否相等？:至少有一組數(shù)據(jù)的平均值與其它組的平均值有顯著性差異。 v 分析的思路：用離差平方和（SS）描述所有樣本總的變異情況，將總變異分為兩個(gè)來(lái)源： （1）組內(nèi)變動(dòng)（within groups），代表本組內(nèi)各樣本與該組平均值的離散程度，即水平內(nèi)部（組內(nèi)）方差 （2）組間變動(dòng)（between groups），代表各組平均值關(guān)于總平均值的離散程度。即水平

10、之間（組間）方差即：SS總=SS組間+SS組內(nèi)v 消除各組樣本數(shù)不同的影響-離差平方和除以自由度（即均方差）。從而構(gòu)造統(tǒng)計(jì)量：v 方差分析的基本思想就是通過組內(nèi)方差與組間方差的比值構(gòu)造的F統(tǒng)計(jì)量，將其與給定顯著性水平、自由度下的F值相對(duì)比，判定各組均數(shù)間的差異有無(wú)統(tǒng)計(jì)學(xué)意義。v 零假設(shè)否定域：v 例2 SIM手機(jī)高、中、低三種收入水平被調(diào)查者的用戶滿意度是否有顯著性差異即：研究被調(diào)查者的收入水平是否會(huì)影響其對(duì)SIM手機(jī)的滿意程度。v SPSS處理：Analyze Compare Mean One-Way ANOVA v 多元方差分析（操作參見書例2.1，第36頁(yè)）：v SPSS 選項(xiàng)： Ana

11、lyze General Linear Model Multivariate 可用男、女生的身高、體重、胸圍組成的樣本均數(shù)向量推論該年級(jí)男、女生身體發(fā)育指標(biāo)的總體均數(shù)向量1和2相等與否, 得到： F=8.8622，P=0.0008。拒絕該年級(jí)男女生身體發(fā)育指標(biāo)的總體均數(shù)向量相等的假設(shè)，從而可認(rèn)為該校男女生身體發(fā)育狀況不同。v 4、方差分析的應(yīng)用條件 （1）可比性，若資料中各組均數(shù)本身不具可比性則不適用方差分析。 （2）正態(tài)性，各組的觀察數(shù)據(jù)，是從服從正態(tài)分布的總體中隨機(jī)抽取的樣本。即偏態(tài)分布資料不適用方差分析。對(duì)偏態(tài)分布的資料應(yīng)考慮用對(duì)數(shù)變換、平方根變換、倒數(shù)變換、平方根反正弦變換等變量變換方

12、法變?yōu)檎龖B(tài)或接近正態(tài)后再進(jìn)行方差分析。v （3）方差齊性，各組的觀察數(shù)據(jù)，是從具有相同方差的相互獨(dú)立的總體中抽取得到的。即若組間方差不齊則不適用方差分析。依據(jù)涉及的分析變量多少分為：一元方差分析、多元方差分析依據(jù)對(duì)分析變量的影響因素的數(shù)量分為：?jiǎn)我蛩胤讲罘治?、多因素方差分析v 一、什么是聚類分析？v 聚類分析(P54) 是根據(jù)“物以類聚”的道理，對(duì)樣品或指標(biāo)進(jìn)行分類的一種多元統(tǒng)計(jì)分析方法。 將個(gè)體或?qū)ο蠓诸悾沟猛活愔械膶?duì)象之間的相似性比與其他類的對(duì)象的相似性更強(qiáng)。 v 聚類分析的目的(P54) 使類內(nèi)對(duì)象的同質(zhì)性最大化和類間對(duì)象的異質(zhì)性最大化。v 二、聚類分析的基本思想：是根據(jù)一批樣品的多

13、個(gè)觀測(cè)指標(biāo)，具體地找出一些能夠度量樣品或指標(biāo)之間相似程度的統(tǒng)計(jì)量，然后利用統(tǒng)計(jì)量將樣品或指標(biāo)進(jìn)行歸類。把相似的樣品或指標(biāo)歸為一類，把不相似的歸為其他類。直到把所有的樣品（或指標(biāo)）聚合完畢. v 相似樣本或指標(biāo)的集合稱為類。v 1、聚類分析的類型有： 對(duì)樣本分類，稱為Q型聚類分析 對(duì)變量分類，稱為R型聚類分析 Q型聚類是對(duì)樣本進(jìn)行聚類，它使具有相似性特征的樣本聚集在一起，使差異性大的樣本分離開來(lái)。 R型聚類是對(duì)變量進(jìn)行聚類，它使具有相似性的變量聚集在一起，差異性大的變量分離開來(lái)，可在相似變量中選擇少數(shù)具有代表性的變量參與其他分析，實(shí)現(xiàn)減少變量個(gè)數(shù)，達(dá)到變量降維的目的。v 2、聚類分析的方法： 系

14、統(tǒng)聚類（層次聚類） 非系統(tǒng)聚類（非層次聚類）v 系統(tǒng)聚類法包括：凝聚方式聚類、分解方式聚類v 非系統(tǒng)聚類法包括：模糊聚類法、K均值法（快速聚類法）等等v 常用距離： （1）、明考夫斯基距離(Minkowski distance)明氏距離有三種特殊形式： （1a）、絕對(duì)距離（Block距離）:當(dāng)q=1時(shí)（1b)歐氏距離(Euclidean distance):當(dāng)q=2時(shí) （1c)切比雪夫距離:當(dāng) 時(shí)v 當(dāng)各變量的單位不同或測(cè)量值范圍相差很大時(shí)，不應(yīng)直接采用明氏距離，而應(yīng)先對(duì)各變量的數(shù)據(jù)作標(biāo)準(zhǔn)化處理，然后用標(biāo)準(zhǔn)化后的數(shù)據(jù)計(jì)算距離。常用的標(biāo)準(zhǔn)化處理： 其中 為第j個(gè)變量的樣本均值；為第j個(gè)變量的樣本

15、方差。v （4）馬氏距離克服量綱的影響 克服指標(biāo)間相關(guān)性的影響缺點(diǎn)：協(xié)方差矩陣難以確定馬氏距離與上述各種距離的主要不同就是馬氏距離考慮了觀測(cè)變量之間的相關(guān)性。如果假定各變量之間相互獨(dú)立，即觀測(cè)變量的協(xié)方差矩陣是對(duì)角矩陣，則馬氏距離就退化為用各個(gè)觀測(cè)指標(biāo)的標(biāo)準(zhǔn)差的倒數(shù)作為權(quán)數(shù)進(jìn)行加權(quán)的歐氏距離。因此，馬氏距離不僅考慮了觀測(cè)變量之間的相關(guān)性，而且也考慮到了各個(gè)觀測(cè)指標(biāo)取值的差異程度，為了對(duì)馬氏距離和歐氏距離進(jìn)行一下比較，以便更清楚地看清二者的區(qū)別和聯(lián)系，現(xiàn)考慮一個(gè)例子。v 1、類的定義 相似樣本或指標(biāo)的集合稱為類。 （數(shù)學(xué)表達(dá)見63-64頁(yè)定義3.1-3.4）v 2、類的特征描述： 設(shè)類G這一集合

16、有 m為G內(nèi)的樣本數(shù)。其特征： （1）均值（或稱為重心）（2）協(xié)方差矩陣 (3) G的直徑d12=(7.9-7.68)2+(39.77-50.37)2+(8.49-11.35)2+(12.94-13.3)2+(19.27-19.25)2+(11.05-14.59)2+(2.04-2.75)2+(13.29-14.87)2d13=13.80 d14=13.12 d15=12.80 d23=24.63 d24=24.06 d25=23.54 d34=2.2 d35=3.51 d45 1 2 3 4 5D1= 1 0河南與甘肅的距離最近， 2 11.67 0先將二者（3和4）合為 3 13.80 2

17、4.63 0 一類 G6=G2，G4 4 13.12 24.06 2.20 0 5 12.80 23.54 3.51 2.21 0v 判別分析根據(jù)已知對(duì)象的某些觀測(cè)指標(biāo)和所屬類別來(lái)判斷未知對(duì)象所屬類別的一種統(tǒng)計(jì)學(xué)方法。 如何判斷（判斷依據(jù)）？ 利用已知類別的樣本信息求判別函數(shù)，根據(jù)判別函數(shù)對(duì)未知樣本所屬類別進(jìn)行判別 判別分析的特點(diǎn)（基本思想） 、是根據(jù)已掌握的、歷史上若干樣本的p個(gè)指標(biāo)數(shù)據(jù)及所屬類別的信息，總結(jié)出該事物分類的規(guī)律性，建立判別公式和判別準(zhǔn)則。 2、根據(jù)總結(jié)出來(lái)的判別公式和判別準(zhǔn)則，判別未知類別的樣本點(diǎn)所屬的類別。v 判別分析的目的：識(shí)別一個(gè)個(gè)體所屬類別3、判別分析和聚類分析往往聯(lián)

18、合使用。當(dāng)總體分類不清楚時(shí)，先用聚類分析對(duì)一批樣本進(jìn)行分類，再用判別分析構(gòu)建判別式對(duì)新樣本進(jìn)行判別。此外判別分析變量情況： 被解釋變量為屬性變量； 解釋變量是定量變量。判別分析類型及方法 （1）按判別的組數(shù)來(lái)分，有兩組判別分析和多組判別分析 （2）按區(qū)分不同總體所用的數(shù)學(xué)模型來(lái)分，有線性判別和非線性判別 （3）按判別對(duì)所處理的變量方法不同有逐步判別、序貫判別。 （4）按判別準(zhǔn)則來(lái)分，有費(fèi)歇爾判別準(zhǔn)則、貝葉斯判別準(zhǔn)則距離判別基本思想即：首先根據(jù)已知分類的數(shù)據(jù)，分別計(jì)算各類的重心即各組（類）的均值，判別的準(zhǔn)則是對(duì)任給樣品，計(jì)算它到各類平均數(shù)的距離，哪個(gè)距離最小就將它判歸哪個(gè)類。（一）兩個(gè)總體的距離

19、判別法 1、方差相等 先考慮兩個(gè)總體的情況，設(shè)有兩個(gè)協(xié)差陣S相同的p維正態(tài)總體，對(duì)給定的樣本Y，判別一個(gè)樣本Y到底是來(lái)自哪一個(gè)總體，一個(gè)最直觀的想法是計(jì)算Y到兩個(gè)總體的距離。故我們用馬氏距離來(lái)給定判別規(guī)則，有：2、當(dāng)總體的協(xié)方差已知，且不相等貝葉斯(Bayes)判別 -(考計(jì)算題)o 貝葉斯判別法是通過計(jì)算被判樣本x屬于k個(gè)總體的條件概率P（n/x),n=1,2.k. 比較k個(gè)概率的大小，將樣本判歸為來(lái)自出現(xiàn)概率最大的總體（或歸屬于錯(cuò)判概率最小的總體）的判別方法。o 一、最大后驗(yàn)概率準(zhǔn)則o 例7：設(shè)有，和三個(gè)類，欲判別某樣本屬于哪一類已知現(xiàn)利用后驗(yàn)概率準(zhǔn)則計(jì)算屬于各組的后驗(yàn)概率：貝葉斯公式:o

20、 所謂Fisher判別法，就是用投影的方法將k個(gè)不同總體在p維空間上的點(diǎn)盡可能分散，同一總體內(nèi)的各樣本點(diǎn)盡可能的集中。用方差分析的思想則可構(gòu)建一個(gè)較好區(qū)分各個(gè)總體的線性判別法 - (只作了解)例：設(shè)先驗(yàn)概率、誤判損失及概率密度如下：試用貝葉斯判別法將樣本x0判到G1、G2、G3中的一個(gè)?？紤]與不考慮誤判損失的結(jié)果如何？1、考慮誤判損失：誤判到G1的平均損失為ECM10.55*0.46*0+0.15*1.5*400+0.30*0.70*100誤判到G2的平均損失為ECM20.55*0.46*20+0.15*1.5*0+0.30*0.70*50誤判到G3的平均損失為ECM30.55*0.46*80

21、+0.15*1.5*200+0.30*0.70*0其中ECM2最小，故將x0判別到G2。2、不考慮誤判損失： 將x0判別到G1的條件概率為： P（G1/x0) =(0.55*0.46)/(0.55*0.46+0.15*1.5+0.30*0.70)= 將x0判別到G2的條件概率為： P（G2/x0) =(0.15*1.5)/(0.55*0.46+0.15*1.5+0.30*0.70)= 將x0判別到G3的條件概率為： P（G3/x0) =(0.30*0.70)/(0.55*0.46+0.15*1.5+0.30*0.70)= 其中P（G1/x0) 取值最大，故將x0判別到G1。主成分分析的重點(diǎn)v

22、1、掌握什么是主成分分析？v 2、理解主成分分析的基本思想和幾何意義？v 3、理解主成分求解方法：協(xié)方差矩陣與相關(guān)系數(shù)矩陣的差異？v 4、掌握運(yùn)用SPSS或SAS軟件求解主成分v 5、對(duì)軟件輸出結(jié)果進(jìn)行正確分析v 主成分分析：將原來(lái)較多的指標(biāo)簡(jiǎn)化為少數(shù)幾個(gè)新的綜合指標(biāo)的多元統(tǒng)計(jì)方法。v 主成分：由原始指標(biāo)綜合形成的幾個(gè)新指標(biāo)。依據(jù)主成分所含信息量的大小成為第一主成分，第二主成分等等。v 主成分分析得到的主成分與原始變量之間的關(guān)系： 1、主成分保留了原始變量絕大多數(shù)信息。 2、主成分的個(gè)數(shù)大大少于原始變量的數(shù)目。 3、各個(gè)主成分之間互不相關(guān)。 4、每個(gè)主成分都是原始變量的線性組合。v 滿足如下的

23、條件： 1、每個(gè)主成分的系數(shù)平方和為1。即 2、主成分之間相互獨(dú)立，即無(wú)重疊的信息。即 3、主成分的方差依次遞減，重要性依次遞減，即F1、F2.Fp分別稱為原變量的第一、第二.第p個(gè)主成分。根據(jù)旋轉(zhuǎn)變換的公式：旋轉(zhuǎn)變換的目的：為了使得n個(gè)樣品點(diǎn)在Fl軸方向上的離散程度最大，即Fl的方差最大?？傮w主成分的求解及其性質(zhì)v 矩陣知識(shí)回顧：（1）特征根與特征向量A、若對(duì)任意的k階方陣C，有數(shù)字 與向量 滿足： ，則稱 為C的特征根， 為C的相應(yīng)于 的特征向量。B、同時(shí)，方陣C的特征根 是k階方程 的根。（2）任一k階方陣C的特征根 的性質(zhì)：（3）任一k階的實(shí)對(duì)稱矩陣C的性質(zhì)：A、實(shí)對(duì)稱矩陣C的非零特征根的數(shù)目C的秩B、k階的實(shí)對(duì)稱矩陣存在k個(gè)實(shí)特征根C、實(shí)對(duì)稱矩陣的不同特征根的特征向量是正交的D、若 是實(shí)對(duì)稱矩陣C的單位特征向量，則若矩陣 ，是由特征向量 所構(gòu)成的，則