多元統(tǒng)計(jì)分析教學(xué)課件

1、多元統(tǒng)計(jì)分析教學(xué)課件徐江第一章 緒 論第一節(jié) 什么是多元統(tǒng)計(jì)分析多元統(tǒng)計(jì)分析是能同時(shí)處理多個(gè)指標(biāo)(變量）的數(shù)理統(tǒng)計(jì)方法，是研究多個(gè)隨機(jī)變量之間相互依賴關(guān)系及內(nèi)在統(tǒng)計(jì)規(guī)律的一門統(tǒng)計(jì)學(xué)科，是進(jìn)行深層次分析的一種有效工具。主要包括：聚類分析、判別分析、主成分分析、因子分 析、典型相關(guān)分析、對(duì)應(yīng)分析、路經(jīng)分析等。第二節(jié)多元統(tǒng)計(jì)分析能解決哪些類型的問題 通常多元統(tǒng)計(jì)分析適用于下列目的的研究：1、簡(jiǎn)化數(shù)據(jù)和數(shù)據(jù)結(jié)構(gòu)。即使變量的維數(shù)降低， 尋找綜合指標(biāo)。2、分類和組合。一種是對(duì)研究對(duì)象分成不同的組 或類；另一種是對(duì)變量按其性質(zhì)分類（組）3、變量之間的依賴性分析。變量之間是否有關(guān)， 具有什么樣的依賴關(guān)系。多元

2、統(tǒng)計(jì)分析應(yīng)用非常廣泛：經(jīng)濟(jì)學(xué)、管理學(xué)、社會(huì)學(xué)、農(nóng)學(xué)、醫(yī)學(xué)、教育學(xué)、心理學(xué)、體育科學(xué)、 生態(tài)學(xué)、地質(zhì)學(xué)、考古學(xué)、環(huán)境保護(hù)、軍事科學(xué)、文學(xué)等。多元統(tǒng)計(jì)分析基礎(chǔ)知識(shí) 附錄：矩陣代數(shù)第一節(jié) 矩陣及基本運(yùn)算1、矩陣的定義將np個(gè)實(shí)數(shù) aij (i=1,2,n ; j=1,2, ,p)排成n行p列的數(shù)表，記為A，稱為np階矩陣。 a11 a12 a1p A= a21 a22 a2p an1 an2 anp 記為A=(aij)np 或A=(aij)或Anp一些特殊矩陣（1）列向量（2）行向量（3）方陣（4）對(duì)角陣（5）單位矩陣（6）轉(zhuǎn)置矩陣（7）對(duì)稱矩陣（8）下三角矩陣（上三角矩陣）2、矩陣的運(yùn)算 （1）加

3、法 （2）數(shù)乘 （3）乘法3、矩陣的運(yùn)算規(guī)律(1) A+B =(2) (A+B) = (3) (AB) =(4) A+(-1)A =(5) (AB) =(6) (A) =(7) (A+B) =(8) A(BC) =(9) A(B+C) =(10) AI = 若為方陣，滿足：AA，則稱為正交矩陣 4 、向量(1)向量 a=(a 1 , a2 , an)(2)內(nèi)積(3)正交(4)正交向量組(5)向量的模(向量的長(zhǎng)度）(6)單位向量(7)標(biāo)準(zhǔn)正交向量組一個(gè)結(jié)論： A是正交矩陣的充分必要條件是: A的行向量都是單位向量，且兩兩正交。（也即A的行向量組是標(biāo)準(zhǔn)正交向量組） 同理,對(duì)列也成立。第二節(jié) 行列式

4、、逆矩陣的秩1 、行列式(1) 行列式(2) 代數(shù)余子式(3) 行列式的性質(zhì): 若A的某行(或列)為零,則|A|=0 |A|=|A| 將A的某行(或列)乘以數(shù) ,所得矩陣的行列式 等于 |A| 若A的兩行(或列)相同,則|A|=0 若將A的兩行(或兩列)互換位置,所得矩陣的行 列式等于-|A| 若將A的某一行(或列)乘上一個(gè)常數(shù)后加到另 一行相應(yīng)元素上,所得矩陣的行列式不變,仍等于|A|2 逆矩陣(1) 非退化陣(非奇異陣)(2) 退化陣(奇異陣)(3) 逆矩陣非退化陣及退化陣 設(shè)A為P階方陣，若|A|0，則稱A是非退化陣(非奇異陣)。若|A|=0，則稱A是退化陣(奇異陣)。逆矩陣 若A是P階

5、非退化陣，則存在唯一的矩陣B，使得AB=I，B稱為A的逆矩陣，記為B=A-1。逆矩陣的求法 A11A21 Ap1A-1=（1/|A|）A*=（1/|A|）A12A22 Ap2 A1pA2p AppA*為A的伴隨矩陣，它是A的各個(gè)元素的代數(shù)余子式所構(gòu)成的矩陣。例題 3 -1 0求方陣A= -2 1 1 的逆矩陣 2 -1 4 (4) 逆矩陣的性質(zhì) AA-1=A-1A=I (A)-1=(A-1) 若A和B均為P階非退化陣, 則(AB)-1= B-1A-1 設(shè)A為P階非退化陣,b和a為P維列向量, 則方程: Ab=a的解為b= A-1 a | A-1|=|A|-1 若A 是正交陣,則A-1= A 若

6、A 是對(duì)角陣,A=diag(a11, a22, , app) ,且aij 0, i=1,2,p,則A-1= diag(a11-1, a22-1, , app-1) 3 矩陣的秩 設(shè)A為p q階矩陣,若存在它的一個(gè)r階子方陣的行列式（即為r階子式）不為零,而A的一切(r+1)階子方陣的行列式均為零,則稱A的秩為r,記作rk(A)=r 。 例題 1 2 3 4 5 6 求矩陣A= 3 1 2 0 7 8 的秩 2 3 1 10 -9 5秩有如下性質(zhì)： (1) rk(A)=0，當(dāng)且僅當(dāng)A=0 (2) 若A為p q階矩陣， 則 0rk(A) min(p,q) (3) rk(A)= rk(A) (4)

7、rk(AB) min(rk(A), rk(B) (5) rk(A+B) rk(A)+ rk(B) (6) 若A和C為非退化陣，則rk(ABC) = rk(B) 第三節(jié) 特征根、特征向量 和矩陣的跡 1、 特征根和特征向量 設(shè)A為P階方陣，是一個(gè)數(shù)，如果有非零列向量L，使得A L=L，就稱是A的一個(gè)特征根，L是A的屬于特征根的特征向量，簡(jiǎn)稱特征向量。如何求一個(gè)矩陣的特征根和特征向量 由 A L=L A L-L=0 （A- I）L=0 方程| A- I|=0稱為A的特征方程。 特征方程的解就是A的特征根， 記為1，2，p 。 將i代入 A L= i L （A- i I）L=0 其非零解Li就是對(duì)應(yīng)

8、于特征根i的特征向量。特征根和特征向量的求法:解A的特征方程|A-I|=0的全部解就是A的全部特征根。對(duì)每一個(gè)特征根i,求出齊次線性方程組(A- i I)L=0的非零解,就是屬于i的特征向量。例題 求矩陣A= 3 5 4 2的特征根和特征向量特征根的性質(zhì)1.若A是實(shí)對(duì)稱矩陣，則A的特征根都是實(shí)數(shù)。故可按大小次序排成1 2 p。若i j ，則相應(yīng)的特征向量Li與Lj必正交（即實(shí)對(duì)稱矩陣的屬與不同特征根的特征向量必正交）2.A和A有相同的特征根。3.若A和B分別是p q與q p階陣，則AB與BA有相同的非零特征根。4.若A為三角陣，則的特征根為其對(duì)角元素。5.若1 , 2 , , p 是A的特征根

9、, A可逆,則A-1的特征根為1-1, 2-1 , , p-1。 2 矩陣的跡若A是p階方陣，它的對(duì)角元素之和稱為A的跡,記為tr(A)= a11+ a22 + + app。若A是p階方陣，它的特征根為1 , 2 , , p ,則tr(A)= 1 +2 + +p 。跡有如下關(guān)系：(1)tr(AB)= tr(BA)(2)tr(A)= tr(A)(3)tr(A+B)= tr(A)+ tr(B)(4)tr( A)= tr(A)3 一個(gè)結(jié)論 對(duì)于任一實(shí)對(duì)稱矩陣A，必存在一個(gè)正交矩陣，使得A = 或 =A ，其中為對(duì)角矩陣，其對(duì)角線上的元素是A的p個(gè)特征根1 2 p 。 即 =diag(1 ,2, ,

10、p)例題 5 1 1求實(shí)對(duì)稱矩陣A= 1 3 1 1 1 3 的特征根和特征向量。并求正交矩陣，使A =第四節(jié) 二次型與正定陣1、二次型：含有P個(gè)變量X1, X2, Xp的二次齊次函數(shù)Q( X1, X2, Xp)=a11X12+ a22 X22+app Xp2 +2a12 X1X2+2a13 X1X3+2ap-1,p Xp-1Xp = aij XiXj 稱為二次型。其中 aij = aji 稱為二次型系數(shù)。 當(dāng)aij是實(shí)數(shù)時(shí)，上式是實(shí)二次型。 二次型可以用矩陣表示，即 Q=XAX其中X=（ X1, X2, Xp)，A=(aij ) p p，A為對(duì)稱陣。2、正定陣 設(shè)有實(shí)二次型Q=XAX，若對(duì)任

11、何X0都有Q0，則稱Q為正定二次型，稱實(shí)對(duì)稱矩陣A為正定陣，記作A 0。 若對(duì)任何X0都有Q 0，則稱Q為非負(fù)定二次型，稱實(shí)對(duì)稱矩陣A為非負(fù)定陣，記作A 0。正定陣和非負(fù)定陣性質(zhì)1.一個(gè)實(shí)對(duì)稱陣是正（非負(fù)）定的當(dāng)且僅當(dāng)它的特征根都是正（非負(fù)）實(shí)數(shù)。A 0 i 0A 0 i 02.若A 0 ，則A-1 0 3.若A 0 ，則CA0 ，其中C為正數(shù)。4.若A 0 ，因它是實(shí)對(duì)稱矩陣，則必存在一個(gè)正交陣，使得A =diag(1,2, , p)=其中1 ,2, , p為A的特征根的列向量為相應(yīng)的特征向量， 于是 A= 。5.對(duì)于非負(fù)定陣A 0 ，由性質(zhì)1，1 ,2, , p均非負(fù)，既 0，有A= ，這

12、個(gè)關(guān)系在A與的函數(shù)上也成立，記f()= diag(f(1) ,f(2), , f(p),A的矩陣函數(shù)f(A)與的矩陣函數(shù)f()有f(A)= f() 。 特別1/2= diag(11/2 ,21/2, ,p1/2) A1/2= 1/2 。 6.若A 0（0）， 則存在A1/2 0 （0） 使得A= A1/2 A1/2 第五節(jié) 消去變換（初等變換）1、換法變換：矩陣的兩行互換位置。2、倍法變換：以任意數(shù)0乘矩陣的某一行。3、消法變換：以數(shù)乘矩陣的某行上的各元素再加 到另一行各元素上去。求A-1的具體作法 在n階可逆矩陣A的后面加上一個(gè)與A同階的單位矩陣，對(duì)這個(gè)n 2n階的矩陣（A：I）施行行的初等

13、變換，當(dāng)把A變成單位矩陣時(shí)， (I: A-1 ),后面相應(yīng)的單位矩陣就變成了A的逆矩陣A-1。例題 3 -1 0求方陣A= -2 1 1 的逆矩陣 2 -1 4第六節(jié) 矩陣的分塊和矩陣的微商 1、矩陣的分塊 將矩陣A用若干條縱線和橫線分成許多個(gè)小矩陣，每一個(gè)小矩陣稱為A的子塊，以子塊為元素的形式上的矩陣稱為分塊矩陣。一個(gè)公式：若A= A11 A12 A21 A22 A11 ，A22 是方陣且是非退化陣，則 |A|=| A11 | | A22 - A21 A11-1 A12 | =| A22 | | A11- A12 A22-1 A21| 2、矩陣的微商設(shè)x=(x1, x2, xp), 分量xi

14、均為變量， y=f(x)為x的實(shí)函數(shù)，則f(x)關(guān)于的微商定義為: 若則公式：1、若x=(x1, xp), A=(a1, , ap)則2、若x=(x1, xp), 則：3、若x=(x1, xp), 則：4、若式中X為np階陣，A為nn階陣，則若A為對(duì)稱陣，則第二章 多元正態(tài)分布第一節(jié) 基本概念 1、隨機(jī)向量的概率分布 定義1、將P個(gè)隨機(jī)變量X1，Xp的整體稱為P維隨機(jī)向量，記為 X=( X1， Xp )多維隨機(jī)向量的分布函數(shù)定義定義2、設(shè)X=( X1， Xp )是P維隨機(jī)向量，它的分布函數(shù)定義為： F(x)=F ( x1,xp ) =P(X1 x1, X2 x2 , , Xp xp)其中x=

15、( x1,xp )屬于P維歐氏空間。離散型隨機(jī)向量定義3 設(shè)X=( X1， Xp )是P維隨機(jī)向量， 若存在有限個(gè)或可列個(gè)P 維列隨機(jī)向量 x1, x2 ，記P（X= xk)=pk (k=1,2, ) 且滿足p1+ p2+ =1 則稱X為離散型隨機(jī)向量，稱P（X= xk)=pk (k=1,2, )為X的概率分布。連續(xù)型隨機(jī)向量 設(shè)X=( X1， Xp )是P維隨機(jī)向量，若存在一個(gè)非負(fù)函數(shù)f( x1,xp ),使得對(duì)一切 x= ( x1,xp )屬于P維歐氏空間，有 F(x)=F ( x1,xp ) = 則稱X為連續(xù)型隨機(jī)向量，稱f( x1,xp )為分布密度函數(shù)，簡(jiǎn)稱密度函數(shù)。邊際分布 定義4

16、 設(shè)X=( X1，Xp)是P維隨機(jī)向量， 稱由它的q個(gè)分量組成的子向量 的分布為X的邊際分布。 通過變換X中各分量的次序，總可假定X（1）正好是X的前q個(gè)分量，其余p-q個(gè)分量為X（2），即:相應(yīng)的取值也可以分為兩部分: 邊際分布函數(shù)及邊際密度函數(shù) 當(dāng)X的分布函數(shù)是F( x1,xp )時(shí)， X(1）的分布函數(shù)為： F( x1,xq )=P(X1x1,X2x2 ,Xqxq)=P(X1x1,X2x2 ,Xqxq,Xq+1+,Xp+)= F( x1,xq ,+, ,+ )若X為連續(xù)型隨機(jī)向量，X(1)邊際的密度函數(shù)f1(x1,xq)=相互獨(dú)立 定義5 若P個(gè)隨機(jī)變量X1，Xp的聯(lián)合分布等于各自的邊際

17、分布的乘積，則稱X1，Xp是相互獨(dú)立的。2、隨機(jī)向量的數(shù)字特征（1）均值 定義6 設(shè)X=( X1， Xp )若 E(Xi)(i=1,2,，p)存在且有限，則稱 E(X)=(E(X1), E(X2), , E(Xp) 為X的均值(向量）或數(shù)學(xué)期望。有時(shí)記為：均值的性質(zhì)1、E(AX)=AE(X)2、E(AXB)=AE(X)B3、E(AX+BX)=AE(X)+BE(X)其中：X，Y為隨機(jī)向量， A，B為常數(shù)矩陣。（2） X的方差或協(xié)方差矩陣 定義7 設(shè)X=( X1，Xp ) 稱 D(X)=E(X-E(X)(X-E(X) Cov(X1, X1) Cov(X1, X2) Cov(X1, Xp) = Co

18、v(X2, X1) Cov(X2, X2) Cov(X2, Xp) Cov(Xp, X1) Cov(Xp, X2) Cov(Xp, Xp) 為X的方差或協(xié)方差矩陣（或）D(X)或X，Y的協(xié)方差矩陣定義7 設(shè)X=( X1，Xp )Y=( Y1，Yp )稱 Cov(X,Y)=E(X-E(X)(Y-E(Y) Cov(X1, Y1) Cov(X1, Y2) Cov(X1, Yp) = Cov(X2, Y1) Cov(X2, Y2) Cov(X2, Yp) Cov(Xp, Y1) Cov(Xp, Y2) Cov(Xp, Yp) 為X，Y的協(xié)方差矩陣（3）相關(guān)隨機(jī)向量X的相關(guān)矩陣為 r11 r12 r1p

19、 R= =(rij)pp rp1 rp2 rpprij=(4) 協(xié)方差矩陣和相關(guān)矩陣關(guān)系 令（標(biāo)準(zhǔn)離差陣）V= 則有= VR V或R=(V)-1 (V)-1(5)協(xié)方差矩陣的性質(zhì)1.D(X)0,既X的協(xié)方差矩陣是非負(fù)定陣。2.對(duì)于常數(shù)向量a，有D(X+a)=D(X)。3.設(shè)A為常數(shù)矩陣，則D(AX)=AD(X)A。4.Cov(AX,BY)=ACov(X,Y)B第二節(jié)多元正態(tài)分布的定義及性質(zhì)一元正態(tài)分布f(x)=二元正態(tài)分布f(x,y)=多元正態(tài)分布f( x1,xp)=記為 X Np(,)多元正態(tài)隨機(jī)向量的性質(zhì)1、若X=( X1， Xp )Np(,)，是對(duì)角陣，則X1， Xp 相互獨(dú)立。2、若XNp(,)，A為sp階常數(shù)矩陣，d為s維常數(shù)