第二章多元正態(tài)分布的參數(shù)估計(jì)

第二章多元正態(tài)分布的參數(shù)估計(jì)第1頁(yè)，共65頁(yè)，2023年，2月20日，星期一§2.1多元正態(tài)分布的定義一元正態(tài)分布N(μ,σ2)的概率密度函數(shù)為：若隨機(jī)向量

的概率密度函數(shù)為則稱(chēng)X服從p元正態(tài)分布，記作X~Np

(μ,Σ)，其中，參數(shù)μ和Σ分別為X的均值和協(xié)差陣。第2頁(yè)，共65頁(yè)，2023年，2月20日，星期一例1（二元正態(tài)分布）設(shè)X~N2(μ,Σ)，這里易見(jiàn)，ρ是X1和

X2的相關(guān)系數(shù)。當(dāng)|ρ|<1時(shí)，可得X的概率密度函數(shù)為：第3頁(yè)，共65頁(yè)，2023年，2月20日，星期一二元正態(tài)分布的密度曲面圖下圖是當(dāng)時(shí)二元正態(tài)分布的鐘形密度曲面圖。第4頁(yè)，共65頁(yè)，2023年，2月20日，星期一二元正態(tài)分布等高線等高（橢圓）線：上述等高線上的密度值第5頁(yè)，共65頁(yè)，2023年，2月20日，星期一二元正態(tài)分布的密度等高線族

（由10000個(gè)二維隨機(jī)數(shù)生成）|ρ|越大，長(zhǎng)軸越長(zhǎng)，短軸越短，即橢圓越扁平；|ρ|越小，長(zhǎng)軸越短，短軸越長(zhǎng)，即橢圓越圓；|ρ|=1時(shí)橢圓退化為一條線段；|ρ|=0時(shí)即為圓。第6頁(yè)，共65頁(yè)，2023年，2月20日，星期一§2.2多元正態(tài)分布的性質(zhì)（1）多元正態(tài)分布的特征函數(shù)是：（2）設(shè)X是一個(gè)p維隨機(jī)向量，則X服從多元正態(tài)分布，當(dāng)且僅當(dāng)它的任何線性函數(shù)均服從一元正態(tài)分布。性質(zhì)（2）?？捎脕?lái)證明隨機(jī)向量服從多元正態(tài)分布。（3）設(shè)X~Np

(μ,Σ)，Y=CX+b其中C為r×p常數(shù)矩陣，則該性質(zhì)表明，（多元）正態(tài)變量的任何線性變換仍為（多元）正態(tài)變量。第7頁(yè)，共65頁(yè)，2023年，2月20日，星期一（4）設(shè)X~Np

(μ,Σ)，則X的任何子向量也服從（多元）正態(tài)分布，其均值為μ的相應(yīng)子向量，協(xié)方差矩陣為Σ的相應(yīng)子矩陣。該性質(zhì)說(shuō)明了多元正態(tài)分布的任何邊緣分布仍為（多元）正態(tài)分布。需注意，隨機(jī)向量的任何邊緣分布皆為（多元）正態(tài)分布未必表明該隨機(jī)向量就服從多元正態(tài)分布?！?.2多元正態(tài)分布的性質(zhì)第8頁(yè)，共65頁(yè)，2023年，2月20日，星期一正態(tài)變量的線性組合未必就是正態(tài)變量。證明:

反證法。若命題“一元正態(tài)變量X1,X2,?,Xn的一切線性組合一定是一元正態(tài)變量”成立，則由性質(zhì)（2）知，X1,X2,?,Xn的聯(lián)合分布必為多元正態(tài)分布，于是命題“一元正態(tài)變量的聯(lián)合分布必為多元正態(tài)分布”成立，從而矛盾?！?.2多元正態(tài)分布的性質(zhì)第9頁(yè)，共65頁(yè)，2023年，2月20日，星期一

第10頁(yè)，共65頁(yè)，2023年，2月20日，星期一第11頁(yè)，共65頁(yè)，2023年，2月20日，星期一第12頁(yè)，共65頁(yè)，2023年，2月20日，星期一第13頁(yè)，共65頁(yè)，2023年，2月20日，星期一第14頁(yè)，共65頁(yè)，2023年，2月20日，星期一則（i）

；

（ii）

；（iii）

。例3

設(shè)X~N4(μ,Σ)，這里第15頁(yè)，共65頁(yè)，2023年，2月20日，星期一§2.2多元正態(tài)分布的性質(zhì)（5）設(shè)X1,X2,?,Xn相互獨(dú)立，且Xi~Np

(μi,Σi)，i=1,2,?,n，則對(duì)任意n個(gè)常數(shù)，有此性質(zhì)表明，獨(dú)立的多元正態(tài)變量（維數(shù)相同）的任意線性組合仍為多元正態(tài)變量。（6）設(shè)X~Np

(μ,Σ)，對(duì)X,μ,Σ(>0)作如下的剖分：第16頁(yè)，共65頁(yè)，2023年，2月20日，星期一則子向量X1和X2相互獨(dú)立，當(dāng)且僅當(dāng)Σ12=0。該性質(zhì)指出，對(duì)于多元正態(tài)變量而言，其子向量之間互不相關(guān)和相互獨(dú)立是等價(jià)的。（7）設(shè)X~Np

(μ,Σ),Σ>0，則例4

設(shè)X~N3(μ,Σ)，其中

則X2和X3不獨(dú)立，X1和(X2,X3)獨(dú)立。第17頁(yè)，共65頁(yè)，2023年，2月20日，星期一（8）設(shè)X~Np

(μ,Σ),Σ>0，作如下剖分

則給定X2時(shí)X1的條件分布為，其中μ1·2和Σ11·2分別是條件數(shù)學(xué)期望和條件協(xié)方差矩陣，Σ11·2通常稱(chēng)為偏協(xié)方差矩陣。第18頁(yè)，共65頁(yè)，2023年，2月20日，星期一這一性質(zhì)表明，對(duì)于多元正態(tài)變量，其子向量的條件分布仍是（多元）正態(tài)的。例5設(shè)X~N3(μ,Σ)，其中

試求給定X1+2X3時(shí)

的條件分布。第19頁(yè)，共65頁(yè)，2023年，2月20日，星期一§2.3復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)一、復(fù)相關(guān)系數(shù)二、偏相關(guān)系數(shù)第20頁(yè)，共65頁(yè)，2023年，2月20日，星期一一、復(fù)相關(guān)系數(shù)相關(guān)系數(shù)度量了一個(gè)隨機(jī)變量x1與另一個(gè)隨機(jī)變量x2之間線性關(guān)系的強(qiáng)弱。復(fù)相關(guān)系數(shù)度量了一個(gè)隨機(jī)變量X1與一組隨機(jī)變量X2,?,Xp之間線性關(guān)系的強(qiáng)弱。將X,Σ(>0)剖分如下：第21頁(yè)，共65頁(yè)，2023年，2月20日，星期一

X1和X2的線性函數(shù)間的最大相關(guān)系數(shù)稱(chēng)為X1和X2間的復(fù)(或多重)相關(guān)系數(shù)(multiplecorrelationcoefficient)，記作ρ1?2,?,p,它度量了一個(gè)變量X1與一組變量X2,?,Xp間的相關(guān)程度?？赏茖?dǎo)出例4

隨機(jī)變量X1,?,Xp的任一線性函數(shù)F=l1X1+?+lpXp與X1,?,Xp的復(fù)相關(guān)系數(shù)為1。證明:第22頁(yè)，共65頁(yè)，2023年，2月20日，星期一二、偏相關(guān)系數(shù)將X,Σ(>0)剖分如下：稱(chēng)為給定X2時(shí)X1的偏協(xié)方差矩陣。記，稱(chēng)為偏協(xié)方差，它是剔除了的（線性）影響之后，Xi和Xj之間的協(xié)方差。第23頁(yè)，共65頁(yè)，2023年，2月20日，星期一給定X2時(shí)Xi

和Xj的偏相關(guān)系數(shù)（partialcorrelationcoefficient）定義為:其中。ρij?k+1,?,p度量了剔除Xk+1,?,Xp的（線性）影響之后，Xi和Xj間相關(guān)關(guān)系的強(qiáng)弱。對(duì)于多元正態(tài)變量X，由于Σ11?2也是條件協(xié)方差矩陣，故此時(shí)偏相關(guān)系數(shù)與條件相關(guān)系數(shù)是同一個(gè)值，從而ρij?k+1,?,p同時(shí)也度量了在Xk+1,?,Xp值給定的條件下Xi和Xj間相關(guān)關(guān)系的強(qiáng)弱。第24頁(yè)，共65頁(yè)，2023年，2月20日，星期一§2.4極大似然估計(jì)及估計(jì)量的性質(zhì)一、樣本X1,X2,?,Xn的聯(lián)合概率密度二、μ和Σ的極大似然估計(jì)三、相關(guān)系數(shù)的極大似然估計(jì)四、估計(jì)量的性質(zhì)第25頁(yè)，共65頁(yè)，2023年，2月20日，星期一設(shè)X~Np(μ,Σ),Σ>0，X1,X2,?,Xn是從總體X中抽取的一個(gè)簡(jiǎn)單隨機(jī)樣本（今后簡(jiǎn)稱(chēng)為樣本），即滿(mǎn)足：X1,X2,?,Xn獨(dú)立，且與總體分布相同。令稱(chēng)之為（樣本）數(shù)據(jù)矩陣或觀測(cè)值矩陣。第26頁(yè)，共65頁(yè)，2023年，2月20日，星期一一、樣本X1,X2,?,XN的聯(lián)合概率密度極大似然估計(jì)是通過(guò)似然函數(shù)來(lái)求得的，似然函數(shù)可以是樣本聯(lián)合概率密度

f(x1,x2,?,xn)的任意正常數(shù)倍，我們不妨取成相等，記為L(zhǎng)(μ,Σ)。可具體表達(dá)為：第27頁(yè)，共65頁(yè)，2023年，2月20日，星期一二、Μ和Σ的極大似然估計(jì)一元正態(tài)情形：多元正態(tài)情形：其中稱(chēng)為樣本均值向量（簡(jiǎn)稱(chēng)為樣本均值），

稱(chēng)為樣本離差矩陣。第28頁(yè)，共65頁(yè)，2023年，2月20日，星期一三、相關(guān)系數(shù)的極大似然估計(jì)1.簡(jiǎn)單相關(guān)系數(shù)2.復(fù)相關(guān)系數(shù)3.偏相關(guān)系數(shù)第29頁(yè)，共65頁(yè)，2023年，2月20日，星期一1.簡(jiǎn)單相關(guān)系數(shù)相關(guān)系數(shù)ρij的極大似然估計(jì)為:其中

。稱(chēng)S為樣本協(xié)方差矩陣、rij為樣本相關(guān)系數(shù)、

為樣本相關(guān)矩陣。第30頁(yè)，共65頁(yè)，2023年，2月20日，星期一2.復(fù)相關(guān)系數(shù)將X,Σ(>0),S剖分如下：則復(fù)相關(guān)系數(shù)ρ1?2,?,p的極大似然估計(jì)為r1?2,?,p,稱(chēng)之為樣本復(fù)相關(guān)系數(shù)。其中

第31頁(yè)，共65頁(yè)，2023年，2月20日，星期一3.偏相關(guān)系數(shù)將X,Σ(>0),S剖分如下：則偏相關(guān)系數(shù)ρij?k+1,?,p的極大似然估計(jì)為rij?k+1,?,p，稱(chēng)之為樣本偏相關(guān)系數(shù)，其中第32頁(yè)，共65頁(yè)，2023年，2月20日，星期一§3.5和(N?1)S2的抽樣分布一、的抽樣分布二、(n?1)S的抽樣分布第33頁(yè)，共65頁(yè)，2023年，2月20日，星期一一、的抽樣分布1.正態(tài)總體設(shè)X~Np

(μ,Σ),Σ>0，X1,X2,?,Xn是從總體X中抽取的一個(gè)樣本，則2.非正態(tài)總體（中心極限定理）設(shè)X1,X2,?,Xn是來(lái)自總體X的一個(gè)樣本，μ和Σ存在，當(dāng)n很大且n相對(duì)于p也很大時(shí)，上式近似地成立。第34頁(yè)，共65頁(yè)，2023年，2月20日，星期一第35頁(yè)，共65頁(yè)，2023年，2月20日，星期一

第36頁(yè)，共65頁(yè)，2023年，2月20日，星期一第37頁(yè)，共65頁(yè)，2023年，2月20日，星期一第38頁(yè)，共65頁(yè)，2023年，2月20日，星期一

第39頁(yè)，共65頁(yè)，2023年，2月20日，星期一

第40頁(yè)，共65頁(yè)，2023年，2月20日，星期一第41頁(yè)，共65頁(yè)，2023年，2月20日，星期一

第42頁(yè)，共65頁(yè)，2023年，2月20日，星期一二、均值向量與協(xié)差陣的最大似然估計(jì)

第43頁(yè)，共65頁(yè)，2023年，2月20日，星期一

第44頁(yè)，共65頁(yè)，2023年，2月20日，星期一

第45頁(yè)，共65頁(yè)，2023年，2月20日，星期一

第46頁(yè)，共65頁(yè)，2023年，2月20日，星期一

第47頁(yè)，共65頁(yè)，2023年，2月20日，星期一三、估計(jì)量的性質(zhì)1.無(wú)偏性2.有效性3.一致性4.充分性第48頁(yè)，共65頁(yè)，2023年，2月20日，星期一充分統(tǒng)計(jì)量1充分性的概念例1為研究某種產(chǎn)品的合格品率，我們對(duì)該產(chǎn)品進(jìn)行檢查，從該產(chǎn)品中隨機(jī)抽取10件進(jìn)行觀測(cè)，發(fā)現(xiàn)除第三、六件產(chǎn)品不合格外，其余8件產(chǎn)品都是合格品。這樣的觀測(cè)結(jié)果包含了兩種信息：(1)10件產(chǎn)品有8件是合格品；(2)2件不合格品分別是第三和第六件。第49頁(yè)，共65頁(yè)，2023年，2月20日，星期一第二種信息對(duì)了解該產(chǎn)品合格品率是沒(méi)有什么幫助的。一般地，設(shè)我們對(duì)該產(chǎn)品進(jìn)行n次觀測(cè)，得到x1,x2,…,xn，每個(gè)xj

取值非0即1，合格為1，不合格為0。令T=x1+…+xn

，T為觀測(cè)到的合格品數(shù)。在這種場(chǎng)合僅僅記錄使用T不會(huì)丟失任何與合格品率有關(guān)的信息，統(tǒng)計(jì)上將這種“樣本加工不損失信息”稱(chēng)為“充分性”。樣本x=(x1,x2,…,xn)有一個(gè)樣本分布F

(x)，這個(gè)分布包含了樣本中一切有關(guān)的信息。第50頁(yè)，共65頁(yè)，2023年，2月20日，星期一統(tǒng)計(jì)量T=T(x1,x2,…,xn)也有一個(gè)抽樣分布FT(t)，這個(gè)分布包含了統(tǒng)計(jì)量T中一切有關(guān)的信息.當(dāng)我們期望用統(tǒng)計(jì)量T代替原始樣本且不損失任何有關(guān)的信息時(shí)，也就是期望抽樣分布FT(t)像F(x)一樣概括了有關(guān)的一切信息.這即是說(shuō)在統(tǒng)計(jì)量T取值為t的情況下樣本x的條件分布F(x|T=t)已不含的信息，這正是統(tǒng)計(jì)量具有充分性的含義。第51頁(yè)，共65頁(yè)，2023年，2月20日，星期一定義

(充分統(tǒng)計(jì)量)設(shè)x1,x2,…,xn

是來(lái)自某個(gè)總體的樣本，總體分布函數(shù)為F

(x;)，統(tǒng)計(jì)量T=T(x1,x2,…,xn)稱(chēng)為的充分統(tǒng)計(jì)量，如果在給定T的取值后，x1,x2,…,xn的條件分布與無(wú)關(guān).第52頁(yè)，共65頁(yè)，2023年，2月20日，星期一例2設(shè)總體為二點(diǎn)分布為樣本,令

則T是的充分統(tǒng)計(jì)量;若則S不是的充分統(tǒng)計(jì)量.下面我們給出幾個(gè)例子,根據(jù)定義來(lái)驗(yàn)證一個(gè)統(tǒng)計(jì)量是不是充分的.第53頁(yè)，共65頁(yè)，2023年，2月20日，星期一在一般場(chǎng)合直接由定義出發(fā)驗(yàn)證一個(gè)統(tǒng)計(jì)量是充分統(tǒng)計(jì)量比較困難.奈曼(Neyman)給出了一個(gè)簡(jiǎn)單的判別方法---因子分解定理.充分性原則：在充分統(tǒng)計(jì)量存在的場(chǎng)合，任何統(tǒng)計(jì)推斷都可以基于充分統(tǒng)計(jì)量進(jìn)行，這可以簡(jiǎn)化統(tǒng)計(jì)推斷的程序,稱(chēng)該原則為充分性原則.第54頁(yè)，共65頁(yè)，2023年，2月20日，星期一

第55頁(yè)，共65頁(yè)，2023年，2月20日，星期一四、WISHART分布

第56頁(yè)，共65頁(yè)，2023年，2月20日，星期一

第57頁(yè)，共65頁(yè)，2023年，2月20日，星期一第58頁(yè)，共65頁(yè)，2023年，2月20日，星期一第59頁(yè)，共65頁(yè)，2023年，2月20日，星期一通過(guò)上面的理論分析知道，多元正態(tài)總體均值向量和協(xié)差陣的最大似然估計(jì)分別是樣本均值向量和樣本協(xié)差陣。利用SPSS軟件可以迅速地計(jì)算出多元分布的樣本均值向量、樣本離差陣和樣本協(xié)差陣。下面通過(guò)一個(gè)實(shí)例來(lái)說(shuō)明多元正態(tài)分布參數(shù)估計(jì)的SPSS實(shí)現(xiàn)過(guò)程。從滬深兩市上市公司中隨機(jī)抽取300家公司，取其三個(gè)反映收益情況的三個(gè)財(cái)務(wù)指標(biāo)：每股收益率（eps）、凈資產(chǎn)收益率（roe）和總資產(chǎn)收益率（roa）?，F(xiàn)要求對(duì)這三個(gè)指標(biāo)的均值和協(xié)差陣進(jìn)行估計(jì)。第60頁(yè)，共65頁(yè)，2023年，2月20日，星期一均值向量的估計(jì)在SPSS中計(jì)算樣本均值向量的步驟如下：