方差與協(xié)方差理解

§2方差、協(xié)方差與相關(guān)系數(shù)2.1方差例1 比較甲乙兩人的射擊技術(shù)，已知兩人每次擊中環(huán)數(shù)分布為：[89] [6 7 8 9 *占1010.601J 丑 1010.20.40.201)：： ： .問哪一個(gè)技術(shù)較好？首先看兩人平均擊中環(huán)數(shù)，此時(shí)氏=口=8，從均值來看無法分辯孰優(yōu)孰劣但從直觀上看，甲基本上穩(wěn)定在8環(huán)左右，而乙卻一會(huì)兒擊中10環(huán)，一會(huì)兒擊中6環(huán)，較不穩(wěn)定.因此從直觀上可以講甲的射擊技術(shù)較好.上例說明：對(duì)一隨機(jī)變量，除考慮它的平均取值外，還要考慮它取值的離散程度.稱己-E匕為隨機(jī)變量占對(duì)于均值E匕的離差90W心0口它是一隨機(jī)變量.為了給出一個(gè)描述離散程度的數(shù)值，考慮用E《一反)，但由于E4一氏)=慶-慶=0對(duì)一切隨機(jī)變量均成立，即己的離差正負(fù)相消，因此用E《一E”是不恰當(dāng)?shù)?我們改用E怎一求'描述取值己的離散程度，這就是方差.定義1若EC一說＞存在，為有限值，就稱它是隨機(jī)變量占的方差”2向加0)，記作Var己,(1)Var、E(己一E己、(1)但Var己的量綱與己不同，為了統(tǒng)一量綱，有時(shí)用 \；Var，稱為己的標(biāo)準(zhǔn)差(standarddeviation).方差是隨機(jī)變量函數(shù)怎一E1'的數(shù)學(xué)期望，由§1的(5)式，即可寫出方差的計(jì)算公式|￡(X-E己)2P&=xi),離散型，F(xiàn)L(x—E1)2dF(x)]}(x—E己)2p(x)dx，連續(xù)型.VaM=" &=〔- 自 (2)進(jìn)一步，注意到E(己―E。_E己2—2氏+(度，_E^2-(E1)即有mE己2-(E己〉Var、= . (3)許多情況，用(3)式計(jì)算方差較方便些.例1(續(xù))計(jì)算例1中的方差Var己與Var”.1/12

解利用⑶式Z但=X)22=.， '=72x0.1+82x0.8+92x0.1=64.2,Va/二月m2 =64.2—82=0.2.同理,丫2產(chǎn)=切2一（4'=65.2-64=1.2＞丫2舌，所以n取值較己分散.這說明甲的射擊技術(shù)較好.例2試計(jì)算泊松分布P（力的方差.k\k=lQk\k=l e-九d)!，/1?、入/k 入/左TOC\o"1-5"\h\z=乙也一1) e-^+乙 e-^i(I)!i(I)!K—1 rC—L,九JAXj乙/——e—x+人———e—\./J!，！J=o 尸0所以Var?！?+九一九二九2例3設(shè)自服從[a,b]上的均勻分布U[a,b],求Var&.￡(2二)"12—1—dx=—^a^rab+b)\o"CurrentDocument"解 ab—a3 ,C12+db+Z?2(a+b) (h-ri\lVa/3 [2 」12屹a，.例4設(shè)己服從正態(tài)分布J,求Vart解此時(shí)用公式(2),由于￡1二氣=!+co(x-a)2—cooJ2兀02727?gz=!+co(x-a)2—cooJ2兀02727?gz2e-z^/2dz—0002J2/12可見正態(tài)分布中參數(shù)。2就是它的方差，。就是標(biāo)準(zhǔn)差.方差也有若干簡單而重要的性質(zhì).先介紹一個(gè)不等式.切貝雪夫(Chebyshev)不等式若隨機(jī)變量的方差存在，則對(duì)任意給定的正數(shù)J恒有(4)P?己一E^|>s)<Var^淪2(4)(X一E己)2(X一E己)2dF(x)82P。—El>￡)』 dF(X)<，=IX—Egl>￡ Ix—E自1>￡=Var匕/82<—j+s(x一E5)2dF=Var匕/8282—s這就得(4)式.切貝雪夫不等式無論從證明方法上還是從結(jié)論上都有一定意義.事實(shí)上，該式斷言自落在(一s,反一8)與(Eg+8,+s)內(nèi)的概率小于等于Va比/82，或者說，自落在區(qū)間(反-8,至+8)內(nèi)的概率大于1-Va比/82，從而只用數(shù)學(xué)期望和方差就可對(duì)上述概率進(jìn)行估計(jì).例如，取PQ—Eg|PQ—Eg|<<Varg)>1—Varm/Q'Vrg)心0.89.當(dāng)然這個(gè)估計(jì)還是比較粗糙的(當(dāng)己?nQ，°2)時(shí)，在第二章曾經(jīng)指出，P(匕氏|<3<Varg)=P(|"a|<3亦0.997).性質(zhì)1Var工=0的充要條件是P(七c)=1,其中c是常數(shù).證顯然條件充分.反之，如果Var己=0,記E&=c,由切貝雪夫不等式，P(匕E自|>￡)=0對(duì)一切正數(shù)￡成立.從而p(g=c)=1—P(g—c|>0)=1—limP(g—c>1/n)=1ns .3/12

性質(zhì)2設(shè)c,b都是常數(shù)，則Var(比+b)=c2Var自.證Var(比+b)=E(比+b-E(比+b))2=E(比+b-cE己-b)2/2E&-Eg)2-c2Va建.性質(zhì)3若c0段，則VarE怎—c>.證因Var己=Eg2-(E之)2,而E《-c)2=Eg2-2cE己+c2,兩邊相減得Var己—E4—c、=—(琰—c><0.這說明隨機(jī)變量之度最小.Var(￡5)￡Varg ZE(g-Eg)(g-E5)性質(zhì)4 i=1'—=1 i+21</<j<n1 1JJ特別若g1， ，gn兩兩獨(dú)立，則Var(￡g)￡Vargi=1 =i=1 .￡g) ￡g ￡g) (￡(g-Eg))2、一，i i-i)2-ii證Var(i=1 =E(i=1 -E(i=1 ==Ei=1(￡(g-Eg)2+2￡(g-Eg)(g-Eg))

ii iijj=Ei=1 1<i<j<n￡Varg￡E(g-Eg)(g-Eg)i iijjTOC\o"1-5"\h\z=i=1 +21<i<j<n ,得證(6)式成立.當(dāng)g1, ,gn兩兩獨(dú)立時(shí)，對(duì)任何1<j<n有Egigj故 …\o"CurrentDocument""(g -Eg )(g -Eg )/g-g Eg -g Eg + Eg Eg )口iijj=E(ijijjiijgg-EgEg=Eiji j=0,這就得證⑺式成立.利用這些性質(zhì)，可簡化某些隨機(jī)變量方差的計(jì)算.例5設(shè);服從二項(xiàng)分布B(n,p),求Varg.(5)對(duì)數(shù)學(xué)期望Eg的離散(6)=EgEg解如§1例12構(gòu)造gi,i(5)對(duì)數(shù)學(xué)期望Eg的離散(6)=EgEg4/12

V^=EG2—（E己）2=12.p+02.q一p2二arII I pq.由于相互獨(dú)立必是兩兩獨(dú)立的，由性質(zhì)4i=npq=Var(￡G)=￡varGi=npqi=1 i=1例6 設(shè)隨機(jī)變量G1,工n相互獨(dú)立同分布,「1￡7 - -(i=1,,n).記G=ni=1i,求EG,VarG.解由§1性質(zhì)2和本節(jié)性質(zhì)2和4有_=1￡eGEG ni=ai=1「1二工￡VarG二工做2二VarGn2 in2i=1這說明在獨(dú)立同分布時(shí)，匕作為各己i的算術(shù)平均，它的數(shù)學(xué)期望與各1i的數(shù)學(xué)期望相同，但方差只有乙，的1/n倍.這一事實(shí)在數(shù)理統(tǒng)計(jì)中有重要意義.例7設(shè)隨機(jī)變量己的期望與方差都存在,Var^>0.令=G-EGJVar&稱它為隨機(jī)變量e的標(biāo)準(zhǔn)化.求E*與VarG*.解由均值與方差的性質(zhì)可知EG*=E（j一E）=0v'VarqVar『=Var(Var『=Var(己一度)Var己 ： = -=1Var己Var匕協(xié)1方差數(shù)學(xué)期望和方差反映了隨機(jī)變量的分布特征.對(duì)于隨機(jī)向量（G1,工n）l除去各分量的期望和方差外，還有表示各分量間相互關(guān)系的數(shù)字特征一協(xié)方差.…定義2記己i和5j的聯(lián)合分布函數(shù)為FJxy）E［《E［《「慶i)&J慶j)|<+8，就稱5/12E也-慶）化—成）」+4+9-%）（y-慶.）d尸（羽y）0iijj-oo-oo 1 ，U （X）為\工j的協(xié)方差（covariance）,記作Cov（.\）.顯然，Covq$）=Var,.公式⑹可改寫為工丫“己ZG?v（W工）Var（i=11）=i=1 1+2i<z<j<n . （）容易驗(yàn)證，協(xié)方差有如下性質(zhì)：性質(zhì)1*（財(cái)）=前（仙）=四1一族團(tuán).性質(zhì)2設(shè)〃力是常數(shù)，則Cov（,加）=qACov（自,r|）性質(zhì)3TOC\o"1-5"\h\zCov(2pr|)=2cov6,r|)i i性質(zhì)3i=l i=l對(duì)于〃維隨機(jī)向量？二忑〃）’，可寫出它的協(xié)方差陣???(bb...b11 12 Inbb???b21 22 2n????????????b=e七一e9(^_ewJ=也b???Z?nl n2 nn/,(9)其中,=Cov(§,”TOC\o"1-5"\h\z由性質(zhì)1可知5是一個(gè)對(duì)稱陣，且對(duì)任何實(shí)數(shù)‘八）二1，，幾,二次型Xbtt=xttE也-虎龍-虎）=￡（￡"『-￡&））2>0jkjk jkjjkk jjjj,k=l j,k=l j=l即隨機(jī)向量J的協(xié)方差陣5是非負(fù)定的.性質(zhì)4設(shè)則C5的協(xié)方差陣為C5C,其中5是1的協(xié)方差陣.6/12因?yàn)楦募?C己)’=EC就'C'=CE*'C1,所以CBCf的第i,,j)元素就是C0的第i元素與第j元素的協(xié)方差.相關(guān)系數(shù)協(xié)方差雖在某種意義上表示了兩個(gè)隨機(jī)變量間的關(guān)系，但C0V心內(nèi))的取值大小與自』的量綱有關(guān).為避免這一點(diǎn)，用自』的標(biāo)準(zhǔn)化隨機(jī)變量(見例7)來討論.定義3稱二E也二Eg煩-孕)TOC\o"1-5"\h\z\o"CurrentDocument"r印=Cov&*，中) JVa&VaE (10)為《，”的相關(guān)系數(shù)(correlationcoefficient).為了討論相關(guān)系數(shù)的意義，先看一個(gè)重要的不等式.柯西~許瓦茨(Cauchy—Schwarz)不等式對(duì)任意隨機(jī)變量匕，“有\(zhòng)o"CurrentDocument"屋”|2<E己2團(tuán)2 (11). (11)等式成立當(dāng)且僅當(dāng)存在常數(shù)t0使P缶戶1. (12)證對(duì)任意實(shí)數(shù)tu(t)=E(tg—n)2=12Eg2—2tE己毛+Eq2是t的二次非負(fù)多項(xiàng)式，所以它的判別式(Egq)2—Eg2Eq2<0,證得(11)式成立.(11)式中等式成立當(dāng)且僅當(dāng)多項(xiàng)式u(t)有重根t0，即u(t)=E(tg-q)2=0又由(3)Var(tg—q)<E(tg—q>故得Va(t0g—q)=0同時(shí)有E(t0g—q)=0,所以由方差的性質(zhì)1就證得p(t0g-q=0)=L此即(12)式.由此即可得相關(guān)系數(shù)的一個(gè)重要性質(zhì).性質(zhì)1對(duì)相關(guān)系數(shù)〃gq有7/12

(13)1=1當(dāng)且僅當(dāng)P(13)1=1當(dāng)且僅當(dāng)P八二成.n二切|=11JVar\ J,Varn]篙=-1當(dāng)且僅當(dāng)(14)=E3F* ,，一一一(14)=E3F* ,，一一一.由柯西-許瓦茲不等式的證證由(11)式得二|eg*n*—qE,*2En*2=JVar\*Varn*=1證得(13)式成立.證明第二個(gè)結(jié)論.由定義Zn二晨飛明可知，1%|=1等價(jià)于u任)=t2虎*2-2四*n*+En*2有重根「2E己*n*/(2苑*2)=E匕*n*.因此由(12)式得%=1當(dāng)且僅當(dāng)P&*=n*X1；%=T當(dāng)且僅當(dāng)P&*—「*)=1.注性質(zhì)1表明相關(guān)系數(shù)r；n=±1時(shí)，自與“以概率1存在著線性關(guān)系.另一個(gè)極端是々聯(lián)0，止匕時(shí)我們稱匕與“不相關(guān)(uncorrected).性質(zhì)2對(duì)隨機(jī)變量之和“，下列事實(shí)等價(jià)：(1)Cov隹，")=0; (2)，與“不相關(guān)；(3)E印=E&En； (4)Var(jn)=Var。+Varn證顯然(1)與(2)等價(jià).又由協(xié)方差的性質(zhì)1得(1)與(3)等價(jià).再由(6),式，得(1)與(4)等價(jià).性質(zhì)3若己與“獨(dú)立，則之與“不相關(guān).顯然，由己與n獨(dú)立知(3)成立，從而己與“不相關(guān).但其逆不真.例8設(shè)隨機(jī)變量0服從均勻分布U［0,2兀］，A》0,n=sin0，顯然己2+n2=1,故匕與“不獨(dú)立.但8/12

=0E5-E=0E5-Ecos0J：0s①=0En-Esin0=J2兀sin①0=0E5n-Ecos0sin0=J/cos中?sin①=0o故Cov(5,r|)=的-EEn=0，即m與n不相關(guān).注性質(zhì)2不能推廣到n(-3)個(gè)隨機(jī)變量情形.事實(shí)上從n(-"個(gè)隨機(jī)變量兩兩不相關(guān)只能推得ii能推得ii-1 i-1二不能推得丐勺二丐 蛻n.反之，從這兩個(gè)等式也不能推得彳，工關(guān)是

關(guān)是2兀oo"—r2—g12卜卜(x—a)(y能推得彳，工關(guān)是

關(guān)是2兀oo"—r2—g12卜卜(x—a)(y—b)?exp<一g2(1—r2”o13-z+rtJ-￡(xl22,則o1 ,d(z，t)于是Cov年,n)―'2 JgJg(zt+rt2)-e~z2/2(1—r2)e—12/2dzdt2兀%.1—r2—g—goo—L=.Jgt?e—12/2dt2v;2K—g? <2k\；1—r2(y—b)2Jgz?e—z2/2(1—r2)dz—groof—12兀 —gg12?e—12/2dt?聲1——r20e—z2/2(1—r2)dz—g2o22n兩兩不相關(guān).具體例子不列出了.對(duì)于性質(zhì)3,在正態(tài)分布情形，獨(dú)立與不相一致的，這將在下面進(jìn)行討論.設(shè)&n)服從二元正態(tài)分布N(a,b;o12,o;,r)試求C0V七,n)和曷.Cov(己,H)=J+gJ+g(x—a)(y—b)p(x,y)dxdy—g—g=0+尸1o2.故得9/12Cov化,n)r= =r3qVar^Varq這就是說二元正態(tài)分布中參數(shù)r就是；J的相關(guān)系數(shù).所以對(duì)二元正態(tài)分布，自、Cov化,n)r= =r3qVar^Varq這就是說二元正態(tài)分布中參數(shù)r就是；J的相關(guān)系數(shù).所以對(duì)二元正態(tài)分布，自、”不相關(guān)等價(jià)于r=0.但在第二章已證自與“相互獨(dú)立等價(jià)于r=0.這樣我們有性質(zhì)4對(duì)二元正態(tài)分布，兩個(gè)分量不相關(guān)與相互獨(dú)立是等價(jià)的.2.4矩矩(moment)是最廣泛的一種數(shù)字特征，常用的矩有兩種，一種是原點(diǎn)矩對(duì)正整數(shù)k,稱為；的k階原點(diǎn)矩.數(shù)學(xué)期望就是一階原點(diǎn)矩.另一種是中心矩，對(duì)正整數(shù)k，稱Ck=E(-E5)k為；的k階中心矩.方差是二階中心矩.除此以外，三階與四階中心矩也是常用的，它們分別表示隨機(jī)變量的性狀.往往用他們的相對(duì)值.稱c3/c2/2為偏態(tài)系數(shù)，當(dāng)它大于0時(shí)為正偏態(tài)，小于0時(shí)則為負(fù)偏態(tài).稱c4/c2-3為峰態(tài)系數(shù)，當(dāng)它大于0時(shí)表明該分布密度比正態(tài)分布更為尖峭.例10設(shè)自為服從正態(tài)分布N(0，。2)的隨機(jī)變量，此時(shí)Eg二0，且1 』-12 ?m=c= J xne 2。2dxnn 。\/2兀-g0,Jx3xx(n-1)。n, n=2k+1,2k.特別m4=c4=3。4.故不論。為多少，正態(tài)分布的偏態(tài)系數(shù)與峰態(tài)系數(shù)都為0.我們可以用原點(diǎn)矩來表示中心矩：(-1)rmrm ;反過來，我們也可以用中心矩來表示原點(diǎn)矩:r=01r/(-1)rmrc .1 k-r10/12我們也定義a階絕對(duì)矩Mk=E化此其中a