概率論與數(shù)理統(tǒng)計(jì)-第三版-第五章-大數(shù)定律和中心極限定理

第五章大數(shù)定律和中心極限定理5.1大數(shù)定律第五章大數(shù)定律和中心極限定理5.1大數(shù)定律

內(nèi)容摘要：切比雪夫不等式揭示隨機(jī)變量與其數(shù)學(xué)期望間偏差的概率與方差的關(guān)系,由此給出三個(gè)常用的大數(shù)定律,它們是概率論和統(tǒng)計(jì)推斷的理論基礎(chǔ).

(1)為什么可以利用某事件發(fā)生的頻率作為該事件的概率的近似值？5.1.1提出問題

(2)為什么可以利用隨機(jī)變量的算術(shù)平均或樣本均值作為總體均值的估計(jì)？隨機(jī)事件的概率，隨機(jī)變量的均值和方差.

5.1.2預(yù)備知識(shí)5.1.3建立理論1.

切比雪夫不等式

為了證明大數(shù)定律,下面我們首先學(xué)習(xí)切比雪夫不等式.,,有

引理(切比雪夫不等式)設(shè)隨機(jī)變量和方差具有數(shù)學(xué)期望或

切比雪夫資料對(duì)于離散型隨機(jī)變量，證明類似.

以連續(xù)型隨機(jī)變量X為例.

證

切比雪夫不等式給出了在X的分布未知的情況下對(duì)事件“

”發(fā)生的概率進(jìn)行估計(jì)的一種方法.

(1.1)式幾何意義是:只要隨機(jī)變量具有數(shù)學(xué)期望和方差,X落入?yún)^(qū)間(E(X)-ε,E(X)+ε)的概率不小于1-.

講評(píng)本題涉及切比雪夫不等式的應(yīng)用.需要計(jì)算出X-Y的數(shù)學(xué)期望和方差,才好利用切比雪夫不等式.

例5.1.1

設(shè)隨機(jī)變量X,Y的數(shù)學(xué)期望都是2,方差分別是1和4,而相關(guān)系數(shù)為0.5.則根據(jù)切比雪夫不等式≥6}≤_____.

分析

利用切比雪夫不等式估計(jì)概率時(shí),我們只需要知道隨機(jī)變量的數(shù)學(xué)期望和方差即可,而不需要知道其具體分布.本題的數(shù)學(xué)期望使得計(jì)算即簡單又易出錯(cuò)，讀者注意這一點(diǎn).

解令,則而講評(píng)于是有≥6}

≥6}

≤

例5.1.2證明:證明4.2節(jié)定理2的結(jié)論(5):

D(X)=0的充分必要條件是存在常數(shù)C,使X以概率1取常數(shù)C,

即

P{X=C}=1,并且C=E(X).先證充分性：已知P{X=C}=1,去證明D(X)=0.證由P{X=C}=1知X服從單點(diǎn)分布.得到

E(X)=C×1=C,E(X2)=C2×1=C2.所以，

D(X)=E(X2)-

[E(X)]2=C2-C2=0.即，充分性成立.再證必要性：

已知D(X)=0,

去證明P{X=C}=1.注意到事件于是又由于D(X)=0,

由切比雪夫不等式(1.1)式可知,對(duì)每個(gè)n有即從而知因此取常數(shù)C=E(X)即可.

講評(píng)實(shí)際上，這是一個(gè)充要條件：D(X)=0的充分必要條件是存在常數(shù)C,使X以概率1取常數(shù)C,即P{X=C}=1,并且C=E(X).

參見4.2節(jié)定理2,大家從方差揭示問題的實(shí)際意義容易接受這一點(diǎn).定理1（切比雪夫大數(shù)定律）

設(shè)X1,X2,…,Xn是相互獨(dú)立隨機(jī)變量序列,它們有相同的期望與方差,即

結(jié)合切比雪夫不等式,先從概率論中最重要也最基本的切比雪夫定律開始:定理表明n個(gè)隨機(jī)變量的算術(shù)平均當(dāng)n無限增大時(shí)幾乎變成一個(gè)常數(shù).

本節(jié)只介紹三個(gè)最著名的大數(shù)定律.

2.

大數(shù)定律證由于則對(duì)任意的ε>0,有由切比雪夫不等式知并注意到概率不能大于1,即得

Chebyschev大數(shù)定律給出了算術(shù)平均穩(wěn)定性的科學(xué)描述.

講評(píng)

該定理表明:對(duì)于任意的正數(shù),當(dāng)n充分大時(shí),不等式成立的概率很大.或者說,當(dāng)n很大時(shí),隨機(jī)變量的算術(shù)平均接近于數(shù)學(xué)期望.這種接近是在概率意義上的一種接近.我們?cè)俳榻B一個(gè)基本概念.定義設(shè)X1,X2,…,Xn是一隨機(jī)變量若存在常數(shù)a

,

對(duì)于

>0,

總有

則稱隨機(jī)變量序列{Xn}

依概率收斂于

a.

記為序列,1.在高等數(shù)學(xué)中，為確定性變量數(shù)列.

在概率論中，為隨機(jī)變量變量數(shù)列.

依概率收斂與高等數(shù)學(xué)中的數(shù)列收斂有什么區(qū)別？

2.數(shù)列收斂要求當(dāng)時(shí),就有成立，而絕不會(huì)有依概率收斂要求n充分大時(shí)，事件

發(fā)生的概率接近于1；不排除發(fā)生事件的可能性.則

連續(xù)函數(shù)保持依概率收斂性.依概率收斂的序列還有以下性質(zhì):設(shè)

且函數(shù)g(x,y)(a,b)連續(xù),在點(diǎn)定理1′(切比雪夫大數(shù)定律)

設(shè)X1,X2,…,Xn是相互獨(dú)立隨機(jī)變量序列,它們有相同的期望與方差,

則算術(shù)平均

定理表明n個(gè)隨機(jī)變量的算術(shù)平均當(dāng)n無限增大時(shí)幾乎變成一個(gè)常數(shù).

依概率收斂于數(shù)學(xué)期望μ,即

這樣，上述切比雪夫大數(shù)定律又可以敘述為:

設(shè)nA是n重伯努利試驗(yàn)中事件A發(fā)生的次數(shù),p是事件A發(fā)生的概率,則對(duì)任給的ε>0,有定理3（伯努利大數(shù)定律）伯努里或

對(duì)于頻率穩(wěn)定性的嚴(yán)格的數(shù)學(xué)意義,伯努利大數(shù)定律從理論上做了進(jìn)一步闡明.

則X

1,X2

,…,Xn

獨(dú)立,都服從參數(shù)為p的0-1分布.

證設(shè)

并有由切比雪夫大數(shù)定律得

所以

事件A發(fā)生的頻率nA/n與事件

A的概率p有較大偏差的概率很小.

Bernoulli大數(shù)定律表明,當(dāng)重復(fù)試驗(yàn)次數(shù)n充分大時(shí),

Bernoulli大數(shù)定律提供了通過試驗(yàn)來確定事件概率方法的理論依據(jù).即用頻率估計(jì)概率是合理的講評(píng)這個(gè)定理以嚴(yán)格的數(shù)學(xué)形式證明了頻率的穩(wěn)定性.就是說,當(dāng)很大時(shí),事件發(fā)生的頻率與概率有較大偏差的可能性很小.因此,在實(shí)際應(yīng)用中,當(dāng)試驗(yàn)次數(shù)很大時(shí),可以用事件發(fā)生的頻率來近似代替事件發(fā)生的概率.

下面給出的獨(dú)立同分布條件下的大數(shù)定律,它不要求隨機(jī)變量的方差存在.

設(shè)隨機(jī)變量序列X1,X2,…Xn獨(dú)立同分布,具有數(shù)學(xué)期望E(Xi)=μ,

i=1,2,…,n.則對(duì)任給的ε>0,定理4（辛欽大數(shù)定律）伯努利大數(shù)定律是辛欽大數(shù)定律的特例辛欽資料

辛欽大數(shù)定律為尋找隨機(jī)變量的期望值,提供了一條實(shí)際可行的途徑:

如果視X

i

為重復(fù)試驗(yàn)中對(duì)隨機(jī)變量X的第i

次觀察值,則當(dāng)n→

時(shí),對(duì)X的n次觀察結(jié)果的算術(shù)平均依概率收斂于X的數(shù)學(xué)期望E(X)=

.

這為在不知具體分布的情形下,取多次重復(fù)觀測(cè)的算術(shù)平均作為總體均值E(X)

的較為精確的估計(jì)提供了理論保證.講評(píng)

例如:要估計(jì)某地區(qū)的平均畝產(chǎn)量,通常做法是，收割某些有代表性的地塊,例如n塊，計(jì)算其平均畝產(chǎn)量,則當(dāng)n

較大時(shí),可用它作為整個(gè)地區(qū)平均畝產(chǎn)量的一個(gè)估計(jì)值.

例5.1.3

設(shè)隨機(jī)變量X1,X2,…,Xn

相互

獨(dú)立,且都服從參數(shù)為3的泊松分布.證明:當(dāng)n→∞時(shí),隨機(jī)變量依概率收斂于12.證由隨機(jī)變量的獨(dú)立性關(guān)系,利用3.3節(jié)定理3得到滿足獨(dú)立同分布的條件,且有相同的數(shù)學(xué)期望

講評(píng)本題考查大數(shù)定律:一組相互獨(dú)立、同分布、同期望的隨機(jī)變量,其算術(shù)平均依概率收斂于其數(shù)學(xué)期望的算術(shù)平均值:

(i=1,2,…,n).

收斂于

依概率

根據(jù)辛欽大數(shù)定律(5.1.5)式有,

(1)為什么能以某事件發(fā)生的頻率作為該事件的概率的近似值？提出問題：

(2)為什么能以隨機(jī)變量的算術(shù)平均或樣本均值作為總體期望(或說均值)的估計(jì)？

5.1.4

內(nèi)容小結(jié)伯努利大數(shù)定律以嚴(yán)格的數(shù)學(xué)形式揭示了頻率與概率之間最根本的性質(zhì)之一.切比雪夫大數(shù)定律和辛欽大數(shù)定律以嚴(yán)格的數(shù)學(xué)形式揭示了樣本平均與總體平均之間的關(guān)系.解決問題切比雪夫П.Л.Чебышев,1821—1894），俄羅斯數(shù)學(xué)家，彼得堡大學(xué)教授，彼得堡科學(xué)院院士，

大數(shù)定律的創(chuàng)建人之一.英語譯為Tchebyshev.

辛欽（А.Я.Хичин，1894—1959），俄羅斯人，著名現(xiàn)代數(shù)學(xué)家，前蘇聯(lián)科學(xué)院通訊院士，莫斯科大學(xué)教授，在函數(shù)論、數(shù)論和概率論方面有諸多成就.

辛欽第五章大數(shù)定律和中心極限定理5.2中心極限定理5.2中心極限定理第五章大數(shù)定律和中心極限定理

內(nèi)容摘要：中心極限定理是概率論中最著名的結(jié)果之一,它不僅提供了計(jì)算獨(dú)立隨機(jī)變量之和的近似概率的方法,而且有助于解釋為什么很多自然現(xiàn)象的統(tǒng)計(jì)規(guī)律服從正態(tài)分布這一值得注意的重大事實(shí).

(1)為什么正態(tài)分布在概率論中占有極其重要的地位？(3)大樣本統(tǒng)計(jì)推斷的理論基礎(chǔ)是什么？5.2.2

預(yù)備知識(shí)(2)隨機(jī)變量之和的分布是什么？5.2.1提出問題

隨機(jī)事件的概率，隨機(jī)變量的均值、方差.

在實(shí)際問題中,常常需要考慮許多隨機(jī)因素所產(chǎn)生的總影響.

這些隨機(jī)因素是相互獨(dú)立的,

而其中每一個(gè)個(gè)別因素所起的作用都是微小的.

這種量一般都服從或近似服從正態(tài)分布.5.2.3

分析問題

例如,炮彈射擊的落彈著點(diǎn)與目標(biāo)的偏差,就受著許多隨機(jī)因素的影響.如瞄準(zhǔn)時(shí)的誤差，空氣阻力所產(chǎn)生的誤差，炮彈或炮身結(jié)構(gòu)所引起的誤差等.

例如，開展物理試驗(yàn)實(shí)驗(yàn)所出現(xiàn)的測(cè)量誤差，等等.對(duì)我們來說重要的是這些隨機(jī)因素的總影響.

現(xiàn)在我們就來研究獨(dú)立隨機(jī)變量之和所特有的規(guī)律性問題，解決“總影響”的概率分布問題.

一般情況下,很難求出

X1+X2+

…+Xn

分布的確切形式

,

但當(dāng)n很大時(shí),可以求出這個(gè)和的近似分布.

當(dāng)n無限增大時(shí),這個(gè)和的極限分布是什么呢？一般情況下它服從正態(tài)分布．在什么條件下極限分布會(huì)是正態(tài)

分布的呢？

我們把在一定條件下,隨機(jī)變量和的分布收斂于正態(tài)分布這一類定理都叫做中心極限定理.本節(jié)只介紹三個(gè)常用的中心極限定理.

5.2.4

建立理論

的標(biāo)準(zhǔn)化變量則隨機(jī)變量之和設(shè)X1,X2,…,Xn是獨(dú)立同分布的隨機(jī)變量

序列,且E(Xi)=,D(Xi)=,i=1,2,…,n，1.獨(dú)立同分布中心極限定理定理1（獨(dú)立同分布中心極限定理）

這個(gè)定理通常也稱為列維-林德伯格(Levy-Lindeberg)中心極限定理.的分布函數(shù)，對(duì)于任意x滿足證明略.(2.1)這個(gè)定理說明了以下4種概率分布形式：

(2.2)(1)對(duì)于均值為μ

,方差為

的獨(dú)立同分布（不管服從什么分布）的隨機(jī)變量的和的標(biāo)準(zhǔn)化隨機(jī)變量,當(dāng)充分大時(shí),近似成立：(2)

對(duì)上式變形得到，隨機(jī)變量和(即隨機(jī)變量的總影響)近似成立：(2.3)將(5.2.2)式左端改寫成這樣,上述結(jié)果可寫成另外兩種常用的形式:

(3)

隨機(jī)變量的算術(shù)平均的標(biāo)準(zhǔn)化近似成立：(2.4)(4)

對(duì)上式變形得到，隨機(jī)變量的算術(shù)平均近似成立：(2.5)這是獨(dú)立同分布中心極限定理結(jié)果的另一個(gè)形式.這一結(jié)果是數(shù)理統(tǒng)計(jì)中大樣本統(tǒng)計(jì)推斷的理論基礎(chǔ).5.2.5

方法應(yīng)用

例5.2.1設(shè)各零件的重量都是隨機(jī)變量,它們相互獨(dú)立,

且服從相同的分布,其數(shù)學(xué)期望為0.5kg,

均方差為0.1kg,

問5000只零件的總重量超過2510kg的概率是多少？

解設(shè)Xi表示第i只零件的重量,則E(Xi)=0.5,D(Xi)=0.1.

于是5000只零件的總重量

X=.

例5.2.2

一生產(chǎn)線生產(chǎn)的產(chǎn)品成箱包裝,每箱的重量是隨機(jī)的.假設(shè)每箱平均重50千克,標(biāo)準(zhǔn)差為5千克.若用最大載重量為5噸的汽車承運(yùn),試?yán)弥行臉O限定理說明:每輛車最多可以裝多少箱,才能保證不超載的概率大于0.977(已知Φ(2)=0.977).

所以由獨(dú)立同分布中心極限定理知,解n

是所求箱數(shù).由條件可以把X1,X2,…,Xn視為獨(dú)立同分布隨機(jī)變量,而n箱的總重量

以裝運(yùn)的第i箱的重量(單位:千克),Tn=X1+X2+…+Xn

是獨(dú)立同分布隨機(jī)變量之和.由條件知E(Xi)=50,=5,根據(jù)獨(dú)立同分布中心極限定理(2.3)式,Tn近似服從正態(tài)分布N(50n,25n).由題設(shè)條件,應(yīng)滿足得E(Tn)=50n,=5 .解得n＜98.0199,即每輛車最多可以裝98箱.

根據(jù)分布函數(shù)Φ(x)的單調(diào)遞增性,有

講評(píng)

上述例題均是從不同角度考察獨(dú)立同分布中心極限定理的應(yīng)用問題,如在例5.2.3中將各箱重量視為獨(dú)立同分布的隨機(jī)變量,利用獨(dú)立同分布中心極限定理作隨機(jī)變量和的正態(tài)分布近似計(jì)算.

下面介紹另一個(gè)中心極限定理,它是定理1的特殊情況.定理2（棣莫佛－拉普拉斯定理）獨(dú)立同分布中心極限定理的特例

設(shè)隨機(jī)變量ηn

服從參數(shù)為n,p(0<p<1)的二項(xiàng)分布,則對(duì)任意的

x,有正態(tài)分布是二項(xiàng)分布的極限分布2.棣莫佛－拉普拉斯定理（2.7）棣莫佛－拉普拉斯資料

可分解成為n個(gè)相互獨(dú)立且都服從同一0-1分布的隨機(jī)變量之和,證即有

由于

由定理1得

其中Xk的分布律為此定理的常用形式是：ηn～B(n,p),（2.8）若則

講評(píng)

(1)這個(gè)定理表明,正態(tài)分布是二項(xiàng)分布的極限分布,當(dāng)n充分大時(shí),我們可以利用(5.2.7)式來計(jì)算二項(xiàng)分布的概率.(2)注意，二項(xiàng)分布也以泊松分布為極限分布.但當(dāng)n較大p較小時(shí),泊松定理比中心極限定理更精確一些.例5.2.3

用中心極限定理再計(jì)算例2.2.3問題(1)：在次品率為0.04的

100件產(chǎn)品中，求這批產(chǎn)品中不少于4件次品的概率.用X表示100件產(chǎn)品中的次品數(shù),則解利用二項(xiàng)分布概率公式計(jì)算得到

P{4≤X≤100}≈0.570

5.用泊松定理計(jì)算

P{4≤X≤100}