概率論 大數(shù)定律與中心極限定理

第五章

大數(shù)定律與中心極限定理

§5.1大數(shù)定律

(Largenumberlaw)§5.2中心極限定理

(CentralLimitTheorem)

本章要解決的問題

為何能以某事件發(fā)生的頻率作為該事件的概率的估計？為何能以樣本均值作為總體期望的估計？為何正態(tài)分布在概率論中占有極其重要的地位？大樣本統(tǒng)計推斷的理論基礎(chǔ)是什么？答復(fù)大數(shù)定律中心極限定理

大量的隨機現(xiàn)象中平均結(jié)果的穩(wěn)定性

大數(shù)定律的客觀背景大量拋擲硬幣正面出現(xiàn)頻率字母使用頻率生產(chǎn)過程中的廢品率……幾個常見的大數(shù)定律定理1（切比雪夫大數(shù)定律）

設(shè)X1,X2,…是相互獨立的隨機變量序列，它們都有有限的方差，并且方差有共同的上界，即D(Xi)≤K，i=1,2,…，切比雪夫則對任意的ε>0，

證明切比雪夫大數(shù)定律主要的數(shù)學(xué)工具是切比雪夫不等式.

設(shè)隨機變量X有期望E(X)和方差，則對于任給>0,

切比雪夫大數(shù)定律表明，獨立隨機變量序列{Xn}，如果方差有共同的上界，則與其數(shù)學(xué)期望

偏差很小的

概率接近于1.隨機的了，取值接近于其數(shù)學(xué)期望的概率接近于1.即當(dāng)n充分大時，差不多不再是切比雪夫大數(shù)定律給出了平均值穩(wěn)定性的科學(xué)描述

作為切比雪夫大數(shù)定律的特殊情況，有下面的定理.定理2（獨立同分布下的大數(shù)定律）

設(shè)X1,X2,…是獨立同分布的隨機變量序列，且E(Xi)=，D(Xi)=，i=1,2,…,則對任給

>0,定理的意義當(dāng)

n

足夠大時,算術(shù)平均值幾乎是一常數(shù).具有相同數(shù)學(xué)期望和方差的獨立r.v.序列的算術(shù)平均值依概率收斂于數(shù)學(xué)期望.算術(shù)均值數(shù)學(xué)期望近似代替可被

下面給出的貝努里大數(shù)定律，是定理2的一種特例.貝努里

設(shè)Sn是n重貝努里試驗中事件A發(fā)生的次數(shù)，p是事件A發(fā)生的概率，引入i=1,2,…,n則是事件A發(fā)生的頻率

于是有下面的定理：

設(shè)Sn是n重貝努里試驗中事件A發(fā)生的次數(shù)，p是事件A發(fā)生的概率，則對任給的ε>0，定理3（貝努里大數(shù)定律）或貝努里

貝努里大數(shù)定律表明，當(dāng)重復(fù)試驗次數(shù)n充分大時，事件A發(fā)生的頻率Sn/n與事件A的概率p有較大偏差的概率很小.

貝努里大數(shù)定律提供了通過試驗來確定事件概率的方法.任給ε>0，在概率的統(tǒng)計定義中,事件A

發(fā)生的頻率“穩(wěn)定于”事件A在一次試驗中發(fā)生的概率是指：頻率與

p

有較大偏差是小概率事件,因而在n

足夠大時,可以用頻率近似代替p.這種穩(wěn)定稱為依概率穩(wěn)定.貝努里(Bernoulli)大數(shù)定律的意義定義a

是一常數(shù)，(或則稱r.v.序列依概率收斂于常數(shù)a,記作故是一系列r.v.設(shè)有若

在Bernoulli定理的證明過程中，Yn

是相互獨立的服從(0,1)分布的r.v.序列{Xk}的算術(shù)平均值,Yn

依概率收斂于其數(shù)學(xué)期望

p.

結(jié)果同樣適用于服從其它分布的獨立r.v.序列蒲豐投針問題中解法的理論依據(jù)就是大數(shù)定律

當(dāng)投針次數(shù)n很大時，用針與線相交的頻率m/n近似針與線相交的概率p，從而求得π的近似值.針長L線距a下面給出的獨立同分布下的大數(shù)定律，不要求隨機變量的方差存在.

設(shè)隨機變量序列X1,X2,…獨立同分布，具有有限的數(shù)學(xué)期E(Xi)=μ,i=1,2,…，則對任給ε>0，定理3（辛欽大數(shù)定律）辛欽

辛欽大數(shù)定律為尋找隨機變量的期望值提供了一條實際可行的途徑.

例如要估計某地區(qū)的平均畝產(chǎn)量，要收割某些有代表性的地塊，例如n塊.計算其平均畝產(chǎn)量，則當(dāng)n

較大時，可用它作為整個地區(qū)平均畝產(chǎn)量的一個估計.

下面我們再舉一例說明大數(shù)定律的應(yīng)用.定積分的概率計算法求的值

我們介紹均值法，步驟是1)產(chǎn)生在(0,1)上均勻分布的隨機數(shù)rn,2)計算g(rn)，n=1,2,…,Nn=1,2,…,N即3)用平均值近似積分值求的值因此，當(dāng)N充分大時，

原理是什么呢？設(shè)X~U(0,1)由大數(shù)定律這一講我們介紹了大數(shù)定律

大數(shù)定律以嚴(yán)格的數(shù)學(xué)形式表達了隨機現(xiàn)象最根本的性質(zhì)之一：它是隨機現(xiàn)象統(tǒng)計規(guī)律的具體表現(xiàn).大數(shù)定律在理論和實際中都有廣泛的應(yīng)用.平均結(jié)果的穩(wěn)定性

本講首先介紹了幾個大數(shù)定律：切比雪夫大數(shù)定律（獨立同分布下的大數(shù)定律），貝努里大數(shù)定律和辛欽大數(shù)定律。

切比雪夫大數(shù)定律主要結(jié)論如下:貝努里大數(shù)定律是切比雪夫大數(shù)定律的特例:設(shè)nA是

n重貝努里試驗中事件A發(fā)生的頻數(shù),

p

是A發(fā)生的概率，對任給的ε>0，有辛欽大數(shù)定律條件較寬：

設(shè)隨機變量序列X1,X2,…獨立同分布，有有限的數(shù)學(xué)期E(Xi)=μ,

i=1,2,…，則對任給ε

>

0，有

其后介紹了兩個中心極限定理:列維—林德伯格定理和棣莫佛—拉普拉斯定理。

棣莫佛

—

拉普拉斯定理的內(nèi)容是：當(dāng)n很大時，二項分布可用正態(tài)分布近似。列維—林德伯格定理的內(nèi)容是：獨立同分布隨機變量之和標(biāo)準(zhǔn)化之后的極限分布是標(biāo)準(zhǔn)正態(tài)分布；§5.2中心極限定理

(CentralLimitTheorem)

中心極限定理是棣莫弗(DeMoivre)在18世紀(jì)首先提出的，到現(xiàn)在內(nèi)容已十分豐富。在這里，我們只介紹其中兩個最基本的結(jié)論。當(dāng)

n

無限增大時，獨立同分布隨機變量之和的極限分布是正態(tài)分布；2.當(dāng)

n很大時，二項分布可用正態(tài)分布近似。為何正態(tài)分布在概率論中占有極其重要的地位？大樣本統(tǒng)計推斷的理論基礎(chǔ)是什么？§5.2定理一林德伯格-列維中心極限定理[獨立同分布的中心極限定理]定理二棣莫弗-拉普拉斯中心極限定理[二項分布以正態(tài)分布為極限分布](Lindberg-levy)(DeMoivre-Laplace)

客觀背景:

在實際問題中，常常需要考慮許多隨機因素所產(chǎn)生總影響.例如：炮彈射擊的落點與目標(biāo)的偏差，就受著許多隨機因素的影響.

空氣阻力所產(chǎn)生的誤差，對我們來說重要的是這些隨機因素的總影響.如：瞄準(zhǔn)時的誤差，炮彈或炮身結(jié)構(gòu)所引起的誤差等等.內(nèi)容：獨立的隨機變量之和的特性.

?當(dāng)n無限增大時，這個和的極限分布是什么？?

在什么條件下，極限分布會是正態(tài)分布的呢？一個量由大量獨立的隨機因素組成個別因素在總影響中所起的作用不大則這種量一般都（近似）服從正態(tài)分布.高斯指出：測量誤差服從正態(tài)分布人們發(fā)現(xiàn)：正態(tài)分布極為常見.

雖然在一般情況下，我們很難求出X1+X2+…+Xn

的分布的確切形式，但當(dāng)n很大時，可以求出近似分布.請看演示中心極限定理的直觀演示U兩點分布(Two-point

distribution)

隨著n的增大,分布如何變化？中心極限定理的直觀演示的概率分布n=1的概率分布n=3的概率分布n=5的概率分布n=8的概率分布n=20的概率分布n=50的概率分布n=90的概率分布n=150的概率分布n=180的概率分布n=200的概率分布n=200兩點分布之和正態(tài)分布

由于無窮個隨機變量之和可能趨于∞，故我們研究n個隨機變量之和的標(biāo)準(zhǔn)化:若~N(0,1)

若X～N(0,1),§5.2定理一林德伯格-列維中心極限定理[獨立同分布的中心極限定理](Lindberg-levy)當(dāng)

n

無限增大時，獨立同分布隨機變量之和的極限分布是正態(tài)分布；定理1（獨立同分布的中心極限定理）設(shè)X1,X2,…是獨立同分布的隨機變量序列，且E(Xi)=，D(Xi)=，i=1,2,…，則近似近似服從

它表明，當(dāng)n充分大時，n個具有期望和方差的獨立同分布的r.v之和近似服從正態(tài)分布.定理二棣莫弗-拉普拉斯中心極限定理[二項分布以正態(tài)分布為極限分布](DeMoivre-Laplace)2.當(dāng)

n很大時，二項分布可用正態(tài)分布近似。定理(棣莫佛－拉普拉斯定理）

設(shè)隨機變量服從參數(shù)n,p(0<p<1)的二項分布，則對任意x，有Yn

~N(np,np(1-p))(近似)例1：設(shè)一批產(chǎn)品的強度服從期望為14,方差為4的分布。每箱中裝有這種產(chǎn)品100件。求(1).每箱產(chǎn)品的平均強度超過14.5的概率；(2).每箱產(chǎn)品的平均強度超過期望14的概率。解：n=100,設(shè)

Xi是第

i件產(chǎn)品的強度，則

E(Xi)=14,Var(Xi)=4,i=1,2,…,100。每箱產(chǎn)品的平均強度為根據(jù)定理1，有μσ2/n例2：某公司有200名員工參加一種資格證書考試。按往年經(jīng)驗，考試通過率為0.8。試計算這200名員工至少有150人考試通過的概率。解:

令

依題設(shè)，知P{Xi=1

}=0.8,np=200×0.8=160，np(1-p)=32，X1+X2+…+X200

是考試通過人數(shù),因Xi滿足棣莫佛—拉普拉斯定理的條件，故依此定理，近似地有于是中心極限定理的應(yīng)用應(yīng)用1

根據(jù)以往經(jīng)驗，某種電器元件的壽命服從均值為100小時的指數(shù)分布.現(xiàn)隨機地取16只，設(shè)它們的壽命是相互獨立的.求這16只元件的壽命的總和大于1920小時的概率.應(yīng)用1由題給條件知,諸Xi獨立,16只元件的壽命的總和為解:設(shè)第i只元件的壽命為Xi,i=1,2,…,16E(Xi)=100,D(Xi)=10000依題意，所求為P(Y>1920)由于E(Y)=1600,D(Y)=160000由中心極限定理,近似N(0,1)P(Y>1920)=1-P(Y

1920)=1-

(0.8)1-=1-0.7881=0.2119應(yīng)用2.

(供電問題)

某車間有200臺車床,在生產(chǎn)期間由于需要檢修、調(diào)換刀具、變換位置及調(diào)換工件等常需停車.設(shè)開工率為0.6,并設(shè)每臺車床的工作是獨立的，且在開工時需電力1千瓦.問應(yīng)供應(yīng)多少電力能以99.9%的概率保證該車間不會因供電不足而影響生產(chǎn)?用X表示在某時刻工作著的車床數(shù)，解：依題意，X~B(200,0.6),現(xiàn)在的問題是：P(X≤N)≥0.999的最小的N.求滿足設(shè)需N千瓦電力，

由德莫佛-拉普拉斯極限定理近似N(0,1),于是P(X≤N)=P(0≤X≤N)這里

np=120,np(1-p)=48由3σ準(zhǔn)則，此項為0。查正態(tài)分布函數(shù)表得由≥0.999，從中解得N≥141.5,即所求N=142.

也就是說,應(yīng)供應(yīng)142千瓦電力就能以99.9%的概率保證該車間不會因供電不足而影響生產(chǎn).≥3.1,故應(yīng)用3

在一個罐子中