概率論 大數(shù)定律與中心極限定理

第五章

大數(shù)定律與中心極限定理

§5.1大數(shù)定律

(Largenumberlaw)§5.2中心極限定理

(CentralLimitTheorem)

本章要解決的問題

為何能以某事件發(fā)生的頻率作為該事件的概率的估計？為何能以樣本均值作為總體期望的估計？為何正態(tài)分布在概率論中占有極其重要的地位？大樣本統(tǒng)計推斷的理論基礎是什么？答復大數(shù)定律中心極限定理

大量的隨機現(xiàn)象中平均結果的穩(wěn)定性

大數(shù)定律的客觀背景大量拋擲硬幣正面出現(xiàn)頻率字母使用頻率生產過程中的廢品率……幾個常見的大數(shù)定律定理1（切比雪夫大數(shù)定律）

設X1,X2,…是相互獨立的隨機變量序列，它們都有有限的方差，并且方差有共同的上界，即D(Xi)≤K，i=1,2,…，切比雪夫則對任意的ε>0，

證明切比雪夫大數(shù)定律主要的數(shù)學工具是切比雪夫不等式.

設隨機變量X有期望E(X)和方差，則對于任給>0,

切比雪夫大數(shù)定律表明，獨立隨機變量序列{Xn}，如果方差有共同的上界，則與其數(shù)學期望

偏差很小的

概率接近于1.隨機的了，取值接近于其數(shù)學期望的概率接近于1.即當n充分大時，差不多不再是切比雪夫大數(shù)定律給出了平均值穩(wěn)定性的科學描述

作為切比雪夫大數(shù)定律的特殊情況，有下面的定理.定理2（獨立同分布下的大數(shù)定律）

設X1,X2,…是獨立同分布的隨機變量序列，且E(Xi)=，D(Xi)=，i=1,2,…,則對任給

>0,定理的意義當

n

足夠大時,算術平均值幾乎是一常數(shù).具有相同數(shù)學期望和方差的獨立r.v.序列的算術平均值依概率收斂于數(shù)學期望.算術均值數(shù)學期望近似代替可被

下面給出的貝努里大數(shù)定律，是定理2的一種特例.貝努里

設Sn是n重貝努里試驗中事件A發(fā)生的次數(shù)，p是事件A發(fā)生的概率，引入i=1,2,…,n則是事件A發(fā)生的頻率

于是有下面的定理：

設Sn是n重貝努里試驗中事件A發(fā)生的次數(shù)，p是事件A發(fā)生的概率，則對任給的ε>0，定理3（貝努里大數(shù)定律）或貝努里

貝努里大數(shù)定律表明，當重復試驗次數(shù)n充分大時，事件A發(fā)生的頻率Sn/n與事件A的概率p有較大偏差的概率很小.

貝努里大數(shù)定律提供了通過試驗來確定事件概率的方法.任給ε>0，在概率的統(tǒng)計定義中,事件A

發(fā)生的頻率“穩(wěn)定于”事件A在一次試驗中發(fā)生的概率是指：頻率與

p

有較大偏差是小概率事件,因而在n

足夠大時,可以用頻率近似代替p.這種穩(wěn)定稱為依概率穩(wěn)定.貝努里(Bernoulli)大數(shù)定律的意義定義a

是一常數(shù)，(或則稱r.v.序列依概率收斂于常數(shù)a,記作故是一系列r.v.設有若

在Bernoulli定理的證明過程中，Yn

是相互獨立的服從(0,1)分布的r.v.序列{Xk}的算術平均值,Yn

依概率收斂于其數(shù)學期望

p.

結果同樣適用于服從其它分布的獨立r.v.序列蒲豐投針問題中解法的理論依據(jù)就是大數(shù)定律

當投針次數(shù)n很大時，用針與線相交的頻率m/n近似針與線相交的概率p，從而求得π的近似值.針長L線距a下面給出的獨立同分布下的大數(shù)定律，不要求隨機變量的方差存在.

設隨機變量序列X1,X2,…獨立同分布，具有有限的數(shù)學期E(Xi)=μ,i=1,2,…，則對任給ε>0，定理3（辛欽大數(shù)定律）辛欽

辛欽大數(shù)定律為尋找隨機變量的期望值提供了一條實際可行的途徑.

例如要估計某地區(qū)的平均畝產量，要收割某些有代表性的地塊，例如n塊.計算其平均畝產量，則當n

較大時，可用它作為整個地區(qū)平均畝產量的一個估計.

下面我們再舉一例說明大數(shù)定律的應用.定積分的概率計算法求的值

我們介紹均值法，步驟是1)產生在(0,1)上均勻分布的隨機數(shù)rn,2)計算g(rn)，n=1,2,…,Nn=1,2,…,N即3)用平均值近似積分值求的值因此，當N充分大時，

原理是什么呢？設X~U(0,1)由大數(shù)定律這一講我們介紹了大數(shù)定律

大數(shù)定律以嚴格的數(shù)學形式表達了隨機現(xiàn)象最根本的性質之一：它是隨機現(xiàn)象統(tǒng)計規(guī)律的具體表現(xiàn).大數(shù)定律在理論和實際中都有廣泛的應用.平均結果的穩(wěn)定性

本講首先介紹了幾個大數(shù)定律：切比雪夫大數(shù)定律（獨立同分布下的大數(shù)定律），貝努里大數(shù)定律和辛欽大數(shù)定律。

切比雪夫大數(shù)定律主要結論如下:貝努里大數(shù)定律是切比雪夫大數(shù)定律的特例:設nA是

n重貝努里試驗中事件A發(fā)生的頻數(shù),

p

是A發(fā)生的概率，對任給的ε>0，有辛欽大數(shù)定律條件較寬：

設隨機變量序列X1,X2,…獨立同分布，有有限的數(shù)學期E(Xi)=μ,

i=1,2,…，則對任給ε

>

0，有

其后介紹了兩個中心極限定理:列維—林德伯格定理和棣莫佛—拉普拉斯定理。

棣莫佛

—

拉普拉斯定理的內容是：當n很大時，二項分布可用正態(tài)分布近似。列維—林德伯格定理的內容是：獨立同分布隨機變量之和標準化之后的極限分布是標準正態(tài)分布；§5.2中心極限定理

(CentralLimitTheorem)

中心極限定理是棣莫弗(DeMoivre)在18世紀首先提出的，到現(xiàn)在內容已十分豐富。在這里，我們只介紹其中兩個最基本的結論。當

n

無限增大時，獨立同分布隨機變量之和的極限分布是正態(tài)分布；2.當

n很大時，二項分布可用正態(tài)分布近似。為何正態(tài)分布在概率論中占有極其重要的地位？大樣本統(tǒng)計推斷的理論基礎是什么？§5.2定理一林德伯格-列維中心極限定理[獨立同分布的中心極限定理]定理二棣莫弗-拉普拉斯中心極限定理[二項分布以正態(tài)分布為極限分布](Lindberg-levy)(DeMoivre-Laplace)

客觀背景:

在實際問題中，常常需要考慮許多隨機因素所產生總影響.例如：炮彈射擊的落點與目標的偏差，就受著許多隨機因素的影響.

空氣阻力所產生的誤差，對我們來說重要的是這些隨機因素的總影響.如：瞄準時的誤差，炮彈或炮身結構所引起的誤差等等.內容：獨立的隨機變量之和的特性.

?當n無限增大時，這個和的極限分布是什么？?

在什么條件下，極限分布會是正態(tài)分布的呢？一個量由大量獨立的隨機因素組成個別因素在總影響中所起的作用不大則這種量一般都（近似）服從正態(tài)分布.高斯指出：測量誤差服從正態(tài)分布人們發(fā)現(xiàn)：正態(tài)分布極為常見.

雖然在一般情況下，我們很難求出X1+X2+…+Xn

的分布的確切形式，但當n很大時，可以求出近似分布.請看演示中心極限定理的直觀演示U兩點分布(Two-point

distribution)

隨著n的增大,分布如何變化？中心極限定理的直觀演示的概率分布n=1的概率分布n=3的概率分布n=5的概率分布n=8的概率分布n=20的概率分布n=50的概率分布n=90的概率分布n=150的概率分布n=180的概率分布n=200的概率分布n=200兩點分布之和正態(tài)分布

由于無窮個隨機變量之和可能趨于∞，故我們研究n個隨機變量之和的標準化:若~N(0,1)

若X～N(0,1),§5.2定理一林德伯格-列維中心極限定理[獨立同分布的中心極限定理](Lindberg-levy)當

n

無限增大時，獨立同分布隨機變量之和的極限分布是正態(tài)分布；定理1（獨立同分布的中心極限定理）設X1,X2,…是獨立同分布的隨機變量序列，且E(Xi)=，D(Xi)=，i=1,2,…，則近似近似服從

它表明，當n充分大時，n個具有期望和方差的獨立同分布的r.v之和近似服從正態(tài)分布.定理二棣莫弗-拉普拉斯中心極限定理[二項分布以正態(tài)分布為極限分布](DeMoivre-Laplace)2.當

n很大時，二項分布可用正態(tài)分布近似。定理(棣莫佛－拉普拉斯定理）

設隨機變量服從參數(shù)n,p(0<p<1)的二項分布，則對任意x，有Yn

~N(np,np(1-p))(近似)例1：設一批產品的強度服從期望為14,方差為4的分布。每箱中裝有這種產品100件。求(1).每箱產品的平均強度超過14.5的概率；(2).每箱產品的平均強度超過期望14的概率。解：n=100,設

Xi是第

i件產品的強度，則

E(Xi)=14,Var(Xi)=4,i=1,2,…,100。每箱產品的平均強度為根據(jù)定理1，有μσ2/n例2：某公司有200名員工參加一種資格證書考試。按往年經(jīng)驗，考試通過率為0.8。試計算這200名員工至少有150人考試通過的概率。解:

令

依題設，知P{Xi=1

}=0.8,np=200×0.8=160，np(1-p)=32，X1+X2+…+X200

是考試通過人數(shù),因Xi滿足棣莫佛—拉普拉斯定理的條件，故依此定理，近似地有于是中心極限定理的應用應用1

根據(jù)以往經(jīng)驗，某種電器元件的壽命服從均值為100小時的指數(shù)分布.現(xiàn)隨機地取16只，設它們的壽命是相互獨立的.求這16只元件的壽命的總和大于1920小時的概率.應用1由題給條件知,諸Xi獨立,16只元件的壽命的總和為解:設第i只元件的壽命為Xi,i=1,2,…,16E(Xi)=100,D(Xi)=10000依題意，所求為P(Y>1920)由于E(Y)=1600,D(Y)=160000由中心極限定理,近似N(0,1)P(Y>1920)=1-P(Y

1920)=1-

(0.8)1-=1-0.7881=0.2119應用2.

(供電問題)

某車間有200臺車床,在生產期間由于需要檢修、調換刀具、變換位置及調換工件等常需停車.設開工率為0.6,并設每臺車床的工作是獨立的，且在開工時需電力1千瓦.問應供應多少電力能以99.9%的概率保證該車間不會因供電不足而影響生產?用X表示在某時刻工作著的車床數(shù)，解：依題意，X~B(200,0.6),現(xiàn)在的問題是：P(X≤N)≥0.999的最小的N.求滿足設需N千瓦電力，

由德莫佛-拉普拉斯極限定理近似N(0,1),于是P(X≤N)=P(0≤X≤N)這里

np=120,np(1-p)=48由3σ準則，此項為0。查正態(tài)分布函數(shù)表得由≥0.999，從中解得N≥141.5,即所求N=142.

也就是說,應供應142千瓦電力就能以99.9%的概率保證該車間不會因供電不足而影響生產.≥3.1,故應用3

在一個罐子中