概率論 大數(shù)定律與中心極限定理

第五章

大數(shù)定律與中心極限定理

§5.1大數(shù)定律

(Largenumberlaw)§5.2中心極限定理

(CentralLimitTheorem)

本章要解決的問題

為何能以某事件發(fā)生的頻率作為該事件的概率的估計(jì)？為何能以樣本均值作為總體期望的估計(jì)？為何正態(tài)分布在概率論中占有極其重要的地位？大樣本統(tǒng)計(jì)推斷的理論基礎(chǔ)是什么？答復(fù)大數(shù)定律中心極限定理

大量的隨機(jī)現(xiàn)象中平均結(jié)果的穩(wěn)定性

大數(shù)定律的客觀背景大量拋擲硬幣正面出現(xiàn)頻率字母使用頻率生產(chǎn)過程中的廢品率……幾個(gè)常見的大數(shù)定律定理1（切比雪夫大數(shù)定律）

設(shè)X1,X2,…是相互獨(dú)立的隨機(jī)變量序列，它們都有有限的方差，并且方差有共同的上界，即D(Xi)≤K，i=1,2,…，切比雪夫則對任意的ε>0，

證明切比雪夫大數(shù)定律主要的數(shù)學(xué)工具是切比雪夫不等式.

設(shè)隨機(jī)變量X有期望E(X)和方差，則對于任給>0,

切比雪夫大數(shù)定律表明，獨(dú)立隨機(jī)變量序列{Xn}，如果方差有共同的上界，則與其數(shù)學(xué)期望

偏差很小的

概率接近于1.隨機(jī)的了，取值接近于其數(shù)學(xué)期望的概率接近于1.即當(dāng)n充分大時(shí)，差不多不再是切比雪夫大數(shù)定律給出了平均值穩(wěn)定性的科學(xué)描述

作為切比雪夫大數(shù)定律的特殊情況，有下面的定理.定理2（獨(dú)立同分布下的大數(shù)定律）

設(shè)X1,X2,…是獨(dú)立同分布的隨機(jī)變量序列，且E(Xi)=，D(Xi)=，i=1,2,…,則對任給

>0,定理的意義當(dāng)

n

足夠大時(shí),算術(shù)平均值幾乎是一常數(shù).具有相同數(shù)學(xué)期望和方差的獨(dú)立r.v.序列的算術(shù)平均值依概率收斂于數(shù)學(xué)期望.算術(shù)均值數(shù)學(xué)期望近似代替可被

下面給出的貝努里大數(shù)定律，是定理2的一種特例.貝努里

設(shè)Sn是n重貝努里試驗(yàn)中事件A發(fā)生的次數(shù)，p是事件A發(fā)生的概率，引入i=1,2,…,n則是事件A發(fā)生的頻率

于是有下面的定理：

設(shè)Sn是n重貝努里試驗(yàn)中事件A發(fā)生的次數(shù)，p是事件A發(fā)生的概率，則對任給的ε>0，定理3（貝努里大數(shù)定律）或貝努里

貝努里大數(shù)定律表明，當(dāng)重復(fù)試驗(yàn)次數(shù)n充分大時(shí)，事件A發(fā)生的頻率Sn/n與事件A的概率p有較大偏差的概率很小.

貝努里大數(shù)定律提供了通過試驗(yàn)來確定事件概率的方法.任給ε>0，在概率的統(tǒng)計(jì)定義中,事件A

發(fā)生的頻率“穩(wěn)定于”事件A在一次試驗(yàn)中發(fā)生的概率是指：頻率與

p

有較大偏差是小概率事件,因而在n

足夠大時(shí),可以用頻率近似代替p.這種穩(wěn)定稱為依概率穩(wěn)定.貝努里(Bernoulli)大數(shù)定律的意義定義a

是一常數(shù)，(或則稱r.v.序列依概率收斂于常數(shù)a,記作故是一系列r.v.設(shè)有若

在Bernoulli定理的證明過程中，Yn

是相互獨(dú)立的服從(0,1)分布的r.v.序列{Xk}的算術(shù)平均值,Yn

依概率收斂于其數(shù)學(xué)期望

p.

結(jié)果同樣適用于服從其它分布的獨(dú)立r.v.序列蒲豐投針問題中解法的理論依據(jù)就是大數(shù)定律

當(dāng)投針次數(shù)n很大時(shí)，用針與線相交的頻率m/n近似針與線相交的概率p，從而求得π的近似值.針長L線距a下面給出的獨(dú)立同分布下的大數(shù)定律，不要求隨機(jī)變量的方差存在.

設(shè)隨機(jī)變量序列X1,X2,…獨(dú)立同分布，具有有限的數(shù)學(xué)期E(Xi)=μ,i=1,2,…，則對任給ε>0，定理3（辛欽大數(shù)定律）辛欽

辛欽大數(shù)定律為尋找隨機(jī)變量的期望值提供了一條實(shí)際可行的途徑.

例如要估計(jì)某地區(qū)的平均畝產(chǎn)量，要收割某些有代表性的地塊，例如n塊.計(jì)算其平均畝產(chǎn)量，則當(dāng)n

較大時(shí)，可用它作為整個(gè)地區(qū)平均畝產(chǎn)量的一個(gè)估計(jì).

下面我們再舉一例說明大數(shù)定律的應(yīng)用.定積分的概率計(jì)算法求的值

我們介紹均值法，步驟是1)產(chǎn)生在(0,1)上均勻分布的隨機(jī)數(shù)rn,2)計(jì)算g(rn)，n=1,2,…,Nn=1,2,…,N即3)用平均值近似積分值求的值因此，當(dāng)N充分大時(shí)，

原理是什么呢？設(shè)X~U(0,1)由大數(shù)定律這一講我們介紹了大數(shù)定律

大數(shù)定律以嚴(yán)格的數(shù)學(xué)形式表達(dá)了隨機(jī)現(xiàn)象最根本的性質(zhì)之一：它是隨機(jī)現(xiàn)象統(tǒng)計(jì)規(guī)律的具體表現(xiàn).大數(shù)定律在理論和實(shí)際中都有廣泛的應(yīng)用.平均結(jié)果的穩(wěn)定性

本講首先介紹了幾個(gè)大數(shù)定律：切比雪夫大數(shù)定律（獨(dú)立同分布下的大數(shù)定律），貝努里大數(shù)定律和辛欽大數(shù)定律。

切比雪夫大數(shù)定律主要結(jié)論如下:貝努里大數(shù)定律是切比雪夫大數(shù)定律的特例:設(shè)nA是

n重貝努里試驗(yàn)中事件A發(fā)生的頻數(shù),

p

是A發(fā)生的概率，對任給的ε>0，有辛欽大數(shù)定律條件較寬：

設(shè)隨機(jī)變量序列X1,X2,…獨(dú)立同分布，有有限的數(shù)學(xué)期E(Xi)=μ,

i=1,2,…，則對任給ε

>

0，有

其后介紹了兩個(gè)中心極限定理:列維—林德伯格定理和棣莫佛—拉普拉斯定理。

棣莫佛

—

拉普拉斯定理的內(nèi)容是：當(dāng)n很大時(shí)，二項(xiàng)分布可用正態(tài)分布近似。列維—林德伯格定理的內(nèi)容是：獨(dú)立同分布隨機(jī)變量之和標(biāo)準(zhǔn)化之后的極限分布是標(biāo)準(zhǔn)正態(tài)分布；§5.2中心極限定理

(CentralLimitTheorem)

中心極限定理是棣莫弗(DeMoivre)在18世紀(jì)首先提出的，到現(xiàn)在內(nèi)容已十分豐富。在這里，我們只介紹其中兩個(gè)最基本的結(jié)論。當(dāng)

n

無限增大時(shí)，獨(dú)立同分布隨機(jī)變量之和的極限分布是正態(tài)分布；2.當(dāng)

n很大時(shí)，二項(xiàng)分布可用正態(tài)分布近似。為何正態(tài)分布在概率論中占有極其重要的地位？大樣本統(tǒng)計(jì)推斷的理論基礎(chǔ)是什么？§5.2定理一林德伯格-列維中心極限定理[獨(dú)立同分布的中心極限定理]定理二棣莫弗-拉普拉斯中心極限定理[二項(xiàng)分布以正態(tài)分布為極限分布](Lindberg-levy)(DeMoivre-Laplace)

客觀背景:

在實(shí)際問題中，常常需要考慮許多隨機(jī)因素所產(chǎn)生總影響.例如：炮彈射擊的落點(diǎn)與目標(biāo)的偏差，就受著許多隨機(jī)因素的影響.

空氣阻力所產(chǎn)生的誤差，對我們來說重要的是這些隨機(jī)因素的總影響.如：瞄準(zhǔn)時(shí)的誤差，炮彈或炮身結(jié)構(gòu)所引起的誤差等等.內(nèi)容：獨(dú)立的隨機(jī)變量之和的特性.

?當(dāng)n無限增大時(shí)，這個(gè)和的極限分布是什么？?

在什么條件下，極限分布會(huì)是正態(tài)分布的呢？一個(gè)量由大量獨(dú)立的隨機(jī)因素組成個(gè)別因素在總影響中所起的作用不大則這種量一般都（近似）服從正態(tài)分布.高斯指出：測量誤差服從正態(tài)分布人們發(fā)現(xiàn)：正態(tài)分布極為常見.

雖然在一般情況下，我們很難求出X1+X2+…+Xn

的分布的確切形式，但當(dāng)n很大時(shí)，可以求出近似分布.請看演示中心極限定理的直觀演示U兩點(diǎn)分布(Two-point

distribution)

隨著n的增大,分布如何變化？中心極限定理的直觀演示的概率分布n=1的概率分布n=3的概率分布n=5的概率分布n=8的概率分布n=20的概率分布n=50的概率分布n=90的概率分布n=150的概率分布n=180的概率分布n=200的概率分布n=200兩點(diǎn)分布之和正態(tài)分布

由于無窮個(gè)隨機(jī)變量之和可能趨于∞，故我們研究n個(gè)隨機(jī)變量之和的標(biāo)準(zhǔn)化:若~N(0,1)

若X～N(0,1),§5.2定理一林德伯格-列維中心極限定理[獨(dú)立同分布的中心極限定理](Lindberg-levy)當(dāng)

n

無限增大時(shí)，獨(dú)立同分布隨機(jī)變量之和的極限分布是正態(tài)分布；定理1（獨(dú)立同分布的中心極限定理）設(shè)X1,X2,…是獨(dú)立同分布的隨機(jī)變量序列，且E(Xi)=，D(Xi)=，i=1,2,…，則近似近似服從

它表明，當(dāng)n充分大時(shí)，n個(gè)具有期望和方差的獨(dú)立同分布的r.v之和近似服從正態(tài)分布.定理二棣莫弗-拉普拉斯中心極限定理[二項(xiàng)分布以正態(tài)分布為極限分布](DeMoivre-Laplace)2.當(dāng)

n很大時(shí)，二項(xiàng)分布可用正態(tài)分布近似。定理(棣莫佛－拉普拉斯定理）

設(shè)隨機(jī)變量服從參數(shù)n,p(0<p<1)的二項(xiàng)分布，則對任意x，有Yn

~N(np,np(1-p))(近似)例1：設(shè)一批產(chǎn)品的強(qiáng)度服從期望為14,方差為4的分布。每箱中裝有這種產(chǎn)品100件。求(1).每箱產(chǎn)品的平均強(qiáng)度超過14.5的概率；(2).每箱產(chǎn)品的平均強(qiáng)度超過期望14的概率。解：n=100,設(shè)

Xi是第

i件產(chǎn)品的強(qiáng)度，則

E(Xi)=14,Var(Xi)=4,i=1,2,…,100。每箱產(chǎn)品的平均強(qiáng)度為根據(jù)定理1，有μσ2/n例2：某公司有200名員工參加一種資格證書考試。按往年經(jīng)驗(yàn)，考試通過率為0.8。試計(jì)算這200名員工至少有150人考試通過的概率。解:

令

依題設(shè)，知P{Xi=1

}=0.8,np=200×0.8=160，np(1-p)=32，X1+X2+…+X200

是考試通過人數(shù),因Xi滿足棣莫佛—拉普拉斯定理的條件，故依此定理，近似地有于是中心極限定理的應(yīng)用應(yīng)用1

根據(jù)以往經(jīng)驗(yàn)，某種電器元件的壽命服從均值為100小時(shí)的指數(shù)分布.現(xiàn)隨機(jī)地取16只，設(shè)它們的壽命是相互獨(dú)立的.求這16只元件的壽命的總和大于1920小時(shí)的概率.應(yīng)用1由題給條件知,諸Xi獨(dú)立,16只元件的壽命的總和為解:設(shè)第i只元件的壽命為Xi,i=1,2,…,16E(Xi)=100,D(Xi)=10000依題意，所求為P(Y>1920)由于E(Y)=1600,D(Y)=160000由中心極限定理,近似N(0,1)P(Y>1920)=1-P(Y

1920)=1-

(0.8)1-=1-0.7881=0.2119應(yīng)用2.

(供電問題)

某車間有200臺(tái)車床,在生產(chǎn)期間由于需要檢修、調(diào)換刀具、變換位置及調(diào)換工件等常需停車.設(shè)開工率為0.6,并設(shè)每臺(tái)車床的工作是獨(dú)立的，且在開工時(shí)需電力1千瓦.問應(yīng)供應(yīng)多少電力能以99.9%的概率保證該車間不會(huì)因供電不足而影響生產(chǎn)?用X表示在某時(shí)刻工作著的車床數(shù)，解：依題意，X~B(200,0.6),現(xiàn)在的問題是：P(X≤N)≥0.999的最小的N.求滿足設(shè)需N千瓦電力，

由德莫佛-拉普拉斯極限定理近似N(0,1),于是P(X≤N)=P(0≤X≤N)這里

np=120,np(1-p)=48由3σ準(zhǔn)則，此項(xiàng)為0。查正態(tài)分布函數(shù)表得由≥0.999，從中解得N≥141.5,即所求N=142.

也就是說,應(yīng)供應(yīng)142千瓦電力就能以99.9%的概率保證該車間不會(huì)因供電不足而影響生產(chǎn).≥3.1,故應(yīng)用3

在一個(gè)罐子中