概率論與隨機(jī)過(guò)程：第五章 大數(shù)定律與中心極限定理

1、 第五章第五章大數(shù)定律與中心極限定理大數(shù)定律與中心極限定理 引言 概率論是研究隨機(jī)現(xiàn)象統(tǒng)計(jì)規(guī)律性的學(xué)科概率論是研究隨機(jī)現(xiàn)象統(tǒng)計(jì)規(guī)律性的學(xué)科. 隨機(jī)現(xiàn)象隨機(jī)現(xiàn)象的規(guī)律性只有在相同的條件下進(jìn)行的規(guī)律性只有在相同的條件下進(jìn)行大量大量重復(fù)試驗(yàn)時(shí)才會(huì)呈重復(fù)試驗(yàn)時(shí)才會(huì)呈現(xiàn)出來(lái)現(xiàn)出來(lái). 也就是說(shuō)，要從隨機(jī)現(xiàn)象中去尋求必然的法則，也就是說(shuō)，要從隨機(jī)現(xiàn)象中去尋求必然的法則，應(yīng)該研究應(yīng)該研究大量隨機(jī)現(xiàn)象大量隨機(jī)現(xiàn)象. 極限定理的內(nèi)容很廣泛，其中最重要的有兩種極限定理的內(nèi)容很廣泛，其中最重要的有兩種:與與大數(shù)定律大數(shù)定律中心極限定理中心極限定理下面我們先介紹大數(shù)定律下面我們先介紹大數(shù)定律 (1)事件發(fā)生的頻率具有穩(wěn)

2、定性，即隨著試驗(yàn)次數(shù)的增事件發(fā)生的頻率具有穩(wěn)定性，即隨著試驗(yàn)次數(shù)的增加，事件發(fā)生的頻率逐漸穩(wěn)定于某個(gè)常數(shù)。加，事件發(fā)生的頻率逐漸穩(wěn)定于某個(gè)常數(shù)。大數(shù)定律的客觀背景大數(shù)定律的客觀背景(現(xiàn)象)：大量拋擲硬幣大量拋擲硬幣正面出現(xiàn)頻率正面出現(xiàn)頻率字母使用頻率字母使用頻率生產(chǎn)過(guò)程中的生產(chǎn)過(guò)程中的廢品率廢品率一、大數(shù)定律一、大數(shù)定律(2)特別的，在實(shí)踐中人們認(rèn)識(shí)到大量測(cè)量值的算術(shù)平均特別的，在實(shí)踐中人們認(rèn)識(shí)到大量測(cè)量值的算術(shù)平均值具有穩(wěn)定性。值具有穩(wěn)定性。1.大數(shù)定律的定義 定義定義1 1 設(shè)X1,X2,Xn,為一隨機(jī)變量序列,如果對(duì)于任意正整數(shù)k(k2)及任意k個(gè)隨機(jī)變量 相互獨(dú)立，則稱隨機(jī)變量序列X1

3、,X2,Xn,相互獨(dú)立。 kiiiXXX,21定義定義2 2 設(shè)Y1，Y2，Yn，是一隨機(jī)變量序列，a是一常數(shù)，若對(duì)任意正數(shù)，有 ,則稱序列Y1，Y2，Yn，依概率收斂Y，記為 1lim YYPnn PYYn定義定義3 3 設(shè)Xn為一隨機(jī)變量序列,E(Xn)存在，記 , 2 , 111 nXEXnYniiin , 11limlim1 niiinnnXEXnPYP若若則稱Xn服從（弱）大數(shù)定律。大數(shù)定律。 2 2幾個(gè)常見的大數(shù)定律幾個(gè)常見的大數(shù)定律的定理的定理 定理定理1 1( (切比雪夫大數(shù)定理切比雪夫大數(shù)定理) ) 設(shè)X1，X2，,Xn，是相互獨(dú)立的隨機(jī)變量序列，且具有相同的數(shù)學(xué)期望與方差：

4、E(Xk k)=，D(Xk k)=2(k=1，2),則Xn服從大數(shù)定律。即對(duì)于任意正數(shù)，有 . 11limlim1 niinnnXnPYP,1)(1111 nnXEnXnEniinii由由于于切比雪夫切比雪夫 ,111111 niiniiniiinXnXnXEXnY證證： 設(shè)隨機(jī)變量設(shè)隨機(jī)變量X有期望有期望E(X)和方差和方差 ，則對(duì)于任給則對(duì)于任給 0,2 221| )(| XEXP,1)(11222121nnnXDnXnDniinii 由切比雪夫不等式對(duì)于任意正數(shù)，有 221/11 nXnPYPniin 令n，注意到概率不能大于1，即得 .11limlim1 niinnnXnPYP 作為切

5、比雪夫大數(shù)定律的特殊情況，有下面的定理作為切比雪夫大數(shù)定律的特殊情況，有下面的定理.分析分析 定理定理2(2(貝努利大數(shù)定理貝努利大數(shù)定理) ) 設(shè)nA A為n次獨(dú)立重復(fù)試驗(yàn)中事件A發(fā)生的次數(shù)。p是事件A在每次試驗(yàn)中發(fā)生的概率,則事件A的頻率依概率收斂到概率p，即對(duì)于任意正數(shù)，有 . 1lim pnnPAn 證：引入隨機(jī)變量 , 2 , 1,01 kAkAkXk不不發(fā)發(fā)生生次次實(shí)實(shí)驗(yàn)驗(yàn)中中在在第第發(fā)發(fā)生生次次實(shí)實(shí)驗(yàn)驗(yàn)中中在在第第 由于各次試驗(yàn)是獨(dú)立的。于是X1，X2，,Xn是相互獨(dú)立的；又由于Xk k服從(0-1)分布，所以E(Xk k)=p，D(Xk k)=p(1-p)，k=1，2，n，。

6、顯然: nA=X1+X2+Xn，由定理一有 11lim1 niinpXnP1lim pnnPAn即即 切比雪夫大數(shù)定理的條件可以減弱為（不要求方差存在不要求方差存在）定理定理3 3( (辛欽定理辛欽定理) ) 設(shè)隨機(jī)變量X1，X2，,Xn，相互獨(dú)立，服從同一分布，具有數(shù)學(xué)期望E(Xk k)= (k=1，2，)，則對(duì)于任意正數(shù)，有 . 11lim1 niinXnP分析分析 (1)在切比雪夫大數(shù)定理的證明過(guò)程中可以看出只要 ()， 則大數(shù)定理就能成立。這個(gè)條件稱為馬爾可夫條件。因此更一般的定理有馬爾可夫大數(shù)定理：對(duì)于隨機(jī)變量X1，X2，,Xn，若條件()成立，則對(duì)于任意0，有 0)(1lim12

7、niinXDn 111lim11 niniiinXEnXnP注釋注釋 例如要估計(jì)某地區(qū)的平均畝產(chǎn)量，要收割某些有代表例如要估計(jì)某地區(qū)的平均畝產(chǎn)量，要收割某些有代表性的地塊，例如性的地塊，例如n 塊塊. 計(jì)算其平均畝產(chǎn)量，則當(dāng)計(jì)算其平均畝產(chǎn)量，則當(dāng)n 較大時(shí)，較大時(shí)，可用它作為整個(gè)地區(qū)平均畝產(chǎn)量的一個(gè)估計(jì)可用它作為整個(gè)地區(qū)平均畝產(chǎn)量的一個(gè)估計(jì). 大數(shù)定律為尋找隨機(jī)變量的期望值提供了一條實(shí)大數(shù)定律為尋找隨機(jī)變量的期望值提供了一條實(shí)際可行的途徑際可行的途徑.下面我們?cè)倥e一例說(shuō)明大數(shù)定律的應(yīng)用下面我們?cè)倥e一例說(shuō)明大數(shù)定律的應(yīng)用. .定積分的概率計(jì)算法。定積分的概率計(jì)算法。 求求的值的值10)(dxxg

8、I 介紹均值法，步驟是介紹均值法，步驟是1) 產(chǎn)生在產(chǎn)生在(0,1)上均勻分布的隨機(jī)數(shù)上均勻分布的隨機(jī)數(shù)rn,2) 計(jì)算計(jì)算g(rn)， n=1,2,Nn=1,2,N即即IrgNINnn1)(13) 用平均值近似積分值用平均值近似積分值 原理是什么呢？原理是什么呢？因此，當(dāng)因此，當(dāng)N充分大時(shí)，充分大時(shí)，設(shè)設(shè)XU(0, 1)由大數(shù)定律由大數(shù)定律1|)()(1|lim101dxxgrgNPNnnNIrgNINnn1)(1其它, 010, 1)(xxfX101)()(1dxxgrgNNnn, 0 10)(dxxgdxxfxgXgE)()()(應(yīng)如何近似計(jì)算？請(qǐng)思考應(yīng)如何近似計(jì)算？請(qǐng)思考.請(qǐng)看請(qǐng)看 定

9、積分的概率計(jì)算法定積分的概率計(jì)算法 問：若求問：若求的值的值badxxgI)( 中心極限定理的客觀背景中心極限定理的客觀背景 在實(shí)際問題中，常常需要考慮許多隨機(jī)因素所產(chǎn)生總在實(shí)際問題中，常常需要考慮許多隨機(jī)因素所產(chǎn)生總影響影響.例如：炮彈射擊的落點(diǎn)與目標(biāo)的偏差，就受著許多隨機(jī)因素例如：炮彈射擊的落點(diǎn)與目標(biāo)的偏差，就受著許多隨機(jī)因素的影響的影響.二、二、中心極限定理 空氣阻力所產(chǎn)生的誤差，空氣阻力所產(chǎn)生的誤差，對(duì)我們來(lái)說(shuō)重要的是這些隨機(jī)因素的總影響對(duì)我們來(lái)說(shuō)重要的是這些隨機(jī)因素的總影響.如瞄準(zhǔn)時(shí)的誤差，如瞄準(zhǔn)時(shí)的誤差，炮彈或炮身結(jié)構(gòu)所引起的誤差等等炮彈或炮身結(jié)構(gòu)所引起的誤差等等. 自從高斯指出測(cè)

10、量誤差服從正態(tài)分布之后，人們發(fā)自從高斯指出測(cè)量誤差服從正態(tài)分布之后，人們發(fā)現(xiàn)，正態(tài)分布在自然界中極為常見現(xiàn)，正態(tài)分布在自然界中極為常見. 在實(shí)際中所遇到的許多隨機(jī)變量，往往服從正態(tài)在實(shí)際中所遇到的許多隨機(jī)變量，往往服從正態(tài)分布或近似服從正態(tài)分布。分布或近似服從正態(tài)分布。 他們共同的特點(diǎn)：這些隨機(jī)現(xiàn)象是由大量的相互獨(dú)立他們共同的特點(diǎn)：這些隨機(jī)現(xiàn)象是由大量的相互獨(dú)立隨機(jī)因素的綜合作用的結(jié)果。而其中每個(gè)個(gè)別因素所起隨機(jī)因素的綜合作用的結(jié)果。而其中每個(gè)個(gè)別因素所起的作用是微小的，只是它們作用總和中的一部分。大量的作用是微小的，只是它們作用總和中的一部分。大量實(shí)踐經(jīng)驗(yàn)告訴我們這一總和的分布是近似服從正態(tài)

11、分布。實(shí)踐經(jīng)驗(yàn)告訴我們這一總和的分布是近似服從正態(tài)分布。 現(xiàn)在我們就來(lái)研究獨(dú)立隨機(jī)變量之和所特有的規(guī)律性現(xiàn)在我們就來(lái)研究獨(dú)立隨機(jī)變量之和所特有的規(guī)律性問題問題. 當(dāng)當(dāng)n無(wú)限增大時(shí)，這個(gè)和的極限分布是什么呢？在什無(wú)限增大時(shí)，這個(gè)和的極限分布是什么呢？在什么條件下極限分布會(huì)是正態(tài)的呢？么條件下極限分布會(huì)是正態(tài)的呢？ 由于無(wú)窮個(gè)隨機(jī)變量之和相當(dāng)復(fù)雜，故我們不研究由于無(wú)窮個(gè)隨機(jī)變量之和相當(dāng)復(fù)雜，故我們不研究n個(gè)個(gè)隨機(jī)變量之和本身而考慮它的標(biāo)準(zhǔn)化的隨機(jī)變量隨機(jī)變量之和本身而考慮它的標(biāo)準(zhǔn)化的隨機(jī)變量nkknknkkknXDXEXZ111)()(的分布函數(shù)的極限的分布函數(shù)的極限. 在概率論中，習(xí)慣于把和的分

12、布收斂于正態(tài)分在概率論中，習(xí)慣于把和的分布收斂于正態(tài)分布這一類定理都叫做布這一類定理都叫做中心極限定理中心極限定理.我們只討論幾種簡(jiǎn)單情形我們只討論幾種簡(jiǎn)單情形.1 1定義：定義： 設(shè)隨機(jī)變量Xn和X的分布函數(shù)分別為Fn(x)，F(xiàn)(x)， n=1,2, . 若對(duì)F(x)的一切連續(xù)點(diǎn)x，有： ，則稱Xn依分布收斂到X。 xFxFnn )(lim2. 2. 中心極限定理中心極限定理 定理定理1 1(獨(dú)立同分布的中心極限定理) 設(shè)隨機(jī)變量X1，X2，,Xn，相互獨(dú)立，服從同一分布，且具有數(shù)學(xué)期望和方差 E(Xk k)=，D(Xk k)=20,(k=1,2,) 則隨機(jī)變量 nnXXDXEXYnkknk

13、knkknkkn 1111依分布收斂到Y(jié),而YN(0,1). 即Yn的分布函數(shù)Fn(y),對(duì)于任意x滿足 dteynnXPyFtynkknnn2/1221lim)(lim 定理定理2 2(李雅普諾夫Liapunov定理) 設(shè)隨機(jī)變量X1，X2，,Xn，相互獨(dú)立，它們具有數(shù)學(xué)期望和方差, E(Xk)=k ， D(Xk)=k20 (k=1，2，),記 nkknB122 若存在正數(shù)，使得當(dāng)n時(shí)， ,則隨機(jī)變量 01122 nkkknXEB nnkknkknkknkknkknBXXDXEXZ 11111 的分布函數(shù)Fn(x)對(duì)任意x，滿足 dtexBXPxFtxnnkknkknnn2/11221lim

14、lim 注釋：(1)定理2表明，在定理的條件下，隨機(jī)變量, nnkknkknBXZ 11 2111,nnkknkknnnkkBNZBX 近似地服從正態(tài)分布.當(dāng)n很大時(shí)，近似地服從正態(tài)分布 N(0，1)。由此，當(dāng)n很大時(shí)，(2)同時(shí)定理也提供了大量獨(dú)立隨機(jī)變量之和有關(guān)的事件概率的近似計(jì)算方法.定理定理3 3(德莫佛-拉普拉斯De Moivre-Laplace定理) 設(shè)隨機(jī)變量n (n=1，2，) 服從參數(shù)為n,p (0p105 的近似值。 nkkVV1解: 易知E(Vk)=5，D(Vk)=100/12(k=1，2，20)。 由定理1，隨機(jī)變量 2020/1005202020/1005201 VV

15、nkk近似服從正態(tài)分布N(0，1)， 2020/1005201052020/100520105VPVP于于是是 387. 02020/100520VP 387. 02020/1005201VP348. 0)387. 0(1 即有 PV1050.348。 例2: 保險(xiǎn)業(yè)是最早使用概率論的部門之一，保險(xiǎn)公司為了估計(jì)企業(yè)的利潤(rùn)，需要計(jì)算各種概率。假設(shè)現(xiàn)要設(shè)置一項(xiàng)保險(xiǎn)：一輛自行車年交保費(fèi)2元，若自行車丟失，保險(xiǎn)公司賠償200元，設(shè)在一年內(nèi)自行車丟失的概率為0.001,問至少要有多少輛自行車投保才能以不小于0.9的概率保證這一保險(xiǎn)不虧本？ 解: 設(shè)有n輛自行車投保，n表示一年內(nèi)n輛自行車中丟失的數(shù)量。則

16、 nb(n, 0.001),問題歸結(jié)為n至少為多少時(shí)， P2n-200n00.9 上式化為 Pn0.01n0.9 nnnnnPnPnn000999. 0001. 001. 0000999. 0001. 001. 0 9 . 0)000999. 0009. 0( nn查表得29. 1000999. 0009. 0 nn,解不等式得n21.例例1 根據(jù)以往經(jīng)驗(yàn)，某種電器元件的壽命服從均值為根據(jù)以往經(jīng)驗(yàn)，某種電器元件的壽命服從均值為100小時(shí)的小時(shí)的指數(shù)分布指數(shù)分布. 現(xiàn)隨機(jī)地取現(xiàn)隨機(jī)地取16只，設(shè)它們的壽命是相互獨(dú)立的只，設(shè)它們的壽命是相互獨(dú)立的. 求這求這16只元件的壽命的總和大于只元件的壽命的

17、總和大于1920小時(shí)的概率小時(shí)的概率.由題給條件知，諸由題給條件知，諸Xi獨(dú)立，獨(dú)立，16只元件的壽命的總和為只元件的壽命的總和為161kkXY解解: 設(shè)第設(shè)第i只元件的壽命為只元件的壽命為Xi , i=1,2, ,16E(Xi)=100, D(Xi)=10000依題意，所求為依題意，所求為P(Y1920)由題給條件知由題給條件知,諸諸Xi獨(dú)立獨(dú)立,16只元件的壽命的總和為只元件的壽命的總和為161kkXY解解: 設(shè)第設(shè)第i只元件的壽命為只元件的壽命為Xi , i=1,2, ,16E(Xi)=100,D(Xi)=10000依題意，所求為依題意，所求為P(Y1920)由于由于E(Y)=1600,

18、D(Y)=160000由中心極限定理由中心極限定理,近似近似N(0,1)4001600YP(Y1920)=1-P(Y 1920) =1- (0.8)40016001920( 1-=1-0.7881=0.2119例例2. (供電問題供電問題)某車間有某車間有200臺(tái)車床臺(tái)車床,在生產(chǎn)期間由于需要檢在生產(chǎn)期間由于需要檢修、調(diào)換刀具、變換位置及調(diào)換工件等常需停車修、調(diào)換刀具、變換位置及調(diào)換工件等常需停車. 設(shè)開工率設(shè)開工率為為0.6, 并設(shè)每臺(tái)車床的工作是獨(dú)立的，且在開工時(shí)需電力并設(shè)每臺(tái)車床的工作是獨(dú)立的，且在開工時(shí)需電力1千瓦千瓦.問應(yīng)供應(yīng)多少瓦電力就能以問應(yīng)供應(yīng)多少瓦電力就能以99.9%的概率保

19、證該車間不會(huì)因的概率保證該車間不會(huì)因供電不足而影響生產(chǎn)供電不足而影響生產(chǎn)?解：對(duì)每臺(tái)車床的觀察作為一次試驗(yàn)，解：對(duì)每臺(tái)車床的觀察作為一次試驗(yàn)，每次試驗(yàn)觀察該臺(tái)車床在某時(shí)刻是否工作，每次試驗(yàn)觀察該臺(tái)車床在某時(shí)刻是否工作， 工作的概率為工作的概率為0.6，共進(jìn)行，共進(jìn)行200次試驗(yàn)次試驗(yàn).用用X表示在某時(shí)刻工作著的車床數(shù)，表示在某時(shí)刻工作著的車床數(shù)，依題意，依題意，XB(200,0.6),現(xiàn)在的問題是：現(xiàn)在的問題是：P(XN)0.999的最小的的最小的N.求滿足求滿足設(shè)需設(shè)需N臺(tái)車床工作，臺(tái)車床工作，（由于每臺(tái)車床在開工時(shí)需電力（由于每臺(tái)車床在開工時(shí)需電力1千瓦，千瓦，N臺(tái)工作所臺(tái)工作所需電力即需

20、電力即N千瓦千瓦.） 由德莫佛由德莫佛-拉普拉斯極限定理拉普拉斯極限定理)1 (pnpnpX近似近似N(0,1),于是于是 P(XN)= P(0XN)48120()48120(N由由3準(zhǔn)則，準(zhǔn)則，此項(xiàng)為此項(xiàng)為0。)48120N(查正態(tài)分布函數(shù)表得查正態(tài)分布函數(shù)表得由由 0.999，)48120(N從中解得從中解得N141.5,即所求即所求N=142. 也就是說(shuō)也就是說(shuō), 應(yīng)供應(yīng)應(yīng)供應(yīng)142 千瓦電力就能以千瓦電力就能以99.9%的概率保證該車間不會(huì)因供電不的概率保證該車間不會(huì)因供電不足而影響生產(chǎn)足而影響生產(chǎn).999. 0) 1 . 3(48120N 3.1,故故例例3 在一個(gè)罐子中在一個(gè)罐子中,裝有裝有10個(gè)編號(hào)為個(gè)編號(hào)為0-9的同樣的球，從罐的同樣的球，從罐中有放回地抽取若干次，每次抽一個(gè)，并記下號(hào)碼中有放回地抽取若干次，每次抽一個(gè)，并記下號(hào)碼.問對(duì)序列問對(duì)序列Xk,能否應(yīng)用大數(shù)定律？能否應(yīng)用大數(shù)定律？ 諸諸Xk 獨(dú)立同分布，且期望存在，故能使用大數(shù)定律獨(dú)立同分布，且期望存在，故能使用大數(shù)定律.解解: ,9 . 01 . 001kXk=1,2, E(Xk)=0.1, 否則次取到號(hào)碼第001kXk(1) 設(shè)設(shè)，k=1,2, nkknXnP11| 1 . 01|lim 即對(duì)即對(duì)任意的任意的0,(2) 至少應(yīng)取球多少次才能使至