概率論及數理統(tǒng)計大數定律與中心極限定理

1、第五章第五章極極 限限 定定 理理 初初 步步 概率論與數理統(tǒng)計是研究隨機現象統(tǒng)計概率論與數理統(tǒng)計是研究隨機現象統(tǒng)計規(guī)律性的學科規(guī)律性的學科. 隨機現象的規(guī)律性只有在相隨機現象的規(guī)律性只有在相同的條件下進行大量重復試驗時才會呈現出同的條件下進行大量重復試驗時才會呈現出來來. 也就是說，要從隨機現象中去尋求必然也就是說，要從隨機現象中去尋求必然的法則，應該研究大量隨機現象的法則，應該研究大量隨機現象. 研究大量的隨機現象，常常采用極限研究大量的隨機現象，常常采用極限形式，由此導致對極限定理進行研究形式，由此導致對極限定理進行研究. 極極限定理的內容很廣泛，其中最重要的有兩限定理的內容很廣泛，其中

2、最重要的有兩種種:與與大數定律大數定律中心極限定理中心極限定理下面我們先介紹大數定律下面我們先介紹大數定律大大 數數 定定 律律第一節(jié)第一節(jié) 大量的隨機現象中平均結果的穩(wěn)定性大量的隨機現象中平均結果的穩(wěn)定性 大數定律的客觀背景大數定律的客觀背景大量拋擲硬幣大量拋擲硬幣正面出現頻率正面出現頻率字母使用頻率字母使用頻率生產過程中的生產過程中的廢品率廢品率1|1|lim1 niinxnp 設設x1,x2, 是獨立同分布的隨機變量是獨立同分布的隨機變量序列，且序列，且e(xi)= ，d(xi)= ， i=1,2,其中方差有共同的上界，則對任給其中方差有共同的上界，則對任給 0,2 作為切比雪夫大數定律

3、的作為切比雪夫大數定律的特殊情況，有下面的定理特殊情況，有下面的定理.定理（獨立同分布下的大數定律）定理（獨立同分布下的大數定律） 切比雪夫切比雪夫設設 x xn n 為隨機變量序列，為隨機變量序列，x x為隨機變量，若為隨機變量，若任給任給 0, 0, 使得使得1)|(|limxxpnn則稱則稱 x xn n 依概率收斂于依概率收斂于x. x. 可記為可記為.xxpn依概率收斂依概率收斂aaanxaxpn如如意思是意思是:當當n時時,xn落在落在),(aa內的概率越來越大內的概率越來越大.00,nnnaxn而而意思是意思是:0, 0n|axn,當當0nn 證明證明:由切由切比雪夫不等式比雪夫

4、不等式.)(1)| )(|2nnnydyeyp這里這里nkknxenye1)(1)(nxdnydnkkn212)(1)().(1)|(|222是有界的nypn故故1)|(|limnnyp則nkknxny11 切比雪夫大數定律表明，獨立隨機變切比雪夫大數定律表明，獨立隨機變量序列量序列xn，如果方差有共同的上界，則，如果方差有共同的上界，則niixn11與其數學期望與其數學期望niixen1)(1 偏差很小的偏差很小的 概率接近于概率接近于1. niixn11隨機的了，取值接近于其數學期望的概率接隨機的了，取值接近于其數學期望的概率接近于近于1.即當即當n充分大時，充分大時，差不多不再是差不多不

5、再是切比雪夫大數定律給出了平均值穩(wěn)定性的科學描述切比雪夫大數定律給出了平均值穩(wěn)定性的科學描述 下面給出的貝努里大數定律，下面給出的貝努里大數定律，是上述定理的一種特例是上述定理的一種特例.貝努里貝努里 設設sn是是n重貝努里試驗中事件重貝努里試驗中事件a發(fā)發(fā)生的次數，生的次數，p是事件是事件a發(fā)生的概率，發(fā)生的概率，否則，發(fā)生次試驗如第，01aixi引入引入i=1,2,n則則 niinxs1niinxnns11是事件是事件a發(fā)生的頻率發(fā)生的頻率 于是有下面的定理：于是有下面的定理： 設設sn是是n重貝努里試驗中事件重貝努里試驗中事件a發(fā)生的發(fā)生的 次數，次數，p是事件是事件a發(fā)生的概率，則對任

6、給的發(fā)生的概率，則對任給的 0，定理定理5.1.1（貝努里大數定律）（貝努里大數定律）1)|(|limpnspnn或或0)|(|limpnspnn貝努里貝努里 貝努里大數定律提供了通過試驗來確貝努里大數定律提供了通過試驗來確定事件概率的方法定事件概率的方法.0)|(|limpnspnn任給任給0， 貝努利大數定律表明：當重復試驗次數貝努利大數定律表明：當重復試驗次數n充分大時，事件充分大時，事件a發(fā)生的頻率發(fā)生的頻率sn/n幾乎等于幾乎等于事件事件a的概率的概率p。因此可用事件發(fā)生的頻率。因此可用事件發(fā)生的頻率作為相應概率的估計。作為相應概率的估計。蒲豐投針問題中解法的蒲豐投針問題中解法的理論

7、依據就是大數定律理論依據就是大數定律 當投針次數當投針次數n很大時，用針與線相交的很大時，用針與線相交的頻率頻率m/n近似針與線相交的近似針與線相交的概率概率p，從而求得，從而求得的的近似值近似值.針長針長l線距線距aamln2 下面給出的獨立同分布下的大數定下面給出的獨立同分布下的大數定律，不要求隨機變量的方差存在律，不要求隨機變量的方差存在. 設隨機變量序列設隨機變量序列x1,x2, 獨立同分獨立同分布，具有有限的數學期望布，具有有限的數學期望e(xi)=, i=1,2,， 則對任給則對任給 0 ，定理定理5.1.2（辛欽大數定律）（辛欽大數定律）1)|1(|lim1niinxnp辛欽辛欽

8、 辛欽大數定律為尋找隨機變量的期辛欽大數定律為尋找隨機變量的期望值提供了一條實際可行的途徑望值提供了一條實際可行的途徑.辛欽大數定律表明：當辛欽大數定律表明：當n無限增大時，無限增大時，n個個獨立同分布的隨機變量算術平均值獨立同分布的隨機變量算術平均值)(121nxxxnx幾乎等于常數幾乎等于常數因此可用算術平均值作為因此可用算術平均值作為的估計的估計1)|1(|lim1niinxnp 例如要估計某地區(qū)的平均畝產量，只例如要估計某地區(qū)的平均畝產量，只要收割某些有代表性的地塊，例如要收割某些有代表性的地塊，例如n 塊塊. 計算其平均畝產量，則當計算其平均畝產量，則當n 較大時，可用較大時，可用它

9、作為整個地區(qū)平均畝產量的一個估計它作為整個地區(qū)平均畝產量的一個估計. 大數定律以嚴格的數學形式表達了隨大數定律以嚴格的數學形式表達了隨機現象最根本的性質之一：機現象最根本的性質之一：它是隨機現象統(tǒng)計規(guī)律的具體表現它是隨機現象統(tǒng)計規(guī)律的具體表現.大數定律在理論和實際中都有廣泛的應用大數定律在理論和實際中都有廣泛的應用.平均結果的穩(wěn)定性平均結果的穩(wěn)定性第第 二二 節(jié)節(jié)中中 心心 極極 限限 定定 理理 中心極限定理的客觀背景中心極限定理的客觀背景 在實際問題中，常常需要考慮許多隨機在實際問題中，常常需要考慮許多隨機因素所產生總影響因素所產生總影響.例如：炮彈射擊的落點與目標的偏差，就受例如：炮彈射

10、擊的落點與目標的偏差，就受著許多隨機因素的影響著許多隨機因素的影響. 空氣阻力所產生的誤差，空氣阻力所產生的誤差，對我們來說重要的是這些對我們來說重要的是這些隨機因素的總影響隨機因素的總影響.如瞄準時的誤差，如瞄準時的誤差，炮彈或炮身結構所引起的誤差等等炮彈或炮身結構所引起的誤差等等. 觀察表明，如果一個量是由大量相互獨觀察表明，如果一個量是由大量相互獨立的隨機因素的影響所造成，而每一個別因立的隨機因素的影響所造成，而每一個別因素在總影響中所起的作用不大素在總影響中所起的作用不大. 則這種量一則這種量一般都服從或近似服從正態(tài)分布般都服從或近似服從正態(tài)分布. 自從高斯指出測量誤差服從正自從高斯指

11、出測量誤差服從正態(tài)分布之后，人們發(fā)現，正態(tài)分布態(tài)分布之后，人們發(fā)現，正態(tài)分布在自然界中極為常見在自然界中極為常見. 現在我們就來研究獨立隨機變量之和所現在我們就來研究獨立隨機變量之和所特有的規(guī)律性問題特有的規(guī)律性問題. 當當n無限增大時，這個和的極限分布是無限增大時，這個和的極限分布是什么呢？什么呢？在什么條件下極限分布會是正態(tài)的呢？在什么條件下極限分布會是正態(tài)的呢？ 由于無窮個隨機變量之和可能趨于由于無窮個隨機變量之和可能趨于，故我們不研究故我們不研究n個隨機變量之和本身而考慮個隨機變量之和本身而考慮它的標準化的隨機變量它的標準化的隨機變量nkknknkkknxdxexy111)()(的分布

12、函數的極限的分布函數的極限.可見可見n越大越接近正態(tài)分布。越大越接近正態(tài)分布。例例:20個個0-1分布的和的分布密度分布的和的分布密度x1 f(x)x1 +x2g(x)x1 +x2+x3 h(x)幾個幾個(0,1)上均勻分布的和的分布密度上均勻分布的和的分布密度0123xfgh 在概率論中，習慣于把和的分布在概率論中，習慣于把和的分布收斂于正態(tài)分布這一類定理都叫做收斂于正態(tài)分布這一類定理都叫做中心中心極限定理極限定理.我們只討論幾種簡單情形我們只討論幾種簡單情形. 下面給出的獨立同分布隨機變量序列下面給出的獨立同分布隨機變量序列的中心極限定理，也稱的中心極限定理，也稱列維一林德伯格列維一林德伯

13、格（levylindberg）定理）定理.xniinxnnxp-2t -1dte21)(lim2定理定理5.2.1（獨立同分布下的中心極限定理）（獨立同分布下的中心極限定理） 它表明，當它表明，當n充分大時，充分大時，n個具有期望和方差個具有期望和方差的獨立同分布的的獨立同分布的r.v之和近似服從正態(tài)分布之和近似服從正態(tài)分布.設設x1,x2, 是獨立同分布的隨機是獨立同分布的隨機變量序列，且變量序列，且e(xi)= ，d(xi)= ，i=1,2,，則，則2 1niinxnynn(0,1)()()(1nnannbbxapnii時，nnkknknkkknxdxexy111)()(例例1 根據以往經

14、驗，某種電器元件的壽命服從均根據以往經驗，某種電器元件的壽命服從均值為值為100小時的指數分布小時的指數分布. 現隨機地取現隨機地取16只，設只，設它們的壽命是相互獨立的它們的壽命是相互獨立的. 求這求這16只元件的壽命只元件的壽命的總和大于的總和大于1920小時的概率小時的概率.由題給條件知，諸由題給條件知，諸xi獨立，獨立，16只元件的壽命的總和為只元件的壽命的總和為161kkxy分析分析: 設第設第i只元件的壽命為只元件的壽命為xi , i=1,2, ,16e(xi)=100, d(xi)=10000依題意，所求為依題意，所求為p(y1920)由題給條件知由題給條件知,諸諸xi獨立獨立,

15、16只元件的壽命的總和為只元件的壽命的總和為161kkxy解解: 設第設第i只元件的壽命為只元件的壽命為xi , i=1,2, ,16e(xi)=100,d(xi)=10000依題意，所求為依題意，所求為p(y1920)由于由于e(y)=1600,d(y)=160000由中心極限定理由中心極限定理,近似近似n(0,1)4001600y =1-(0.8) =1-0.7881=0.2119)40016001920( =1-p(y1920)=1-p(y1920) 雖然在一般情況下，我們很難求出雖然在一般情況下，我們很難求出x1+x2+ +xn 的分布的確切形式，但當的分布的確切形式，但當n很大時，可

16、以求出近似分布很大時，可以求出近似分布. 德莫佛拉普拉斯定理德莫佛拉普拉斯定理（二項分布的（二項分布的正態(tài)近似）是上述定理的特殊正態(tài)近似）是上述定理的特殊 情況情況.定理定理5.2.2( (德莫佛拉普拉斯定理）德莫佛拉普拉斯定理）dtexpnpnpzpxtnn2221)1 (lim 設隨機變量設隨機變量 服從參數服從參數n, p( (0p1) )的的二項分布，則對任意二項分布，則對任意x，有，有nz 定理表明，當定理表明，當n很大，很大，0p0,nkknxnp11| 1 . 01|lim (2) 至少應取球多少次才能使至少應取球多少次才能使“0”出現的頻出現的頻率在率在0.09-0.11之間的

17、概率至少是之間的概率至少是0.95?解：設應取球解：設應取球n次，次，0出現頻率為出現頻率為nkkxn11, 1 . 0)1(1nkkxnenxndnkk09. 0)1(1由中心極限定理由中心極限定理近似近似n(0,1)nnxnkk3 . 01 . 01nxnnkk3 . 01 . 011xkp0 10.9 0.1)11. 0109. 0(1nkkxnp)01. 0| 1 . 01(|1nkkxnp)30|3 . 01 . 01(|1nnxnpnkk1)30(2n nxnnkk3 . 01 . 011近似近似n(0,1)95. 01)30(2n 欲使欲使975. 0)30(n 即即96. 13

18、0n查表得查表得從中解得從中解得3458n即至少應取球即至少應取球3458次次才能使才能使“0”出現的頻出現的頻率在率在0.09-0.11之間的之間的概率至少是概率至少是0.95.若用切比雪夫不等式估計呢？若用切比雪夫不等式估計呢？)01. 0| 1 . 01(|1nkkxnp21)01. 0()1(1nkkxnd2)01. 0(09. 01n95. 0/9001 n則18000 n得即至少應取球即至少應取球18000次才能使次才能使“0”出現的出現的頻率在頻率在0.09-0.11之間之間的概率至少是的概率至少是0.95.n/9001(3) 用中心極限定理計算在用中心極限定理計算在100次抽取

19、中次抽取中,數碼數碼“0”出現次數在出現次數在7和和13之間的概率之間的概率.解：在解：在100次抽取中次抽取中, 數碼數碼“0”出現次數為出現次數為1001kkx由中心極限定理由中心極限定理,100110011001)()(kkkkkkxdxex近似近似n(0,1)3101001kkx即即近似近似n(0,1)e(xk)=0.1, d(xk)=0.09即在即在100次抽取中，數碼次抽取中，數碼“0”出現次數在出現次數在7和和13之間的概率為之間的概率為0.6826.1001)137(kkxp=0.68263101001kkx近似近似n(0,1) 13101(1001kkxp) 1() 1 (1

20、) 1 (2不知大家是否還記得街頭賭博的演示不知大家是否還記得街頭賭博的演示? 現在我們用現在我們用中心極限定理中心極限定理來揭穿這個來揭穿這個賭博中的奧秘賭博中的奧秘. .街頭賭博街頭賭博再看演示請點擊再看演示請點擊如圖如圖, ,釘板有釘板有n=1616層，可以層，可以求出標準差求出標準差 ,416 n次碰釘后小球的位置次碰釘后小球的位置yn近似服從正態(tài)分布近似服從正態(tài)分布n(0,n). e(yn)=0, d(yn)=n .根據正態(tài)分布的查表計算根據正態(tài)分布的查表計算知道知道, ,落在落在2 以內即中線以內即中線左右左右8顆釘子以內的概率近似為顆釘子以內的概率近似為95.6%, ,說說, ,

21、落在這以外的概率只有落在這以外的概率只有4%左右左右. . 即是即是如圖釘板有如圖釘板有n=1616層，可以層，可以求出標準差求出標準差 ,416 根據正態(tài)分布的查表計算根據正態(tài)分布的查表計算知道知道, ,落在落在2 以內即中線以內即中線左右左右8顆釘子以內的概率顆釘子以內的概率近似為近似為95.6%, ,即是說即是說, ,落落在這以外的概率只有在這以外的概率只有4%4%左左右右. .現在你知道為什么擺攤的人敢于現在你知道為什么擺攤的人敢于在上面放那么值錢的東西了吧在上面放那么值錢的東西了吧! 在后面的課程中，我們還將經常用到中心在后面的課程中，我們還將經常用到中心極限定理極限定理. 中心極限定理是概率論中最著名的結果中心極限定理是概率論中最著名的結果之一，它不僅提供了計算獨立隨機變量之和之一，它不僅提供了計算獨立隨機變量之和的近似概率的簡單方