辛欽大數(shù)定律的證明(在第15頁)

1、第四章 大數(shù)定律與中心極限定理極限定理是概率論與數(shù)理統(tǒng)計(jì)學(xué)中最重要的理論結(jié)果。本章簡單地介紹兩類極限定理-“大數(shù)定律”和“中心極限定理”。 通常，把敘述在什么條件下一隨機(jī)變量序列的算術(shù)平均值（按某種意義）收斂于某數(shù)的定理稱為“大數(shù)定律”；把敘述在什么條件下大量的隨機(jī)變量之和近似服從正態(tài)分布的定理稱為“中心極限定理”。本教材只介紹極限定理的經(jīng)典結(jié)果。分布函數(shù)、矩和特征函數(shù)是解決經(jīng)典極限定理的主要工具。一、 教學(xué)目的與要求1 掌握四個(gè)大數(shù)定律的條件、結(jié)論及數(shù)學(xué)意義；2 理解隨機(jī)變量序列的兩種收斂性的定義及其關(guān)系，了解特征函數(shù)的連續(xù)性定理；3 掌握獨(dú)立同分布中心極限定理的條件、結(jié)論，并會(huì)用來解決一些

2、實(shí)際問題。二、 教學(xué)重點(diǎn)和難點(diǎn) 教學(xué)重點(diǎn)是講清大數(shù)定律的條件、結(jié)論和中心極限定理的條件、結(jié)論。 教學(xué)難點(diǎn)是隨機(jī)變量序列的兩種收斂性及大數(shù)定律和中心極限定理的應(yīng)用。§4.1 大數(shù)定律一、大數(shù)定律的意義在第一章中引入事件與概率的概念時(shí)曾經(jīng)指出，盡管隨機(jī)事件A在一次試驗(yàn)可能出現(xiàn)也可能不出現(xiàn)，但在大量的試驗(yàn)中則呈現(xiàn)出明顯的統(tǒng)計(jì)規(guī)律性頻率的穩(wěn)定性。頻率是概率的反映，隨著觀測(cè)次數(shù)的增加，頻率將會(huì)逐漸穩(wěn)定到概率。這里說的“頻率逐漸穩(wěn)定于概率”實(shí)質(zhì)上是頻率依某種收斂意義趨于概率，這個(gè)穩(wěn)定性就是“大數(shù)定律”研究的客觀背景。詳細(xì)地說：設(shè)在一次觀測(cè)中事件A發(fā)生的概率，如果觀測(cè)了次（也就是一個(gè)重貝努里試驗(yàn)）

3、，A發(fā)生了次，則A在次觀測(cè)中發(fā)生的頻率為，當(dāng)充分大時(shí)，頻率逐漸穩(wěn)定到概率。若用隨機(jī)變量的語言表述，就是：設(shè)表示第次觀測(cè)中事件A發(fā)生次數(shù)，即 則是個(gè)相互獨(dú)立的隨機(jī)變量，顯然。從而有因此“穩(wěn)定于”，又可表述為次觀測(cè)結(jié)果的平均值穩(wěn)定于。 現(xiàn)在的問題是：“穩(wěn)定”的確切含義是什么？穩(wěn)定于是否能寫成 （1）亦即，是否對(duì)， （2）對(duì)重貝努里試驗(yàn)的所有樣本點(diǎn)都成立？實(shí)際上，我們發(fā)現(xiàn)事實(shí)并非如此，比如在次觀測(cè)中事件A發(fā)生次還是有可能的，此時(shí)，從而對(duì)，不論多么大，也不可能得到成立。也就是說，在個(gè)別場(chǎng)合下，事件（）還是有可能發(fā)生的，不過當(dāng)很大時(shí)，事件（）發(fā)生的可能性很小。例如，對(duì)上面的，有 。顯然，當(dāng)時(shí)， ，所以“

4、穩(wěn)定于”是意味著對(duì)，有 （3） （概率上“穩(wěn)定于”還有其他提法，如博雷爾建立了，從而開創(chuàng)了另一形式的極限定理-強(qiáng)大數(shù)定律的研究）沿用前面的記號(hào)，（3）式可寫成一般地，設(shè)是隨機(jī)變量序列，為常數(shù)，如果對(duì)，有 （4）即則稱穩(wěn)定于。概率論中，一切關(guān)于大量隨機(jī)現(xiàn)象之平均結(jié)果穩(wěn)定性的定理，統(tǒng)稱為大數(shù)定律。若將（4）式中的換成常數(shù)列，即得大數(shù)定律的一般定義。定義4.1：若是隨機(jī)變量序列，如果存在常數(shù)列，使對(duì)，有成立，則稱隨機(jī)變量序列服從大數(shù)定律。 若隨機(jī)變量具有數(shù)學(xué)期望，則大數(shù)定律的經(jīng)典形式是：對(duì)，有這里常數(shù)列二、四個(gè)大數(shù)定律 本段介紹一組大數(shù)定律，設(shè)是一隨機(jī)變量序列，我們總假定存在。首先看一課后題的（馬爾

5、可夫大數(shù)定律）如果隨機(jī)變量序列，當(dāng)時(shí)，有（*）證明：服從大數(shù)定律。證明 : 對(duì)，由契貝曉夫不等式，有因此即 故服從大數(shù)定律。 此大數(shù)定律稱為馬爾可夫大數(shù)定律，（*）式稱為馬爾可夫條件。定理4.2（契貝曉夫大數(shù)定律）設(shè)是一列兩兩不相關(guān)的隨機(jī)變量，又設(shè)它們的方差有界，即存在常數(shù)，使有則隨機(jī)變量序列服從大數(shù)定律，即對(duì)，有證明： 因?yàn)閮蓛刹幌嚓P(guān)，且由它們的方差有界即可得到從而有滿足馬爾可夫條件，因此由馬爾可夫大數(shù)定律，有 注：契貝曉夫大數(shù)定律是馬爾可夫大數(shù)定律的特例。例4.1 設(shè)為獨(dú)立同分布隨機(jī)變量序列，均服從參數(shù)為的普哇松分布，則由獨(dú)立一定不相關(guān)，且，因而滿足定理4.2的條件，因此有注：此例題也可直

6、接驗(yàn)證滿足馬爾可夫條件。定理4.1（貝努里定理或貝努里大數(shù)定律）:設(shè)是重貝努里試驗(yàn)中事件A出現(xiàn)的次數(shù)，又A在每次試驗(yàn)中出現(xiàn)的概率為，則對(duì)，有證明：令 顯然由定理?xiàng)l件，獨(dú)立同分布（均服從二點(diǎn)分布）。且都是常數(shù)，從而方差有界。由契貝曉夫大數(shù)定律，有 貝努里大數(shù)定律的數(shù)學(xué)意義：貝努里大數(shù)定律闡述了頻率穩(wěn)定性的含義，當(dāng)充分大時(shí)可以以接近的概率斷言，將落在以為中心的內(nèi)。貝努里大數(shù)定律為用頻率估計(jì)概率（）提供了理論依據(jù)。注1：此定理的證明也可直接驗(yàn)證滿足馬爾可夫條件。注2：貝努里大數(shù)定律是契貝曉夫大數(shù)定律的特例。它是1713年由貝努里提出的概率極限定理中的第一個(gè)大數(shù)定律。以上大數(shù)定律的證明是以契貝曉夫不等

7、式為基礎(chǔ)的，所以要求隨機(jī)變量的方差存在，通過進(jìn)一步研究，我們發(fā)現(xiàn)方差存在這個(gè)條件并不是必要條件。定理4.3（辛欽大數(shù)定律）設(shè)是一列獨(dú)立同分布的隨機(jī)變量，且數(shù)學(xué)期望存在,則對(duì)，有成立。此定理的證明將在§4.2隨機(jī)變量序列的兩種收斂性中給出。注：貝努里大數(shù)定律是辛欽大數(shù)定律的特例。辛欽大數(shù)定律的數(shù)學(xué)意義：辛欽大數(shù)定律為實(shí)際生活中經(jīng)常采用的算術(shù)平均值法提供了理論依據(jù)。它斷言：如果諸是具有數(shù)學(xué)期望、相互獨(dú)立、同分布的隨機(jī)變量，則當(dāng)充分大時(shí)，算術(shù)平均值一定以接近1的概率落在真值的任意小的鄰域內(nèi)。據(jù)此，如果要測(cè)量一個(gè)物體的某指標(biāo)值，可以獨(dú)立重復(fù)地測(cè)量次，得到一組數(shù)據(jù)：，當(dāng)充分大時(shí)，可以確信，且把

8、作為的近似值比一次測(cè)量作為的近似值要精確的多，因，；但，即關(guān)于的偏差程度是一次測(cè)量的偏差程度的，越大，偏差越小。再比如要估計(jì)某地區(qū)小麥的平均畝產(chǎn)量，只要收割一部分有代表性的地塊，計(jì)算它們的平均畝產(chǎn)量，這個(gè)平均畝產(chǎn)量就是，在比較大的情形下它可以作為全地區(qū)平均畝產(chǎn)量，即畝產(chǎn)量的期望的一個(gè)近似。這種近似或“靠近”并不是我們數(shù)學(xué)分析中的極限關(guān)系，而是§4.2中的依概率收斂。辛欽大數(shù)定律也是數(shù)理統(tǒng)計(jì)學(xué)中參數(shù)估計(jì)理論的基礎(chǔ)，通過第六章的學(xué)習(xí)，我們對(duì)它會(huì)有更深入的認(rèn)識(shí)。作業(yè)： §4.2隨機(jī)變量序列的兩種收斂性一、依概率收斂在上一節(jié)上，我們從頻率的穩(wěn)定性出發(fā)，得出下面的極限關(guān)系式：)=0，

9、其中或等價(jià)于這與數(shù)學(xué)分析中通常的數(shù)列收斂的意義不同。在上式中以隨機(jī)變量 代替常數(shù)便得到新的收斂概念。1、定義4.2（依概率收斂）設(shè)有一列隨機(jī)變量，如果對(duì)，有 或則稱隨機(jī)變量序列 依概率收斂于，記作或 （）從定義可見，依概率收斂就是實(shí)變函數(shù)中的依測(cè)度收斂。由定義可知， 有了依概率收斂的概念，隨機(jī)變量序列 服從大數(shù)定律的經(jīng)典結(jié)果就可以表示為特別地，貝努里大數(shù)定律可以描述為 （辛欽大數(shù)定律描述為 （例1、 設(shè) 是獨(dú)立同分布的隨機(jī)變量序列，且，證明： （證：，由契貝曉夫不等式 =故 即 2、性質(zhì)1）、若則。證明：，由 則中至少有一個(gè)成立，即于是即對(duì)從而有 這表明，若將兩個(gè)以概率為1相等的隨機(jī)變量看作相

10、等時(shí)，依概率收斂的極限是唯一的。2）、設(shè) 是兩個(gè)隨機(jī)變量序列，,為常數(shù)，若且在點(diǎn)連續(xù)，則。3）、若； ；是常數(shù)，且，則。2）、3）的證明方法類似于1）。二、按分布收斂我們知道，分布函數(shù)全面地描述了隨機(jī)變量的統(tǒng)計(jì)規(guī)律，那么當(dāng)時(shí)，其相應(yīng)的分布函數(shù)與之間會(huì)有什么樣的關(guān)系呢？是不是對(duì)所有的，有（n）成立呢？答案是否定的。例42 設(shè)都是服從退化分布的隨機(jī)變量，且于是對(duì)，當(dāng)時(shí)，有所以 又的分布函數(shù)為的分布函數(shù)為顯然，當(dāng)時(shí)，有但當(dāng)時(shí)， 上例表明，一個(gè)隨機(jī)變量序列依概論收斂到某隨機(jī)變量，相應(yīng)的分布函數(shù)列不是在每一點(diǎn)都收斂于這個(gè)隨機(jī)變量的分布函數(shù)的。但如果仔細(xì)觀察一下這個(gè)例子，發(fā)現(xiàn)不收斂的點(diǎn)正是的不連續(xù)點(diǎn)。要求

11、在每一點(diǎn)都收斂到是太苛刻了，可以去掉的不連續(xù)點(diǎn)來考慮。1、 定義4.3 設(shè),是一列分布函數(shù)，如果對(duì)的每個(gè)連續(xù)點(diǎn)， 都有成立， 則稱分布函數(shù)列弱收斂于分布函數(shù)，并記作若隨機(jī)變量序列的分布函數(shù)弱收斂于隨機(jī)變量的分布函數(shù),也稱按分布收斂于，并記作2、 依概率收斂與按分布收斂（弱收斂）之間的關(guān)系定理4.4 若隨機(jī)變量序列依概率收斂于隨機(jī)變量，即則相對(duì)應(yīng)的分布函數(shù)列弱收斂于分布函數(shù)，即定理4.4也可表示成如下形式：證明 ：對(duì)任意的有從而有即 如果，由 就有所以有 同理可證，當(dāng)時(shí)，有于是對(duì)有令，即得顯然，如果是的連續(xù)點(diǎn)，就有 注意：這個(gè)定理的逆命題不一定成立，即不能從分布函數(shù)列的弱收斂肯定相應(yīng)的隨機(jī)變量序

12、列依概率收斂。例4.3 拋擲一枚均勻的硬幣，有兩個(gè)可能的結(jié)果：=“出現(xiàn)正面”，=“出現(xiàn)反面”，則令 因是一個(gè)隨機(jī)變量，其分布函數(shù)為這時(shí)，若，則顯然與有相同的分布函數(shù)。再令，的分布函數(shù)記作，故=，于是對(duì)任意的，有所以成立，而對(duì)任意的，恒有即不可能有成立。但在特殊情況下，它卻是成立的。定理4.5 隨機(jī)變量序列為常數(shù)）的充要條件是這里的分布函數(shù)，也就是退化分布:定理4.5也可表示成如下形式：證明：必要性已由定理4.4給出，下面只要驗(yàn)證充分性。對(duì)任意的，有定理4.5得證。 本章將要向大家介紹的大數(shù)定律實(shí)際上就是隨機(jī)變量列依概率收斂于常數(shù)的問題，由定理4.5知，它可歸結(jié)為相應(yīng)的分布函數(shù)列弱收斂于一退化分

13、布，而中心極限定理就是隨機(jī)變量的分布函數(shù)列弱收斂問題，可見分布函數(shù)列的弱收斂在本章討論中占重要地位。然而，要直接判斷一個(gè)分布函數(shù)列是否弱收斂是很困難的,上一章我們就知道，分布函數(shù)與特征函數(shù)一一對(duì)應(yīng)，而特征函數(shù)較之分布函數(shù)性質(zhì)優(yōu)良很多，故判斷特征函數(shù)的收斂一般較容易，那么是否有相應(yīng)的答案是肯定的。即下述的特征函數(shù)的連續(xù)性定理。三、特征函數(shù)的連續(xù)性定理定理4.6 分布函數(shù)列弱收斂于分布函數(shù)的充要條件是相應(yīng)的特殊函數(shù)列收斂于的特征函數(shù)。證明 ：整個(gè)證明比較冗長（略）。例4.4 若是服從參數(shù)為的普哇松分布的隨機(jī)變量，證明：證明：已知的特征函數(shù)為，故的特征函數(shù)為對(duì)任意的，有于是從而對(duì)任意的點(diǎn)列，有又是分

14、布的特征函數(shù)，由定理4.6即知有因是可以任意選取的，所以 注：此例說明普哇松分布（當(dāng)參數(shù)時(shí)）收斂于正態(tài)分布。下面我們利用定理4.6來證明上一節(jié)的定理4.3（辛欽大數(shù)定律）。證明：因同分布，故有相同的特征函數(shù)，又，將在處展開，有由相互獨(dú)立，得的特征函數(shù)為對(duì)于任意取定的，有由例題3.26已知是退化分布的特征函數(shù)，相應(yīng)的分布函數(shù)為由定理4.6知的分布函數(shù)弱收斂于，再由定理4.5得故辛欽大數(shù)定律成立。 我們?cè)?jīng)指出特征函數(shù)在求獨(dú)立和的分布時(shí)所具有的特殊威力，而本節(jié)所敘述的特征函數(shù)連續(xù)性定理（定理4.6）“如虎添翼”，更增加了特征函數(shù)在解決獨(dú)立和的分布的極限問題時(shí)的效能，使之成為無與倫比的銳利工具。在下

15、一節(jié)中將利用這一工具專門討論獨(dú)立和的分布的極限問題。最后了解如下的斯魯茨基定理：定理4.7 設(shè)是個(gè)隨機(jī)變量序列，并且又是元變量的有理函數(shù)，并且，則有成立。掌握斯魯茨基定理的如下幾個(gè)特例：如果是兩個(gè)隨機(jī)變量序列，并且當(dāng)時(shí)有其中是兩個(gè)常數(shù)，這時(shí)有（1）；（2）成立。作業(yè)： §4.3 中心極限定理 前一章介紹正態(tài)分布時(shí)，我們一再強(qiáng)調(diào)正態(tài)分布在概率統(tǒng)計(jì)中的重要地位和作用，為什么實(shí)際上有許多隨機(jī)現(xiàn)象會(huì)遵循正態(tài)分布？這僅僅是一些人的經(jīng)驗(yàn)猜測(cè)還是確有理論依據(jù)，“中心極限定理”正是討論這一問題的。在長達(dá)兩個(gè)世紀(jì)的時(shí)間內(nèi)成為概率論討論的中心課題，因此得到了中心極限定理的名稱。一、中心極限定理的概念設(shè)為

16、一獨(dú)立隨機(jī)變量序列，且，均存在，稱 為的規(guī)范和。概率論中，一切關(guān)于隨機(jī)變量序列規(guī)范和的極限分布是標(biāo)準(zhǔn)正態(tài)分布的定理統(tǒng)稱為中心極限定理，即設(shè)的規(guī)范和，有則稱服從中心極限定理。中心極限定理實(shí)質(zhì)上為 近似服從標(biāo)準(zhǔn)正態(tài)分布。 二、獨(dú)立同分布中心極限定理大數(shù)定律僅僅從定性的角度解決了頻率穩(wěn)定于概率p，即，為了定量地估計(jì)用頻率估計(jì)概率的誤差，歷史上De MoivreLaplace給出了概率論上第一個(gè)中心極限定理，這個(gè)定理證明了的標(biāo)準(zhǔn)化隨機(jī)變量漸近于分布。定理4.8（德莫佛拉普拉斯）極限定理 在重貝努里試驗(yàn)中，事件A在每次試驗(yàn)中出現(xiàn)的概率為，為次試驗(yàn)中事件A發(fā)生的次數(shù)，則注：定理4.8說明近似服從，從而近似

17、服從，又服從二項(xiàng)分布，所以定理4.8也稱為二項(xiàng)分布的正態(tài)近似或二項(xiàng)分布收斂于正態(tài)分布。在第二章，普哇松定理也被說成是“二項(xiàng)分布收斂于普哇松分布”。同樣一列二項(xiàng)分布，一個(gè)定理說是收斂于普哇松分布，另一個(gè)定理又說是收斂于正態(tài)分布，兩者不是說有矛盾嗎？請(qǐng)仔細(xì)比較兩個(gè)定理的條件和結(jié)論，就可以知道其中并無矛盾之處。這里應(yīng)該指出的是在定理4.8中，而普哇松定理中則要求。所以在實(shí)際問題中作近似計(jì)算時(shí)，如果很大，不大或不大（即很小或很?。?，則應(yīng)該利用普哇松定理；反之，若都較大，則應(yīng)該利用定理4.8。定理4.9（林德貝爾格-勒維）極限定理設(shè)，,是一列獨(dú)立同分布的隨機(jī)變量，且， 則有 注：德莫佛拉普拉斯極限定理是

18、林德貝爾格-勒維極限定理的特例。證明：設(shè)的特征函數(shù)為，則的特征函數(shù)為又因?yàn)樗杂谑翘卣骱瘮?shù)為有展開式從而對(duì)任意固定的，有又是分布的特征函數(shù)，由定理4.6有注：定理4.9表明：當(dāng)充分大時(shí)，的分布近似于，從而具有近似分布。這意味大量相互獨(dú)立、同分布且存在方差的隨機(jī)變量之和近似服從正態(tài)分布。該結(jié)論在數(shù)理統(tǒng)計(jì)的大樣本理論中有廣泛應(yīng)用，同時(shí)也提供了計(jì)算獨(dú)立同分布隨機(jī)變量之和的近似概率的簡便方法。三、應(yīng)用 德莫佛拉普拉斯中心極限定理是概率論歷史上的第一個(gè)中心極限定理，它有許多重要的應(yīng)用。下面介紹它在數(shù)值計(jì)算方面的一些具體應(yīng)用。1、 二項(xiàng)概率的近似計(jì)算設(shè)是重貝努里試驗(yàn)中事件發(fā)生的次數(shù)，則，對(duì)任意有 當(dāng)很大時(shí)，直接計(jì)算很困難。這時(shí)如果不大（即較小接近于0）或不大（即接近于1）則用普阿松定理來近似計(jì)算（大小適中）；當(dāng)不太接近于0或1時(shí)，可用正態(tài)分布來近似計(jì)算（較大）：例1、 （的）在一家保險(xiǎn)公司里有10000個(gè)人參加保險(xiǎn)，每人每年付12元保險(xiǎn)費(fèi)。在一年內(nèi)一個(gè)人死亡的概率為0.006，死亡時(shí)其家屬可向保險(xiǎn)公司領(lǐng)得1000元，問：（1） 保險(xiǎn)公司虧本的概率多大？（2） 保險(xiǎn)公司一年的利潤不少于40000元的概率為多大？解：保險(xiǎn)公司一年的總收入為120000元，這時(shí)（1）若一