統(tǒng)計(jì)基礎(chǔ)二大數(shù)定律與中心極限定理

1、中心極限定理中心極限定理-1大數(shù)定律與中心極限定理大數(shù)定律與中心極限定理 中心極限定理中心極限定理-2獨(dú)立同分布大數(shù)定律：設(shè)隨機(jī)變量X1,X2,X3,Xn, 相互獨(dú)立，且具有相同的方差和期望：E(Xk)=,D(Xk)=2（k1，2，3，），作前n個(gè)隨機(jī)變量的算術(shù)平均則對(duì)任意小的正數(shù)，有nkkXnX111limXPn 該定律表明，當(dāng)該定律表明，當(dāng)n n足夠大時(shí)，獨(dú)立同分布的一系列隨機(jī)變量的算術(shù)平足夠大時(shí)，獨(dú)立同分布的一系列隨機(jī)變量的算術(shù)平均數(shù)接近（以概率收斂于）數(shù)學(xué)期望，即平均數(shù)具有穩(wěn)定性。從而提供了均數(shù)接近（以概率收斂于）數(shù)學(xué)期望，即平均數(shù)具有穩(wěn)定性。從而提供了用樣本平均數(shù)估計(jì)總體平均數(shù)的理論

2、依據(jù)。用樣本平均數(shù)估計(jì)總體平均數(shù)的理論依據(jù)。大數(shù)定律大數(shù)定律是闡述大量隨機(jī)變量的平均結(jié)果具有穩(wěn)定性的一系列定律的總稱。是闡述大量隨機(jī)變量的平均結(jié)果具有穩(wěn)定性的一系列定律的總稱。中心極限定理中心極限定理-3貝努利大數(shù)定律 設(shè)A在n重貝努利試驗(yàn)中發(fā)生 次，p=P(A)，則對(duì)任何 0，有An. 1)(limpnnPAn說(shuō)明：貝努利大數(shù)定律是說(shuō)，當(dāng)n很大時(shí)，故可用事件發(fā)生的頻率近似代替事件發(fā)生的概率。，1)( pnnPA例1 設(shè)總體X服從參數(shù)為2的指數(shù)分布， 為 來(lái)自總體X的簡(jiǎn)單隨機(jī)樣本，則當(dāng)n時(shí)， 依概率收斂于 。nXXX，21niinXnY121中心極限定理中心極限定理-4定義定義q 中心極限定理

3、中心極限定理是闡述大量隨機(jī)變量之和的極限分布是正態(tài)分布的一系是闡述大量隨機(jī)變量之和的極限分布是正態(tài)分布的一系列定理的總稱。最常用的有：列定理的總稱。最常用的有：q 獨(dú)立同分布中心極限定理獨(dú)立同分布中心極限定理： “隨機(jī)變量隨機(jī)變量x1，x2，獨(dú)立，且服從同一分布，獨(dú)立，且服從同一分布， 若存在有限的數(shù)學(xué)期望若存在有限的數(shù)學(xué)期望E(xi)=u和方差和方差D(xi)=2， 當(dāng)當(dāng)n時(shí)，隨機(jī)變量的總和時(shí)，隨機(jī)變量的總和xi趨于均值為趨于均值為nu，方差為，方差為n 2的正態(tài)分布。的正態(tài)分布。 （即算術(shù)平均數(shù)（即算術(shù)平均數(shù)1/n xi=xbar趨于均值為趨于均值為u，方差為，方差為2/n的正態(tài)分布）的正

4、態(tài)分布）” 不論總體服從何種分布，只要它的數(shù)學(xué)期望和方差存在，不論總體服從何種分布，只要它的數(shù)學(xué)期望和方差存在， 從中抽取容量為從中抽取容量為n的樣本，則這個(gè)樣本的總和或平均數(shù)是隨機(jī)變量，的樣本，則這個(gè)樣本的總和或平均數(shù)是隨機(jī)變量， 當(dāng)當(dāng)n充分大時(shí)，充分大時(shí)， xi或或 xbar趨于正態(tài)分布。趨于正態(tài)分布。中心極限定理中心極限定理-5定義定義q 德莫佛德莫佛-拉普拉斯中心極限定理拉普拉斯中心極限定理： “如果用如果用X表示表示n次獨(dú)立試驗(yàn)中事件次獨(dú)立試驗(yàn)中事件A發(fā)生發(fā)生(“成功成功”)的次數(shù)，的次數(shù)，P是事件是事件A在每在每次試驗(yàn)中發(fā)生的概率次試驗(yàn)中發(fā)生的概率,則則X服從二項(xiàng)分布服從二項(xiàng)分布,

5、B(n,p), 當(dāng)當(dāng)n時(shí)，時(shí)，X趨于均值為趨于均值為np，方差為，方差為npq的正態(tài)分布。的正態(tài)分布。 ” 正態(tài)分布和泊松分布都是二項(xiàng)分布的極限分布，正態(tài)分布和泊松分布都是二項(xiàng)分布的極限分布， 當(dāng)當(dāng)n足夠大時(shí)，足夠大時(shí)， 可用正態(tài)分布近似計(jì)算可用正態(tài)分布近似計(jì)算; 當(dāng)當(dāng)n足夠大且足夠大且p小時(shí)小時(shí),可用泊松分布近似計(jì)算?？捎貌此煞植冀朴?jì)算。q 中心極限定理是一種十分重要的現(xiàn)象中心極限定理是一種十分重要的現(xiàn)象,它是統(tǒng)計(jì)學(xué)中應(yīng)用的許多方法它是統(tǒng)計(jì)學(xué)中應(yīng)用的許多方法的理論基礎(chǔ)的組成部分的理論基礎(chǔ)的組成部分(如如:計(jì)算樣本均值的置信區(qū)間計(jì)算樣本均值的置信區(qū)間) 中心極限定理中心極限定理-6利用同樣的

6、數(shù)據(jù)畫(huà)出兩種不同的控制圖利用同樣的數(shù)據(jù)畫(huà)出兩種不同的控制圖,并仔細(xì)比較它們的差異并仔細(xì)比較它們的差異: 打開(kāi)文件打開(kāi)文件CENLIMIT.MTW .分別用下面的兩個(gè)路徑畫(huà)出個(gè)體圖和子群大小為分別用下面的兩個(gè)路徑畫(huà)出個(gè)體圖和子群大小為5的均值圖的均值圖 個(gè)體圖路徑個(gè)體圖路徑 均值圖路徑均值圖路徑中心極限定理中心極限定理-7圖形輸出圖形輸出樣本平均樣本平均 仔細(xì)比較兩個(gè)圖上的控制上下線仔細(xì)比較兩個(gè)圖上的控制上下線(UCL和和LCL),有什么不同有什么不同?ObservationIndividual Value1361211069176614631161100908070605040_X=68.28

7、UCL=96.59LCL=39.97I Chart of OutputSampleSample Mean28252219161310741807570656055_X=68.28UCL=80.70LCL=55.861Xbar Chart of Output中心極限定理中心極限定理-8個(gè)體控制圖和個(gè)體控制圖和 X barX bar控制圖的差異控制圖的差異UCLX3LCLX3UCLnX3LCLnX315100102030405060中心極限定理中心極限定理-9E平均值分布的標(biāo)準(zhǔn)偏差叫做平均值分布的標(biāo)準(zhǔn)偏差叫做 E這個(gè)公式表明平均值比個(gè)體數(shù)據(jù)更穩(wěn)定，穩(wěn)定因子是樣本數(shù)的平這個(gè)公式表明平均值比個(gè)體數(shù)據(jù)更

8、穩(wěn)定，穩(wěn)定因子是樣本數(shù)的平方根。方根。xxn x 均值標(biāo)準(zhǔn)誤差均值標(biāo)準(zhǔn)誤差個(gè)體值的標(biāo)準(zhǔn)差個(gè)體值的標(biāo)準(zhǔn)差n =平均值的樣本數(shù)平均值的樣本數(shù)x均值的標(biāo)準(zhǔn)誤差（Standard Error of the Mean）其中其中中心極限定理中心極限定理-10MS meanMSn() 我們經(jīng)常依靠從測(cè)量系統(tǒng)中得到的一個(gè)數(shù)值來(lái)估計(jì)我們經(jīng)常依靠從測(cè)量系統(tǒng)中得到的一個(gè)數(shù)值來(lái)估計(jì)輸入輸入或或輸輸出出變量的值變量的值。減小測(cè)量系統(tǒng)誤差的簡(jiǎn)易方法就是把兩個(gè)或更多的。減小測(cè)量系統(tǒng)誤差的簡(jiǎn)易方法就是把兩個(gè)或更多的讀數(shù)平均。讀數(shù)平均。 我們的測(cè)量系統(tǒng)的精密度自動(dòng)增加，增加因子是平均值樣本我們的測(cè)量系統(tǒng)的精密度自動(dòng)增加，增加因

9、子是平均值樣本數(shù)的平方根數(shù)的平方根, ,如果我們要想使測(cè)量系統(tǒng)的誤差減小一半，我們就如果我們要想使測(cè)量系統(tǒng)的誤差減小一半，我們就需要把需要把4 4次的測(cè)量值平均才可以。次的測(cè)量值平均才可以。實(shí)際應(yīng)用實(shí)際應(yīng)用測(cè)量系統(tǒng)的改善測(cè)量系統(tǒng)的改善中心極限定理中心極限定理-11l當(dāng)總體數(shù)據(jù)具備正態(tài)分布時(shí)當(dāng)總體數(shù)據(jù)具備正態(tài)分布時(shí)中心極限定理理解例題模擬中心極限定理理解例題模擬-1l 假設(shè)你面前有一個(gè)大桶假設(shè)你面前有一個(gè)大桶, ,桶里面裝有相當(dāng)多數(shù)量的白色紙條桶里面裝有相當(dāng)多數(shù)量的白色紙條, ,每張紙條上都寫(xiě)每張紙條上都寫(xiě) 有數(shù)字，且假定這些數(shù)字都來(lái)自一個(gè)具有特定平均值和標(biāo)準(zhǔn)偏差的正態(tài)分布有數(shù)字，且假定這些數(shù)字

10、都來(lái)自一個(gè)具有特定平均值和標(biāo)準(zhǔn)偏差的正態(tài)分布. . 1)1)從中隨機(jī)抽出從中隨機(jī)抽出9 9張白色紙條張白色紙條, ,并把其上面的并把其上面的9 9個(gè)數(shù)字求平均個(gè)數(shù)字求平均, , 2)2)然后把這個(gè)平均值寫(xiě)在一張綠色紙條上然后把這個(gè)平均值寫(xiě)在一張綠色紙條上, , 3)3)把這把這9 9張白色紙條放回原來(lái)的桶里張白色紙條放回原來(lái)的桶里, , 4)4)把這張綠色紙條放入另外一個(gè)桶里把這張綠色紙條放入另外一個(gè)桶里, , 如此重復(fù)上面的步驟，直到盛有綠色紙條的桶放滿為止。如此重復(fù)上面的步驟，直到盛有綠色紙條的桶放滿為止。l白色紙條代表總體的數(shù)據(jù)；白色紙條代表總體的數(shù)據(jù)；l綠色紙條代表平均值的樣本；綠色紙

11、條代表平均值的樣本；l我們用我們用MINITABMINITAB來(lái)模擬做這個(gè)練習(xí)。來(lái)模擬做這個(gè)練習(xí)。中心極限定理中心極限定理-12:讓我們用讓我們用MINITABMINITAB產(chǎn)生一些模擬的數(shù)據(jù)來(lái)驗(yàn)證我們的理論。產(chǎn)生一些模擬的數(shù)據(jù)來(lái)驗(yàn)證我們的理論。:首先用首先用MINITABMINITAB產(chǎn)生產(chǎn)生9 9列各列各250250個(gè)數(shù)據(jù)，假設(shè)這些數(shù)據(jù)來(lái)自一個(gè)個(gè)數(shù)據(jù)，假設(shè)這些數(shù)據(jù)來(lái)自一個(gè) 平均值平均值=70=70、標(biāo)準(zhǔn)偏差標(biāo)準(zhǔn)偏差=9=9的正態(tài)分布的正態(tài)分布: :則列則列C1-C9 C1-C9 代表白色紙條代表白色紙條:然后求出各行然后求出各行9 9個(gè)數(shù)據(jù)的平均值，其結(jié)果放在列個(gè)數(shù)據(jù)的平均值，其結(jié)果放在列

12、C10C10，則，則:C10C10代表綠色紙條。代表綠色紙條。:我們用描述統(tǒng)計(jì)的方法求出各列數(shù)據(jù)的平均和標(biāo)準(zhǔn)偏差。我們用描述統(tǒng)計(jì)的方法求出各列數(shù)據(jù)的平均和標(biāo)準(zhǔn)偏差。:仔細(xì)比較仔細(xì)比較C1-C9C1-C9列與列與C10C10列有什么差別？列有什么差別？ 例題例題1 1 中心極限定理應(yīng)用模擬中心極限定理應(yīng)用模擬中心極限定理中心極限定理-131、用、用MINITAB隨機(jī)產(chǎn)生樣本數(shù)據(jù)隨機(jī)產(chǎn)生樣本數(shù)據(jù)分別輸入下列信息分別輸入下列信息中心極限定理中心極限定理-142、樣本平均數(shù)計(jì)算、樣本平均數(shù)計(jì)算中心極限定理中心極限定理-153、輸出：產(chǎn)生、輸出：產(chǎn)生10列數(shù)據(jù)列數(shù)據(jù)注意：每次每個(gè)人操作產(chǎn)生的數(shù)據(jù)都不一樣

13、注意：每次每個(gè)人操作產(chǎn)生的數(shù)據(jù)都不一樣中心極限定理中心極限定理-164 4、描述統(tǒng)計(jì)路徑、描述統(tǒng)計(jì)路徑中心極限定理中心極限定理-175 5、描述統(tǒng)計(jì)結(jié)果比較、描述統(tǒng)計(jì)結(jié)果比較Variable N Mean SE Mean TrMean StDev MedianC1 250 69.218 0.592 69.116 9.364 68.803C2 250 69.649 0.573 69.610 9.059 69.204C3 250 70.354 0.548 70.290 8.672 69.870C4 250 71.108 0.577 71.120 9.125 70.722C5 250 70.398

14、0.542 70.402 8.574 70.105C6 250 70.650 0.534 70.772 8.442 70.483C7 250 70.161 0.551 70.293 8.713 70.216C8 250 70.377 0.550 70.238 8.698 70.397C9 250 69.872 0.580 69.925 9.173 70.145C10 250 70.199 0.187 70.187 2.955 70.29xxxn99933中心極限定理中心極限定理-185 5、描述統(tǒng)計(jì)結(jié)果比較（續(xù)）、描述統(tǒng)計(jì)結(jié)果比較（續(xù)）Variable N Mean SE Mean TrMea

15、n StDev MedianC1 250 69.218 0.592 69.116 9.364 68.803C2 250 69.649 0.573 69.610 9.059 69.204C3 250 70.354 0.548 70.290 8.672 69.870C4 250 71.108 0.577 71.120 9.125 70.722C5 250 70.398 0.542 70.402 8.574 70.105C6 250 70.650 0.534 70.772 8.442 70.483C7 250 70.161 0.551 70.293 8.713 70.216C8 250 70.377

16、 0.550 70.238 8.698 70.397C9 250 69.872 0.580 69.925 9.173 70.145C10 250 70.199 0.187 70.187 2.955 70.29現(xiàn)在開(kāi)始比較?，F(xiàn)在開(kāi)始比較。中心極限定理中心極限定理-19C9Frequency90.082.575.067.560.052.545.037.535302520151050Mean69.87StDev 9.173N250Histogram (with Norm al Curve) of C9C10Frequency787572696663403020100Mean70.20StDev2.9

17、55N250Histogram (with Normal Curve) of C10l樣本的散布樣本的散布( (C C9)9)和樣本平均的散布和樣本平均的散布( (C10)C10)進(jìn)行比較。進(jìn)行比較。散布散布減少了很多減少了很多. = = 9.173 = = 2.9556 6、直方圖直方圖結(jié)果比較結(jié)果比較中心極限定理中心極限定理-20l用點(diǎn)圖比較頻度數(shù)用點(diǎn)圖比較頻度數(shù)則則能夠更明確的了解能夠更明確的了解散布散布。Data88807264564840C9C10Dotplot of C9, C10Each symbol represents up to 2 observations.7 7、點(diǎn)圖點(diǎn)

18、圖結(jié)果比較結(jié)果比較中心極限定理中心極限定理-21F樣本平均值分布的樣本平均值分布的平均值平均值和總體的平均值十分接近和總體的平均值十分接近;F樣本平均值分布的樣本平均值分布的標(biāo)準(zhǔn)偏差標(biāo)準(zhǔn)偏差等于總體的標(biāo)準(zhǔn)偏差除以等于總體的標(biāo)準(zhǔn)偏差除以樣本數(shù)的平方根樣本數(shù)的平方根;F樣本平均值的分布十分接近正態(tài)分布。樣本平均值的分布十分接近正態(tài)分布。8 8、結(jié)論結(jié)論中心極限定理中心極限定理-22q 當(dāng)總體數(shù)據(jù)是非正態(tài)分布時(shí)，若從中隨機(jī)抽樣當(dāng)總體數(shù)據(jù)是非正態(tài)分布時(shí)，若從中隨機(jī)抽樣n n個(gè)并計(jì)算其平均，個(gè)并計(jì)算其平均， 同樣如此反復(fù)若干次，然后比較這些平均的散布與這些個(gè)體值的同樣如此反復(fù)若干次，然后比較這些平均的散

19、布與這些個(gè)體值的 散布，你會(huì)發(fā)現(xiàn)，當(dāng)散布，你會(huì)發(fā)現(xiàn)，當(dāng)n n時(shí)，時(shí)，x-barx-bar的散布也具有正態(tài)分布。的散布也具有正態(tài)分布。q 為了驗(yàn)證為了驗(yàn)證, ,我們?cè)诜钦龖B(tài)分布中隨機(jī)選擇一個(gè)偏移較大的分布我們?cè)诜钦龖B(tài)分布中隨機(jī)選擇一個(gè)偏移較大的分布- - “Chi-SquareChi-Square分布分布”，求其，求其x-barx-bar來(lái)體會(huì)一下中心極限定理。來(lái)體會(huì)一下中心極限定理。 l當(dāng)總體數(shù)據(jù)不具備正態(tài)分布時(shí)當(dāng)總體數(shù)據(jù)不具備正態(tài)分布時(shí)中心極限定理理解例題模擬中心極限定理理解例題模擬-2中心極限定理中心極限定理-231 1、用、用Chi-SquareChi-Square分布隨機(jī)產(chǎn)生分布隨機(jī)產(chǎn)

20、生9 9列，每列各有列，每列各有250250個(gè)數(shù)據(jù)個(gè)數(shù)據(jù)中心極限定理中心極限定理-24C911.29.68.06.44.83.21.60.0D o tplo t o f C 92 2、用產(chǎn)生的數(shù)據(jù)進(jìn)行、用產(chǎn)生的數(shù)據(jù)進(jìn)行點(diǎn)圖點(diǎn)圖描繪和描繪和正態(tài)檢驗(yàn)正態(tài)檢驗(yàn) 在這里看到，這是一個(gè)很偏移的分布，在這里看到，這是一個(gè)很偏移的分布，我們用它來(lái)驗(yàn)證中心極限定理我們用它來(lái)驗(yàn)證中心極限定理C9Percent12.510.07.55.02.50.0-2.5-5.099.99995908070605040302010510.1Mean0.0051.929StDev2.085N250AD14.539P-ValueP

21、robability Plot of C9Normal 中心極限定理中心極限定理-25xxxn20920367.C10 項(xiàng)是對(duì)項(xiàng)是對(duì) C1C9 的平均值的數(shù)據(jù)統(tǒng)計(jì)，的平均值的數(shù)據(jù)統(tǒng)計(jì)，同樣同樣樣樣本本大小為大小為 9，其散布明顯變得小多了。其散布明顯變得小多了。Variable N Mean SE Mean TrMean StDev MedianC1 250 2.041 0.137 1.765 2.163 1.287C2 250 2.055 0.135 1.798 2.134 1.475C3 250 1.861 0.119 1.644 1.874 1.291C4 250 1.966 0.122 1.731 1.930 1.406C5 250 1.953 0.111 1.791 1.749 1.339C6 250 1.966 0.128 1.717 2.026 1.220C7 250 1.842 0.118 1.640 1.869 1.357C8 250 2.024 0.120 1.843 1.899 1.534C9 250 1.