擬合優(yōu)度檢驗

1、歐陽順湘 2005.6.25北京師范大學(xué)珠海分校 檢驗 Chi-Squared TestGoodness-of-fit Test 擬合優(yōu)度檢驗擬合優(yōu)度檢驗&Test of Row and Column Independenc 獨立性檢驗獨立性檢驗2 歐陽順湘 2005.6.25北京師范大學(xué)珠海分校2分布 (圖示) 歐陽順湘 2005.6.25北京師范大學(xué)珠海分校樣本方差的分布) 1() 1(222nsn22) 1(sn 歐陽順湘 2005.6.25北京師范大學(xué)珠海分校由阿貝(Abbe) 于1863年首先給出，后來由海爾墨特(Hermert)和卡皮爾遜(KPearson) 分別于1875

2、年和1900年推導(dǎo)出來設(shè) ，則令 ，則 Y 服從自由度為1的2分布，即 當(dāng)總體 ，從中抽取容量為n的樣本，則2分布 (2 distribution),(2NX) 1 , 0( NXz2zY ) 1 (2Y),(2NX) 1()(2212nxxnii歐陽順湘 2005.6.25北京師范大學(xué)珠海分校分布的變量值始終為正 分布的形狀取決于其自由度n的大小，通常為不對稱的正偏分布，但隨著自由度的增大逐漸趨于對稱 期望為：E(2)=n，方差為：D(2)=2n(n為自由度) 可加性：若U和V為兩個獨立的2分布隨機(jī)變量，U2(n1)， V2(n2),則U+V這一隨機(jī)變量服從自由度為n1+n2的2分布 2分布

3、 (性質(zhì)和特點)歐陽順湘 2005.6.25北京師范大學(xué)珠海分校2分布 (圖示) 選擇容量為選擇容量為n 的的簡單隨機(jī)樣本簡單隨機(jī)樣本計算樣本方差計算樣本方差s2計算卡方值計算卡方值 2 = (n-1)s2/2計算出所有的計算出所有的 2值值總體總體歐陽順湘 2005.6.25北京師范大學(xué)珠海分校 前面討論了當(dāng)總體分布為正態(tài)時，關(guān)前面討論了當(dāng)總體分布為正態(tài)時，關(guān)于其中未知參數(shù)的假設(shè)檢驗問題于其中未知參數(shù)的假設(shè)檢驗問題 . 然而可能遇到這樣的情形，然而可能遇到這樣的情形，總體服從何總體服從何種理論分布并不知道種理論分布并不知道，要求我們直接對總體要求我們直接對總體分布提出一個假設(shè)分布提出一個假設(shè)

4、 .舉例：用 Excel 演示投擲硬幣的檢驗歐陽順湘 2005.6.25北京師范大學(xué)珠海分校 例如，從例如，從1500到到1931年的年的432年間，每年年間，每年爆發(fā)戰(zhàn)爭的次數(shù)可以看作一個隨機(jī)變量，椐統(tǒng)爆發(fā)戰(zhàn)爭的次數(shù)可以看作一個隨機(jī)變量，椐統(tǒng)計，這計，這432年間共爆發(fā)了年間共爆發(fā)了299次戰(zhàn)爭，具體數(shù)據(jù)次戰(zhàn)爭，具體數(shù)據(jù)如下如下:戰(zhàn)爭次數(shù)戰(zhàn)爭次數(shù)X01234 22314248154 發(fā)生發(fā)生 X次戰(zhàn)爭的年數(shù)次戰(zhàn)爭的年數(shù)歐陽順湘 2005.6.25北京師范大學(xué)珠海分校 在概率論中，大家對泊松分布產(chǎn)生的一在概率論中，大家對泊松分布產(chǎn)生的一般條件已有所了解，容易想到，每年爆發(fā)戰(zhàn)般條件已有所了解，容

5、易想到，每年爆發(fā)戰(zhàn)爭的次數(shù)，可以用一個泊松隨機(jī)變量來近似爭的次數(shù)，可以用一個泊松隨機(jī)變量來近似描述描述 . 也就是說，我們可以假設(shè)每年爆發(fā)戰(zhàn)也就是說，我們可以假設(shè)每年爆發(fā)戰(zhàn)爭次數(shù)分布爭次數(shù)分布X近似泊松分布近似泊松分布.上面的數(shù)據(jù)能否證實上面的數(shù)據(jù)能否證實X 具有具有泊松分布的假設(shè)是正確的？泊松分布的假設(shè)是正確的？現(xiàn)在的問題是：現(xiàn)在的問題是：歐陽順湘 2005.6.25北京師范大學(xué)珠海分校又如，某鐘表廠對生產(chǎn)的鐘進(jìn)行精確性檢又如，某鐘表廠對生產(chǎn)的鐘進(jìn)行精確性檢查，抽取查，抽取100個鐘作試驗，撥準(zhǔn)后隔個鐘作試驗，撥準(zhǔn)后隔24小時小時以后進(jìn)行檢查，將每個鐘的誤差（快或慢）以后進(jìn)行檢查，將每個鐘的

6、誤差（快或慢）按秒記錄下來按秒記錄下來.問該廠生產(chǎn)的鐘的誤差是否服從正態(tài)問該廠生產(chǎn)的鐘的誤差是否服從正態(tài)分布？分布？歐陽順湘 2005.6.25北京師范大學(xué)珠海分校再如，某工廠制造一批骰子，再如，某工廠制造一批骰子，聲稱它是均勻的聲稱它是均勻的.為檢驗骰子是否均勻，要把骰子實地投擲為檢驗骰子是否均勻，要把骰子實地投擲若干次，統(tǒng)計各點出現(xiàn)的頻率與若干次，統(tǒng)計各點出現(xiàn)的頻率與1/6的差距的差距.也就是說，在投擲中，出也就是說，在投擲中，出現(xiàn)現(xiàn)1點，點，2點，點，6點的概點的概率都應(yīng)是率都應(yīng)是1/6.得到的數(shù)據(jù)能否說明得到的數(shù)據(jù)能否說明“骰子均勻骰子均勻”的假設(shè)是可信的？的假設(shè)是可信的？問題是：問題

7、是：歐陽順湘 2005.6.25北京師范大學(xué)珠海分校K.皮爾遜皮爾遜這是一項很重要的工作，不少人這是一項很重要的工作，不少人把它視為近代統(tǒng)計學(xué)的開端把它視為近代統(tǒng)計學(xué)的開端. 解決這類問題的工具是英國統(tǒng)計學(xué)家解決這類問題的工具是英國統(tǒng)計學(xué)家K.皮爾遜在皮爾遜在1900年發(fā)表的一篇文章中引進(jìn)年發(fā)表的一篇文章中引進(jìn)的所謂的所謂 檢驗法檢驗法.2 歐陽順湘 2005.6.25北京師范大學(xué)珠海分校 檢驗法檢驗法是在總體是在總體X 的分布未知時，的分布未知時，根據(jù)來自總體的樣本，檢驗關(guān)于總體分根據(jù)來自總體的樣本，檢驗關(guān)于總體分布的假設(shè)的一種檢驗方法布的假設(shè)的一種檢驗方法. 2歐陽順湘 2005.6.25

8、北京師范大學(xué)珠海分校 H0：總體：總體X的分布函數(shù)為的分布函數(shù)為F0(x) 然后根據(jù)樣本的經(jīng)驗分布和所假設(shè)的理論分然后根據(jù)樣本的經(jīng)驗分布和所假設(shè)的理論分布之間的吻合程度來決定是否接受原假設(shè)布之間的吻合程度來決定是否接受原假設(shè). 使用使用 對總體分布進(jìn)行檢驗時，對總體分布進(jìn)行檢驗時，我們先提出原假設(shè)我們先提出原假設(shè):2檢驗法檢驗法這種檢驗通常稱作這種檢驗通常稱作擬合優(yōu)度檢驗擬合優(yōu)度檢驗，它是一，它是一種非參數(shù)檢驗種非參數(shù)檢驗.歐陽順湘 2005.6.25北京師范大學(xué)珠海分校 在用在用 檢驗假設(shè)檢驗假設(shè)H0時，若在時，若在H0下下分布類型已知，但其參數(shù)未知，這時需要先分布類型已知，但其參數(shù)未知，這

9、時需要先估計參數(shù)，然后作檢驗估計參數(shù)，然后作檢驗. 2檢驗法檢驗法分布擬合的分布擬合的 的基本原理和步的基本原理和步驟如下驟如下:2檢驗法檢驗法歐陽順湘 2005.6.25北京師范大學(xué)珠海分校3.根據(jù)所假設(shè)的理論分布根據(jù)所假設(shè)的理論分布,可以算出總體可以算出總體X的的值落入每個值落入每個Ak的概率的概率pk,于是于是npk就是落入就是落入Ak的樣本值的的樣本值的理論頻數(shù)理論頻數(shù).1. 將總體將總體X的取值范圍分成的取值范圍分成 r 個互不重迭的個互不重迭的小區(qū)間小區(qū)間ai-1,ai, i=1,r, 記作記作A1, A2, , Ar .2.把落入第把落入第k個小區(qū)間個小區(qū)間Ak的樣本值的個數(shù)記的

10、樣本值的個數(shù)記作作 nk ， 稱為稱為實際頻數(shù)實際頻數(shù). 1001()()()()kkkkkkpPAP aaF aF a歐陽順湘 2005.6.25北京師范大學(xué)珠海分校221()rkkkknnpnpkknnp標(biāo)志著經(jīng)驗分布與理論分布之間的差異的大小標(biāo)志著經(jīng)驗分布與理論分布之間的差異的大小.皮爾遜引進(jìn)如下統(tǒng)計量表示經(jīng)驗分布皮爾遜引進(jìn)如下統(tǒng)計量表示經(jīng)驗分布與理論分布之間的差異與理論分布之間的差異:統(tǒng)計量統(tǒng)計量 的分布是什么的分布是什么?2 在理論分布在理論分布已知的條件下已知的條件下,npk是常量是常量實際頻數(shù)實際頻數(shù)理論頻數(shù)理論頻數(shù)歐陽順湘 2005.6.25北京師范大學(xué)珠海分校皮爾遜證明了如下

11、皮爾遜證明了如下定理定理:221()rkkkknnpnp 若原假設(shè)中的理論分布若原假設(shè)中的理論分布F0(x)已經(jīng)完全給已經(jīng)完全給定，那么當(dāng)定，那么當(dāng) 時，統(tǒng)計量時，統(tǒng)計量n的分布漸近的分布漸近(r-1)個自由度的個自由度的 分布分布.2 2 n2 如果理論分布如果理論分布F0(x)中有中有m個未知參數(shù)需個未知參數(shù)需用相應(yīng)的估計量來代替，那么當(dāng)用相應(yīng)的估計量來代替，那么當(dāng) 時，時，統(tǒng)計量統(tǒng)計量 的分布漸近的分布漸近 (r-m-1) 個自由度個自由度 的的 分布分布.歐陽順湘 2005.6.25北京師范大學(xué)珠海分校 如果根據(jù)所給的樣本值如果根據(jù)所給的樣本值 X1,X2, ,Xn算得算得統(tǒng)計量統(tǒng)計量

12、 的實測值落入拒絕域，則拒絕原假的實測值落入拒絕域，則拒絕原假設(shè)，否則就認(rèn)為差異不顯著而接受原假設(shè)設(shè)，否則就認(rèn)為差異不顯著而接受原假設(shè).2 得拒絕域得拒絕域:22(1)r22(1)rm(不需估計參數(shù)不需估計參數(shù))(估計估計 r 個參數(shù)個參數(shù)) )(22P查查 分布表可得臨界值分布表可得臨界值2 2 ，使得，使得 根據(jù)這個定理，對給定的顯著性水平根據(jù)這個定理，對給定的顯著性水平 ， 歐陽順湘 2005.6.25北京師范大學(xué)珠海分校 皮爾遜定理是在皮爾遜定理是在n無限增大時推導(dǎo)出來無限增大時推導(dǎo)出來的，因而在使用時要注意的，因而在使用時要注意n要足夠大要足夠大，以及，以及npi 不太小不太小這兩個

13、條件這兩個條件. 根據(jù)計算實踐，要求根據(jù)計算實踐，要求n不小于不小于50，以及，以及npi 都不小于都不小于 5. 否則應(yīng)適當(dāng)合并區(qū)間，使否則應(yīng)適當(dāng)合并區(qū)間，使npi滿足這個要求滿足這個要求 .歐陽順湘 2005.6.25北京師范大學(xué)珠海分校 讓我們回到開始的一個例子，檢驗每讓我們回到開始的一個例子，檢驗每年爆發(fā)戰(zhàn)爭次數(shù)分布是否服從泊松分布年爆發(fā)戰(zhàn)爭次數(shù)分布是否服從泊松分布.提出假設(shè)提出假設(shè)H0: X服從參數(shù)為服從參數(shù)為 的泊松分布的泊松分布 按參數(shù)按參數(shù)為為0.69的泊松分布，計算事件的泊松分布，計算事件X=i 的的概率概率pi ，=0.69X 將有關(guān)計算結(jié)果列表如下將有關(guān)計算結(jié)果列表如下:

14、pi的估計是的估計是，i=0,1,2,3,4!69. 069. 0iepii根據(jù)觀察結(jié)果，得參數(shù)根據(jù)觀察結(jié)果，得參數(shù) 的極大似然估計為的極大似然估計為 歐陽順湘 2005.6.25北京師范大學(xué)珠海分校 因因H0所假設(shè)的理論分布中有一個未知所假設(shè)的理論分布中有一個未知參數(shù)，故自由度為參數(shù)，故自由度為4-1-1=2.x 0 1 2 3 4fi 223 142 48 15 4 0.58 0.31 0.18 0.01 0.02n 216.7 149.5 51.6 12.0 2.16 iiinpnpf2)(0.1830.376 0.251 1.623戰(zhàn)爭次數(shù)戰(zhàn)爭次數(shù)實測頻數(shù)實測頻數(shù)ip ip 14.16

15、2.43將將n 5的組予以合并，即將發(fā)生的組予以合并，即將發(fā)生3次及次及4次次戰(zhàn)爭的組歸并為一組戰(zhàn)爭的組歸并為一組.ip 歐陽順湘 2005.6.25北京師范大學(xué)珠海分校 故認(rèn)為每年發(fā)生戰(zhàn)爭的次數(shù)故認(rèn)為每年發(fā)生戰(zhàn)爭的次數(shù)X服從服從參數(shù)為參數(shù)為0.69的泊松分布的泊松分布.按按 =0.05，自由度為，自由度為4-1-1=2查查 分布表得分布表得2 =5.991)2(205. 0 2 =2.435.991，由于統(tǒng)計量由于統(tǒng)計量2 的實測值的實測值未落入否定域未落入否定域.歐陽順湘 2005.6.25北京師范大學(xué)珠海分校 奧地利生物學(xué)家孟德爾進(jìn)行了長奧地利生物學(xué)家孟德爾進(jìn)行了長達(dá)八年之久的豌豆雜交試

16、驗達(dá)八年之久的豌豆雜交試驗, 并根據(jù)并根據(jù)試驗結(jié)果試驗結(jié)果,運(yùn)用他的數(shù)理知識運(yùn)用他的數(shù)理知識, 發(fā)現(xiàn)了發(fā)現(xiàn)了遺傳的基本規(guī)律遺傳的基本規(guī)律. 在此，我們以遺傳學(xué)上的一項偉大發(fā)現(xiàn)為在此，我們以遺傳學(xué)上的一項偉大發(fā)現(xiàn)為例，說明統(tǒng)計方法在研究自然界和人類社會的例，說明統(tǒng)計方法在研究自然界和人類社會的規(guī)律性時，是起著積極的、主動的作用規(guī)律性時，是起著積極的、主動的作用.孟德爾孟德爾歐陽順湘 2005.6.25北京師范大學(xué)珠海分校子二代子二代子一代子一代黃色純系黃色純系綠色純系綠色純系他的一組觀察結(jié)果為：他的一組觀察結(jié)果為：黃黃70，綠，綠27近似為近似為2.59:1，與理論值相近，與理論值相近. 根據(jù)他

17、的理論，子二代中根據(jù)他的理論，子二代中, 黃、綠之比黃、綠之比 近似為近似為3:1，歐陽順湘 2005.6.25北京師范大學(xué)珠海分校 由于隨機(jī)性，觀察結(jié)果與由于隨機(jī)性，觀察結(jié)果與3:1總有些差總有些差距，因此有必要去考察某一大小的差異是否距，因此有必要去考察某一大小的差異是否已構(gòu)成否定已構(gòu)成否定3:1理論的充分根據(jù)，這就是如理論的充分根據(jù)，這就是如下的檢驗問題下的檢驗問題.這里，這里，n=70+27=97, k=2,檢驗孟德爾的檢驗孟德爾的3:1理論理論:提出假設(shè)提出假設(shè)H0: p1=3/4, p2=1/4理論頻數(shù)為：理論頻數(shù)為： np1=72.75, np2=24.25實測頻數(shù)為實測頻數(shù)為7

18、0，27.歐陽順湘 2005.6.25北京師范大學(xué)珠海分校2 由于統(tǒng)計量由于統(tǒng)計量的實測值的實測值2122)(iiiinpnpf 統(tǒng)計量統(tǒng)計量) 1 (2 自由度為自由度為k-1=12 =0.41583.841，按按 =0.05，自由度為，自由度為1，查，查 分布表得分布表得2 =3.841) 1 (205. 0 未落入否定域未落入否定域.故認(rèn)為試驗結(jié)果符合故認(rèn)為試驗結(jié)果符合孟德爾的孟德爾的3:1理論理論.歐陽順湘 2005.6.25北京師范大學(xué)珠海分校 這些試驗及其它一些試驗，都顯這些試驗及其它一些試驗，都顯 示孟德爾的示孟德爾的3: 1理論與實際是符合的理論與實際是符合的. 這本身就是這本身就是統(tǒng)計方法在科學(xué)中的一項統(tǒng)計方法在科學(xué)中的一項 重要應(yīng)用重要應(yīng)用.用于客觀地評價理論上的某個結(jié)論是用于客觀地評價理論上的某個結(jié)論是否與觀察結(jié)果相符，以作為該理論是否與觀察結(jié)果相符，以作為該理論是否站得住腳的印證否站得住腳的印證.歐陽順湘 2005.6.25北京師范大學(xué)珠海分校 某地英語高考測驗題共105道, 要求這些題目的難度分布為: 要求 實際值 00.3之間 0.15 9 0.30.7之間 0.70 81 0.7 1之間 0.15 15 問實測結(jié)果與難度的理想分布