非參數(shù)假設檢驗方法

非參數(shù)假設檢驗方法第一頁，共60頁。例如，從1500到1931年的432年間，每年爆發(fā)戰(zhàn)爭的次數(shù)可以看作一個隨機變量，椐統(tǒng)計，這432年間共爆發(fā)了299次戰(zhàn)爭，具體數(shù)據(jù)如下:戰(zhàn)爭次數(shù)X0123422314248154發(fā)生X次戰(zhàn)爭的年數(shù)在概率論中，大家對泊松分布產(chǎn)生的一般條件已有所了解，容易想到，每年爆發(fā)戰(zhàn)爭的次數(shù)，可以用一個泊松隨機變量來近似描述.也就是說，我們可以假設每年爆發(fā)戰(zhàn)爭次數(shù)分布X近似泊松分布.現(xiàn)在的問題是：上面的數(shù)據(jù)能否證實X具有泊松分布的假設是正確的？第二頁，共60頁。又如，某鐘表廠對生產(chǎn)的鐘進行精確性檢查，抽取100個鐘作試驗，撥準后隔24小時以后進行檢查，將每個鐘的誤差（快或慢）按秒記錄下來.問該廠生產(chǎn)的鐘的誤差是否服從正態(tài)分布？再如，某工廠制造一批骰子，聲稱它是均勻的.為檢驗骰子是否均勻，要把骰子實地投擲若干次，統(tǒng)計各點出現(xiàn)的頻率與1/6的差距.也就是說，在投擲中，出現(xiàn)1點，2點，…，6點的概率都應是1/6.問題是：得到的數(shù)據(jù)能否說明“骰子均勻”的假設是可信的？第三頁，共60頁。本章只介紹2擬合優(yōu)度檢驗、柯爾莫哥洛夫以及斯米爾諾夫檢驗、偏度峰度檢驗。除此還有：獨立性、符號檢驗、游程檢驗、秩和檢驗等等。K.皮爾遜這是一項很重要的工作，不少人把它視為近代統(tǒng)計學的開端。解決這類問題的工具是英國統(tǒng)計學家K.皮爾遜在1900年發(fā)表的一篇文章中引進的所謂2檢驗法.2檢驗法是在總體X的分布未知時，根據(jù)來自總體的樣本，檢驗關于總體分布的假設的一種檢驗方法。第四頁，共60頁。一、2擬合優(yōu)度檢驗適用范圍廣：一個離散、連續(xù)、正態(tài)總體都適用。1、多項分布的2檢法離散總體第五頁，共60頁。對一次抽樣來說，現(xiàn)在對總體X進行假設，即對X的分布律進行假設第六頁，共60頁。由于頻率是概率的近似表現(xiàn)，那么當容量n較大時，為了進行檢驗，還必須知道其分布，否則進行不了檢驗。第七頁，共60頁。為此在1900年，英國統(tǒng)計學家KarlPearson首先提出從該統(tǒng)計量直觀上判斷有，另外，用該統(tǒng)計量對總體分布律進行檢驗，還必須知道其分布。Pearson給出了其漸近分布。類似于以前的檢驗方法，取一個知道分布標準化的度量。第八頁，共60頁。定理1由此可以建立H0的拒絕域只要給定一組樣本觀察值，代入檢驗統(tǒng)計量計算后，就能得出結論。第九頁，共60頁。例1某商場為了研究顧客對一類商品的某三種品牌商品的喜好比例，以便為下次進貨提供較科學的依據(jù)?，F(xiàn)隨機觀察購買此商品的150名顧客，并記錄下其所買的品牌，統(tǒng)計人數(shù)如下：品牌甲乙丙所購買的人數(shù)615336依據(jù)這些數(shù)據(jù)，是否可以斷定顧客對此三種品牌的商品喜好確實存在著顯著的差異？(=0.05)解若對此三種品牌的商品喜好確實不存在著顯著的差異就意味著，對三種品牌的商品喜好比例p1,p2,p3相等。第十頁，共60頁。此是m=3，n1

=61，n2=53，n3

=36，n=150故有理由拒絕H0認為顧客對此三種品牌的商品喜好確實存在著顯著的差異.第十一頁，共60頁。例264只某種雜交的幾內(nèi)亞豬的后代，其中34只紅色，10只黑色，20只白色，根據(jù)遺傳模型，它們之間的比例應為9:3:4，問以上數(shù)據(jù)在0.05的水平下體現(xiàn)的與遺傳模型是否吻合。解若基本吻合，則p1=9/16，p2=3/16，p3=4/16此是m=3，n1

=34，n2=10，n3

=20，n=64認為基本吻合第十二頁，共60頁。例3在一個暗盒中存放有白色與黑色兩色乒乓球，問該盒中的白、黑球的個數(shù)是否相等？為此作以下試驗，用不返回抽取發(fā)式從此盒中取球，直到取出的球是白色球為止，并記錄下抽取的次數(shù)。共重復獨立試驗了100次，結果如下：抽取次數(shù)X12345試驗累計數(shù)43311565解若兩色球個數(shù)相等，則每次取到白球的概率為1/2以抽取次數(shù)X為考查對象，則X服從幾何分布，即計算得第十三頁，共60頁。此是m=5,n1

=43,n2=31,n3

=15,n4

=6,n5=5，n=100計算有結論：接受H0第十四頁，共60頁。若X的分布函數(shù)F(x)的具有明確表達式F0(x)，不含未知參數(shù)。根據(jù)樣本信息推斷X的分布函數(shù)是否為F0(x).第一步：第二步：采用分組離散化方法計算例4驗證一枚骰子是否均勻。電話號碼的數(shù)字出現(xiàn)的概率等等問題。第十五頁，共60頁。第三步：記數(shù)第四步：檢驗其中m為分組數(shù)H0的拒絕域為一般有n>50，npi>5最好npi>10，否則應重新分組。使得npi>5最好npi>10.第十六頁，共60頁。定理2（R.A.Fisher）(3)若X的分布函數(shù)F(x)的具有明確表達式F0(x;)，但含r個未知參數(shù)。根據(jù)樣本信息推斷X的分布函數(shù)是否為F0(x).第一步：由樣本進行參數(shù)的點估計后，將參數(shù)估計值代入分布函數(shù)中，使得分布函數(shù)成為已知函數(shù)F0(x;)。第二步：仿造情形(2)分組離散。第三步：其中m為分組數(shù)，r為分布函數(shù)中待估參數(shù)數(shù).令第十七頁，共60頁。(3)若X的分布函數(shù)F(x)的具有明確表達式F0(x;)，但含r個未知參數(shù)。根據(jù)樣本信息推斷X的分布函數(shù)是否為F0(x).第一步：由樣本進行參數(shù)的點估計后，將參數(shù)估計值代入分布函數(shù)中，使得分布函數(shù)成為已知函數(shù)F0(x;)。第二步：仿造情形(2)分組離散。第三步：其中m為分組數(shù)，r為分布函數(shù)中待估參數(shù)數(shù).令第四步：檢驗H0的拒絕域為一般有n>50，npi>5最好npi>10，否則應重新分組。使得npi>5最好npi>10.第十八頁，共60頁。下面列出了84個依特拉斯坎人男子的頭顱的最大寬度(mm),試驗證這些數(shù)據(jù)是否來自正態(tài)總體?141148132138154142150146155158150140147148144150149145149158143141144144126140144142141140145135147146141136140146142137148154137139143140131143141149148135148152143144141143147146150132142142143153149146149138142149142137134144146147140142140137152145例50.1)(=a解所求問題為檢驗假設第十九頁，共60頁。由最大似然估計法得在H0為真的前提下,X的概率密度的估計為第二十頁，共60頁00870.05190.17520.31200.28110.13360.03750.734.3614.7226.2123.6111.223.156.7941.5524.4010.02=87.67例5的擬合檢驗計算表第二十一頁，共60頁。故在水平0.1下接受H0,認為樣本服從正態(tài)分布.X的概率密度的基本符合第二十二頁，共60頁。讓我們回到檢驗每年爆發(fā)戰(zhàn)爭次數(shù)分布是否服從泊松分布.按參數(shù)為=0.69的泊松分布，計算事件X=i的概率pi

，將有關計算結果列表如下:pi的估計是根據(jù)觀察結果，得參數(shù)的極大似然估計為假設H0:X～P()=0.69，i=0,1,2,3,4戰(zhàn)爭次數(shù)實測頻數(shù)x01234fi

22314248154pinpi216.7149.551.612.0第二十三頁，共60頁。因H0所假設的理論分布中有一個未知參數(shù)，戰(zhàn)爭次數(shù)實測頻數(shù)x01234fi

22314248154pinpi216.7149.551.612.0<5的要合并，即將發(fā)生3次及4次戰(zhàn)爭的組歸并為一組.按=0.05，自由度為4-1-1=2查2分布表得故認為每年發(fā)生戰(zhàn)爭的次數(shù)X服從參數(shù)為0.69的泊松分布.2=2.43<5.991，由于統(tǒng)計量的實測值未落入否定域.第二十四頁，共60頁。奧地利生物學家孟德爾進行了長達八年之久的豌豆雜交試驗，并根據(jù)試驗結果，運用他的數(shù)理知識，發(fā)現(xiàn)了遺傳的基本規(guī)律.在此，我們以遺傳學上的一項偉大發(fā)現(xiàn)為例，說明統(tǒng)計方法在研究自然界和人類社會的規(guī)律性時，是起著積極的、主動的作用.孟德爾子二代子一代…黃色純系…綠色純系第二十五頁，共60頁。由于隨機性，觀察結果與3:1總有些差距，因此有必要去考察某一大小的差異是否已構成否定3:1理論的充分根據(jù)，這就是如下的檢驗問題.這里，n=70+27=97,k=2,檢驗孟德爾的3:1理論:假設H0:p1=3/4,p2=1/4

H1:p1=3/4,p2=1/4至少一不成立理論頻數(shù)為：

np1=72.75,np2實測頻數(shù)為70，27.他的一組觀察結果為：黃70，綠27近似為2.59:1，與理論值相近.根據(jù)他的理論，子二代中,黃、綠之比近似為3:1，第二十六頁，共60頁。由于統(tǒng)計量2的實測值統(tǒng)計量自由度為m-1=12=0.4158<3.841，按=0.05，自由度為1，查2分布表得2(1)未落入否定域.故認為試驗結果符合孟德爾的3:1理論.這些試驗及其它一些試驗，都顯示孟德爾的3:1理論與實際是符合的.這本身就是統(tǒng)計方法在科學中的一項重要應用.用于客觀地評價理論上的某個結論是否與觀察結果相符，以作為該理論是否站得住腳的印證.第二十七頁，共60頁。例6某種動物的后代按體格的屬性分為三類，據(jù)觀察某一群此類動物其中各類的數(shù)目分別為10,53,46.按照遺傳模型其各類的頻率應為p2:2p(1-p):(1-p)2，問這些數(shù)據(jù)是否與此模型相吻合。在=0.05的顯著性水平。解(1)用最大似然估計法估計參數(shù)p.第二十八頁，共60頁。例6某種動物的后代按體格的屬性分為三類，據(jù)觀察某一群此類動物其中各類的數(shù)目分別為10,53,46.按照遺傳模型其各類的頻率應為p2:2p(1-p):(1-p)2，問這些數(shù)據(jù)是否與此模型相吻合。在=0.05的顯著性水平。解(1)用最大似然估計法估計參數(shù)p(2)計算(3)假設(4)計算20.40614.440548.5595二0.1024-2.221648.2216三0.40292.218912.2189一類別第二十九頁，共60頁。例6某種動物的后代按體格的屬性分為三類，據(jù)觀察某一群此類動物其中各類的數(shù)目分別為10,53,46.按照遺傳模型其各類的頻率應為p2:2p(1-p):(1-p)2，問這些數(shù)據(jù)是否與此模型相吻合。在=0.05的顯著性水平。解(1)用最大似然估計法估計參數(shù)p.(2)計算(3)假設(4)計算2(5)H0的拒絕域(6)結論接受H0，認為此數(shù)據(jù)基本符合模型的。第三十頁，共60頁。(4)2擬合優(yōu)度檢驗法的特點1)適用面廣，離散和連續(xù)總體均可以使用，是考察實測頻率與理論頻率的差異。2)此法從本質(zhì)上看，只是檢驗了理論分布函數(shù)的而未真正檢驗然而雖然樣本與分組情況都具有隨機性，但是當分布函數(shù)較為光滑時，即使F(x)與F0(x)有差異，也不應該太大。故此法雖有誤差，但是常用的方法之一。3)2擬合優(yōu)度檢驗法依賴于區(qū)間的劃分，即依賴與分組情況。即使，但若恰好在分組點處的兩函數(shù)值相差不大，即便H0是不真，但2的檢驗統(tǒng)計值不改變。從而2擬合優(yōu)度檢驗法的精度不高，容易范取偽錯誤。第三十一頁，共60頁。二、柯爾莫哥洛夫檢驗為了進一步提高精度，柯爾莫哥洛夫針對一個總體的分布函數(shù)，在采用分組離散化后利用經(jīng)驗分布函數(shù)的性質(zhì)的方法，較完整的考察了經(jīng)驗分布函數(shù)Fn(x)與理論分布函數(shù)F(x)的差異。提高了檢驗的精度。但假定分布函數(shù)是連續(xù)的。設總體X的分布函數(shù)F(x)連續(xù)，故可以選用第三十二頁，共60頁。定理3設分布函數(shù)F(x)連續(xù)，則定理4設分布函數(shù)F(x)連續(xù)，則第三十三頁，共60頁。1、選用Dn為檢驗統(tǒng)計量，假設H0的拒絕域為:2、當n>40或100時，可得一近似求Dn,值方法假設H0的拒絕域仍為:即此種方法雖較精確，但計算量較大。第三十四頁，共60頁。例7某林區(qū)中，隨機抽取340株樹木組成的樣本，測其胸徑，經(jīng)整理后數(shù)據(jù)統(tǒng)計如下：胸徑分組(cm)10~1414~1818~2222~2626~3030~3434~3838~4242~46組間值121620242832364944株數(shù)41134761126622105試用柯爾莫哥洛夫檢驗法檢驗該林區(qū)的樹木胸徑是否服從正態(tài)分布()解(1)第三十五頁，共60頁。解組號分組值頻率組上限標準化經(jīng)驗函數(shù)理論函數(shù)110~140.011814-2.23880.01180.01260.0008214~180.03218-1.67980.04380.04650.0027318~220.10022-0.98070.14380.16350.0197422~260.223526-0.28170.36730.38970.0224526~300.3294300.41730.69670.66280.0339630~340.1941341.11640.89060.86860.022734~380.0647381.81540.95550.96560.0101838~420.0294422.51440.98450.99400.0095942~460.0151463.21341.00000.99930.0007(4)求(5)檢驗接受H0第三十六頁，共60頁?？聽柲缏宸驒z驗法，除了分布檢驗外，還可以用來未知分布函數(shù)F(x)進行區(qū)域估計。實際有xyo第三十七頁，共60頁。三、斯米爾諾夫檢驗比較兩個總體的真分布是否相同.第三十八頁，共60頁。三、偏度、峰度檢驗1.問題的提出根據(jù)第五章關于中心極限定理的論述知道,正態(tài)分布隨機變量較廣泛地存在于客觀世界,因此,當研究一連續(xù)型總體時,人們往往先考察它是否服從正態(tài)分布.上面介紹的檢驗法雖然是檢驗總體分布的較一般的方法,但用它來檢驗總體的正態(tài)性時,犯第II類錯誤的概率往往較大.為此,在對檢驗正態(tài)總體的種種方法進行比較后,認為“偏度、峰度檢驗法”較好第三十九頁，共60頁。2.隨機變量的偏度和峰度的定義第四十頁，共60頁。3.樣本偏度和樣本峰度的定義第四十一頁，共60頁。4.偏度、峰度檢驗法第四十二頁，共60頁。第四十三頁，共60頁。于是得拒絕域以上檢驗法稱為偏度、峰度檢驗法.使用該檢驗法時注意樣本容量應大于100.第四十四頁，共60頁。例8試用偏度、峰度檢驗法檢驗本節(jié)例5中的數(shù)據(jù)是否來自正態(tài)總體?解第四十五頁，共60頁。下面來計算樣本中心距第四十六頁，共60頁。則樣本偏度和樣本峰度為于是得拒絕域第四十七頁，共60頁。解例9試檢驗這顆骰子的六個面是否勻稱?根據(jù)題意需要檢驗假設把一顆骰子重復拋擲300次,結果如下:H0:這顆骰子的六個面是勻稱的.其中X表示拋擲這骰子一次所出現(xiàn)的點數(shù)(可能值只有6個),第四十八頁，共60頁。在H0為真的前提下,第四十九頁，共60頁。所以拒絕H0,認為這顆骰子的六個面不是勻稱的.第五十頁，共60頁。在一試驗中,每隔一定時間觀察一次由某種鈾所放射的到達計數(shù)器上的粒子數(shù),共觀察了100次,得結果如下表:例10第五十一頁，共60頁。解所求