非參數(shù)統(tǒng)計 多總體統(tǒng)計推斷課件

1、胡雪梅胡雪梅QQ:182048520 E-mail： 第五章第五章多總體統(tǒng)計推斷多總體統(tǒng)計推斷數(shù)學(xué)與統(tǒng)計學(xué)院數(shù)學(xué)與統(tǒng)計學(xué)院本章內(nèi)容本章內(nèi)容多組數(shù)據(jù)位置推斷多組數(shù)據(jù)位置推斷多總體檢驗(yàn)問題：01k1iiH :FFH :F(x)F(x),i1,k 一般用方差分析方法解決，不管哪一類方差分析方法，都需要作正態(tài)分布假定，如果正態(tài)分布假定不成立，則可借助秩的方法解決。 假定總體是連續(xù)的, 且除位置參數(shù)不同以外,分布是相似的.Kruskal-Wallis單因素方差分析 基本原理基本原理：類似處理兩個樣本相關(guān)性位置檢驗(yàn)的W-M-W方法類似，將多個樣本混合起來求秩，如果遇到打結(jié)的情況，采用平均秩，然后再按樣本組

2、求秩和。 檢驗(yàn)方法檢驗(yàn)方法.11(1),2nikiin nRinn其中. jR計算第j組的樣本平均秩： 分析 服從什么分布. jniijjjjnRnRRj1.n個對象n1n2nk12knn nn所有可能分配方法檢驗(yàn)方法檢驗(yàn)方法.()(1)1(),var()2121cov(,)12jjjjijnnnnE RRnnRR 在H0的假定下,具有等可能性: 0.121,1,2, HjjkPRrjknn nn定理5.1 在H0的假定下在H0的假定下,.1,1,2,.,2jnRjk檢驗(yàn)方法檢驗(yàn)方法MST總均方為=SST/(n-1)=n(n+1)/12混合數(shù)據(jù)各秩的平方和: 222212(1)(21)/6ij

3、Rnn nn混合數(shù)據(jù)各秩的總平方和為222.11()/(1)(1) /12.inkijijijSSTRRRRnn nn檢驗(yàn)方法檢驗(yàn)方法2(1)SStHkMST同樣有分解公式: 22.111122.1111()()()()jjjjnkknijijjjijjinnkkijjjjijiRRRRRRRRRR總離差平方和 = 組內(nèi)離差平方和 + 組間離差平方和因此, 考慮統(tǒng)計量為00,THH當(dāng) 大于某臨界值時 拒絕否則接受。檢驗(yàn)方法檢驗(yàn)方法對秩仿照方差分析原理：得到Kruskal-Wallis的H統(tǒng)計量： 在零假設(shè)情況下，H近似服從 ，當(dāng) 的時候拒絕零假設(shè)。 2(k 1)2,(k 1)H對比其中每兩組差

4、異對比其中每兩組差異對比其中每兩組差異的時候，用Dunn(1964)年提出用：其中如果 那么表示i和j兩組之間存在差異， ， 為標(biāo)準(zhǔn)正態(tài)分布分位數(shù)。 *ij1|d | Z*/k(k1) ZSERRdjiij/ |.jinnnnSE1112) 1(用R軟件計算: x y kruskal.test(x,y)Kruskal-Wallis rank sum testdata: x and y Kruskal-Wallis chi-square = 8.0721, df = 3, p-value = 0.0445 alternative hypothesis: two.sided 結(jié)論: 接受H1, 認(rèn)

5、為組與組之間有差異.y x y kruskal.test(x,y)Kruskal-Wallis rank sum testdata: x and y Kruskal-Wallis chi-square = 9.2481, df = 2, p-value = 0.0098 alternative hypothesis: two.sided 結(jié)論：拒絕H0，接受H1。Jonckheere-Terpstra檢驗(yàn)檢驗(yàn)原理以及方法檢驗(yàn)原理以及方法假設(shè)k個獨(dú)立的樣本： 分別來自于k個形狀相同的分布： .假設(shè)檢驗(yàn)問題：至少有一不等式嚴(yán)格成立。1k111nk1knX, X;X, X1kF(x),F(x)01k

6、11kH :H : 計算步驟計算步驟ijiujvijW#(XX ,u 1,n ;v 1,n )2. 計算Jonckheere-Terpstra統(tǒng)計量：iji jJW3. 當(dāng)Jc0時，考慮拒絕零假設(shè)，J精確分布值可以查附表7，對于大樣本，可以考慮正態(tài)近似。 1. 計算當(dāng)數(shù)據(jù)打結(jié)的時，采用變形的公式：*ijiujvijiujvij1W#(XX ,u 1,n ;v 1,n )#(XX ,u 1,n ;v 1,n )2*iji jJW例例5.3例例5.3解解R畫圖:boxplot(x1,x2,x3)111.566Z3.16414.38E(J)66,var(J)14.3844.5111.5123nn6,

7、n8超過查附表超過查附表7的范圍，采用正態(tài)近似的范圍，采用正態(tài)近似例例5.3解解w12 x1 x2 x3-c(128,142,128,134,135,132,140,129) for(i in 1:6)w12ix1) w121 4 3 5 4 4 5Sum(w12)=25同理可計算w13=42, w23=44.5。例例5.4A 40 35 38 43 44 41B 38 40 47 44 40 42C 48 40 45 43 46 44 為研究三組教學(xué)法對兒童記憶英文單詞能力的影響, 測試了三組數(shù)據(jù), 研究人員認(rèn)為對三組學(xué)生的成績應(yīng)該按A, B, C次序增加排列, 具體數(shù)據(jù)如下:0123112

8、3H:H : 1. 提出問題2. 計算W12*=22, W13*=30.5, W23*=26.5, 從而計算J*=79;3. 查表得p值等于0.0231, 因此拒絕原假設(shè).例例5.4計算W12*=22, W13*=30.5, W23*=26.5, 的R程序： y1 y2 y3 for(j in 1:6)w12jy1)+0.5*sum(y2j=y1) w121 1.5 2.5 6.0 5.5 2.5 4.0sum(w12)1 2236384042444648Friedman秩方差分析 完全隨機(jī)區(qū)組設(shè)計完全隨機(jī)區(qū)組設(shè)計Friedman秩方差分析 11x12x1kx21x22x2kx 樣本1樣本2樣

9、本k區(qū)組1區(qū)組2區(qū)組bbkxb1xb2x完全隨機(jī)區(qū)組設(shè)計表 假設(shè)檢驗(yàn)問題：01k1ijH :H : i, j 1,k, 11R12R1kR21R22R2kRb1Rb2RbkR1R2RkR 樣本1樣本2樣本k區(qū)組1區(qū)組2區(qū)組b秩和在同一區(qū)組內(nèi)，計算樣本的秩,并求出： bRRjj.kjRRbiijj,.,1,1.(1)2k k 檢驗(yàn)統(tǒng)計量檢驗(yàn)統(tǒng)計量2.2.11()1()jbkijijbRRQRRbk利用普通類似方差分析構(gòu)造統(tǒng)計量：在零假設(shè)成立下 ，如果 偏大，那么就考慮拒絕原假設(shè)。如果存在打結(jié)的情況，則可采用修正公式計算。 2(k 1)Q Q) 1(3) 1(122.kbRkbkQj3()1(1)

10、ciiQQbk k 例例5.5Hollander-Wolfe兩處理兩處理比較檢驗(yàn)比較檢驗(yàn) 當(dāng)用Friedman秩方差分析，檢驗(yàn)出認(rèn)為處理之間表現(xiàn)出差異的時候，那么可以進(jìn)一步研究處理兩兩之間是否存在差異。 Hollander-Wolfe檢驗(yàn)公式： 其中 ，在打結(jié)的情況下可使用修正的公式。當(dāng) 時認(rèn)為兩個處理之間存在差異，其中 ， 是顯著性水平。SEbk(k1)/6*ij1| D |Z*/k(k1) SERRDjiij/ |.例例5.6例例5.6隨機(jī)區(qū)組調(diào)整秩和檢驗(yàn) 假設(shè)檢驗(yàn)問題：01k1ijH :H : i, j1,k 當(dāng)區(qū)組數(shù)處理組數(shù)時, Friedman檢驗(yàn)的效果不好.下面介紹HL檢驗(yàn)。計算步

11、驟計算步驟1. 計算每一區(qū)組的位置估計，中位數(shù)或平均值等，如: 2. 計算 ，被稱為調(diào)整觀察值。 3. 將全部調(diào)整觀測值混合求秩，設(shè) 對應(yīng)的混合秩為 ，者稱為調(diào)整秩。（kruskal-wallis） ijAXijAR其中檢驗(yàn)檢驗(yàn)在零假設(shè)成立時，Q 近似服從 ，當(dāng) Q 偏大的時候，考慮拒絕原假設(shè)。出現(xiàn)打結(jié)時，需要用修正的公式。2(k 1)例例5.7解答解答解答（續(xù)）解答（續(xù)）Cochran檢驗(yàn)檢驗(yàn) 針對定性數(shù)據(jù)表的檢驗(yàn)方法。例如，考察三名推銷員的推銷能力，顧客對推銷員進(jìn)行打分，滿意1分，不滿意0分。顧 客1 2 3 4 5 6 7 8 9 10 11 12甲乙丙1 1 1 1 1 1 0 0 1

12、 1 1 00 1 0 1 0 0 0 1 0 0 0 01 0 1 0 0 1 0 1 0 0 0 0問推銷員的推銷效果是否一樣？Cochran檢驗(yàn)檢驗(yàn)檢驗(yàn)原理以及計算：檢驗(yàn)原理以及計算：當(dāng)完全區(qū)組設(shè)計，并且觀測只是二元定性數(shù)據(jù)時，Cochran Q檢驗(yàn)方法進(jìn)行處理。數(shù)據(jù)形式見下表。其中ijO0,1檢驗(yàn)檢驗(yàn)假設(shè)檢驗(yàn)問題：01H :kH :k個總體分布相同個總體分布不同.(1,),ijijjiOBpnn 服從二項分布.,()(0,1)()jjjnE nNVar n在大樣本的情況下近似2.21.()(1)()kjjjjnE nkVar n則檢驗(yàn)檢驗(yàn).11(),kjjijjjiNE nnNOkk

13、需要估計：.()()jjE nVar n和2.1111()(1)(1)bbiijiiinnVar nNnkkkk則.1.012()()()(1),1,2,.,bjijiijijijiiiikVar nVar OVar OppnHpppibk理論上在的假定下檢驗(yàn)檢驗(yàn)Cochran Q檢驗(yàn)統(tǒng)計量：Q近似服從 分布，當(dāng)Q值偏大的時候，考慮拒絕零假設(shè)。2(k 1)22.211.1()/(1)()/kkjjjbjjjiinE nnNkQkVar nNnk建立R函數(shù)文件：#Cochran檢驗(yàn)x=c(0,0,0,1,0,0,0,0,0,1)y=c(1,1,0,1,0,1,0,0,1,1)z=c(rep(1,9),0)A=matrix(c(x,y,z),nrow=10)nidot=apply(A,1,sum)ndotj=apply(A,2,sum)k=ncol(A)Q=(k-1)*(sum(ndotj2)-sum(ndotj)2/k)/(sum(nidot)-sum(nidot2)/k)pvalue=1-pchisq(Q,k-1)Durbin不完全區(qū)組分析不完全區(qū)組分析 原理：原理： 可能存在處理非常多，但是每個區(qū)組中允許的樣本量有限的時候，每一個區(qū)組中不可能包含所有的處理，比如重要的均衡不完全區(qū)組BIB設(shè)計。Durbin檢驗(yàn)便是針對這種問題