分類資料的假設(shè)檢驗(yàn)

1、第六章 分類資料的假設(shè)檢驗(yàn)第 六 章 分類資料的假設(shè)檢驗(yàn)6.1 分類數(shù)據(jù)與列聯(lián)表分類數(shù)據(jù)與列聯(lián)表 6.2 擬合優(yōu)度擬合優(yōu)度 檢驗(yàn)檢驗(yàn)6.3 獨(dú)立性檢驗(yàn)獨(dú)立性檢驗(yàn)6.4 c c2分布的期望值準(zhǔn)則分布的期望值準(zhǔn)則6.5 Fisher確切概率法確切概率法學(xué)習(xí)目標(biāo)1. 解釋列聯(lián)表解釋列聯(lián)表進(jìn)行進(jìn)行 c c2 檢驗(yàn)檢驗(yàn)擬合優(yōu)度檢驗(yàn)擬合優(yōu)度檢驗(yàn)獨(dú)立性檢驗(yàn)獨(dú)立性檢驗(yàn)c c2分布的期望值準(zhǔn)則分布的期望值準(zhǔn)則2. 了解了解Fisher確切概率法確切概率法案例與背景案例與背景 研究三種藥物的致癌性，現(xiàn)在對(duì)兩組白鼠進(jìn)行實(shí)驗(yàn)。分別在其身上注射不同的藥物。實(shí)驗(yàn)結(jié)果見表6-1，問三種藥物的致癌性有無差別？ 表6-1處理發(fā)

2、癌老鼠未發(fā)癌老鼠合計(jì)發(fā)癌率（%）注射A24477133.80注射B16213743.24注射C8394717.02合計(jì)4810715530.97數(shù)據(jù)的類型與列聯(lián)分析數(shù)數(shù) 據(jù)據(jù)定量數(shù)據(jù)定量數(shù)據(jù)(數(shù)值型數(shù)據(jù)數(shù)值型數(shù)據(jù))定性數(shù)據(jù)定性數(shù)據(jù)(品質(zhì)數(shù)據(jù)品質(zhì)數(shù)據(jù))離散數(shù)據(jù)離散數(shù)據(jù)連續(xù)數(shù)據(jù)連續(xù)數(shù)據(jù)列聯(lián)分析列聯(lián)分析分類數(shù)據(jù)分類變量的結(jié)果表現(xiàn)為類別例如：性別 (男, 女)各類別用符號(hào)或數(shù)字代碼來測(cè)度使用分類或順序尺度你吸煙嗎? 1.是；2.否你贊成還是反對(duì)這一改革方案?1.贊成；2.反對(duì)n對(duì)分類數(shù)據(jù)的描述和分析通常使用列聯(lián)表n可使用c檢驗(yàn)6.1 分類數(shù)據(jù)與列聯(lián)表分類數(shù)據(jù)分類數(shù)據(jù)列聯(lián)表的構(gòu)造列聯(lián)表的構(gòu)造列聯(lián)表的分布

3、列聯(lián)表的分布列聯(lián)表的構(gòu)造列聯(lián)表(contingency table)由兩個(gè)以上的變量交叉分類的頻數(shù)分布表行變量的類別用 r 表示， ri 表示第 i 個(gè)類別列變量的類別用 c 表示， cj 表示第 j 個(gè)類別每種組合的觀察頻數(shù)用 fij 表示表中列出了行變量和列變量的所有可能的組合，所以稱為列聯(lián)表一個(gè) r 行 c 列的列聯(lián)表稱為 r c 列聯(lián)表列聯(lián)表的結(jié)構(gòu)(2 2 列聯(lián)表)列列( cj )合計(jì)合計(jì)j =1j =2i =1f11f12f11+ f12i =2f21f22f21+ f22合計(jì)合計(jì)f11+ f21f12+ f22n列聯(lián)表的結(jié)構(gòu)(r c 列聯(lián)表的一般表示)列列(cj)合計(jì)合計(jì)j =1j

4、 = 2i =1f11f12r1i = 2f21f22r2:合計(jì)合計(jì)c1c2n列聯(lián)表(例題分析)一分公司二分公司三分公司四分公司合計(jì)合計(jì)贊成該方案贊成該方案68755779279反對(duì)該方案反對(duì)該方案32453331141合計(jì)合計(jì)10012090110420【例【例6.1】一個(gè)集團(tuán)公司在四個(gè)不同的地區(qū)設(shè)有分公司，現(xiàn)該集團(tuán)公司欲進(jìn)行一項(xiàng)改革，此項(xiàng)改革可能涉及到各分公司的利益，故采用抽樣調(diào)查方式，從四個(gè)分公司共抽取420個(gè)樣本單位(人)，了解職工對(duì)此項(xiàng)改革的看法，調(diào)查結(jié)果如下表觀察值列聯(lián)表的分布邊緣分布行邊緣分布行觀察值的合計(jì)數(shù)的分布例如，贊成改革方案的共有279人，反對(duì)改革方案的141人列邊緣分布

5、列觀察值的合計(jì)數(shù)的分布例如，四個(gè)分公司接受調(diào)查的人數(shù)分別為100人，120人，90人，110人條件分布與條件頻數(shù)變量 X 條件下變量 Y 的分布，或在變量 Y 條件下變量 X 的分布每個(gè)具體的觀察值稱為條件頻數(shù)觀察值的分布(圖示)一分公司二分公司三分公司四分公司合計(jì)合計(jì)贊成該方案贊成該方案68755779279反對(duì)該方案反對(duì)該方案32453331141合計(jì)合計(jì)10012090110420百分比分布(概念要點(diǎn))條件頻數(shù)反映了數(shù)據(jù)的分布，但不適合對(duì)比為在相同的基數(shù)上進(jìn)行比較，可以計(jì)算相應(yīng)的百分比，稱為百分比分布百分比分布行百分比：行的每一個(gè)觀察頻數(shù)除以相應(yīng)的行合計(jì)數(shù)(fij / ri)列百分比：列

6、的每一個(gè)觀察頻數(shù)除以相應(yīng)的列合計(jì)數(shù)( fij / cj )總百分比：每一個(gè)觀察值除以觀察值的總個(gè)數(shù)( fij / n )百分比分布(圖示)一分公司二分公司三分公司四分公司合計(jì)合計(jì)贊成該方案贊成該方案24.4%26.9%20.4%28.3%66.4%68.0%62.5%63.3571.8%16.2%17.8%13.6%18.8%反對(duì)該方案反對(duì)該方案22.7%31.9%23.4%22.0%33.6%32.0%37.5%36.7%28.2%7.6%10.7%7.9%7.4%合計(jì)合計(jì)23.8%28.6%21.4%26.2%100%總百分比總百分比列百分比列百分比行百分比行百分比期望頻數(shù)的分布假定行變量

7、和列變量是獨(dú)立的一個(gè)實(shí)際頻數(shù) fij 的期望頻數(shù) eij ，是總頻數(shù)的個(gè)數(shù) n 乘以該實(shí)際頻數(shù) fij 落入第 i 行 和第j列的概率，即jijiijcrcrennnn 期望頻數(shù)的分布(例題分析)由于觀察頻數(shù)的總數(shù)為n ，所以f11 的期望頻數(shù) e11 應(yīng)為6643.66420100279111111 ncrncnrnencnr11 例如，第1行和第1列的實(shí)際頻數(shù)為 f11 ,它落在第1行的概率估計(jì)值為該行的頻數(shù)之和r1除以總頻數(shù)的個(gè)數(shù) n ，即：r1/n；它落在第1列的概率的估計(jì)值為該列的頻數(shù)之和c1除以總頻數(shù)的個(gè)數(shù) n ，即：c1/n 。根據(jù)概率的乘法公式，該頻數(shù)落在第1行和第1列的概率應(yīng)

8、為期望頻數(shù)的分布 (例題分析)一分公司一分公司二分公司二分公司三分公司三分公司四分公司四分公司贊成該贊成該方案方案實(shí)際頻數(shù)實(shí)際頻數(shù)68755779期望頻數(shù)期望頻數(shù)66806073反對(duì)該反對(duì)該方案方案實(shí)際頻數(shù)實(shí)際頻數(shù)32453331期望頻數(shù)期望頻數(shù)344030376.2 擬合優(yōu)度檢驗(yàn)一一. c c 統(tǒng)計(jì)量統(tǒng)計(jì)量2擬合優(yōu)度檢驗(yàn)擬合優(yōu)度檢驗(yàn)c 統(tǒng)計(jì)量用于檢驗(yàn)列聯(lián)表中變量間擬合優(yōu)度和獨(dú)立性用于測(cè)定兩個(gè)分類變量之間的相關(guān)程度 計(jì)算公式為2211()(1)(1)rcijijijijfijijeijijfeercc列聯(lián)表中第 行第 列類別的實(shí)際頻數(shù)列聯(lián)表中第 行第 列類別的期望頻數(shù)其自由度為式中：c 統(tǒng)計(jì)量

9、(例題分析)實(shí)際頻數(shù)實(shí)際頻數(shù)(fij)期望頻數(shù)期望頻數(shù)(eij)fij - eij(fij - eij)2(fij- eij)2f687557793245333166806073344030372-5-36-253-64259364259360.06060.31250.15000.49320.11760.62500.30000.97300319. 3)(22eefcSPSS計(jì)算卡方值列聯(lián)表對(duì)方案的態(tài)度 * 分公司 Crosstabulation對(duì)方案的態(tài)度 * 分公司 Crosstabulation6875577927966.479.759.873.1279.024.4%26.9%20.4%2

10、8.3%100.0%68.0%62.5%63.3%71.8%66.4%16.2%17.9%13.6%18.8%66.4%3245333114133.640.330.236.9141.022.7%31.9%23.4%22.0%100.0%32.0%37.5%36.7%28.2%33.6%7.6%10.7%7.9%7.4%33.6%10012090110420100.0120.090.0110.0420.023.8%28.6%21.4%26.2%100.0%100.0%100.0%100.0%100.0%100.0%23.8%28.6%21.4%26.2%100.0%CountExpected C

11、ount% within 對(duì)方案的態(tài)度% within 分公司% of TotalCountExpected Count% within 對(duì)方案的態(tài)度% within 分公司% of TotalCountExpected Count% within 對(duì)方案的態(tài)度% within 分公司% of Total贊成反對(duì)對(duì)方案的態(tài)度Total一分公司二分公司三分公司四分公司分公司Total品質(zhì)數(shù)據(jù)的假設(shè)檢驗(yàn)品質(zhì)數(shù)據(jù)品質(zhì)數(shù)據(jù)比例檢驗(yàn)比例檢驗(yàn)獨(dú)立性檢驗(yàn)獨(dú)立性檢驗(yàn)Z 檢驗(yàn)檢驗(yàn)一個(gè)總體c c 檢驗(yàn)檢驗(yàn)Z 檢驗(yàn)檢驗(yàn)c c 檢驗(yàn)檢驗(yàn)兩個(gè)以上總體兩個(gè)總體擬合優(yōu)度檢驗(yàn)(goodness of fit test)檢驗(yàn)多

12、個(gè)比例是否相等檢驗(yàn)的步驟提出假設(shè)H0：1 = 2 = = j；H1： 1 , 2 , , j 不全相等 計(jì)算檢驗(yàn)的統(tǒng)計(jì)量進(jìn)行決策根據(jù)顯著性水平和自由度(r-1)(c-1)查出臨界值c2若c2c2，拒絕H0；若c25.99)。因此，數(shù)據(jù)顯示：當(dāng)顯著水平=0.05時(shí)，我們應(yīng)當(dāng)拒絕 。 也就是說，樣本數(shù)據(jù)顯示：觀眾在觀看完兩種不同版本的商業(yè)廣告片之后，其反應(yīng)類型會(huì)有明顯的差異。20.05,25.99c0H6.3 獨(dú)立性檢驗(yàn)(test of independence)檢驗(yàn)列聯(lián)表中的行變量與列變量之間是否獨(dú)立檢驗(yàn)的步驟為提出假設(shè)H0：行變量與列變量獨(dú)立H1：行變量與列變量不獨(dú)立計(jì)算檢驗(yàn)的統(tǒng)計(jì)量進(jìn)行決策根

13、據(jù)顯著性水平和自由度(r-1)(c-1)查出臨界值c2若c2c2，拒絕H0；若c2c29.448，拒絕H0獨(dú)立性檢驗(yàn)(例題分析)H0:地區(qū)與原料等級(jí)之間獨(dú)立H1:地區(qū)與原料等級(jí)之間不獨(dú)立 = 0.05df = (3-1)(3-1)= 4臨界值臨界值(s):統(tǒng)計(jì)量統(tǒng)計(jì)量: 在 = 0.05的水平上拒絕H0地區(qū)和原料等級(jí)之間存在依賴關(guān)系 決策決策:結(jié)論結(jié)論:c c 019.829.488 =0.0582.19)(1122ricjijijijeefc6.4 c c2分布的期望值準(zhǔn)則分布的期望值準(zhǔn)則 準(zhǔn)則準(zhǔn)則1：總頻數(shù)：總頻數(shù)n應(yīng)較大，即樣本容量較大，應(yīng)至應(yīng)較大，即樣本容量較大，應(yīng)至少大于少大于50，

14、大于，大于100更好。更好。 準(zhǔn)則準(zhǔn)則2：各組的理論頻數(shù)和不得小于：各組的理論頻數(shù)和不得小于n。 準(zhǔn)則準(zhǔn)則3：每個(gè)單元（組）的理論頻數(shù)，即組內(nèi)理論：每個(gè)單元（組）的理論頻數(shù)，即組內(nèi)理論頻數(shù)，必須大于等于頻數(shù)，必須大于等于5。若某單元（組）的理論頻。若某單元（組）的理論頻數(shù)小于數(shù)小于5，則可將相鄰的若干組合并，直至合并后，則可將相鄰的若干組合并，直至合并后的理論頻數(shù)大于的理論頻數(shù)大于5為止。為止。 準(zhǔn)則準(zhǔn)則4：若有兩個(gè)以上單元（組），并且有：若有兩個(gè)以上單元（組），并且有20的的組的理論頻數(shù)小于組的理論頻數(shù)小于5，則不能用，則不能用c c2檢驗(yàn)檢驗(yàn)。c2分布的期望值準(zhǔn)則Test Statisti

15、csTest Statistics3.5085.622Chi-SquareadfAsymp. Sig.VAR000011 cells (16.7%) have expected frequencies less than5. The minimum expected cell frequency is 4.0.a. 類別類別2826.02.04947.02.01823.0-5.064.02.09288.04.02025.0-5.0213ABCDEFTotalObserved NExpected NResidual將理論頻數(shù)小將理論頻數(shù)小于于5的組合并計(jì)的組合并計(jì)算卡方值。算卡方值。c2分布的期

16、望值準(zhǔn)則合并后的計(jì)算結(jié)果：合并后的計(jì)算結(jié)果：Test StatisticsTest Statistics1.7544.781Chi-SquareadfAsymp. Sig.類別0 cells (.0%) have expected frequencies less than5. The minimum expected cell frequency is 25.0.a. 類類 別別2826.04947.02427.09288.02025.0213ABCDETotalObserved NExpected Nc2分布的期望值準(zhǔn)則T Te es st t S St ta at ti is st ti

17、 ic cs s14.0086.030Chi-SquareadfAsymp. Sig.類別3 cells (42.9%) have expected frequencies less than5. The minimum expected cell frequency is 1.0.a. 類類 別別3032.0-2.0110113.0-3.08687.0-1.02324.0-1.052.03.054.01.041.03.0263ABCDEFGTotalObserved NExpected NResidual理論頻數(shù)過小會(huì)理論頻數(shù)過小會(huì)導(dǎo)致計(jì)算的卡方導(dǎo)致計(jì)算的卡方值過大，從而導(dǎo)值過大，從而導(dǎo)致檢

18、驗(yàn)失效。致檢驗(yàn)失效。c2分布的期望值準(zhǔn)則 合并后的結(jié)果：合并后的結(jié)果：Test StatisticsTest Statistics7.2584.123Chi-SquareadfAsymp. Sig.類別0 cells (.0%) have expected frequencies less than5. The minimum expected cell frequency is 7.0.a. 類別類別3032.0-2.0110113.0-3.08687.0-1.02324.0-1.0147.07.0263ABCDETotalObserved NExpected NResidual6.5 精確

19、概率法精確概率法 四格表 值的校正 分布原來是正態(tài)變量的一種分布， 界值表就是根據(jù)這種連續(xù)性分布而計(jì)算出來的。但是分類資料是間斷性的，由此計(jì)算的 值不連續(xù)，尤其是自由度為1的四格表，其P值可能偏小，此時(shí)要對(duì)值作連續(xù)性校正。2c2c2c2c 校正條件：1T5 且 n40 校正公式： （6.6） （6.7） 22(0.5)ATTc22(/ 2)adbcnnabcdacbdc四格表 檢驗(yàn)的應(yīng)用條件當(dāng)n40 且所有T5時(shí)，用四格表 檢驗(yàn)；當(dāng)n40但有1T5時(shí)，用校正四格表 檢驗(yàn)；當(dāng)n40或有T1時(shí)，不能用 檢驗(yàn)，改用確切概率法。2c2c2c2c 四格表卡方檢驗(yàn)輸出結(jié)果有卡方值, 校正卡方值和精確概率值

20、,當(dāng)卡方值較大時(shí),這三種結(jié)果較一致, 優(yōu)選用精確概率值,當(dāng)卡方值在界值附近時(shí), 宜用四格表確切概率法計(jì)算所得的精確概率值。 Fisher確切概率法 Fisher確切概率(Fisher probabilities in 22 table)法是由R.A.Fisher提出的，其理論依據(jù)是超幾何分布，并非 檢驗(yàn)的范疇，但實(shí)際應(yīng)用中常用它作為四格表資料假設(shè)檢驗(yàn)的補(bǔ)充。 在四格表周邊合計(jì)數(shù)固定不變的條件下，計(jì)算表內(nèi)4個(gè)實(shí)際頻數(shù)變動(dòng)時(shí)的各種組合之概率 ；再按檢驗(yàn)假設(shè)用單側(cè)或雙側(cè)的累計(jì)概率 ，依據(jù)所取的檢驗(yàn)水準(zhǔn) 做出推斷。 各組合概率， 服從超幾何分布，其和為1。在四格表周邊合計(jì)數(shù)不變的條件下計(jì)算 2ciPP

21、iP()!()!()!()! ! ! ! !ia bc da cb dPa b c d n單、雙側(cè)檢驗(yàn)累計(jì)概率 的計(jì)算方法 設(shè)現(xiàn)有樣本四格表中的交叉積差 ，其概率為 ，其余情況下的組合四格表的交叉積差記為 ，概率記為 。 （1）單側(cè)檢驗(yàn)若現(xiàn)有樣本四格表中 ，須計(jì)算滿足 和 條件的各種組合下四格表的累計(jì)概率。若 ，則計(jì)算滿足 和 條件的各種組合下四格表的累計(jì)概率。Pa db cD PiDiP0DiDDiPP0DiDDiPP（2）雙側(cè)檢驗(yàn)計(jì)算滿足 和 條件的各種組合下四格表的累計(jì)概率。若遇到 或 時(shí)，四格表內(nèi)各種組合的序列呈對(duì)稱分布，此時(shí)按單側(cè)檢驗(yàn)規(guī)定條件只計(jì)算單側(cè)累計(jì)概率，然后乘以2即得雙側(cè)累計(jì)

22、概率。iDDiPPa b c d a c b d 檢驗(yàn)步驟 . ，即兩組具有相同的概率 ，即兩組概率不等.計(jì)算現(xiàn)有樣本四格表的 和 及各組合下四格表的 。.計(jì)算滿足 條件的各組合下四格表的概率 。.計(jì)算同時(shí)滿足 和 條件的四格表的累計(jì)概率。.按 檢驗(yàn)水準(zhǔn)確定拒絕域。012:H112:HDPiDDiDiPiDDiPP【例6-7】 某醫(yī)師為研究乙肝免疫球蛋白預(yù)防胎兒宮內(nèi)感染HBV的效果，將33例HBsAg陽性孕婦隨機(jī)分為預(yù)防注射組和非預(yù)防組，結(jié)果見下表。問兩組新生兒的HBV總體感染率有無差別？ 組別陽性陰性合計(jì)感染率（%）預(yù)防注射組4182218.18非預(yù)防組561145.45合計(jì)9243327.

23、27兩組新生兒HBV感染率的比較 各組合概率的計(jì)算在四格表周邊合計(jì)數(shù)不變的條件下，表內(nèi)4個(gè)實(shí)際頻數(shù)a,b,c,d變動(dòng)的組合數(shù)共有“周邊合計(jì)中最小數(shù)+1”個(gè)。表內(nèi)4個(gè)實(shí)際頻數(shù)變動(dòng)的組合數(shù)共有10個(gè)，依次為 (1)(2)(3)(4)(5)0221212203194189283746556ad-bc=-198, ad-bc=-165, ad-bc=-132, ad-bc =-99, ad-bc= -66 (6)(7)(8)(9)(10)517616715814913473829110011ad-bc=-33, ad-bc=0, ad-bc=33, ad-bc=66, ad-bc=99檢驗(yàn)步驟 建立假

24、設(shè)： H0：12，即兩組新生兒HBV的總體感染率相等 H1：12，即兩組新生兒HBV的總體感染率不等 計(jì)算現(xiàn)有樣本四格表的D*和P*及各組合下四格表的Di，見下計(jì)算表。 本例中： D* =-66，P* =0.0876計(jì)算滿足條件 的各組合下四格表的概率Pi。計(jì)算同時(shí)滿足 和 條件的四格表的累計(jì)概率。 本例P1、 P2 、 P3 、 P4 、 P5和P10滿足條件，累計(jì)概率為： P1+ P2 + P3 + P4 + P5+P100.1210 結(jié)論：P0.05，按=0.05檢驗(yàn)水準(zhǔn)不拒絕H0，尚不能認(rèn)為預(yù)防注射與非預(yù)防的新生兒HBV的總體感染率不等。 *iDD66iD *iPPi四格表組合Di=a

25、b-cdPiabcd102292-1980.00000143212183-1650.00009412322074-1320.00197656431965-990.018447855*41856-66*0.08762728*651747-337616380871529339814110660.0912039010913011990.01289752 Fisher確切概率法計(jì)算表 * 為現(xiàn)有樣本 案例分析： 某公司生產(chǎn)三種類型的飲料：橙汁、蘋果汁、番茄汁。為了更好銷售，公司研究男性與女性對(duì)于三種飲料的偏好是否有差異，如果對(duì)飲料的偏好與消費(fèi)者性別無關(guān)，則對(duì)公司所有的飲料種類只需做同一廣告；如果對(duì)飲料的偏好與消費(fèi)者性別有關(guān)，將針對(duì)不同的市場(chǎng)目標(biāo)采取不同的推銷策略。 檢驗(yàn)重點(diǎn)討論飲料的偏好是否與消費(fèi)者性別獨(dú)立的問題。這個(gè)檢驗(yàn)的假設(shè)為： ：飲料偏好與消費(fèi)者性別獨(dú)立 ：飲料偏好與消費(fèi)者性別不獨(dú)立0HaH檢驗(yàn)設(shè)計(jì) 檢驗(yàn)重點(diǎn)討論飲料的偏好是否與消費(fèi)者性別獨(dú)立的問題。這個(gè)檢驗(yàn)的假設(shè)為： ：飲料偏好與消費(fèi)者性別獨(dú)立 ：飲料偏好與消費(fèi)者性別不獨(dú)立0HaH 表6-10可以用于描述上述問題。在確定了所有男性和女性消費(fèi)者總體之后，可以抽取一個(gè)樣本，詢問其中每個(gè)人對(duì)此公司飲料的偏好。樣本中每個(gè)人將被分類到表中6個(gè)單元格之一。例如偏好橙汁的女性屬