數(shù)理統(tǒng)計(jì)課件：假設(shè)檢驗(yàn)的基本概念

假設(shè)檢驗(yàn)的基本概念為了說明假設(shè)檢驗(yàn)問題，首先看幾個具體例子.例5.1.1某車間生產(chǎn)的鋼管直徑X服從正態(tài)分布N(μ,0.52)，其中μ未知.按照規(guī)定，為確保該批鋼管能夠與其它零件匹配，生產(chǎn)的鋼管平均直徑應(yīng)為100mm.現(xiàn)從一批鋼管中隨機(jī)抽取10根，測得其直徑的平均值為100.15mm

.目的：如何根據(jù)抽樣的結(jié)果判斷鋼管的平均直徑是否為μ=100問題：該批生產(chǎn)的鋼管是否符合規(guī)定?證據(jù)：鋼管直徑的平均值為100.15mm.

例5.1.2假設(shè)電視節(jié)目的收視服從伯努利分布.有人斷言某電視節(jié)目的收視率p

超過30%.為判斷該斷言正確與否，通過調(diào)查問卷的方式隨機(jī)調(diào)查了50人，調(diào)查結(jié)果顯示有10人觀看過該節(jié)目.目的：如何根據(jù)抽樣的結(jié)果判斷電視節(jié)目的收視率p

超過30%.問題：該斷言是否合適?證據(jù)：隨機(jī)調(diào)查了50人，調(diào)查結(jié)果顯示有10人觀看過該節(jié)目.例5.1.3根據(jù)以往經(jīng)驗(yàn)，某建筑材料的抗斷強(qiáng)度指標(biāo)X服從正態(tài)分布，現(xiàn)在改變了該材料的生產(chǎn)配方并進(jìn)行新的生產(chǎn)流程，從新材料中隨機(jī)抽取100件測其抗斷強(qiáng)度.目的：如何根據(jù)抽樣的結(jié)果判斷新材料的抗斷強(qiáng)度指標(biāo)Y

是否仍服從正態(tài)分布？問題：新材料的抗斷強(qiáng)度指標(biāo)Y

是否仍服從正態(tài)分布？證據(jù)：從新材料中隨機(jī)抽取100件測其抗斷強(qiáng)度..假設(shè)檢驗(yàn)的基本任務(wù)通過從有關(guān)總體中抽取一定數(shù)量的樣本，利用樣本對未知總體分布的某些方面(如總體均值、總體方差、總體分布本身等等)的假設(shè)作出合理的判斷.

例5.1.1和例5.1.2都是需要對總體分布的參數(shù)做出檢驗(yàn)，因此它們是參數(shù)假設(shè)檢驗(yàn).

例5.1.3是對總體分布的檢驗(yàn)，是非參數(shù)假設(shè)檢驗(yàn).

結(jié)合這幾個例子，在本節(jié)中，我們將介紹假設(shè)檢驗(yàn)的基本概念，并給出求解假設(shè)檢驗(yàn)的步驟.5.1.1檢驗(yàn)問題的提出例5.1.1某車間生產(chǎn)的鋼管直徑X服從正態(tài)分布N(μ,0.52)，其中μ未知.按照規(guī)定，為確保該批鋼管能夠與其它零件匹配，生產(chǎn)的鋼管平均直徑應(yīng)為100mm.現(xiàn)從一批鋼管中隨機(jī)抽取10根，測得其直徑的平均值為100.15mm

.根據(jù)題意：X~N(μ,0.52)，記μ0=100.由于這種假設(shè)是人為加上的，不一定成立.當(dāng)H0不成立時(shí)，另一種推斷為該批鋼管的均值已經(jīng)不再是100mm，記作H1

：μ

100H0

：μ=100因此鋼管是否符合要求是指平均直徑是μ

=μ0

還是μ

μ0

.若相等就表示符合要求，否則就要進(jìn)行停產(chǎn)檢查.根據(jù)以往經(jīng)驗(yàn)，我們可先假設(shè)該批鋼管符合要求，即μ

=100，記作第一步：我們提出一個假設(shè)它叫做原假設(shè)或零假設(shè).另一個可能是叫做備擇假設(shè)或?qū)α⒓僭O(shè).該問題化為接受H0，還是接受H1.在數(shù)學(xué)上我們記為H1

：μ

100H0

：μ=100H0

：μ=100；H1

：μ

100設(shè)有參數(shù)分布族，其中Θ為參數(shù)空間.設(shè)X1,X

2,…，Xn是從上述分布族中的某總體抽取的樣本.在參數(shù)假設(shè)檢驗(yàn)問題中，感興趣的是參數(shù)θ是否屬于參數(shù)空間Θ的某個非空真子集Θ0，則H0:θ∈Θ0稱為原假設(shè)或零假設(shè).確切含義是：檢驗(yàn)是否存在一個θ0∈Θ0使得X的分布為f(x,θ0)

.

記Θ1

Θ

-

Θ0，則命題H1:θ∈Θ1稱為H0的對立假設(shè)或備擇假設(shè).注意：這個提法中將原假設(shè)H0放在中心位置，H0和H1的地位不一樣，位置不可更換.原因：我們關(guān)心的是θ∈Θ0是否成立.在假設(shè)檢驗(yàn)問題中，我們需要利用樣本提供的信息(即數(shù)據(jù))來檢驗(yàn)原假設(shè)H0成立還是備擇假設(shè)H1成立.原假設(shè)H0寫在左邊，作為中心位置；備擇假設(shè)H1寫在右邊，作為陪襯地位.例5.1.1中，Θ0

取為{100}，Θ1取為R-{100}，H0是簡單假設(shè)，H1是復(fù)合假設(shè)；例5.1.2中，原假設(shè)中取Θ0

=[0.3,1]，

備擇假設(shè)中取Θ1=[0,0.3)，H0是復(fù)合假設(shè)，H1是復(fù)合假設(shè)；若Θ0或Θ1中只包含參數(shù)空間Θ中一個點(diǎn)，則稱為簡單假設(shè)；否則稱為復(fù)合假設(shè).例如樣本抽自正態(tài)總體N(μ,σ2)，其中σ2已知.參數(shù)空間如果則H0為簡單原假設(shè)，H1為復(fù)合備擇假設(shè)如果此時(shí)H0為復(fù)合原假設(shè)，H1為復(fù)合備擇假設(shè).說明：原假設(shè)和備擇假設(shè)都是總體分布族的子分布族.5.1.2拒絕域、檢驗(yàn)函數(shù)和隨機(jī)化檢驗(yàn)繼續(xù)討論例5.1.1.例5.1.1

設(shè)X1,X

2,…，Xn為從正態(tài)總體N(μ,σ2)中抽取的樣本，其中σ2已知.考慮檢驗(yàn)問題其中μ0為給定的常數(shù).問題：接受H0還是接受H1？求μ的一個良好的點(diǎn)估計(jì):是μ的UMVUE.若較大，認(rèn)為樣本與原假設(shè)H0有差異，傾向于拒絕H0.若較小，認(rèn)為樣本與原假設(shè)H0相近，傾向于接受H0.具體的說，確定一個常數(shù)，由X1,X

2,…，Xn算出樣本均值，若時(shí)，拒絕H0.若時(shí)，接受H0.統(tǒng)計(jì)量稱為檢驗(yàn)統(tǒng)計(jì)量，它衡量數(shù)據(jù)(樣本)與原假設(shè)之間的差異程度，可以看成數(shù)據(jù)與原假設(shè)之間的一種距離.第二步：構(gòu)造檢驗(yàn)統(tǒng)計(jì)量稱為否定域，或叫做拒絕域.拒絕域是由樣本空間χ

中一切使的那些樣本X1,X

2,…，Xn構(gòu)成.有了拒絕域，等價(jià)于將樣本空間χ分成不相交的兩部分D和.一旦有了樣本(X1,X

2,…，Xn

)，當(dāng)(X1,X

2,…，Xn

)∈D

時(shí)，拒絕H0；當(dāng)

時(shí)，接受H0；稱

為接受域.第三步：確定拒絕域的形式.T

給出了一種法則，一旦有了樣本，就可以在拒絕H0或接受H0這兩個結(jié)論中選擇一個.稱這樣一種法則T為檢驗(yàn)問題一個檢驗(yàn).稱用于分割出D

和的數(shù)值為假設(shè)檢驗(yàn)的臨界值.只要臨界值

定下來，拒絕域(即否定域)也就確定了.因此，此問題中的檢驗(yàn)可視為如下一種法則為了數(shù)學(xué)處理方便.引入檢驗(yàn)函數(shù)

φ(x)的概念，φ(x)與檢驗(yàn)T

是一一對應(yīng)，在例5.1.1中由式給出的檢驗(yàn)函數(shù)

φ(x)是定義在樣本空間χ上，取值于[0,1]上的函數(shù).由定義可見，若φ(x)=1，則以概率1拒絕H0；若φ(x)=0，則以概率0拒絕H0.若φ(x)只取0和1這兩個值，稱這種檢驗(yàn)為非隨機(jī)化檢驗(yàn).拒絕域可用檢驗(yàn)函數(shù)表示如下若存在樣本點(diǎn)x，有0<φ(x)<1，則稱φ(x)為隨機(jī)化檢驗(yàn).隨機(jī)化檢驗(yàn)在可靠性統(tǒng)計(jì)中常涉及.在例5.1.1中，如果樣本正好落在拒絕域與接受域的邊界上，而買方以此為由拒絕購買該批鋼管，此時(shí)廠方被拒絕的可能性大了，廠方覺得吃虧；如果廠方認(rèn)為該批鋼管沒有問題，則買方收到不合格產(chǎn)品的可能性大了，買方覺得吃虧.以下討論假定φ(x)皆為非隨機(jī)化的檢驗(yàn)函數(shù)，

除非特別聲明，不認(rèn)為φ(x)為隨機(jī)化檢驗(yàn)函數(shù).此時(shí)，可以事先規(guī)定一個概率，使得該批鋼管以概率p0被接受.當(dāng)概率p0給定后，可以借助裝著小球的盒子或者不均勻的骰子等來確定是否接受該批產(chǎn)品.此時(shí)檢驗(yàn)函數(shù)為在確定拒絕域和檢驗(yàn)函數(shù)后，我們需要確定臨界值.臨界值的確定基于以下原則：第四步：確定臨界值.由于在未獲得外部信息的情況下，我們通常更愿意相信原假設(shè)繼續(xù)成立，即狀態(tài)并未發(fā)生變化.當(dāng)在原假設(shè)成立的情況下小概率事件頻繁出現(xiàn)時(shí)，我們才會傾向于相信原假設(shè)已經(jīng)不成立，狀態(tài)發(fā)生了改變.基本思想：實(shí)際推斷原理，也稱小概率原理.5.1.3兩類錯誤和功效函數(shù)統(tǒng)計(jì)推斷是以樣本為依據(jù)，由于樣本的隨機(jī)性，不能保證統(tǒng)計(jì)推斷方法的絕對正確性，而只能以一定的概率去保證這種推斷的可靠性.在假設(shè)檢驗(yàn)問題中可能犯兩類錯誤.(1)當(dāng)原假設(shè)H0成立時(shí)拒絕原假設(shè)，稱這類錯誤為第一類錯誤(或棄真錯誤)，其發(fā)生的概率稱為犯第一類錯誤的概率(或棄真概率)；(2)原假設(shè)H0本來不正確，但卻接受了H0，稱這類錯誤為第二類錯誤(或取偽錯誤)，其發(fā)生的概率稱為犯第二類錯誤的概率(或取偽概率)假設(shè)檢驗(yàn)的兩類錯誤真實(shí)情況所作判斷接受

H0拒絕

H0H0

為真H0

為假正確正確第一類錯誤

(棄真錯誤)第二類錯誤

(取偽錯誤)犯第一類錯誤的概率=P{第一類錯誤}

=P{當(dāng)H0為真時(shí)拒絕

H0}犯第二類錯誤的概率=P{第二類錯誤}

=P{當(dāng)H0不真時(shí)接受

H0

}在確定了兩類錯誤的概念后，我們希望進(jìn)一步用函數(shù)來刻畫這兩種概率.為此，需要引進(jìn)功效函數(shù)的概念.設(shè)φ(x)是的一個檢驗(yàn)函數(shù)，則函數(shù)稱為φ的功效函數(shù)，也稱為效函數(shù)或勢函數(shù).若檢驗(yàn)函數(shù)φ(x)為非隨機(jī)化檢驗(yàn)，拒絕域?yàn)镈，則此時(shí)功效函數(shù)表示當(dāng)參數(shù)為θ時(shí)，拒絕原假設(shè)H0的概率.定義5.1.1(功效函數(shù))利用功效函數(shù)計(jì)算兩類錯誤的概率.以和分別表示犯第一和第二類錯誤的概率，則犯第一類錯誤的概率為犯第二類錯誤的概率為說明1.當(dāng)樣本容量確定后，犯兩類錯誤的概率不可能同時(shí)減少.2.假設(shè)檢驗(yàn)的指導(dǎo)思想是控制犯第一類錯誤的概率不超過α，然后，盡可能的減少第二類錯誤的發(fā)生.這里就能看出假設(shè)檢驗(yàn)原假設(shè)與備擇假設(shè)地位是不可互換的.一個好的檢驗(yàn)φ(x)，犯兩類錯誤的概率都應(yīng)該較小.即：功效函數(shù)γφ(θ)

在Θ0中應(yīng)該盡可能的小，

功效函數(shù)γφ(θ)在Θ1中應(yīng)該盡可能的大.犯兩類錯誤的概率完全由功效函數(shù)決定，因此如果兩個檢驗(yàn)有同一功效函數(shù)，則該檢驗(yàn)在性質(zhì)上也完全相同.Neyman—Pearson提出以下原則控制犯第一類錯誤概率的原則，即在保證犯第一類錯誤的概率不超過指定數(shù)值α(

0<α<1，通常取較小的數(shù))的檢驗(yàn)中，尋找犯第二類錯誤的概率盡可能小的檢驗(yàn).5.1.4顯著性檢驗(yàn)若記：Sα表示由所有犯第一類錯誤的概率都不超過α的檢驗(yàn)函數(shù)構(gòu)成的類.只考慮Sα中的檢驗(yàn)，在Sα中挑選“犯第二類錯誤的概率盡可能小的檢驗(yàn)”.這種法則稱為控制犯第一類錯誤概率的法則.關(guān)于原假設(shè)與備擇假設(shè)的選取根據(jù)Neyman—Pearson原則，在原假設(shè)H0為真時(shí)，作出錯誤決定(即拒絕H0)的概率受到了控制.在控制犯第一類錯誤的概率α的原則下，使得采取拒絕H0

的決策變得較慎重，即H0得到特別的保護(hù)，不輕易被拒絕.因而，通常把有把握的、有經(jīng)驗(yàn)、不能輕易否定的命題作為原假設(shè)，或者盡可能使后果嚴(yán)重的錯誤成為第一類錯誤.把沒把握的、不能輕易肯定的命題作為備擇假設(shè).原假設(shè)H0與H1地位不平等.既然我們不能同時(shí)控制一個檢驗(yàn)的兩類錯誤，那么我們不妨先考慮一個簡單些的問題，僅僅去限制第一類錯誤：設(shè)φ(x)是檢驗(yàn)問題的一個檢驗(yàn)函數(shù)，而0≤α≤1.如果檢驗(yàn)φ(x)犯第一類錯誤的概率總不超過α或者等價(jià)的：檢驗(yàn)φ滿足γφ(θ)≤α，一切θ∈Θ0.則稱α是檢驗(yàn)φ(x)的一個水平，而φ(x)稱為顯著性水平為α的檢驗(yàn)，簡稱水平為α的檢驗(yàn).定義5.1.2(顯著性檢驗(yàn))：按照上述定義，檢驗(yàn)的水平不唯一.若α為檢驗(yàn)φ(x)的水平，而α<α’<1，則α’也是檢驗(yàn)φ(x)的水平.為避免這一問題，有時(shí)稱一個檢驗(yàn)的最小水平為其真實(shí)水平，即檢驗(yàn)φ的真實(shí)水平.習(xí)慣上把水平α取得比較小且標(biāo)準(zhǔn)化如α=0.01,0.05,0.10等.標(biāo)準(zhǔn)化是為了查表方便.水平的選取，對檢驗(yàn)的性質(zhì)有很大影響.若水平選的低，那么容許犯第一類錯誤概率很小.而為了達(dá)到這一點(diǎn)勢必大大縮小拒絕域，使接受域擴(kuò)大，從而增加了犯第二類錯誤的概率.反之，若水平選的高，那么容許犯第一類錯誤概率很大.而為了達(dá)到這一點(diǎn)勢必?cái)U(kuò)大拒絕域，使接受域縮小，從而犯第二類錯誤的概率相應(yīng)降低.當(dāng)一個檢驗(yàn)涉及雙方利益時(shí)，水平的選定常常是雙方協(xié)

議的結(jié)果.2犯兩種錯誤的后果一般在性質(zhì)上有很大不同.如果犯第一類錯誤的后果在性質(zhì)上很嚴(yán)重，就力求在合理的范圍內(nèi)盡量減少犯這種錯誤的可能性，此時(shí)相應(yīng)的水平取得更低一些.一般來說，試驗(yàn)者在試驗(yàn)前對問題的情況總不是一無所知.他對問題的了解使他對原假設(shè)是否能成立就有了一定的看法，這種看法可能影響他對水平的選擇.若水平α很小，原假設(shè)H0不會輕易被否定，如果樣本落入拒絕域，作出“拒絕原假設(shè)”的結(jié)論比較可靠.反之，當(dāng)水平α很小時(shí)，如果樣本落入接受域，作出“接受原假設(shè)”的結(jié)論未必可靠.說明：在所選定的水平下沒有充分根據(jù)拒絕H0，但是，絕不意味著有充分根據(jù)說明它正確.(此時(shí)會犯第二類錯誤，其概率很大)說明：1.顯著性檢驗(yàn)中拒絕原假設(shè)H0是在概率意義下進(jìn)行嚴(yán)格推理得到的結(jié)論，因此拒絕原假設(shè)意味著有充分的證據(jù)表明原假設(shè)H0不成立；2.接受原假設(shè)H0并不意味著H0充分成立，只能說明在當(dāng)前的樣本下沒有充分的證據(jù)拒絕H0的成立.當(dāng)原假設(shè)

H0

成立時(shí)，回到例5.1.1：確定C.拒絕域?yàn)樵僭O(shè)H0

：μ=100；備擇假設(shè)H1

：μ

100進(jìn)一步，有對于給定顯著性水平α，由標(biāo)準(zhǔn)正態(tài)分布分位數(shù)的定義，有即當(dāng)原假設(shè)H0成立時(shí)，是概率為α的小概率事件，小概率事件在一次試驗(yàn)中幾乎不可能發(fā)生.若在一次試驗(yàn)中出現(xiàn)了，則有充分的證據(jù)表明“原假設(shè)H0成立”是錯誤的，因而拒絕H0；反之，若在一次抽樣中，有，就沒有充分的理由拒絕原假設(shè)H0，從而承認(rèn)H0成立.借助顯著性水平的概念，由樣本觀察值計(jì)算得的觀察值時(shí)，可以將判斷準(zhǔn)則T

改寫為第五步:根據(jù)樣本觀察值作出是否拒絕H0的判斷.例5.1.1中，根據(jù)題目條件得到由于0.95<1.96，因此不能拒絕原假設(shè)，可以認(rèn)為該批生產(chǎn)的鋼管符合要求.且有對于給定顯著性水平α=0.05，查表得到在假設(shè)檢驗(yàn)中，原假設(shè)是處于被保護(hù)的地位.這種保護(hù)是符合實(shí)際需求的.這是因?yàn)闄z查鋼管直徑是否符合要求將會產(chǎn)生多余的成本.如果沒有充分的理由來支持鋼管直徑不符合要求，我們傾向于認(rèn)為這批鋼管是符合要求的.鑒于原假設(shè)H0的特殊地位，在建立假設(shè)檢驗(yàn)問題時(shí)，我們通常選擇有把握的、不能輕易改變的或存在已久的狀態(tài)作為原假設(shè).除去該準(zhǔn)則外，另一個選取原假設(shè)H0的準(zhǔn)則是選取違反該條件后將產(chǎn)生嚴(yán)重后果的準(zhǔn)則作為原假設(shè)，從而可以將出現(xiàn)重大錯誤的可能性控制在較小的范圍內(nèi).在實(shí)際問題中