高級醫(yī)學(xué)統(tǒng)計(jì)學(xué)Bootstrap.的知識

BootStrap研究生《醫(yī)學(xué)統(tǒng)計(jì)學(xué)2》課程主要內(nèi)容Bootstrap簡介參數(shù)和非參數(shù)Bootstrap不同資料的Bootstrap處理Bootstrap應(yīng)用實(shí)例統(tǒng)計(jì)學(xué)的基本過程我們需要知道的是某些變量的平均和誤差執(zhí)行某些測量若干次誤差隨著測量次數(shù)的增加而減少中心極限定理

有時候……R2的分布？獨(dú)立性假設(shè)被違背時，回歸系數(shù)的分布？某些先進(jìn)方法中的指標(biāo)分布？隨機(jī)森林分析中的重要性得分？預(yù)測模型的AUC?Bootstrapaloopedstrapsewedatthesideorthereartopofaboottohelpinpullingitonunaidedefforts—oftenusedinthephrasebyone'sownbootstraps

designedtofunctionindependentlyofoutsidedirection:capableofusingoneinternalfunctionorprocesstocontrolanother<abootstrapoperationtoloadacomputer>carriedoutwithminimumresourcesoradvantages<bootstrapefforts>topromoteordevelopbyinitiativeandeffortwithlittleornoassistance“Pullingoneselfupbyone’sbootstraps”

“Ifoundmyselfstunned,andinaholeninefathomsunderthegrass,whenIrecovered,hardlyknowinghowtogetoutagain.Lookingdown,IobservedthatIhadonapairofbootswithexceptionallysturdystraps.Graspingthemfirmly,Ipulledwithallmymight.SoonIhadhoistmyselftothetopandsteppedoutonterrafirmawithoutfurtherado."--CampaignsandAdventuresofBaronMunchausen,1786.吹牛大王歷險記Bootstrap一種估計(jì)抽樣誤差和計(jì)算可信區(qū)間的方法。1979EfronBradleyEfronB(1979).Bootstrapmethods:Anotherlookatthejackknife.Ann.Statist.71–2620世紀(jì)70年代以來統(tǒng)計(jì)學(xué)上“唯一的偉大進(jìn)展”。KotzandJohnson,1992EfronBradleyBradleyEfron博士現(xiàn)任斯坦福大學(xué)統(tǒng)計(jì)系MaxH.Stern講席教授。Efron教授是公認(rèn)的當(dāng)今世界最有影響力的統(tǒng)計(jì)學(xué)領(lǐng)域的權(quán)威。他的主要貢獻(xiàn)包括Bootstrap再抽樣方法。經(jīng)驗(yàn)貝葉斯方法，微分幾何在統(tǒng)計(jì)推斷中的應(yīng)用，生存分析方法，生物芯片數(shù)據(jù)分析方法等。Efron教授是麥可阿瑟獎獲得者，美國國家科學(xué)院院士，美國科學(xué)與藝術(shù)學(xué)院院士。他還獲得過統(tǒng)計(jì)學(xué)領(lǐng)域幾乎所有的著名獎項(xiàng)，包括著名的Wilks獎?wù)?，Parzen獎,Rao獎。2005年，Efron教授獲得了美國國家科學(xué)獎?wù)拢绹匀豢茖W(xué)最高獎）以表彰他在統(tǒng)計(jì)學(xué)領(lǐng)域所作出的杰出貢獻(xiàn)。這一獎?wù)略?007年7月27日在白宮舉行的一個特別儀式上由時任美國總統(tǒng)喬治W.布什親自頒發(fā)。Bootstrap的前身：Jack-knife(刀切法)一種特殊的Bootstrap每個Jackknife樣本包括原樣本-1個個體Bootstrap的基本流程從一個給定的數(shù)據(jù)中有放回地重復(fù)抽樣若干次數(shù)，得到若干個樣本；對于某個樣本，計(jì)算相應(yīng)的統(tǒng)計(jì)量；得到這個統(tǒng)計(jì)量的分布是其真實(shí)分布的估計(jì)；Bootstrap:resamplingwithreplacementD、E、A、C、E、B、A、D、A、……Bootstrap對資料的基本要求樣本必須是總體的代表；照著蘋果永遠(yuǎn)畫不出一個桔子出來！一個最簡單的小例子假設(shè)總體是均數(shù)為5，標(biāo)準(zhǔn)差為3的正態(tài)分布；現(xiàn)有樣本包含100個個體；如何求中位數(shù)的方差及其95%CI？理論上手頭樣本>data[1]3410551061349[12]6653106-17424[23]23308529648[34]877754434112[45]92447565594[56]100756634226[67]658114-283384[78]16556474686[89]4887639312104[100]2從中有放回地抽取100個個體，重復(fù)20次>resamples[1][1]312653472-1-17045547347212881044011[30]731410844710546-124841212802689663[59]48645357871066316131041285421046[88]21059914864945r.median<-sapply(resamples,median)5.05.05.05.05.05.05.05.05.04.04.55.05.04.05.05.05.05.05.05.0sqrt(var(r.median))0.5250313mean(r.median)4.875求95%CI利用近似正態(tài)分布的原理利用百分位數(shù)區(qū)間(4,5)什么時候可以用Bootstrap法？當(dāng)統(tǒng)計(jì)量的理論分布過于復(fù)雜或者難于獲得時；樣本含量偏小，不足以進(jìn)行統(tǒng)計(jì)推斷；當(dāng)需要進(jìn)行效能計(jì)算時，且手頭有個小預(yù)實(shí)驗(yàn)時；需要一個快速的答案。Bootstrap的分類參數(shù)Bootstrap假設(shè)樣本來自的總體分布已知；利用手頭樣本估計(jì)總體參數(shù)；按照估計(jì)出的總體分布產(chǎn)生樣本；根據(jù)樣本計(jì)算統(tǒng)計(jì)量的分布非參數(shù)Bootstrap將手頭樣本當(dāng)成總體，從中抽樣；參數(shù)和非參數(shù)Bootstrap出生體重和70-100體重間的關(guān)系非參數(shù)Bootstrap從所有的個體中有放回地抽取n個，eg.4,5,2,4,9,10,3,3,6,2,1,6,9,8計(jì)算感興趣的統(tǒng)計(jì)量重復(fù)B次，得到統(tǒng)計(jì)量的分布參數(shù)Bootstrap先擬合回歸方程，估計(jì)殘差方差，σ2=14.1從N(0,σ2)中隨機(jī)抽取n個殘差根據(jù)第一步中回歸方程估計(jì)，計(jì)算Y的Bootstrap樣本根據(jù)Yb和X計(jì)算斜率重復(fù)得到斜率的Bootstrap分布。半?yún)?shù)Bootstrap先擬合回歸方程，估計(jì)殘差對殘差進(jìn)行Bootstrap抽樣根據(jù)第一步中回歸方程估計(jì)，計(jì)算Y的Bootstrap樣本根據(jù)Yb和X計(jì)算斜率重復(fù)得到斜率的Bootstrap分布。僅當(dāng)殘差為獨(dú)立同分布時適用。如何用Bootstrap進(jìn)行估計(jì)令Yi,i=1,…,n為樣本T(Y)為Y的函數(shù){Y`b,1,…,Y`b,n}為第b個Bootstrap樣本，b=1,..,B則Var(T)的Bootstrap估計(jì)值為T的95%CI可以根據(jù)Boostrap分布的百分位數(shù)得到。Bootstrap的可信區(qū)間估計(jì)非學(xué)生化樞軸法(non-studentizedpivotalmethod)Bootstrap-t法百分位數(shù)法偏倚校正法Bootstrapconfidenceintervals:when,which,what?Apracticalguideformedicalstatisticians.JCarpenterandJ.Bithell.StatisticsinMedicine,2000;19:1141-64.Bootstrap的可信區(qū)間估計(jì)Bootstrapt法優(yōu)點(diǎn)：簡單，一般較可靠缺點(diǎn)：計(jì)算較為復(fù)雜，耗時百分位數(shù)法優(yōu)點(diǎn)：簡單缺點(diǎn)：當(dāng)分布不近似對稱時，覆蓋率可能較低偏移校正法校正因子Z校正因子ArA1及rA2作為百分位數(shù)區(qū)間的下限和上限。不同資料的Bootstrap處理單樣本資料兩樣本資料回歸分析Bootstrap假設(shè)檢驗(yàn)單樣本情形兩樣本情形兩組分別Bootstrap合并組成BS樣本；治療組對照組945219710416146381099511413023402746回歸與BootstrapY：應(yīng)變量X：自變量β0、β1

：回歸系數(shù)ε：殘差兩種Bootstrap方法針對數(shù)據(jù)對的Bootstrap針對殘差的Bootstrap針對殘差的Bootstrap先估計(jì)和：eg.最小二乘法求殘差；對殘差進(jìn)行Bootstrap對于某一個殘差Bootstrap樣本，根據(jù)下式求Y的Bootstrap樣本。注意X與實(shí)際樣本完全相同！這是半?yún)?shù)Bootstrap兩種Bootstrap選哪一個針對殘差的Bootstrap：殘差和自變量是獨(dú)立的！自變量最好是指定的固定取值變量！針對對子的Bootstrap:X和Y都是隨機(jī)變量也取決于我們有多么信任模型是否正確！回歸的Bootstrap Dose Surv.Prop LogSurvProp1 1.175 0.44000 -0.82098062 1.175 0.55000 -0.59783703 2.350 0.16000 -1.83258154 2.350 0.13000 -2.04022085 4.700 0.04000 -3.21887586 4.700 0.01960 -3.93222577 4.700 0.06210 -2.77900938 7.050 0.00500 -5.29831749 7.050 0.00320 -5.744604510 9.400 0.00110 -6.812445111 9.400 0.00015 -8.804875312 9.400 0.00019 -8.568486513 14.100 0.00700 -4.961845114 14.100 0.00006 -9.7211660模型EstimateSEP模型1β1-0.67640.0560<0.0001模型2β1-1.04860.1589<0.0001β20.03430.01400.0303去除離群值EstimateSEP模型1β1-0.77670.0299<0.0001模型2β1-0.86130.0945<0.0001β20.00860.00910.3650最小中位二乘回歸(LeastMedianSquareRegreession，LMS)LMS的估計(jì)結(jié)果：Doseβ1=-0.7515BootstrapSEofββ1:0.2308LMS的估計(jì)結(jié)果：Dose2β2=-0.0256BootstrapSEofβ2:0.0335復(fù)雜抽樣復(fù)雜抽樣時，方差的估計(jì)往往較為困難；Bootsrap法的一個吸引人之處便是其可用于復(fù)雜抽樣時統(tǒng)計(jì)量方差的估計(jì)；分層抽樣；整群抽樣；多少次Bootstrap抽樣較為合適？多少個Bootstrap樣本合適？沒有標(biāo)準(zhǔn)答案！1000~2000?先試100個，再試1000個，看看結(jié)果有沒有巨大改變Bootstrap的優(yōu)缺點(diǎn)優(yōu)點(diǎn)簡單！Simple!直接！straightforward！缺點(diǎn)過于樂觀！有時候忽略了很多假設(shè)！應(yīng)用實(shí)例：相加交互作用的假設(shè)檢驗(yàn)傳統(tǒng)基于logistic回歸的模型相加交互作用步驟：在B=0時，估計(jì)A的單獨(dú)效應(yīng)在A=0時，估計(jì)B的單獨(dú)效應(yīng)估計(jì)A和B一起作用時的效應(yīng)計(jì)算AB-A-BBootstrap求方差！相乘交互作用結(jié)果Coefficients: Estimate Std.Error Pr(>|z|)(Intercept) -2.4423 0.3686 3.45e-11***A 1.2340 0.4386 0.0049**B 1.0561 0.4454 0.0177*A:B 0.5162 0.5442 0.3428Bootstrap法估計(jì)結(jié)果MeanofOR：12.33VarianceofOR:59.3695%CIofOR:(3.65,32.16)等級資料的等效性檢驗(yàn)了考察克林霉素磷酸酯陰道凝膠對細(xì)菌性陰道病的治療效果；采用陽性對照；細(xì)菌學(xué)療效評價如下：試驗(yàn)藥與對照藥是否等效？療效痊愈顯效