診斷試驗的評價與ROC分析

臨床診斷實驗與評價臨床實驗的類型I期臨床實驗：人體藥物的耐受程度，藥物在人體中的代謝情況。參與實驗的人員是安康人或病人〔20左右〕II期臨床實驗：藥效、平安性的初步評價?；颊邊⑴c實驗〔200例以上〕III期臨床實驗：藥效與平安性確實認階段，我國法規(guī)要求實驗組人數(shù)300以上，總?cè)藬?shù)400-500人IV期臨床實驗：上市后的臨床研討。更大范圍運用后的療效與平安性一、診斷實驗的研討設計隨機對照反復倫理盲法實驗設計中的要素一、處置要素二、受試對象三、實驗效應臨床實驗防止偏倚的技巧隨機對照反復盲法臨床實驗資料的數(shù)據(jù)集分析應包括在知情贊同的根底上，情愿參與實驗的一切隨機化后的受試者，也即原方案益處置〔治療〕的受試者都需進入分析，而不是根據(jù)實踐上完成的受試者。按此原那么所作的分析是最好的分析，研討在病人知情贊同的前提下，應該思索參與者的依從性，制定合理的納入排除規(guī)范，要求每一個隨機分到實驗組或?qū)φ战M的受試者都應該盡量完好地隨訪，記錄研討結(jié)果如療效、平安性評價目的以及脫離緣由。同時，要思索參與者和不情愿參與者的差別，以及給研討結(jié)果帶來的偏倚。

意向性分析〔Intentiontotreat〕全分析集〔fullanalysisset，F(xiàn)AS〕平安性評價〔safetyset〕臨床有效性的統(tǒng)計學評價為什么要學習診斷實驗的評價選擇最科學合理的診斷方法，循證醫(yī)學的重要內(nèi)容根據(jù)實踐需求，提供具有優(yōu)勢的診斷實驗〔試劑、藥物、方法〕金規(guī)范的選擇最為可靠的診斷規(guī)范！

二、診斷實驗的評價目的診斷實驗的靈敏度和特異度不會遭到患病率的影響，但是預測值目的會遭到患病率高低的影響。陽性預測值的運用診斷實驗的評價目的二、診斷實驗中常用的評價目的：靈敏度、特異度、誤診率、漏診率三、預測目的：陽性預測值、陰性預測值四、診斷實驗的綜合評價目的：正確率、Youden指數(shù)、比數(shù)積、陽性似然比、陰性似然比診斷實驗中常用的評價目的例13.2表13.2ECG診斷實驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)常用目的有〔一〕正確百分率、〔二〕靈敏度、〔三〕特異度、〔四〕Youden指數(shù)、〔五〕陽性似然比、〔六〕陰性似然比、〔七〕陽性預告值、〔八〕陰性預告值。例13.2表13.2ECG診斷實驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷實驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷實驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)靈敏度與特異度的優(yōu)缺陷優(yōu)點：靈敏度與特異度不受患病率的影響，其取值范圍均在〔0,1〕之間，其值越接近于1，闡明其診斷準確性越好。缺陷：當比較兩個診斷實驗時，單獨運用靈敏度或特異度，能夠出現(xiàn)矛盾。處理方法：將兩目的結(jié)合：Youden指數(shù)、陽性似然比、陰性似然比等例13.2表13.2ECG診斷實驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷實驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷實驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)醫(yī)生最關懷的問題：

1.實驗陽性時患病的概率多大？

2.實驗陰性時不患病的概率多大？3.如何選擇適宜的診斷界值，做出合理的診斷，使患者獲得最好的處置例13.2表13.2ECG診斷實驗的結(jié)果例13.2表13.2ECG診斷實驗的結(jié)果例13.2表13.2ECG診斷實驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)陽性預告值與陰性預告值五、截斷點的選擇與ROC曲線在進展診斷臨界點選擇的時候，需求綜合思索靈敏度和特異度，選擇最正確診斷界值。ROC曲線提供了很好的臨界點選擇工具。ROC【receiver(relative)operatingcharacteristic的縮寫，譯為“接受者任務特征〞】ROC曲線研討歷史1950’s雷達信號觀測才干評價1960’s中期實驗心思學、心思物理學1970’s末與1980’s初診斷醫(yī)學ROC的涵義與來源診斷實驗：泛指血液生化、影像學、免疫學、細胞學、病理學、統(tǒng)計模型等檢查。重要性：1.循證醫(yī)學的重要組成部分2.診斷實驗評價方法可用于：臨床實驗評價臨床檢驗評價流行病學篩查實驗評價實驗室檢驗評價統(tǒng)計學模型評價……ROC曲線評價診斷實驗的重要性靈敏度,特異度,假陰性率,假陽性率Testvariable醫(yī)學診斷實驗多數(shù)不能將病例和對照完全分開，而只需將二者100%的分開時，才可以獲得100%正確的診斷。不同診斷界值時

靈敏度與特異度間的平衡(tradeoff)0204060801005060708090100特異度靈敏度百分率〔％〕Testvariable完美與無用的ROC曲線真陽性率即靈敏度假陽性率即1－特異度機率線(chanceline)

(diagonalreferenceline)診斷準確度較低〔<0.7〕0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA＝0.664A＝0.830診斷準確度較高〔>0.9〕0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA＝0.938ROC曲線下面積〔Area〕與診斷準確度高低高0.90-1.00=excellent(A)中0.80-0.90=good(B)0.70-0.80=fair(C)低0.60-0.70=poor(D)0.50-0.60=fail(F)似然比〔LR〕在ROC曲線空間的涵義白細胞計數(shù)診斷白血病LR＝7.5LR＝0.7LR＝2.3LR＝25.0根本概念小結(jié)ROC曲線反映了靈敏度與特異度間的平衡(添加靈敏度將降低特異度；添加特異度將降低靈敏度)。在ROC曲線空間，假設曲線沿著左邊線，然后沿著上邊線越嚴密，那么實驗準確度越高。在ROC曲線空間，假設曲線沿著時機線〔45度對角線〕越嚴密，那么實驗準確度越低。在診斷界值〔cutpoint〕處的正切線的斜率就是該實驗值對應的陽性似然比〔likelihoodratio，LR)。在ROC曲線空間的左下角LR+最大，隨著曲線從左下往右上方挪動，LR+逐漸減小。ROC曲線下面積是重要的實驗準確度目的。主要義務：計算ROC曲線任務點〔Coordinatepoint或Operatingpoint〕〔FPR,TPR〕銜接相鄰兩點一、ROC曲線任務點的計算與曲線繪制延續(xù)型數(shù)據(jù)的

ROC曲線任務點〔TPR，F(xiàn)PR〕計算將這9個數(shù)據(jù)從大到小陳列，以前8個數(shù)，分別作為診斷界值，大于等于診斷界值者判為陽性，小于該值者判為陰性。這樣，可整理成8個四格表表13－3假想的延續(xù)型數(shù)據(jù)有序分類數(shù)據(jù)的

ROC曲線任務點〔TPR，F(xiàn)PR〕計算將診斷分類數(shù)據(jù)按大到小排序，以前4個分類作為診斷界值，大于等于診斷界值者為陽性，小于該值者為陰性。這樣，可整理出4個四格表，每個四格表對應的ROC曲線的任務點見下表。2二、ROC曲線下面積的計算ROC曲線下面積(Area)部分ROC曲線下的面積FPR為某值對應的TPR值(一)Hanley和McNeil非參數(shù)法

ROC曲線下面積(Az)就是異常組察看值大于正常組察看值的概率Mann-WhitneyU統(tǒng)計量Hanley和McNeil法ROC曲線下面積

與Mann-WhitneyU檢驗

由秩和檢驗中的Mann-WhitneyU統(tǒng)計量〔SPSS等軟件均可計算〕可計算ROC曲線下面積零假設H0:總體ROC面積θ＝0.5的檢驗等價于Mann-WhitneyU檢驗SPSS輸出的ROC面積檢驗P值即為上述Z值對應的概率Hanley和McNeil法ROC曲線下面積

與梯形規(guī)那么〔trapezoidalrule〕

Hanley和McNeil法ROC曲線下面積等于一切曲線下梯形〔包括最左側(cè)的三角形〕面積之和〔二〕其他ROC曲線下面積計算方法1.雙正態(tài)法2.有序回歸模型3.其他模型(如雙Gama法、雙指數(shù)法)三、ROC曲線下面積的假設檢驗單個延續(xù)型資料〔實例1〕單個有序分類資料〔實例2〕兩個相關延續(xù)型資料〔實例3〕兩個相關有序分類資料〔實例4〕二、ROC分析的數(shù)據(jù)類型Testvariables實例1：采用骨髓診斷作為金規(guī)范，對100例缺鐵性貧血疑似患者進展確診，患該病者為異常組(34例)，未患該病者為正常組(66例)。為了調(diào)查紅細胞平均容積〔MCV〕診斷缺鐵性貧血的效果，測得每一個體的MCV值如下：StateVariableTestVariable實例1：MCV診斷缺鐵性貧血圖4延續(xù)性資料的兩組頻率分布0.30.20.100.10.20.3556065707580859095100105組段上限值異常組頻率實例1的SPSS輸入格式StateVariable＝骨髓診斷TestVariable

＝MCV結(jié)果0＝正常組

1＝異常組ValueofStateVariable：1SPSS的GraphsROCCurve界面假設實驗丈量值越小患病的能夠性越大時應改動默許的

Options…SPSS輸出結(jié)果SPSS輸出結(jié)果SPSS輸出結(jié)果SPSS輸出結(jié)果MCV診斷缺鐵性貧血的ROC曲線0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR雙正態(tài)機率線任務點實例2：某放射醫(yī)生將知實踐分類的影像，按一定正常、能夠正常、疑似異常、能夠異常、一定異常，分別分為1、2、3、4、5五類。StateVariableTestVariableFrequencyVariable實例2：放射醫(yī)生影像分類圖6單個有序分類資料的兩組頻率分布-0.5-0.4-0.3-0.2-0.100.10.20.30.40.512345分類異常組頻率實例2的SPSS輸入格式StateVariable＝組別TestVariable

＝診斷分類0＝正常組

1＝異常組ValueofStateVariable：1SPSS的GraphsROCCurve界面假設實驗丈量值越小患病的能夠性越大時應改動默許的

Options…在調(diào)用Graphs前，必需先用DataWeightCases…by…:頻數(shù)圖7放射醫(yī)生影像分類的ROC曲線0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR雙正態(tài)機率線任務點診斷實驗的正確運用1.以金規(guī)范為對照的根底2.盲法原那么3.研討對象選擇要具有代表性4.對實驗對象要有清楚的闡明5.應闡明診斷實驗的適用性6.需求進展實驗的方法要有運用前景以金規(guī)范為對照的根底

金規(guī)范疾病診斷的準確規(guī)范腫瘤的病理診斷高血壓病人的血壓糖尿病人的血糖對于目前沒有診斷金規(guī)范的疾病，需求采用傳統(tǒng)上以為最為準確的方法作為對照，甚至需求采用不能常規(guī)運用的一些可以準確診斷出疾病的方法來進展對比。盲法原那么

雙盲原那么單盲原那么研討對象選擇要具有代表性

選用樣本應該和未來診斷方法運用的目的人群一致。對實驗對象要有清楚的闡明

在研討設計階段，思索所實驗的方法未來運用的目的人群，到達準確檢驗方法的診斷效果的目的，需求準確地制定研討的納入和排除規(guī)范。比如納入的病人能否有年齡、性別限制比如納入的病人能否可以有其它疾病作為安康組病人應該如何選擇所選擇的人群應該和未來方法運用的目的人群盡量一致。應闡明診斷實驗的適用性

主要是與現(xiàn)有金規(guī)范相比的優(yōu)勢診斷的靈敏度診斷的特異度方法的本錢方法的可接受程度需求進展實驗的方法要有運用前景

醫(yī)生患者醫(yī)療費用提供者診斷實驗的串聯(lián)診斷實驗的并聯(lián)Datasample13_5;Dogroup=1,0;Dotest_val=1to5;Inputfreq@@;Output;end;end;Cards;32211333366112;Proclogisticdescending;Modelgroup=test_val/Scale=noneoutroc=roc1;Freqfreq;symbol1i=joinv=nonec=blue;procgplotdata=roc1;title'ROCCurvesample13_5';plot_sensit_*_1mspec_=1/vaxis=0to1by.1cframe=ligr;run;Procprint;Run;TheLOGISTICProcedureModelInformationDataSetWORK.SAMPLE13_5ResponseVariablegroupNumberofResponseLevels2FrequencyVariablefreqModelbinarylogitOptimizationTechniqueFisher'sscoringNumberofObservationsRead10NumberofObservationsUsed10SumofFrequenciesRead109SumofFrequenciesUsed109ResponseProfileOrderedTotalValuegroupFrequency11512058Probabilitymodeledisgroup=1.ModelConvergenceStatusConvergencecriterion(GCONV=1E-8)satisfied.ModelFitStatisticsInterceptInterceptandCriterionOnlyCovariatesAIC152.65694.735SC155.348100.117-2LogL150.65690.735TestingGlobalNullHypothesis:BETA=0TestChi-SquareDFPr>ChiSqLikelihoodRatio59.92171<.0001Score51.61001<.0001Wald34.10601<.0001ROCCurvesample13_316:47Tuesday,November13,202113TheLOGISTICProcedureAnalysisofMaximumLikelihoodEstimatesStandardWaldParameterDFEstimateErrorChi-SquarePr>ChiSqIntercept1-3.90.751027.1547<.0001test_val11.14260.195734.1060<.0001OddsRatioEstimatesPoint95%WaldEffectEstimateConfidenceLimitstest_val3.2.4.600AssociationofPredictedProbabilitiesandObservedResponsesPercentConcordant84.1Somers'D0.786PercentDiscordant5.4Gamma0.878PercentTied10.5Tau-a0.395Pairs2958c0.893ROCCurvesample13_516:47Tuesday,November13,202114Obs_PROB__POS__NEG__FALPOS__FALNEG__SENSIT__1MSPEC_10.8580733562180.647060.0344820.6585344451370.862750.2241430.3808746391950.901960.3275940.1640448332530.941180.4310350.058915105801.000001.00000Datasample13_3;Inputgroup$num;Doi=1tonum;Inputtest_val@@;Output;End;Cards;Case516.513.512.811.25.0Control48.56.44.61.7;Proclogisticdata=sample13_3;Modelgroup=test_val/scale=noneoutroc=roc1;symbol1i=joinv=nonec=blue;procgplotdata=roc1;title'ROCCurvesample13_3';plot_sensit_*_1mspec_=1/vaxis=0to1by.1cframe=ligr;run;Procprint;Run;TheLOGISTICProcedureModelInformationDataSetWORK.SAMPLE13_3ResponseVariablegroupNumberofResponseLevels2ModelbinarylogitOptimizationTechniqueFisher'sscoringNumberofObservationsRead9NumberofObservationsUsed9ResponseProfileOrderedTotalValuegroupFrequency1Case52Control4Probabilitymodeledisgroup='Case'.ModelConvergenceStatusConvergencecriterion(GCONV=1E-8)satisfied.ModelFitStatisticsInterceptInterceptandCriterionOnlyCovariatesAIC14.36510.905SC14.56311.299-2LogL12.3656.905TestingGlobalNullHypothesis:BETA=0TestChi-SquareDFPr>ChiSqLikelihoodRatio5.460710.0194Score4.415610.0356Wald2.693710.1007TheLOGISTICProcedureAnalysisofMaximumLikelihoodEstimatesStandardWaldParameterDFEstimateErrorChi-SquarePr>ChiSqIntercept1-3.89122.53422.35770.1247test_val10.49510.30162.69370.1007OddsRatioEstimatesPoint95%WaldEffectEstimateConfidenceLimitstest_val1.6410.9082.963AssociationofPredictedProbabilitiesandObservedResponsesPercentConcordant90.0Somers'D0.800PercentDiscordant10.0Gamma0.800PercentTied0.0Tau-a0.444Pairs20c