第十三章診斷試驗(yàn)的評(píng)價(jià)

1、宇傳華（宇傳華（ ) )December 13December 13，20052005為什么要學(xué)習(xí)診斷試驗(yàn)的評(píng)價(jià)循證醫(yī)學(xué)的重要內(nèi)容及時(shí)取舍或靈活應(yīng)用新的診斷試驗(yàn)（試劑、藥物、方法）提高業(yè)務(wù)素質(zhì)，減少患者不必要的經(jīng)濟(jì)開(kāi)支。目 錄第一節(jié) 貝葉斯定理第二節(jié) 診斷試驗(yàn)中常用的評(píng)價(jià)指標(biāo)第三節(jié) ROC曲線第一節(jié) 貝葉斯定理貝葉斯定理應(yīng)用第二節(jié) 診斷試驗(yàn)中常用的評(píng)價(jià)指標(biāo)例例13.2 表13.2 ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合 計(jì)出現(xiàn)不出現(xiàn)陽(yáng) 性陰 性合計(jì)416(TP) 9（FP）425104(FN)171（TN）275520180700(N)常用指標(biāo)有（一）正確百分率、（二）靈敏度、（三）特異

2、度、常用指標(biāo)有（一）正確百分率、（二）靈敏度、（三）特異度、（四）（四）Youden指數(shù)、（五）陽(yáng)性似然比、（六）陰性似然比、指數(shù)、（五）陽(yáng)性似然比、（六）陰性似然比、（七）陽(yáng)性預(yù)報(bào)值、（七）陽(yáng)性預(yù)報(bào)值、 （八）陰性預(yù)報(bào)值。（八）陰性預(yù)報(bào)值。例例13.2 表13.2 ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合 計(jì)出現(xiàn)不出現(xiàn)陽(yáng) 性陰 性合計(jì)416(TP) 9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合 計(jì)出現(xiàn)不出現(xiàn)陽(yáng) 性陰 性合計(jì)416(TP) 9（FP）425104(FN)171（TN）2755

3、20180700(N)例例13.2 表13.2 ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合 計(jì)出現(xiàn)不出現(xiàn)陽(yáng) 性陰 性合計(jì)416(TP) 9（FP）425104(FN)171（TN）275520180700(N)靈敏度與特異度的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：靈敏度與特異度不受患病率的影響，其取值范圍均在（0, 1）之間，其值越接近于1，說(shuō)明其診斷準(zhǔn)確性越好。缺點(diǎn)：當(dāng)比較兩個(gè)診斷試驗(yàn)時(shí)，單獨(dú)使用靈敏度或特異度，可能出現(xiàn)矛盾。解決辦法：將兩指標(biāo)結(jié)合：Youden指數(shù)、陽(yáng)性似然比、陰性似然比等例例13.2 表13.2 ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合 計(jì)出現(xiàn)不出現(xiàn)陽(yáng) 性陰 性合計(jì)416(TP) 9（FP）

4、425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合 計(jì)出現(xiàn)不出現(xiàn)陽(yáng) 性陰 性合計(jì)416(TP) 9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合 計(jì)出現(xiàn)不出現(xiàn)陽(yáng) 性陰 性合計(jì)416(TP) 9（FP）425104(FN)171（TN）275520180700(N)醫(yī)生最關(guān)心的問(wèn)題：醫(yī)生最關(guān)心的問(wèn)題： 1. 試驗(yàn)陽(yáng)性時(shí)患病的概率多大？試驗(yàn)陽(yáng)性時(shí)患病的概率多大？ 2. 試驗(yàn)陰性時(shí)不患病的概率多大？試驗(yàn)陰性時(shí)不患病的概率多

5、大？例例13.2 表13.2 ECG診斷試驗(yàn)的結(jié)果例例13.2 表13.2 ECG診斷試驗(yàn)的結(jié)果例例13.2 表13.2 ECG診斷試驗(yàn)的結(jié)果ECG診斷結(jié)果心肌梗塞合 計(jì)出現(xiàn)不出現(xiàn)陽(yáng) 性陰 性合計(jì)416(TP) 9（FP）425104(FN)171（TN）275520180700(N)陽(yáng)性預(yù)報(bào)值與陰性預(yù)報(bào)值第三節(jié) ROC曲線 ROC ROC【receiver(relative) operating receiver(relative) operating characteristiccharacteristic的縮寫(xiě)，譯為的縮寫(xiě)，譯為“接受者工接受者工作特征作特征”】ROCROC曲線研究歷史曲

6、線研究歷史1950s 雷達(dá)信號(hào)觀測(cè)能力評(píng)價(jià)雷達(dá)信號(hào)觀測(cè)能力評(píng)價(jià)1960s中期中期 實(shí)驗(yàn)心理學(xué)、心理物理學(xué)實(shí)驗(yàn)心理學(xué)、心理物理學(xué)1970s末與末與1980s初初 診斷醫(yī)學(xué)診斷醫(yī)學(xué)ROC的涵義與起源的涵義與起源診斷試驗(yàn)：泛指血液生化、影像學(xué)、免疫學(xué)、細(xì)胞學(xué)、診斷試驗(yàn)：泛指血液生化、影像學(xué)、免疫學(xué)、細(xì)胞學(xué)、病理學(xué)、統(tǒng)計(jì)模型等檢查。病理學(xué)、統(tǒng)計(jì)模型等檢查。重要性：重要性： 1. 循證醫(yī)學(xué)的重要組成部分循證醫(yī)學(xué)的重要組成部分 2. 診斷試驗(yàn)評(píng)價(jià)方法可用于：診斷試驗(yàn)評(píng)價(jià)方法可用于： 臨床試驗(yàn)評(píng)價(jià) 臨床檢驗(yàn)評(píng)價(jià) 流行病學(xué)篩查試驗(yàn)評(píng)價(jià) 實(shí)驗(yàn)室檢驗(yàn)評(píng)價(jià) 統(tǒng)計(jì)學(xué)模型評(píng)價(jià)ROC曲線評(píng)價(jià)診斷試驗(yàn)的重要性曲線評(píng)價(jià)診斷試

7、驗(yàn)的重要性 靈敏度靈敏度,特異度特異度,假陰性率假陰性率,假陽(yáng)性率假陽(yáng)性率Test variable不同不同診斷界值診斷界值時(shí)時(shí)靈敏度與特異度間的平衡靈敏度與特異度間的平衡(trade off)(trade off)0204060801005060708090100特異度靈敏度百分率（）百分率（）Test variable完美診斷試驗(yàn)完美診斷試驗(yàn)0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR無(wú)用診斷試驗(yàn)無(wú)用診斷試驗(yàn)0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR完美與無(wú)用的完美與無(wú)用的ROC曲線曲線真真陽(yáng)陽(yáng)性性率率即即靈

8、靈敏敏度度假陽(yáng)性率假陽(yáng)性率 即即 1特異度特異度機(jī)率線機(jī)率線(chance line)(diagonal reference line)診斷準(zhǔn)確度較低（診斷準(zhǔn)確度較低（ 0.9）0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA0.938ROC曲線下面積（曲線下面積（Area）與診斷準(zhǔn)確度高低）與診斷準(zhǔn)確度高低高 0.90-1.00 = excellent (A)中 0.80-0.90 = good (B) 0.70-0.80 = fair (C)低 0.60-0.70 = poor (D) 0.50-0.60 = fail (F)似然比（似然比（LR）在）

9、在ROC曲線空間的涵義曲線空間的涵義白細(xì)胞計(jì)數(shù)診斷白血病白細(xì)胞計(jì)數(shù)診斷白血病LR7.5LR0.7LR2.3LR25.0基本概念小結(jié)基本概念小結(jié)lROC曲線反映了靈敏度與特異度間的平衡 (增加靈敏度將降低特異度；增加特異度將降低靈敏度)。 l在ROC曲線空間，如果曲線沿著左邊線，然后沿著上邊線越緊密，則試驗(yàn)準(zhǔn)確度越高。 l在ROC曲線空間，如果曲線沿著機(jī)會(huì)線（45度對(duì)角線）越緊密，則試驗(yàn)準(zhǔn)確度越低。 l在診斷界值（cutpoint）處的正切線的斜率就是該試驗(yàn)值對(duì)應(yīng)的陽(yáng)性似然比（likelihood ratio，LR)。在ROC曲線空間的左下角LR+最大，隨著曲線從左下往右上方移動(dòng)，LR+逐漸減小

10、。lROC曲線下面積是重要的試驗(yàn)準(zhǔn)確度指標(biāo)。 主要任務(wù)：主要任務(wù)：l 計(jì)算計(jì)算ROC曲線工作點(diǎn)曲線工作點(diǎn)（Coordinate point或或Operating point）（）（FPR, TPR）l 連接相鄰兩點(diǎn)連接相鄰兩點(diǎn)一、一、ROC曲線工作點(diǎn)的計(jì)算與曲線繪制曲線工作點(diǎn)的計(jì)算與曲線繪制連續(xù)型數(shù)據(jù)的連續(xù)型數(shù)據(jù)的ROC曲線工作點(diǎn)（曲線工作點(diǎn)（TPR，F(xiàn)PR）計(jì)算）計(jì)算 將這9個(gè)數(shù)據(jù)從大到小排列，以前8個(gè)數(shù)，分別作為診斷界值，大于等于診斷界值者判為陽(yáng)性，小于該值者判為陰性。這樣，可整理成8個(gè)四格表表表133 假想的連續(xù)型數(shù)據(jù)假想的連續(xù)型數(shù)據(jù) 將診斷分類(lèi)數(shù)據(jù)按大到小排序，以前4個(gè)分類(lèi)作為診斷界值

11、，大于等于診斷界值者為陽(yáng)性，小于該值者為陰性。這樣，可整理出4個(gè)四格表，每個(gè)四格表對(duì)應(yīng)的ROC曲線的工作點(diǎn)見(jiàn)下表。某放射醫(yī)生對(duì)某放射醫(yī)生對(duì) 109份份 CT影像的分類(lèi)影像的分類(lèi) 診 斷 分 類(lèi)金標(biāo)準(zhǔn)12345合計(jì)異常 3 2 2 11 33 51正常 33 6 6 11 2 58 該資料不同診斷界值的該資料不同診斷界值的 FPR和和 TPR值值診斷界值（診斷分類(lèi)）5432FPR0.03450.22410.32960.4310TPR0.64710.86270.90200.941210011圖圖 有有 序序分分類(lèi)類(lèi)資資料料的的未未光光滑滑R R O O C C 曲曲線線0.00.20.40.60.

12、81.00.00.20.40.60.81.0FPRTPR 2二、二、ROC曲線下面積的計(jì)算曲線下面積的計(jì)算lROC曲線下面積曲線下面積 (Area)l 部分部分ROC曲線下的面積曲線下的面積l FPR為某值對(duì)應(yīng)的為某值對(duì)應(yīng)的TPR值值(一) Hanley 和 McNeil ROC曲線下面積(Az)就是異常組觀察值大于正常組觀察值的概率 ),(111jinananjninaZxxnnA jijijijinanananaxxxxxxxx05.01),( AZ的標(biāo)準(zhǔn)誤)(ZASE可采用公式 naZnZaZZZnnAQnAQnAAASE)(1()(1()1()(2221其中，1Q是兩個(gè)隨機(jī)選擇的異常組

13、觀察值比一個(gè)隨機(jī)選擇的正常組觀察值都有更大可能被判為異常的概率。2Q是一個(gè)隨機(jī)選擇的異常組觀察值比兩個(gè)隨機(jī)選擇的正常組觀察值都有更大可能被判為異常的概率。Mann-Whitney U 統(tǒng)計(jì)量統(tǒng)計(jì)量Hanley 和 McNeil與Mann-Whitney U 檢驗(yàn)l由秩和檢驗(yàn)中的Mann-Whitney U統(tǒng)計(jì)量（SPSS等軟件均可計(jì)算）可計(jì)算ROC曲線下面積l零假設(shè)H0:總體ROC面積0.5的檢驗(yàn)等價(jià)于Mann-Whitney U檢驗(yàn)Mann-Whitney UMann-Whitney Umax,1znanaAn nn n統(tǒng)計(jì)量統(tǒng)計(jì)量3330.532(1)()1120.50.5()|(1)()

14、112nanaiinaZZZnaiinaUn nZn nNttNNn nAAZSE An nNttn nNN分子分母同除有SPSS輸出的輸出的ROC面積檢驗(yàn)面積檢驗(yàn)P值即為上述值即為上述Z值對(duì)應(yīng)的概率值對(duì)應(yīng)的概率Hanley 和 McNeil與梯形規(guī)則（trapezoidal rule） l Hanley 和 McNeil法ROC曲線下面積所有曲線下（包括最左側(cè)的三角形）面積之和圖圖 有有 序序分分類(lèi)類(lèi)資資料料的的未未光光滑滑R R O O C C 曲曲線線0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR（二）其他ROC曲線下面積計(jì)算方法1. 雙正態(tài)法2.

15、有序回歸模型3. 其他模型(如雙Gama法、雙指數(shù)法)2122212111222121. ROC100 1()2.ROC()()2()()()()ZZZZZZZZZZZZAZSE AAAZSEASEArSE ASE ArrAAZSEASEA曲線下面積的（）置信區(qū)間為兩曲線下面積比較檢驗(yàn)公式：其中 為兩面積間的相關(guān)系數(shù)，令 0,有：l單個(gè)連續(xù)型資料（實(shí)例1）l單個(gè)有序分類(lèi)資料（實(shí)例2）l兩個(gè)相關(guān)連續(xù)型資料（實(shí)例3）l兩個(gè)相關(guān)有序分類(lèi)資料（實(shí)例4）二、二、ROC分析的數(shù)據(jù)類(lèi)型分析的數(shù)據(jù)類(lèi)型Test variables采用骨髓診斷作為金標(biāo)準(zhǔn)，對(duì)采用骨髓診斷作為金標(biāo)準(zhǔn)，對(duì)100例缺鐵性貧血例缺鐵性貧血

16、疑似患者進(jìn)行確診，患該病者為異常組疑似患者進(jìn)行確診，患該病者為異常組(34例例)，未患該病者，未患該病者為正常組為正常組(66例例)。為了考察紅細(xì)胞平均容積（。為了考察紅細(xì)胞平均容積（MCV）診斷）診斷缺鐵性貧血的效果，測(cè)得每一個(gè)體的缺鐵性貧血的效果，測(cè)得每一個(gè)體的MCV值如下：值如下：表表 紅紅細(xì)細(xì)胞胞平平均均容容積積骨髓診斷MCV結(jié)果606668697171737474747677777777787879798080818181828283838383838383848484848585868686878888888989899090正常組9191929393939494949496979

17、8 1001035258626567686971727273737475767777異常組7879808081818182838485858688889092 注：資料來(lái)自JR Beck, EK Shultz, Arch Pathol Lab Med，1986.State VariableTest Variable實(shí)例實(shí)例1：MCV診斷缺鐵性貧血診斷缺鐵性貧血圖圖4 4 連續(xù)性資料的兩組頻率分布連續(xù)性資料的兩組頻率分布 0.3 0.2 0.100.10.20.3556065707580859095100105組段上限值異常組頻率正常組頻率State Variable 骨髓診斷骨髓診斷Test

18、Variable MCV結(jié)果結(jié)果0正常組正常組1異常組異常組Value of State Variable：1SPSS的的GraphsROC Curve界面界面如果試驗(yàn)測(cè)如果試驗(yàn)測(cè)量值越小患量值越小患病的可能性病的可能性越大時(shí)應(yīng)改越大時(shí)應(yīng)改變默認(rèn)的變默認(rèn)的OptionsSPSS輸出結(jié)果Case Processing SummaryCase Processing Summary3466骨髓診斷PositiveaNegativeValid N(listwise)Smaller values of the test result variable(s) indicatestronger eviden

19、ce for a positive actual state.The positive actual state is 1.a. SPSS輸出結(jié)果SPSS輸出結(jié)果Area Under the CurveArea Under the CurveTest Result Variable(s): mcv結(jié)果.717.053.000.614.820AreaStd. ErroraAsymptoticSig.bLower BoundUpper BoundAsymptotic 95% ConfidenceIntervalThe test result variable(s): mcv結(jié)果 has at le

20、ast one tie between thepositive actual state group and the negative actual state group. Statisticsmay be biased.Under the nonparametric assumptiona. Null hypothesis: true area = 0.5b. SPSS輸出結(jié)果MCVMCV診斷缺鐵性貧血的診斷缺鐵性貧血的ROCROC曲線曲線0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR雙正態(tài)機(jī)率線工作點(diǎn)某放射醫(yī)生將已知實(shí)際分類(lèi)的影像，某放射醫(yī)生將已知實(shí)際分類(lèi)的影像，按肯定正常、可能正常、疑似異常、可能異常、肯按肯定正常、可能正常、疑似異常、可能異常、肯定異常，分別分為定異常，分別分為1、2、3、4、5五類(lèi)。五類(lèi)。表表 單個(gè)診斷試驗(yàn)的有序分類(lèi)資料單個(gè)診斷試驗(yàn)的有序分類(lèi)資料分類(lèi)12345合計(jì)正常組 35 68 49 29 12 193= nn異常組 2 3 8 16 12 41= naState VariableTest VariableFrequency Variable圖圖6 6 單個(gè)有序分類(lèi)資料的兩組頻率分布單個(gè)有序分類(lèi)資料的兩組頻率分布-0.5-0.4-0.