定性試驗評價和檢測結(jié)果一致性檢驗的統(tǒng)計分析方法

1、2009PerkIPerkinElmerFortheBetterHUMANHEALTH|ENVIRONMENTALHEALTH體外診斷醫(yī)療器械分析性能評估一一CLSIEP文件介紹（二）Sep.30,2013JerryHuangJnElmer“分析性能驗證”的意義廠家評估檢測系統(tǒng)的性能;滿足法規(guī)；CE-Markingo用戶滿足法規(guī)（醫(yī)療機構(gòu)臨床實驗室管理辦法）；IS015189實驗室認可。fCLSIEP文件介名定性測定的性能分析(CLSIEP12-A2)檢測結(jié)果一致性檢驗的統(tǒng)計分析方法fCLSIEP文件介名定性測定的性能分析(CLSIEP12-A2)1、定性試驗評價指標特異性；靈敏度；測定下限；

2、重復(fù)性；準確性；抗干擾能力。定性檢測系統(tǒng)方法學驗證流程3、Cutoff重復(fù)性和測定下限驗證臨界點的定義同樣一份樣本，在多次重復(fù)實驗中各有50%的幾率獲得陽性或陰性的結(jié)果時該分析物的濃度。臨界點與試劑盒陽性反應(yīng)判斷值(Cutoff值)的區(qū)別a)這里的臨界點指的是一個處于試劑檢測臨界點的樣本濃度，其一旦確定,是不變的；b)試劑盒Cutoff值指的是一個判斷某一次測定結(jié)果的由陰性和陽性對照信號值按一定公式計算出來的信號值，每次測定都會有所差異。臨界點的(精密度)重復(fù)性指的是什么？是為正在評價的檢測試劑或系統(tǒng)建立分析物的臨界濃度(C50),并且確保臨界濃度土20%的范圍處于95%區(qū)間內(nèi)(C5-C95)

3、。Lower 95% IntervalCutoffUpper 95%Interval3、Cutoff重復(fù)性和測定下限驗證一臨界值（Cutoff）：實驗結(jié)果處于（陰、陽性）分界點時的樣品中分析物濃度值，低于此值，定性實驗的結(jié)果為陰性，高于此值，定性實驗的結(jié)果為陽性。對定性實驗來講，臨界值是唯一的醫(yī)學決定水平，當樣品中被測物濃度處于臨界水平時，定性實驗重復(fù)檢查同一樣品，將產(chǎn)生50%的陽性結(jié)果和50%的陰性結(jié)果。當樣品濃度在臨界值以上增加時，陽性結(jié)果比率增加；而當樣品濃度在臨界值以下減低時，陰性結(jié)果比率增加。臨床界值的95%區(qū)間：在樣品濃度高于臨界值并重復(fù)實驗產(chǎn)生95%陽性結(jié)果和濃度低于臨界值并產(chǎn)生

4、95%陰性結(jié)果之間的樣品濃度范圍。一般通過重復(fù)測定臨界值附近及“95%區(qū)間”以外的樣品，以得到一致性結(jié)果的能力，來評價該試驗方法的優(yōu)良。不同試驗檢測同一樣本的臨界值“95%區(qū)間”及能產(chǎn)生穩(wěn)定結(jié)果的濃度范圍可能不同，區(qū)分這種差異的能力對試驗方法的評價將十分有用。4、精密度曲線1不精密度曲線尸 - l - I L L - l 映兩初Ma 6 66 6 36 sfn$ay Ewsod WSJodActual Concentration兩種不同方法的不精密度曲線比較比對試劑的C50和C5C95區(qū)間能反映試劑的靈敏度和不精密度。試齊I批內(nèi)與批間C50的差異越小，說明試劑的重復(fù)性越好。C50濃度也反映出試

5、劑靈敏度的差異，C50濃度小的試劑對低濃度的標本檢出能力強，檢測靈敏度較高。在同C50下C5C95范圍越小，說明試劑的精密性越好。5、精密度評價驗證步驟.制備足夠40次重復(fù)檢測的3份樣本：分別為處于臨界濃度、高于臨界濃度20%和低于臨界濃度20%的樣本。.重復(fù)檢測樣本40次，確定每一份樣本結(jié)果為陽性和陰性的百分比。.評價臨界濃度是否準確？評價+20%至-20%的濃度范圍是否包含于、位于或者超出這種方法的95%區(qū)間？40次測定的陽性結(jié)果C50準確性判定27/40(67.5%)(14-26)/40(35%65%)正確Cso的可信度取決于實際檢測結(jié)果以及檢測的樣本數(shù)量。6、精密度評價驗證步驟類 型樣

6、本 濃度陰性或陽性結(jié)果所占比例結(jié)論1+20%陽性結(jié)果= 35/40 (87.5%)1） -20%+20%濃度范圍在CsC區(qū)間之內(nèi)：2）用該方法檢測濃度超過C5 20%的樣本檢 測結(jié)果不一致：3）此結(jié)論錯誤率5%,需使用更寬濃度范圍的樣 木（如30%）進行另外的試驗。-20%陰性結(jié)果= 35/40 (87.5%)2+20%陽性結(jié)果之36/40（90%）1） -20%+20%濃度范圍包含了 CsC95區(qū)間：2）用該方法檢測濃度超過C50 20%的樣本檢 測結(jié)果一致。-20%陰性結(jié)果之36/40（90%）3+20%陽性結(jié)果之36/40（90%）1） -20%+20%濃度范圍只是部分在CsC95 區(qū)間

7、內(nèi)。（+20%包含了備5區(qū)間，但-20%濃 度的樣本在C5C區(qū)間內(nèi)）：2）用該方法檢測濃度超過C50 +20%的樣本檢 測結(jié)果一致：濃度低于Cso-20%的樣本用該 方法卻不一定能得到一致結(jié)果：3）需要用低于C50更大百分率濃度的樣本（如 -30%）進行補充試驗。-20%陰性結(jié)果= 35/40 (87.5%)4+20%陽性結(jié)果= 35/40 (87.5%)1） -20%+20%濃度范圍只是部分在C$C95 區(qū)間內(nèi)。（+20臟ECsC95區(qū)間內(nèi)，但-20%包含 jCsC95區(qū)間）：2）用該方法檢測濃度低于Cso-20%的樣本檢 測結(jié)果一致：濃度超過Cso + 20%的樣本用該 方法卻不一定能得到

8、一致結(jié)果：3）需耍用高于C50更大百分率濃度的樣本（如 +30%）進行補充試驗。-20%陰性結(jié)果236/40(90%)如果C$0估計不準，那么-20%到+20與濃度范闈也會變化，這將導(dǎo)致濃度范闈的一側(cè)落在JC95區(qū)間之外。臨界濃度如果準確，樣品重復(fù)檢測應(yīng)獲得50%的陽性和50%的陰性結(jié)果。如果+20%的樣本獲得陽性結(jié)果的次數(shù)295%,并且-20%的樣本獲得陰性結(jié)果的次數(shù)之95%,那么這個范圍位于或超出這種方法的95%區(qū)間。因而,距離臨界濃度之20%的樣本可用此種方法獲得一致的結(jié)果（測定下限）。如果+20%的樣本獲得陽性結(jié)果的次數(shù)95%,并且/或20%的樣本獲得陰性結(jié)果的次數(shù)95%,那么這個范圍

9、在這種方法的95%區(qū)間內(nèi)。因而，距離臨界濃度20%的樣本用此種方法不會獲得一致的結(jié)果，并且此種方法的95%區(qū)間距離臨界濃度20%。在一種方法的95%區(qū)間距離臨界濃度20%的情況下，需要做另一個或一系列實驗以確定真正的95%區(qū)間。入特異性驗證特定病原體以外感染性疾病患者的樣本；含有干擾性物質(zhì)的樣本：類風濕因子（RF）陽性、含異嗜性抗體、溶血、脂血、高膽紅素樣本；交叉反應(yīng)物質(zhì)的干擾；健康人群樣本。8、準確性驗證（方法比較）1）另一種定性方法（如使用者目前正在使用的方法）；2）“金標準”方法；3）某種定量方法或臨床診斷。不一致結(jié)果的處理如果比較方法不是100%準確，可以用“金標準”或“參考方法”來檢

10、測在試驗和比較方法間產(chǎn)生差異的樣本。參考血清盤1）曾經(jīng)被檢測過的、或者被成熟方法檢測的，或臨床診斷中有意義的臨床樣本對于評價定性方法來說很有價值；2）陽性樣本濃度高低不等，具有代表性，可占整個血清盤樣本數(shù)的50%；3）陰性樣本可含有干擾物質(zhì)，可占整個血清盤樣本數(shù)的50%。9、方法學比較結(jié)果的計算1)、已知診斷結(jié)果2)、未知診斷結(jié)果試驗方法和金標準比較的2X2列聯(lián)表測定結(jié)果對比方法診斷結(jié)果金標準(D)陽性陰性總數(shù)病例(D+)對照(D_)總數(shù)試驗方法陽性aba+b試驗方法(T)陽性(T+)TPFPTP+FP陰性Cdc+d陰性(T_)FNTNFN+TN總數(shù)a+cb+da+b+c+d=n敏感度估計=1

11、00% X TP/ (TP + FN)特異性估計=100%X TN/ (FP+TN)患病率=100% X (TP + FN) /N陽性預(yù)測值(PVP) = 100% X TP/ (TP + FP)陰性預(yù)測值(PVN) = 100% X TN/ (FN + TN)效能估計值(預(yù)測效率)=100% X (TP + TN) /NCLW EP12瞰陽性一致率=a/(a+c)X100%陰性一致率=d/(b+d)X100%總一致率=(a+d)/(a+b+c+d)X100%一致率的95斷平分可信區(qū)間計算公式：100%-Q2)/Q3，100%(Qi+Q2)/Q3對于陽性一致率：Qi=2a+1.962=2a+3

12、.84Q2=1.96XJ1.962+4ac/(a+c)=1.96XJ3.84+4ac/(a+c)Q3=2(a+c+1.962)=2(a+c)+7.68對于陰性一致率：Qi=2d+1.962=2d+3.84Q2=1.96XJ1.962+4bd/(b+d)=1.96X，3.84+4bd/(b+d)Q3=2(b+d+1.962)=2(b+d)+7.68對于總一致率：Qi=2(a+d)+1.962=2(a+d)+3.84Q2=1.96XJ1.962+4(a+d)(b+c)/n=1.96XJ3.84+4(a+d)(b+c)/nQ3=2(n+1.962)=2n+7.68CLSIEP文件介名f檢測結(jié)果一致性

13、檢驗的統(tǒng)計分析方法定性測定結(jié)果間的一致性評價.Kappa一致性檢驗；.配對四格表資料的卡方檢驗。定量測定結(jié)果間的一致性評價.配對t檢驗.相關(guān)系數(shù).組內(nèi)相關(guān)系數(shù)(intra-classcorrelationcoefficients,ICC).Bland-Altman法(方法學比對).ATE/LER區(qū)域法評價一致性定性測定結(jié)果間的一致性評價1.Kappa一致性檢驗；測定結(jié)果對比方法頻率陽性陰性總數(shù)試驗方法陽性aba+b4=Ai/n陰性Cdc+d。2=Az/n總數(shù)a+cb+da+b+c+d=n頻率瓦=Bi/nb2=B2/nKappa系數(shù)(K)計算式中，旦為觀察一致比，己為期望一致比,旦-9為實際一致

14、率，1一旦為非期望一致比,4為列表中左上角到右下角主對角線上的實際值，4、與分別為第i行、第i列的理論值，生、瓦分別為第i行、第i列的理論頻率，n為總觀察例數(shù)。Kappa值的假設(shè)檢驗（U檢驗）KHo：K=0,Ho：KWO,a=0.05,U=,=J-（l-兄）/。（1一2產(chǎn)Sk式中，U為標準正態(tài)百分位數(shù)，n為總觀察例數(shù)，Sk為K的標準誤，K除以&構(gòu)造出U統(tǒng)計量,進而可對一致性進行假設(shè)檢驗。K的95%可信區(qū)間為（K-1.96Sk，K+1.96SaOK的99%可信區(qū)間為（K-2.58Sk，K+2.58SaOKappa0.8,一致性為優(yōu)，認為兩系統(tǒng)等效；0.6VKappaK0.8,一致性良好，需進行陽

15、性和陰性符合率比較并進行統(tǒng)計學分析：0.4Kappa一致性中等，需進行陽性和陰性符合率比較并進行統(tǒng)計學分析：Kappa定量測定結(jié)果間的一致性評價.相關(guān)系數(shù),相關(guān)系數(shù)是用于表示兩定量資料線形相關(guān)關(guān)系的密切程度，是基于測量個體間變異以及測量方法間變異計算得到的；/相關(guān)系數(shù)反映的是兩變量線性關(guān)系的密切程度而非一致性；/相關(guān)系數(shù)對系統(tǒng)誤差是不敏感；,相關(guān)系數(shù)的假設(shè)檢驗是與0進行比較而非1,所以假設(shè)檢驗結(jié)果對于一致性評價的意義也不大。.組內(nèi)相關(guān)系數(shù)(intra-classcorrelationcoefficients,ICC)反映被測量者變異占總變異的比例。ICC=&/+61+61)其中，除為被測量者變

16、異，晶為由系統(tǒng)誤差造成的變異，能為由隨機誤差造成的變異。可以看出，ICC值介于01之間，一般認為:ICC0.75則信度“佳”；ICCC0.40則信度“差”；介于兩者之間一般認為良好。ICC大意味著系統(tǒng)誤差與隨機誤差引起的變異均小。ICC的假設(shè)檢驗也是與0比較而非與1比較，所以假設(shè)檢驗結(jié)果對一致性判斷意義不大。ICC的應(yīng)用受到測量值范圍的局限，有時也會做出錯誤的判斷。定量測定結(jié)果間的一致性評價4.Bland-Altman法主要原理是根據(jù)兩種儀器的測量結(jié)果,計算出一致性接線（Limits of Agreement,LoAo指量結(jié)果差值D的”均值2標準差），并用圖形直觀地反映，最后結(jié)果臨床實際意義，

17、確定專業(yè)界限，從而得出兩種儀器的測量結(jié)果是否具有良好的一致性；界值；有臨床意義的一致性界限（由臨床醫(yī)生決定）；樣本量越大，LoAQ范圍越小，越容易得到一致性較好的結(jié)論；對數(shù)據(jù)的分布情況也有一些要求，即數(shù)據(jù)的覆蓋范圍盡量寬一些，太窄的話容易得到錯誤的結(jié)論，也不容易發(fā)現(xiàn)是否存在差值隨均值成比例變化的情形；主要用于新方法與金標準之間的比較，或?qū)煞N測量儀器進行一致性評價可以判斷儀器出具數(shù)據(jù)的可替代性；應(yīng)對測量的可重復(fù)性進行分析。要求至少要有一種測量方法對測量對象沒有影響,以減小因測量對象本身的不一致造成數(shù)據(jù)的差別，影響對測量方法和儀器的分析。Bland-Altman法的圖形是兩組測量值差值對應(yīng)于測量

18、值均值的散點圖，又稱DA圖，其中：縱軸：D=Xa-Xb橫軸：A=（Xq+XQ/2|定量測定結(jié)果、間的一致性評價4. Bland-A It man 法151050+ 1 96 SD11 2Mean16-1 96 SD-10-14.5-15-206080100120140160AVERAGEofTEST1andTEST2同時，考慮到抽樣誤差，除了LoA,還要有LoA的可信區(qū)間(LoACI)o計算LoACI所對應(yīng)的標準誤差一般為1.71SE(d),即可計算出兩條一致性界限分別對應(yīng)的可信區(qū)間。當D與A獨立時(兩種測量數(shù)據(jù)具有方差齊性，差值不會系統(tǒng)地隨測量尺度的擴大而變化，差值都服從正態(tài)分布)一致性界限

19、可作為評價一致性的指標。如果兩種儀器測量結(jié)果的差異位于一致性界限內(nèi)，并且在臨床上是可以接受的，則可以認為這兩種檢測方法具有良好的一致性，可互換；如果兩種儀器測量結(jié)果的差異超出臨床界值或者在臨床上不可以接受，那么可以認為這兩種檢測方法一致性較差。當D與A本獨立時(即兩種測量數(shù)據(jù)不具方差齊性，差值隨著度量等級的變化而變化)不能簡單地計算一致性界限，需要進行回歸分析，然后根據(jù)Bradley-Blackwood檢驗結(jié)果判斷兩種測量數(shù)據(jù)的一致性。當數(shù)據(jù)的差值與均值成比例變化時，需要對原始數(shù)據(jù)進行對數(shù)轉(zhuǎn)換，然后再進行作圖分析。數(shù)據(jù)進行對數(shù)變化并不能徹底消除差值與均值成比例的問題。這樣做可以使得LoA與Lo

20、ACI明顯變窄，相比較于采用原始數(shù)據(jù)有更大的優(yōu)勢。Bland-Altman法評價一致性既考慮了隨機誤差也考慮了系統(tǒng)誤差，同時可以結(jié)合專業(yè)意義進行判斷，具有獨特的優(yōu)勢。定量測定結(jié)果間的一致性評價5.ATE/LER區(qū)域法評價一致性ATE/LER區(qū)域法是FDA推薦用于評價一致性的新指標，主要適用于定量資料；主要原理是分析一種儀器的測量結(jié)果與另一種儀器測量結(jié)果的總體吻合度，并用圖形直觀地反映這一結(jié)果，最后結(jié)合臨床意義，得出兩種測量方法是否具有良好的一致性；圖形中各名區(qū)域部分的劃分需要臨床專家和統(tǒng)計學專家共同做出判斷，以制定臨床界值；當兩種檢測方法完全一致時，散點應(yīng)分布在圖中均等線Y二X上；結(jié)合臨床意義可將圖形劃分為三個區(qū)域：ATE區(qū)域：圍繞Y=X附近的白色區(qū)域，此區(qū)域內(nèi)誤差在臨床上可以接受，就總體而言，觀察對象落入ATE區(qū)域內(nèi)應(yīng)超過95%；LER區(qū)