應(yīng)用于考試中的IRT參數(shù)估計(jì)簡(jiǎn)化程序設(shè)計(jì)

應(yīng)用于考試中的IRT參數(shù)估計(jì)簡(jiǎn)化程序設(shè)計(jì)朱寧寧目前，越來(lái)越多的考試都應(yīng)用項(xiàng)目反應(yīng)理論ItemResponseTheory,稱簡(jiǎn)IRT)作為題目分析、題庫(kù)建設(shè)以及分?jǐn)?shù)估計(jì)等方面的主要方法。但是，這一方法因?yàn)榫哂刑嗟臄?shù)理統(tǒng)計(jì)內(nèi)涵，以至不容易被人掌握。而且，目前用于IRT參數(shù)估計(jì)的軟件雖然不少，比如有BIGSTEPS、PARSCALE、BILOG以及MULTILOG等Embretson&Reise,2000),但是作為商業(yè)軟件，這些工具都有特定的應(yīng)用范圍和條件，并且功能過(guò)于復(fù)雜，設(shè)計(jì)的目的主要是供研究者使用的，并不容易為一般應(yīng)用者所掌握。這些問題的存在，導(dǎo)致了我國(guó)考試界對(duì)IRT技術(shù)了解不深和應(yīng)用不廣。實(shí)際上，對(duì)于計(jì)劃要在考試中使用IRT技術(shù)的廣大考試管理者和實(shí)施者而言，他們更希望有一個(gè)易于使用，并能滿足一般數(shù)據(jù)處理要求的IRT參數(shù)估計(jì)程序，以便能將現(xiàn)在的考試系統(tǒng)提升到一個(gè)新的更有效的水平上，并能適應(yīng)現(xiàn)代計(jì)算機(jī)技術(shù)不斷進(jìn)步的要求。本研究使用邊緣極大似然估計(jì)MMLE)的方法進(jìn)行項(xiàng)目參數(shù)的估計(jì)，并用貝葉斯法Bayes)期望后驗(yàn)估計(jì)EAP)的方法進(jìn)行結(jié)果分?jǐn)?shù)參數(shù)估計(jì)Baker，1992)，設(shè)計(jì)出一個(gè)功能簡(jiǎn)化的用于二級(jí)計(jì)分的2PL模型的參數(shù)估計(jì)程序，簡(jiǎn)稱MyPro。這一程序的特點(diǎn)是：使用簡(jiǎn)便，嵌入性較強(qiáng)。1模型簡(jiǎn)介二級(jí)計(jì)分的2PL模型項(xiàng)目特征曲線可表示為：Pi(l/2)其中，Zij=j—i為題目區(qū)分讀，Ni為題目的難度。2.MyPro與Bilog在估計(jì)結(jié)果上的對(duì)比BILOG(Mislevy&Bock，1990)是用于二級(jí)計(jì)分的項(xiàng)目反應(yīng)理論模型參數(shù)估計(jì)的流行工具，這個(gè)程序已經(jīng)有適用于Windows平臺(tái)的版本，可完全通過(guò)菜單設(shè)置參數(shù)，來(lái)完成1PL、2PL和3PL的IRT模型的參數(shù)估計(jì)。在本研究中，使用的對(duì)比程序就是BILOGC3.11版）°BILOG-3程序使用流行的（MMLE）方法來(lái)進(jìn)行項(xiàng)目參數(shù)的估計(jì)，默認(rèn)用（EAP）方法進(jìn)行特質(zhì)參數(shù)的估計(jì)。下面，用蒙特卡洛（MonteCarlo）模擬方法，將MyPro與Bilog—3加以對(duì)比，以觀察其可用性。首先模擬10次考試數(shù)據(jù)：每次考試有3000個(gè)考生參加，試卷的題量為50題。其中，題目鑒別度A采用Log正態(tài)分布加以模擬，題目難度B采用正態(tài)分布模擬。能力值Theta也使用正態(tài)分布模擬。受測(cè)者的應(yīng)答情況采用2PL模型加以模擬（由于模型本身即要求數(shù)據(jù)的一維性，因此模擬的數(shù)據(jù)已經(jīng)符合模型的要求，不必再進(jìn)行模型符合性的相關(guān)檢驗(yàn)）。得到10組受測(cè)者應(yīng)答矩陣以后，分別使用MyPro和Bilog—3進(jìn)行參數(shù)的估計(jì)。MyPro和Bilog—3方法得到A值、B值和THETA值的各10組數(shù)據(jù)，將這些數(shù)據(jù)分別和初始模擬的A值、B值和THETA值進(jìn)行比較，分別計(jì)算出每一組的誤差的標(biāo)準(zhǔn)差的平均值，以之作為估計(jì)誤差。結(jié)果如表1所示：從表1中可以發(fā)現(xiàn)：（1）將MyPro和Bilog-3的估計(jì)結(jié)果與模擬的初值進(jìn)行誤差分析，發(fā)現(xiàn)兩個(gè)程序的估計(jì)的準(zhǔn)確性水平較為一致?？烧J(rèn)為這兩種程序的估計(jì)具有同樣的準(zhǔn)確性。（2）通過(guò)對(duì)比MyPro和Bilog-3兩種程序的估計(jì)結(jié)果，發(fā)現(xiàn)兩個(gè)程序的估計(jì)結(jié)果的差異較小?？烧J(rèn)為兩種程序的估計(jì)結(jié)果之間具有一致性。從模擬研究結(jié)果觀察，MyPro這個(gè)參數(shù)估計(jì)程序，雖然距離Bilog的復(fù)雜性還有很大的差距，但是已經(jīng)達(dá)到了可用的標(biāo)準(zhǔn)。需要使用者注意的是:和Bilog等程序一樣，MyPro簡(jiǎn)化程序沒有包含IRT模型假設(shè)檢驗(yàn)過(guò)程,因此需要用戶預(yù)先保證輸入MyPro的數(shù)據(jù)是符合IRT的模型假設(shè)的（可通過(guò)DIMTEST或DETECT等程序考察數(shù)據(jù)的特征）。3MyPro的用法介紹MyPro這個(gè)程序包含兩個(gè)功能：MyPro.MMLE和MyPro.EAP，分別用于估計(jì)項(xiàng)目參數(shù)估計(jì)和能力參數(shù)。用戶可選擇需要的功能，分別進(jìn)行調(diào)用。MyPro.MMLE包含三個(gè)參數(shù)：vData,lMNC和dJD。最簡(jiǎn)單的情況下，用戶只需要輸入vData這個(gè)參數(shù)，這是考生在每個(gè)題目上的得分?jǐn)?shù)據(jù)，按照以下形式排列（n名考生，m個(gè)題目）：其中，1MNC用于設(shè)定最大的迭代次數(shù)（默認(rèn)為100），dJD用于估計(jì)精度（默認(rèn)為0.001），這兩個(gè)參數(shù)都是可選的。估計(jì)結(jié)束以后，會(huì)生成一個(gè)結(jié)果文件：EM.LOG。包含A與B參數(shù)的估計(jì)值，及其卡方檢驗(yàn)結(jié)果。使用者可直接調(diào)用項(xiàng)目參數(shù)估計(jì)的這些結(jié)果。下面舉例說(shuō)明如何用一個(gè)Windows的腳本運(yùn)行這一程序：setMyPro=Server.CreateObject（"IRT.MyPro"）MyPro.MMLEvDataMyPro.EAP也包含三個(gè)參數(shù)：vData，vA和vB。這三個(gè)參數(shù)都是必需的，vData參數(shù)包含某個(gè)考生在每個(gè)題目上的得分?jǐn)?shù)據(jù)，如下所示（考生x,在m個(gè)題目上的回答）：Kxl，Kx2，…，Kxi，…，KxmvA表示題目的區(qū)分度，vB表示題目的難度（m個(gè)題目）：A1，A2，…，Aj，…，AmB1，B2，…，Bj，…，Bm估計(jì)結(jié)束后，能直接返回Theta值（此即為考生的能力值），以及信息量和誤差情況。在實(shí)際使用中,如預(yù)先不知道項(xiàng)目的區(qū)分度和難度值，可先通過(guò)前面的項(xiàng)目參數(shù)估計(jì)過(guò)程獲得這些參數(shù)，然后再計(jì)算Theta值。下面舉例說(shuō)明如何用一個(gè)Windows的腳本運(yùn)行這一程序：setMyPro=Server.CreateObject("IRT.MyPro")sValue=MyPro.EAP(vData,vA,vB)從上面的例子可以看到，無(wú)論是進(jìn)行項(xiàng)目參數(shù)估計(jì)，還是對(duì)能力參數(shù)進(jìn)行估計(jì)，都只要通過(guò)簡(jiǎn)單兩行代碼即可完成調(diào)用，省去了用戶的很多麻煩。4小結(jié)由于此程序作為動(dòng)態(tài)鏈接庫(kù)的形式發(fā)布，因此可以在Windows95/98/Me，NT，windows2000以及XP中都能被使用。這個(gè)庫(kù)程序可以被其它IRT應(yīng)用軟件所調(diào)用，也能被計(jì)算機(jī)化考試的服務(wù)器直接調(diào)用，甚至可以被整合到客戶端的應(yīng)用中，以提高服務(wù)器的效率。本研究以二級(jí)計(jì)分的2PL模型為例，說(shuō)明了模塊化IRT的參數(shù)估計(jì)方法后，能為大家方便地使用。但是具體的考試還會(huì)涉及多級(jí)計(jì)分的題目、時(shí)間限制題目以及多選題等等，與此相關(guān)的IRT模型及其參數(shù)估計(jì)方法就更為繁瑣。本文只是拋磚引玉，希望國(guó)內(nèi)的考試研究者能夠開發(fā)出更多類似的應(yīng)用程序，以便使IRT技術(shù)為國(guó)內(nèi)考試方面的具體應(yīng)用提供基礎(chǔ)性的幫助，為中國(guó)教育考試的科學(xué)化做出貢獻(xiàn)。參考文獻(xiàn)1.Baker，F(xiàn).B.(1992).Itemresponsetheoryparameterestimationtechniques.MarcelDekker.Inc.Embretson，S.E.，&Reise，S.P.(2000).Itemresponsetheoryforpsychologists.LondonLaweenceErlbawnAssociates.2.M