計算機化適應(yīng)性測驗

計算機化適應(yīng)性測驗壹、計算機化測驗的興起緣起1.1945年二次世界大戰(zhàn)結(jié)束后，人類才發(fā)明第一臺計算機。2.往后20年，計算機軟硬件迅速發(fā)展。到了1960年代，出現(xiàn)高階的程序語言，如:Fortran、Pascal、Coble。3.1960年代起，開始出現(xiàn)計算機輔助測驗(computer-basedtesting,CBT)。4.1980年，Lord提出試題反應(yīng)理論(itemresponsetheory,IRT)。開始有人利用IRT理論，融入發(fā)展建置計算機化適性測驗(computerizedadaptivetesting,CAT)。5.1991年，美國國防部釋出網(wǎng)際網(wǎng)絡(luò)(internet)。6.1995年，出現(xiàn)WWW、Google、Yahoo等。7.2005年，出現(xiàn)iPhone、平板計算機、數(shù)位科技產(chǎn)品。8.2014年，出現(xiàn)穿戴式數(shù)位科技產(chǎn)品。計算機化測驗之比較一、計算機輔助測驗(computer-basedtesting,CBT)1.紙筆測驗的計算機版。以鍵盤輸入代替「筆」來作答輸入，以熒幕呈現(xiàn)試題方式代替「紙張」的印刷。2.以古典測驗理論（CTT）為計分之依據(jù)。3.無法量身訂作測驗，沒有「因才施測」的功能。4.逐一或全部試題作答，無法跳答及空白未答，考生都接受相同題數(shù)、內(nèi)容和作答時限的計算機輔助施測方式。二、計算機化適性測驗(computerizedadaptivetesting,CAT)1.全新的計算機測驗方式，雖然仍可視為「紙筆測驗的計算機版」，但具有「隨選隨試」（testing

on

demand）的特色。2.以試題反應(yīng)理論（IRT）作為理論與建置發(fā)展的依據(jù)。3.可量身訂作測驗，具有「因才施測」的功能。4.逐題作答，無法跳答，最終每位考生的答題數(shù)、內(nèi)容、時間均不一。計算機化測驗的發(fā)展現(xiàn)況一、學(xué)術(shù)上的研究 CAT測驗已是一個技術(shù)成熟的工具二、檢定（證照）考試的應(yīng)用

已出現(xiàn)CAT測驗，但仍以CBT測驗為主三、學(xué)校的教學(xué)評量

頂多使用CBT測驗，仍以紙筆測驗為主四、官方的考試應(yīng)用

還在研發(fā)階段，試著使用CBT測驗貳、計算機化適性測驗的發(fā)展步驟實施計算機化適性測驗的優(yōu)點比起傳統(tǒng)的紙筆測驗，實施計算機化適性測驗具有下列幾項優(yōu)點：1.增強測驗的安全性；2.可依據(jù)需求來進行施測，具有施測彈性與效率的特色；3.無需使用試題本及答案卡，具有環(huán)保功能；4.適合每位考生的作答速度；5.立即計分和成績報告；6.降低某些考生的考試挫折感；（我有一點質(zhì)疑！）7.強化施測的標(biāo)準(zhǔn)化過程；8.容易從題庫中抽題組卷，找出并刪除不良的試題；9.對于試題類型的選擇更具彈性；10.減少監(jiān)試的時間。六大發(fā)展步驟一、挑選試題反應(yīng)模式二、準(zhǔn)備計算機化題庫三、起始策略：測驗起點四、繼續(xù)策略：選題方式五、運算策略：能力估計六、終止策略：終止標(biāo)準(zhǔn)一、挑選試題反應(yīng)模式1.分辨測驗資料本身的不同計分屬性與類型。2.審慎挑選適用的IRT計分模式。（1）二元化計分資料（binarydata）：可挑一、二、或三參數(shù)對數(shù)型模式（即1PL、2PL、或3PL等）。（2）多元化計分資料（polytomousdata）：可挑Rasch模式，或其變形模式（如：GRM、RSM、PCM、2PPCM或GPCM等）。3.對選擇題型的成就測驗而言，當(dāng)前最受歡迎的CAT模式還是以三參數(shù)對數(shù)型模式（即3PL）最常被選用；其次，才是Rasch模式。4.對選擇題型的心理測驗而言，則是以Rasch模式的變形--PCM模式為主。二、準(zhǔn)備計算機化題庫1.參考IRT專書中關(guān)于「題庫建置」的說明。2.事先建置并準(zhǔn)備好一套計算機化題庫施測系統(tǒng)。3.該計算機化題庫施測系統(tǒng)系透過等化程序（test

equating），所建置起來的一套已校準(zhǔn)過參數(shù)（calibrated

item

parameters）的題庫，以及4.設(shè)計一套計算機施測程序，以作為針對每位考生的作答情況，從題庫中選題、施測、計分、及決定是否停止施測的依據(jù)。5.該計算機化題庫施測系統(tǒng)是進行計算機化適性測驗的核心單元。若沒有它，欲推動計算機化適性測驗是不可能的。開始測驗開始選一題受試者作答估計能力值終止條件滿足？結(jié)束測驗輸出考試成績計算機化題庫系統(tǒng)（運算、挑題、呈現(xiàn)下一題）否是提供練習(xí)題數(shù)題，并估計起始值另一途徑三、起始策略：測驗起點應(yīng)該先考哪一個試題，是適性測驗所需面臨的一件重要抉擇問題。從理論上來看，試題的難度必須要能夠配合考生的能力水平。但是，除非我們已知考生過去的表現(xiàn)好壞，否則無法在施測之前就知道考生的能力。所以，常用的測驗起點方法有：1.自難度適中的試題中隨機抽取一個試題。2.完全隨機抽取一個試題。3.先調(diào)查學(xué)生的背景，再決定挑出那一類的試題。Lord認為，只要測驗的題數(shù)不少于25題的話，以那一個試題做為起點的影響不大。從題庫中隨機選題的最大好處，就是可以達到保密的要求，減少某些特定試題有被重覆抽取的高曝光率（itemexposurerate）問題發(fā)生，而致危害題庫的安全性。在實務(wù)中，為了方便計算機程序開始選題施測下去，CAT通常都會設(shè)計讓計算機預(yù)先提供三到五題的練習(xí)題，并且是每位考生的練習(xí)題都相同，以供考生練習(xí)作答。這項作法的目的：1.讓考生熟悉利用計算機作答的測驗環(huán)境和該適性測驗系統(tǒng)的作答方式。2.等考生至少出現(xiàn)一題答對（假設(shè)他連續(xù)答錯的話）或一題答錯（假設(shè)他連續(xù)答對的話）時，考生的作答反應(yīng)組型才可以利用最大近似值估計法（MLE）開始估計出每位考生能力的起始值（initialvalue），以便繼續(xù)下一階段的施測步驟。當(dāng)然，若是使用貝氏估計法（Bayesian

method）的話，則練習(xí)題的功用純粹是為了讓考生熟悉施測的情境之用。四、繼續(xù)策略：選題方式依據(jù)IRT所建立的計算機化適性測驗方式，必須事先有建置好的題庫存在，并且，經(jīng)過校準(zhǔn)的試題參數(shù)特征也必須一起儲存在題庫里。校準(zhǔn)時所選用的模式不同，都會影響計分方法的選擇和能力的估計。一般而言，常用的試題挑選方法有三種：1.挑選能夠針對考生能力估計提供最大訊息量的試題；為了避免同樣的試題一再地被重覆選用，建議可從一堆能夠產(chǎn)生最大訊息量的試題中，隨機抽取一個試題來進行就可以。2.利用貝氏試題挑選法來挑選試題；將考生能力分配看成是某種事前分配（priordistribution）（通常都是視為常態(tài)分配），并計算考生答對或答錯未用到的試題之事后變異數(shù)，再挑選能夠使這位考生能力事后分配之變異數(shù)為最小的試題，以作為下一題施測的試題。使用貝氏的選題方法，頗受事前分配假設(shè)的影響很大，但是只要施測的試題很多的話，這種影響是可以被排除的。3.挑選難度最接近考生現(xiàn)階段能力估計值之試題。五、運算策略：能力估計接著，就是進行考生能力值的估計。唯一不同的是，在CAT里，考生每作答一道試題之后，計算機就得重新估計一次考生的能力新值。其中，CAT最常用的兩種能力估計方法，即是最大近似值估計法（maximumlikelihoodestimation,

MLE）和貝氏估計法（Bayesianestimation,

BE）。

最大近似值估計法的估計效能很好，但遇到題數(shù)少或估計值無法收斂時，會產(chǎn)生較大的估計標(biāo)準(zhǔn)誤問題。一般而言，最大近似值估計法所估計出的能力值的估計標(biāo)準(zhǔn)誤將大于考生真正能力分配的標(biāo)準(zhǔn)差。因此，為了能夠開始順利估計考生的能力值，一般的CAT都會設(shè)計讓考生先練習(xí)作答幾題（大約是三到五題左右），然后再根據(jù)作答結(jié)果的反應(yīng)組型（responsepattern）進行初始能力值的估計。

貝氏估計法雖然能克服最大近似值估計法的估計限制，但在估計前，卻必需對考生能力分配有個適當(dāng)?shù)氖虑胺峙浼僭O(shè)，如果該假設(shè)不當(dāng)?shù)脑挘瑓s會產(chǎn)生有偏差的能力估計值，且因為貝氏估計法所得的估計值常有回歸平均數(shù)的現(xiàn)象，因而無法與最大近似值估計法的估計值相比。一般而言，貝氏估計法所估計出的能力值的估計標(biāo)準(zhǔn)誤會小于考生真正能力分配的標(biāo)準(zhǔn)差。在實務(wù)運用上來看，也許在CAT剛開始估計考生能力的初期（如剛作答幾題練習(xí)題之后的能力估計），使用貝氏估計法來進行會比較適當(dāng)，而在估計進行之后，則改采最大近似值估計法來替代，會是一項比較不錯的能力估計策略的搭配。六、終止策略：終止標(biāo)準(zhǔn)最后，CAT進行到何時才結(jié)束？這也是一項重要的決策問題。終止CAT的方法，與前述的選題與計分方法有很密切的關(guān)聯(lián)。若以試題最大訊息量作為選題標(biāo)準(zhǔn)的話，只要累積已測過之試題的訊息量總和，到達某種事先預(yù)定的標(biāo)準(zhǔn)后，便可終止施測；換句話說，在開始施測之前，先預(yù)設(shè)一個測驗訊息量總和值（如：20）或預(yù)設(shè)一個可被容許的估計標(biāo)準(zhǔn)誤收斂值（如：.01），然后自題庫中依序抽出能夠產(chǎn)生最大訊息量的試題給予施測，并累計測驗訊息量的總和，一直到測驗訊息量總和或估計標(biāo)準(zhǔn)誤收斂值達到事先預(yù)設(shè)的標(biāo)準(zhǔn)為止，即停止施測。若以貝氏估計法來選題的話，則可以估計能力之變異數(shù)小到某個預(yù)設(shè)的標(biāo)準(zhǔn)時，便可終止施測。

此外，根據(jù)過去的施測經(jīng)驗，如果前述這兩種標(biāo)準(zhǔn)均很慢才達到的話，也可以預(yù)設(shè)施測試題的上限（如：40題）或固定的作答時間（如：40分鐘）作為停止施測的標(biāo)準(zhǔn)，只要累積施測的題數(shù)達到上限（即已測完40題）或作答時間已到預(yù)定的時限（即已作答40分鐘），即使尚未達到預(yù)定測驗訊息量總和的標(biāo)準(zhǔn)，或能力估計值尚未獲得滿意的估計標(biāo)準(zhǔn)誤收斂值，也就可以終止施測，以避免施測活動漫無止境地進行下去，徒增考生的作答負擔(dān)與浪費考生的時間。施測終止之后，計算機即可輸出考生的成績或打印出測驗的結(jié)果。參、CAT的紙上實例CAT實例假設(shè)有一個假想的，已建置好的題庫試題及其參數(shù)特征如下:步驟一(1)假設(shè)計算機先隨機挑選出一題，即試題3。因為它具有平均難度值和最高的鑒別度值。又假設(shè)某考生在這一題上答對，但此時的最大近似值估計法無法進行能力估計，必須等到至少有一題答對或一題答錯才行（因為，在MLE估計法下，全錯或全對的作答組型，會導(dǎo)致?∞和+∞的能力估計值）。步驟二(2)其次，假設(shè)計算機隨機選中試題12。因為它比前一個試題較難。又假設(shè)該考生答對此一試題。至此，最大近似值估計法仍無法進行能力估計，必須再等下一題的作答結(jié)果。步驟三

步驟四

步驟五

步驟六由上述實征例子的步驟可知，當(dāng)這些挑題、呈現(xiàn)試題、作答、能力估計等步驟，都透過計算機來執(zhí)行時，其速度是很快的，能力估計值也會很快速和精確地被估計出來；并且，計算機也可以做到「因才施測」的理想境界，也就是說，計算機可以針對每位考生的表現(xiàn)，挑選最適合該考生作答的試題，并估計其能力值。因此，每位考生所考到的試題都不一定會相同，但計算機卻可以快速、精確地估計出其能力值；并且，由于題庫中的試題都已建立在共同量尺單位上，所以，每位考生被計算機估計出來的能力值，也都是建立在共同量尺單位上，可以直接進行彼此間大小和差異的比較，以達到適性測驗的最終目的。肆、實施電腦化適性測驗的配套措施實施CAT的條件1.已建置好的題庫或計算機化題庫系統(tǒng)。2.待建立的計算機化測驗試題已經(jīng)過校準(zhǔn)或量尺化（calibration）。3.適當(dāng)?shù)男睦碛嬃繉W(xué)理論基礎(chǔ)（如：試題反應(yīng)理論（IRT））。4.計算機及其周邊設(shè)備。5.適當(dāng)?shù)能浖绦颉?.具使用適性測驗理論與實務(wù)經(jīng)驗的人員。實施CAT的配套措施1.測驗理論：IRT，已有。2.多媒體科技運用：數(shù)位科技，成熟。3.測