新一代測量理論認知診斷

1、新一代測量理論認知診斷n認知診斷理論被視為新一代測驗理論的核心，是認知心理學與現(xiàn)代測量學相結合的產(chǎn)認知診斷理論被視為新一代測驗理論的核心，是認知心理學與現(xiàn)代測量學相結合的產(chǎn)物。對認知診斷的研究已成為當前國外心理學研究的一個重要熱點，并引起國內(nèi)學者物。對認知診斷的研究已成為當前國外心理學研究的一個重要熱點，并引起國內(nèi)學者的廣泛關注。的廣泛關注。內(nèi)容提要認知診斷概述認知診斷概述傳統(tǒng)測驗及其理論的局限性傳統(tǒng)測驗及其理論的局限性對認知診斷的基本概念對認知診斷的基本概念一種基于一種基于 Q Q 矩陣理論樸素的認知診斷方法矩陣理論樸素的認知診斷方法測驗藍圖的設計測驗藍圖的設計認知診斷開發(fā)步驟認知診斷開發(fā)步

2、驟對認知診斷的理解對認知診斷的理解認知診斷應用認知診斷應用發(fā)展新趨勢發(fā)展新趨勢 心理和教育測量學是一門從心理學和教育學角度對心理特質(zhì)的實質(zhì)和結構做出深入的分析與研究心理和教育測量學是一門從心理學和教育學角度對心理特質(zhì)的實質(zhì)和結構做出深入的分析與研究，同時運用數(shù)學、統(tǒng)計學等手段，對測量的有關問題，做出數(shù)量化分析的學科；作為獨立學科分，同時運用數(shù)學、統(tǒng)計學等手段，對測量的有關問題，做出數(shù)量化分析的學科；作為獨立學科分支的心理與教育測量學已經(jīng)經(jīng)歷了一個多世紀的發(fā)展。支的心理與教育測量學已經(jīng)經(jīng)歷了一個多世紀的發(fā)展。 Mislevy R.JMislevy R.J（19931993） 指出，到目前為止，整

3、個統(tǒng)計測驗理論的發(fā)展可以分為兩大階段指出，到目前為止，整個統(tǒng)計測驗理論的發(fā)展可以分為兩大階段：標準測驗理論（：標準測驗理論（Standard test theoryStandard test theory）階段和新一代測驗理論（）階段和新一代測驗理論（Test theory for Test theory for a new generation of testsa new generation of tests）階段。）階段。傳統(tǒng)測驗及其理論的局限性 標準測驗理論將所測的心理特質(zhì)視為一個心理學意義并不明晰的標準測驗理論將所測的心理特質(zhì)視為一個心理學意義并不明晰的“統(tǒng)計結構統(tǒng)計結構”，目的在于

4、，目的在于從宏觀的層次給個體一個整體的評估，在單維的、線性的連續(xù)的度量系統(tǒng)上指定一個從宏觀的層次給個體一個整體的評估，在單維的、線性的連續(xù)的度量系統(tǒng)上指定一個表示位置的值。表示位置的值。傳統(tǒng)測驗及其理論的局限性n標準測驗理論包括標準測驗理論包括： 經(jīng)典測量理論（Classical Test Theory）概化理論（Generalizability Theory）項目反應理論（Item Response Theory）傳統(tǒng)測驗及其理論的局限性n與標準測驗理論是相對應的是傳統(tǒng)測驗與標準測驗理論是相對應的是傳統(tǒng)測驗 傳統(tǒng)的考試實質(zhì)上都是根據(jù)精心篩選的測驗題目, 將被試按順序排列在某種潛在變量的連續(xù)體

5、上。在經(jīng)典測量理論中, 這種潛在變量是真分數(shù), 而在項目反應理論中, 潛在的變量是指單維的潛在特質(zhì)。傳統(tǒng)測驗及其理論的局限性經(jīng)典測量理論（又稱真分數(shù)理論）經(jīng)典測量理論（又稱真分數(shù)理論）n基本假設:測驗觀察分數(shù)等于真分數(shù)與誤差分數(shù)之和即 X=T+R。n在此基礎上，經(jīng)典測量理論提出了測驗信度和效度、項目難度、區(qū)分度、猜測度等概念，并依此來指導測驗的編制。n經(jīng)典測量理論在測驗發(fā)展中有特殊的地位，它是歷史上第一個測驗理論，也是測驗的最一般、最基本的理論，應用極為廣泛。傳統(tǒng)測驗及其理論的局限性n但是，經(jīng)典測量理論有著理論框架的先天缺陷性，比如測驗參數(shù)的估計依賴于樣本；但是，經(jīng)典測量理論有著理論框架的先天

6、缺陷性，比如測驗參數(shù)的估計依賴于樣本；測驗信度估計不精確等。概化理論和項目反應理論則從不同角度克服了經(jīng)典測量理論測驗信度估計不精確等。概化理論和項目反應理論則從不同角度克服了經(jīng)典測量理論的局限性，逐漸在心理與教育測量領域中與經(jīng)典測量理論形成了三足鼎立的局勢。的局限性，逐漸在心理與教育測量領域中與經(jīng)典測量理論形成了三足鼎立的局勢。 傳統(tǒng)測驗及其理論的局限性n概化理論概化理論:n其主要是針對經(jīng)典測量理論信度估計不精確的問題而發(fā)展的。它不再象經(jīng)典測量理論那樣將測量誤差單純看成混沌一團的東西，而是利用方差分析方法具體分析實際的測驗情景關系，根據(jù)不同情景關系確定測量目標與側面，針對性地考察多種信度與效度

7、。傳統(tǒng)測驗及其理論的局限性n項目反應理論項目反應理論:n是在克服經(jīng)典測量理論項目參數(shù)依賴于樣本等局限性基礎上發(fā)展的。它認為被試在項目上的反應決定于被試的潛在能力與項目難度間的距離，從而很好地將能力參數(shù)和難度參數(shù)統(tǒng)一到了一個量尺上來。項目反應理論的另一大優(yōu)點是參數(shù)的不變性，從而推動了該理論的應用范圍，為實現(xiàn)計算機化自適應考試（CAT）提供了可能。此外，項目反應理論還提出了測驗信息函數(shù)的概念，利用測驗信息函數(shù)來估算測驗對不同能力水平被試所產(chǎn)生的誤差。傳統(tǒng)測驗及其理論的局限性n基于CTT的測驗采用總分指標評價能力，總分只能用來對個體在總體中的相對位置進行排序，不能指出被試具體掌握了哪些內(nèi)容，更無法診

8、斷其題目作答錯誤的原因?；贗RT的教育測驗采用能力指標評價被試，雖考慮了被試在測驗項目上的作答反應與屬性間的關系，但能力指標只是屬性的一個統(tǒng)計含義上的概念，并沒有真正揭示其內(nèi)部心理含義傳統(tǒng)測驗及其理論的局限性 總的來說，無論是經(jīng)典測量理論還是項目反應理論及概化理論，存在的共同缺陷是，把所測心理特質(zhì)當作一種純統(tǒng)計結構，忽視對考生作答過程的考察，計量時只注重作答結果，忽視心理特質(zhì)的實質(zhì)內(nèi)容，對于“測什么”和“為什么”的問題卻不能夠很好地解決，也就無法了解個體解答測驗的心理加工成分、策略、所需知識結構等內(nèi)部心理機制，不能確定個體的強點和弱點。認知診斷的基本概念 因此，傳統(tǒng)的測量理論顯然不能滿足測驗

9、發(fā)展的需要，急需一個能夠解決因此，傳統(tǒng)的測量理論顯然不能滿足測驗發(fā)展的需要，急需一個能夠解決“測什么測什么”和和“為什么為什么”的理論。與此同時，實質(zhì)心理學特別是認知心理學的興起，給人們提的理論。與此同時，實質(zhì)心理學特別是認知心理學的興起，給人們提供了理解供了理解“統(tǒng)計結構統(tǒng)計結構”這一這一“黑箱黑箱”的思路及相關的豐富理論成果，這使得測量學專的思路及相關的豐富理論成果，這使得測量學專家看到了揭開家看到了揭開“統(tǒng)計結構統(tǒng)計結構”內(nèi)在心理學意義的希望。因此，以認知診斷為核心內(nèi)容的內(nèi)在心理學意義的希望。因此，以認知診斷為核心內(nèi)容的新一代測量理論也就應運而生了，它是測驗發(fā)展的需要和認知心理學理論成果

10、融入到新一代測量理論也就應運而生了，它是測驗發(fā)展的需要和認知心理學理論成果融入到測量學的結果。測量學的結果。認知診斷的基本概念n認知診斷；屬性（補償，非補償）；層級關系；認知模型；認知診斷模型（分類方法）一系列Q矩陣，計算和含義； Q矩陣理論；期望反應，期望反應模式（理想反應，理想反應模式/潛在反應，潛在反應模式）；知識狀態(tài)；18認知診斷的基本概念n認知診斷（評估）：認知診斷評估(CDA)通過測驗獲得被試在測驗上觀察反應而推知該被試不可觀察的知識狀態(tài)（knowledge state）。 Leighton 和 Gierl（2007）認為（教育）認知診斷的作用是測量/評估個體特定的知識結構（kno

11、wledge structure）和加工技能（processing skills）。認知診斷的基本概念nTatsuoka（2009,p.6)對屬性和知識狀態(tài)的定義： nKnowledge and cognitive processing skills will be called attributes, nbinary attribute patterns that express mastery or nonmastery of attributes will be referred to as knowledge states or latent knowledge states. (Ta

12、tsuoka,2009,p.7)屬性的例子（天津考試院，2009，小學真分數(shù)加減運算，一個實際開發(fā)的認知診斷測驗）n分數(shù)的運算，認知屬性，A1：基礎知識(分數(shù)單位、分數(shù)性質(zhì)、加減混合運算順序)；A2：同分母分數(shù)加減；A3：尋找最小公倍數(shù)；A4：尋找最大公因子；A5：異分母分數(shù)加減；A6：化成最簡分數(shù)；A7：分數(shù)加減混合運算。圖圖1 1 小學數(shù)學五年級分數(shù)簡單加減法認小學數(shù)學五年級分數(shù)簡單加減法認知屬性及層級關系知屬性及層級關系21基本概念（認知診斷和模式判別）nTatsuoka(2009) 認為她的認知診斷方法-規(guī)則空間模型（RSM）和統(tǒng)計模式識別、分類方法（statistical patte

13、rn recognition and classification methodology）相似，包含特征提取和統(tǒng)計模式分類兩步；特征提取對應Q矩陣理論，它是確定性的（deterministic）.22基本概念（屬性層級）n五種基本屬性層級結構（線型、收斂、發(fā)散、無結構、獨立），其他層級結構可以由它們組合出來n特別注意收斂型特別注意收斂型23 屬性及其層級的確定（1）n屬性和屬性和屬性層級比較難以準確界定屬性層級比較難以準確界定n屬性的確定的標準方法屬性的確定的標準方法n文獻調(diào)查文獻調(diào)查n專家討論專家討論n被試的出聲思維被試的出聲思維24屬性及其層級的確定（2）n層級關系的確定：不是操作步驟的

14、順序，也不是解題的過程的描述，而是如Leighton et al.（2000）所說的層級(hierarchy)指的是問題解決中所需要的屬性之間的邏輯的或者心理的順序（logical and/or psychological ordering ）25Q矩陣的計算n計算和含義；n屬性及其層級-鄰接矩陣A-可達矩陣R-潛在Q矩陣Qp-學生Q矩陣Qsn計算 （1）由A+I計算R的兩種方法n（2）由R計算Qp的三種方法n縮減方法；擴張算法；漸進式擴張算法n（3）由Qp到Qs26基本概念(一系列Q矩陣）n認知模型（可以用圖形表達，還可以用某些Q矩陣表達）n一系列Q矩陣，Q矩陣是屬性和項目/被試的關聯(lián)矩陣（

15、incidence matrix）,原始意義上是0-1矩陣（布爾矩陣），后面有人擴展為非負整數(shù)矩陣。 27基本概念(一系列Q矩陣）計算R的方法nTatsuoka介紹的方法：B=A+In計算R的方法 如果B的n次冪（邏輯乘法）等于B的n+1次冪，則B的n次冪就是R。數(shù)學原理是R是自反的傳遞閉包的關系矩陣，滿足R* R=RnWarshall計算傳遞閉包的方法（省略）29基本概念(一系列Q矩陣）基本概念(一系列Q矩陣）由R計算Qp的三種方法n縮減方法；擴張算法；漸進式擴張算法這些新算法揭示了認知診斷測驗項目之間的關系（有一個代表性很強的項目類）。這些算法的共同特點是，基于可達矩陣。這也表示可達矩陣的

16、特殊地位。32擴張算法3312341000010000101111Rj=1不產(chǎn)生新列1000010000101111j=210100001010011001011111111101100110101001011001011111111j=3j=4不產(chǎn)生新列不產(chǎn)生新列基本概念(一系列Q矩陣）步驟4：通過Qr矩陣可得到被試期望反應模式 一種基于一種基于 Q 矩陣理論樸素的認知診斷方法矩陣理論樸素的認知診斷方法海明距離判別法海明距離判別法n羅照盛 李喻駿等（2015） 心理學報為什么研究Qs,QpnQs的列在“交”、“并”運算下封閉；任何兩列均有上、下確界，形成一個代數(shù)系統(tǒng)-格（lattice）。這

17、對于指導計算機化自適應診斷測驗的“在線屬性輔助標定”有作用；nQs的列表示“人的”知識狀態(tài)；Qp的列表示“題的”屬性向量，而前者可以由后者導出，可見兩者的列可以相互比較37為什么重視ERPn某些認知診斷模型的分類原理,ERP是判別分類的類中心（RSM，AHM，DINA，GDD，GDD-P）nORP-KS(通過認知診斷模型）nKS-ERP（通過Qs,Qt,特別是Qt)n如果可以設計Qt,使得KS-ERP，那么nORP-ERP-KSn重視ERP，Tatsuoka給出Q矩陣理論39Q矩陣理論nTatsuoka 的Q矩陣理論Taksuoka(1991，1995，2009)建立Q 矩陣理論，試圖用Q 矩

18、陣描述項目與屬性的關聯(lián)，并構建知識狀態(tài)知識狀態(tài)(KS)與理想反應模式理想反應模式(IRP)的（等價）對應，而通過分類方法使得ORP與IRP對應，最終獲得可觀察的ORP的解釋，即獲得隱藏在ORP內(nèi)的KS。n如上所述，我們認為不同的如上所述，我們認為不同的Q矩陣應該給予不同的記號以示區(qū)分，如矩陣應該給予不同的記號以示區(qū)分，如R，Qp, Qs ,QtnQ矩陣理論的主要內(nèi)容應該是研究如何設計好的測驗藍圖矩陣理論的主要內(nèi)容應該是研究如何設計好的測驗藍圖(Qt)。 40測驗藍圖的設計n為什么要設計測驗藍圖為什么要設計測驗藍圖?目的：目的：使知識狀態(tài)使知識狀態(tài)（KS)和期望反應和期望反應模式模式(ERP)一

19、一對應一一對應：表：表面上認知診斷模型面上認知診斷模型f:ORP-KS,實際上是實際上是f:ORPERP，KSERP(通過通過Qt：測驗藍圖：測驗藍圖), 如果還能夠建立如果還能夠建立ERPKS，則完，則完成了成了ORP到到KS的映射的映射41Q矩陣理論（續(xù)）n只有對被試知識狀態(tài)進行準確分類，才能針對性地進行補救。這樣就產(chǎn)生了一個問題，如何編制好的認知診斷測驗，它能區(qū)分開所有知識狀態(tài)，減少知識狀態(tài)誤判。也就是要尋找一個“好的”測驗規(guī)范，即測驗藍圖（test specification/test blueprint)n0-1評分非補償條件下，知識狀態(tài)和期望反應模式一一對應的充分必要條件n定理定理

20、 假設所討論的認知屬性對認知任務所起的作用是非補償、連接的，并且采用假設所討論的認知屬性對認知任務所起的作用是非補償、連接的，并且采用0-1評分方式，則評分方式，則Qt中包含可達陣中包含可達陣R是使知識狀態(tài)與期望反應模式建立起一一對應是使知識狀態(tài)與期望反應模式建立起一一對應關系的必要充分條件。關系的必要充分條件。42為什么研究測驗藍圖的設計nLeighton er al.(2004,2007)主張用Qp作為測驗藍圖，至少會遇到如下困難：n當屬性數(shù)目K比較大時，對于獨立型、無結構型層級結構，Qp的列數(shù)目太大，以至于無法安排測驗n如果測驗藍圖設計欠妥，認知診斷判準率不可能高43實例：帶分數(shù)減法認知

21、診斷測驗（設計藍圖不能代表理論認知模型）據(jù)Sinharay和Almond (2007)（p.242）的敘述，知該測驗共測5種技能 （skills），且技能3是技能4的先決屬性，而技能1、2、3、5是獨立的屬性，屬性層級關系如圖1所示。從而被試的所有可能的知識狀態(tài)為24類。但是該文中表1給出的Qt為515的矩陣。將相同的列看成同一類項目，則Qt如右所示。44T1 1000、幾種常見的認知診斷模型CDMnRSM，AHM，GDD，GDD-P是基于IRT模型的項目反應函數(shù)的認知診斷模型：nDINA，DINO不包括IRT的項目反應函數(shù)n并且RSM，AHM，GDD，GDD-P，DINA是非補償?shù)恼J知診斷模

22、型；而DINO是補償?shù)恼J知診斷模型46認知診斷模型選擇原則n1）簡單性原則，但能提取盡量多的診斷信息；n2）可用性原則，模型可識別；n3）認知理論原則，是選擇補償模型還是非補償模型；n4）竟爭性原則：選擇診斷盡量準確的模型n5）可接受性原則，解釋性強認知診斷測驗開發(fā)的步驟（1）確定評估目標；根據(jù)評估目標，確定解決相關問題所涉及到的認知屬性（知識結構與認知技能）以及這些屬性之間的關系；挑選認知診斷模型（比如屬性的多寡、補償還是非補償0-1評分還是多級評分）；根據(jù)認知屬性及屬性間的層級關系，建立一系列Q矩陣；特別是測驗藍圖，即測驗Q矩陣Qt;計算期望反應模式；48認知診斷測驗開發(fā)的步驟（2）5.根

23、據(jù)Qt，編寫評估任務（如，測驗項目）；實施認知診斷測驗；6.模型校準（calibration）和知識狀態(tài)估計，并對結果進行評價；7.考察測驗Q矩陣的質(zhì)量（屬性標示是否合理、模型參數(shù)是否合理、被試反應的層級相合性指標是否合理，等等）；如果質(zhì)量不佳，返回到2；8.建立向考生、教師和其他相關人士報告評估結果（詳盡可解釋的系統(tǒng)；9.補救，即干預。（參考DiBello,et al.2007，他只給出六步）49值得注意的方面認知模型的開發(fā)，認知診斷的實際應用項目屬性在線標定，理論、方法和實際應用（題庫的低成本、高效率擴充，解決缺乏等值轉換式下的測驗等值問題）測驗藍圖的設計研究多級評分的Q矩陣理論研究；有補

24、償功能條件下的Q矩陣理論的研究）50值得注意的方面（續(xù)）5認知診斷模型的開發(fā)（開發(fā)的新模型性質(zhì)的研究，Monte Carlo模擬方法）；多策略認知診斷方法研究；干擾項診斷信息提取6計算機化自適應診斷測驗（CD-CAT)7.Q矩陣的修正的方法51值得注意的方面（續(xù)2）8.HCI指標的開發(fā)和完善9.測驗方式研究（大型測驗：CD-CAT的選題策略研究；小型測驗：課堂評估研究（小樣本、小題量，紙筆測驗）10.對已有測驗的翻新(retrofitting)研究（評估診斷的“效度”），這是不得已而為之的辦法，但應說明對于認知診斷，到底能夠取多大的作用，謹防夸大作用52對認知診斷的理解認知心理學與心理測量學方

25、法是實現(xiàn)認知診斷的兩大基礎（認知心理學與心理測量學方法是實現(xiàn)認知診斷的兩大基礎（Embretson S E 1985Embretson S E 1985）認知診斷是一個完整的體系認知診斷是一個完整的體系（）評估目標的確定（）認知模型的描述（）編制測驗項目（）選擇能夠融合認知變量的心理測量模型（變量間的相互作用補償模型與非補償模型連續(xù)變量和離散變量模型）（）收集數(shù)據(jù)資料，并選擇參數(shù)估計的方法（需考慮參數(shù)是否可以識別；是否收斂等）（）形成評估報告系統(tǒng)（信度和效度）對認知診斷的理解認知診斷作為新一代測驗理論的重要部分，有著重大的意義認知診斷作為新一代測驗理論的重要部分，有著重大的意義。n首先,認知診

26、斷能實現(xiàn)測驗的最重要的功能:促進發(fā)展?，F(xiàn)代認知心理學的測量觀的基本觀點是:運用認知分析的方法描述心理活動的內(nèi)在機制,據(jù)此設計各種形式的測驗以探測被試心理活動的機制與相應機制之間是否一致或存在缺陷,以便提出補救措施,促進發(fā)展。認知診斷是實現(xiàn)測量與發(fā)展之間的循環(huán)促進作用的關鍵環(huán)節(jié)。對認知診斷的理解n其次,認知診斷有利于提高測驗的內(nèi)容效度。目前,人們通常運用經(jīng)典測驗理論或項目反應理論編制教育和心理測驗,這二者是依據(jù)項目的統(tǒng)計特性來指導測驗編制,對內(nèi)在的知識結構重視不夠,難以對測驗的內(nèi)容效度進行分析。認知診斷依據(jù)認知心理學的研究成果編制測驗,測驗的內(nèi)容效度能得到保證。認知診斷的應用認知診斷在心理學中的

27、應用認知診斷在心理學中的應用n其一是把認知診斷作為心理學的一種研究方法，來探究心理的本質(zhì)，形成某個心理學理論n其二是在認知心理學實踐中的應用，依據(jù)認知心理學的豐富理論成果，選擇能夠合理刻畫認知變量的心理測量模型，從而達到對個體更為微觀細致的描述和評估n其三是在心理測驗中的應用前面提到了傳統(tǒng)測驗所測的是一個模糊的“統(tǒng)計結構”，對所測內(nèi)容的意義并不明確，勢必會造成測驗效度研究的困難在新一代測驗理論指導下的測驗則更強調(diào)在認知分析基礎上，采用合適的測量模型來指導測驗的編制認知診斷的應用認知診斷的應用認知診斷在教育領域的應用研究認知診斷在教育領域的應用研究n此類研究的目的主要是為了探查學生的知識結構和解

28、題時的內(nèi)部心理加工機制，從而了解學生的強點和弱點，為下一步有針對性的輔導提供指導例如：美國大學入學考試數(shù)學測驗，對數(shù)學知識結構進行認知分析的研究，采用規(guī)則空間模型的方法，對學生出現(xiàn)的錯誤類型進行判別，找出學生犯錯誤的類型，從而提出有針對性的補救計劃 美國通過法案“No Child Left Behind Act of 2001”，規(guī)定美國所有實施的測驗必須提供診斷信息給家長、老師和學生。學者們認為，在教育領域，只考試不診斷或者說只診斷而不作補救教學都是不負責任的表現(xiàn)。新進展與發(fā)展趨勢nRace to the top “向最高點進軍”nWeb-based assessment 網(wǎng)考nCS vs.

29、 BS ？局域網(wǎng)或英特網(wǎng)？nnew test form 新題形nCognitive diagnosis 認知診斷nMultiDiemensionalIRT多元IRTnVertical linking 垂直等職nValue added molding 增值模型nAutomated Reporting自動生成報告報表 59發(fā)展趨勢n無紙筆化考試n各州將統(tǒng)一使用“共同題”nCAT在醫(yī)學測試中大規(guī)模運用n認知診斷中的Q-矩陣自動估計n網(wǎng)考使考點回歸校園n反應時間的利用（RESPONSE TIME）61Challenges in NCLB TestingnMany items are too diffi

30、cult to studentsn70% math items may be too difficultnThe influence of this kind of test taking experience on low-achieving students is not well-understood (e.g., Roderick & Engle, 2001, Ryan & Ryan, 2005; Ryan, Ryan, Arbuthnot, & Samuels, 2007). nTest security of NCLBn The # of security

31、violations in P&P based NCLB testing in on the rise. nDocumented cases of such incidents have been uncovered in numerous states including New York, Texas, California, Illinois, and Massachusetts. (Jacob & Levitt, 2003, and Texas Education Agency, 2007).6263CAT Has Glowing Future in the K-12

32、Context. nWhy not use benchmark testing?nAdaptive Testing can do better. nQuellmalz & Pellegrino (2009): nmore than 27 states currently have operational or pilot versions of online tests, including Oregon, North Carolina, Utah, Idaho, Kansas, Wyoming, and Maryland. nThe landscape of educational

33、assessment is changing rapidly with the growth of computer-administered tests. 64Why CD-CAT?65nClient/Server Architecture (CS)nCAT software has to be installed on each client computer ( large workload)nonly applicable to Local Area Network (LAN)nBrowser/Server Architecture (BS)ndatabase is still on

34、the servernnearly all the tasks concerning development, maintenance and upgrade, are carried out on the server. nbased on the Wide Area Network (WAN)66676869A CD-CAT system and its applicability to improve teaching and learning 70nA B/S based CAT system was tested with 2000 PCs in Dalian, China!nAbo

35、ut 30,000 students participated field testsnA large scale validity study was also conducted71n Evaluating the consistency ofnCD-CAT system results with an existing English achievement testna group of students took two examsnCD-CAT system results with Teachers evaluation outcomes. 72Consistency betwe

36、en CD scores and teachers assessmentThe CD-CAT diagnostic reports were presented to teachers, they were asked to evaluate the accuracy of this report. Finding: The consistency is very high. Liu, H., You, X., Wang, W., Ding, S. & Chang, H. (revision under review)73作業(yè)n對HDD和GDD的分類方法進行闡述n怎樣保證測驗藍圖設計是合理的nHDD的結果是好還是壞，原因為何實例實例作業(yè)n給出實例的A 、R