閱卷管理與監(jiān)測系統(tǒng)

1、閱卷管理與監(jiān)測系統(tǒng)        大規(guī)?？荚囎魑脑u分研究系列之六     上文說過，大規(guī)?？荚囍凶魑脑u分的誤差控制包括三個不可缺少的基本環(huán)節(jié)，這就是評分標準、評分方法 和閱卷管理。監(jiān)測系統(tǒng)是閱卷管理系統(tǒng)中一個有特殊意義的組成部分。一次大規(guī)模作文考試，如果沒有一套完 善的管理制度，沒有一個有效的監(jiān)測系統(tǒng)，則任何評分標準的厘定、評分方法的改進都只是一句空話。     在測試研究中，考務(wù)管理是一個專門的領(lǐng)域；在測試機構(gòu)中，考務(wù)管理是一個有特定職能的分支機構(gòu)?？?慮到本刊的

2、讀者對象，以下只作約略的概述。     大規(guī)模作文考試的閱卷管理系統(tǒng)     大規(guī)模作文考試的閱卷管理系統(tǒng)應(yīng)承擔以下三個方面的職責：閱卷的業(yè)務(wù)領(lǐng)導(dǎo)，閱卷人員的行政 管理，閱卷質(zhì)量的監(jiān)測。在現(xiàn)階段，我國比較完善的閱卷管理程度可以示意如下：     作文閱卷管理示意圖     （附圖 圖）     現(xiàn)代科技的發(fā)展，為作文閱卷的管理提供了重要的輔助手段。借助這種手段，閱卷管理的主要工作有：     試卷的隨機編排 

3、0;   試卷的隨機編排就是把不同學(xué)校的考生打亂混合排列。有了電腦，這項工作在技術(shù)上是不難解決的。重點 學(xué)校與非重點學(xué)校之間，水平可以相差很大，如果不解決隨機編排問題，則監(jiān)測系統(tǒng)的數(shù)據(jù)將失去代表性，既 使得這些數(shù)據(jù)缺乏應(yīng)有的說服力，也容易出現(xiàn)盲目的調(diào)控。有了隨機編排，不但閱卷員的評分狀況能夠得到比 較客觀的反映，而且就閱卷員本人來說，由于一本試卷（即同一考場中）兼有各類學(xué)校的考生作文，可以大大 減弱評分心理的位置效應(yīng)（參閱系列之一）。此舉可以消除評分的系統(tǒng)誤差，即各校的平均成績與其實際 水平大體接近，但還不能遏制評分的隨機誤差（參閱系列之一文末注釋）。  

4、0;  閱卷員的選擇與培訓(xùn)     系列之三所披露的數(shù)字表明，閱卷人員決不是“年齡大、職稱高”才好。閱卷隊伍的形成應(yīng)該是一個 選擇的過程，由于大規(guī)?？荚囎魑脑u分的特點與困難，閱卷者應(yīng)該是一支半專業(yè)化的隊伍，為此，需要逐步建 立閱卷人員檔案?！案呖甲魑脑u分誤差控制”課題組的試驗省分有的正考慮實行“閱卷員證書”制度（國外已 有），這是條很有價值的措施。     在選擇閱卷人員的基礎(chǔ)上還要進行培訓(xùn)。以下兩項調(diào)查反映了短期培訓(xùn)的效果。     調(diào)查     取各類作文篇，名

5、閱卷員在培訓(xùn)前后兩次重評。結(jié)果如下：     培訓(xùn)前 培訓(xùn)后 篇平均標準差 總體標準差     可見經(jīng)過培訓(xùn)，閱卷員評分的一致性有所提高，在拉開分數(shù)距離方面情況有所改善。     調(diào)查     取各類作文篇，分成對等兩組，名閱卷員先評第一組（作為培訓(xùn)材料），相隔日再評第二組， 結(jié)果如下：     第一次 第二次 篇平均標準差     觀測結(jié)果與調(diào)查相近。     培訓(xùn)可以有兩種方式：短期

6、集中培訓(xùn)，結(jié)合閱卷過程進行。后者一般都與樣本卷討論和典型卷討 論合并進行，將在下面專門介紹。     樣本卷的選定及其策略     即使有了比較完備的評分參照量表（參閱上期），每次大規(guī)模考試的樣本卷仍是不可少的。這是因為每年 的試題都有其個性，有其需要特殊處理的矛盾，需要根據(jù)當年試題情況編制樣本卷系列予以解決。     樣本卷的功能，一是使評分標準明確化、具體化，二是針對影響閱卷穩(wěn)定的心理因素予以盡可能的控制。 因此編制樣本卷系列，在著眼點方面，在策略方面，和參照量表的編制可以有所不同。參照量表的編制要遵

7、循 “等距性”原則，即各典型例卷之間，如果按百分制計算，其分距大體上是相等的；樣本卷系列的制訂，則可 以進一步著眼于“分界線”和“分歧點”。 a>考試如果沒有一個有效的監(jiān)測系統(tǒng)，則任何研究、條例和改進措施將毫無意義。我國長期慣用 的“復(fù)查”就是一種監(jiān)測方法，不過隨著科技手段的進步，監(jiān)測手段日益豐富，怎樣借助科技手段來發(fā)展監(jiān)測 系統(tǒng)就成為人們研究的一個課題。     科技手段應(yīng)用于評分監(jiān)測，有“隱形筆”等注，不過目前主要是電腦。國外有利用電腦直接進行調(diào)控 的，即以試卷中某些客觀性較強試題的得分為參照系，如果發(fā)現(xiàn)某地區(qū)或某閱卷員的主觀題給分與其它地區(qū)或 其他閱卷

8、員的評分平均值相比明顯偏低或偏高，可以通過數(shù)學(xué)方法加以調(diào)整。我國英語高考也曾采用過這種方 法。但語文是一門綜合性很強的學(xué)科，其測試也屬于異質(zhì)性測試，經(jīng)過多次測算，各試題（包括作文）的得分 之間沒有必然聯(lián)系。即以寫作能力而論，母語和外語不同，母語作文的能力層次要求大大高于外語，高層次能 力（如立意）與低層次能力（如書寫）之間，得分也沒有必然聯(lián)系。因此用其它試題作參照系的方法就作文評 分而論是不科學(xué)的，也是不可取的。再就各閱卷員之間的評分來說，由于評分對象的差別（例如一市集中閱卷 ，各區(qū)之間的水平就會有所不同），很難據(jù)此就作出“偏嚴”、“偏松”的判斷，如果驟然利用電腦直接調(diào)整 ，很難避免盲目調(diào)控。

9、因此，至少就作文評分而言，機器只能及時發(fā)現(xiàn)問題，最后的裁斷還必須由人工（專家 ）來做出。     當前，利用電腦監(jiān)測主要有以下幾種方法：     指標監(jiān)測     用以監(jiān)測的指標主要有“平均分”和“標準差”。平均分可以顯示出閱卷者給分有沒有偏高或偏低的問題 ；標準差顯示給分的離散程度，顯示出有沒有“打保險分”的趨向。將閱卷員每日每份試卷的給分及時輸入電 腦，如有問題，就可以及時發(fā)現(xiàn)。     參照系監(jiān)測     由核心組先隨機抽閱一批試卷，將數(shù)據(jù)

10、輸入電腦，以所形成的曲線作為參照系。參照系有允許浮動的一定 幅度。閱卷員每日評分結(jié)果在圖形顯示上如果超越了幅度，電腦就能及時檢出以備復(fù)查。     “暗點”監(jiān)測     即由核心組隨機抽閱一批試卷，秘密輸入電腦，閱卷員評此卷時，如果給分差距過大，就能及時發(fā)現(xiàn)檢出 ，顯示該閱卷員所評其它試卷也可能存在問題。本方法原理雖然簡單，但頗為有效。     內(nèi)部相關(guān)監(jiān)測     這是我國試驗分項評分時所創(chuàng)造的一種方法。其原理是各分項得分之間往往具有一定的相關(guān)性，由此設(shè)計 了數(shù)學(xué)模型，把測

11、算結(jié)果稱為U值。U值過大或過小，都可以提供信息供復(fù)查組審核、裁奪。此方法年 在河北省試驗與指標監(jiān)測法同時采用，當年結(jié)果如下（X撥為平均分為標準差）：     試卷 增加分 減少分 增加分 減少分 平均每     袋數(shù) 數(shù)篇數(shù) 數(shù)篇數(shù) 數(shù)總和 數(shù)總和 袋改動 X撥出線 出線 U值小 U值大     說明：平均分低于控制線的袋，經(jīng)復(fù)查，分數(shù)變動，平均每袋分；高于控制的袋， 分數(shù)變動分，平均每袋分。     U值方法尚在進一步完善和論證的過程之中，但實踐證明它在發(fā)現(xiàn)問題方面是有效的。由此也可以看出，在 平均分、標準差均未出線的范圍內(nèi)還存在著大量誤差，需要研究對策。這也正是作文評分監(jiān)測系統(tǒng)科研的任務(wù) 。注該筆書寫的符號，只有借助特定燈具才能顯示