選項(xiàng)可猜測性評判與控制實(shí)證研究課件

1、選項(xiàng)可猜測性評判與控制實(shí)證研究 上海外國語大學(xué)2008級博士生湖南師范大學(xué)外國語學(xué)院副教授 鄧杰摘 要命題期間對選項(xiàng)的可猜性進(jìn)行評判和控制可猜性專家評判指標(biāo)猜測概率計算方法可猜性控制措施目的：了降低選項(xiàng)的可猜程度，提高多選題的命題質(zhì)量。我國高考英語命題對選項(xiàng)可猜性的控制情況整體可猜程度（2008年國家卷I與某省卷）可猜項(xiàng)分布情況（試卷部分和試題類型）一、問題的提出多項(xiàng)選擇題使用廣泛，但又飽受爭議，其主要原因之一即是猜測概率高如何控制選項(xiàng)的可猜測性如何對選項(xiàng)的可猜測性進(jìn)行評判？從哪些方面對可猜測性進(jìn)行控制？高考英語試題的可猜測情況如何？二、相關(guān)研究命題原則研究(Downing & Haladyn

2、a) 從正面通過強(qiáng)調(diào)遵守原則來控制猜測因素，目的是研究如何使選項(xiàng)不可猜以提高測試效度 應(yīng)試策略研究(Allan, Nevo) 從反面通過分析項(xiàng)目缺陷來揭示猜測因素，目的是研究可猜項(xiàng)對測試效度的負(fù)面影響 可猜項(xiàng)的存在，有損測試效度致使測試不公對于本研究的意義在于為評判指標(biāo)提供效度證據(jù)為實(shí)證研究提供可借鑒的方法三、實(shí)證研究1.研究假設(shè)1）選項(xiàng)可猜性在命題期間可以得到準(zhǔn)確評判和有效控制；2）我國高考卷對選項(xiàng)可猜性的控制情況不理想，但全國卷要比省卷控制得好。 2.具體研究問題1）能否建構(gòu)一套效度較高且可操作性強(qiáng)的專家評判指標(biāo)？2）專家評判是否具有較好的一致性？3）高考卷可猜項(xiàng)的比例及分布情況如何？4）

3、導(dǎo)致選項(xiàng)可猜的主要因素有哪些？5）如何對選項(xiàng)可猜性進(jìn)行控制？ 3.研究對象實(shí)驗(yàn)試卷選項(xiàng)共有3套，分別為全國卷I、全國卷II和某省高考卷。其中，全國卷II全部20道閱讀題80個選項(xiàng)用于試驗(yàn)實(shí)驗(yàn)；全國卷I和某省卷的全部聽力和閱讀共74道題259個選項(xiàng)用于正式實(shí)驗(yàn)。培訓(xùn)材料選項(xiàng)（見附錄B）均選自我國全國性高風(fēng)險測試真題，除部分項(xiàng)目是非高考題以外，其他所有項(xiàng)目均為我國2008年的高考真題。4.評判專家語言測試方向博士研究生4人，其中高考英語命題人員2人、大學(xué)英語四六級考試題庫建設(shè)的兼職命題人員2人；1人負(fù)責(zé)指標(biāo)建構(gòu)、專家培訓(xùn)和數(shù)據(jù)分析，另3人負(fù)責(zé)實(shí)驗(yàn)卷的評判工作。英語語言學(xué)和外語教學(xué)方向碩士研究生3人

4、，主要負(fù)責(zé)試驗(yàn)實(shí)驗(yàn)階段的評判工作。5.研究工具初始指標(biāo)：分語言形式、語境意義、相互關(guān)系3類共28項(xiàng)修正指標(biāo)1：個人試評判后，修正為獨(dú)立題項(xiàng)特征、前后題關(guān)聯(lián)、選項(xiàng)-題干關(guān)聯(lián)、選項(xiàng)相互關(guān)系4類共16項(xiàng)試點(diǎn)實(shí)驗(yàn)I21名研究生培訓(xùn)(TOTWESL)高考例題試評(2008各省)高考試題評判(2008年全國I卷和湖南卷，17份)修正指標(biāo)2：選項(xiàng)自身特征和題項(xiàng)相互關(guān)系2類共9項(xiàng)(見選項(xiàng)可猜測性評判變量）指標(biāo)示例1-限定(Det)From the writers experience, we can conclude that _.A. not everyone enjoys joggingB. he is

5、the only person who hates joggingC. nothing other than jogging can help people keep fitD. jogging makes people feel greater than any other sport指標(biāo)示例2-暗示(Clu)6. Why did the woman go to New York?A. To spend some time with the baby. B. To look after her sister. C. To find a new job. 7. How old was the

6、baby when the woman left for New York?8. What did the woman like doing most with the baby?指標(biāo)示例3-題干關(guān)系(Stm)A proper way to release a fish is to _.A. move it in water till it can swimB. take the hook out of its stomachC. keep it in a bucket for some timeD. let it struggle a little in your hand指標(biāo)示例4-包含關(guān)

7、系(Inc)The underlined sentence in Paragraph 4 indicates that any wrong step will possibly _.A. decrease the popularity of a celebrity and the sales of his productsB. damage the image of a celebrity in the eyes of the general publicC. cut short the artistic career of a celebrity in show businessD. inf

8、luence the price of a celebritys products6.猜測概率計算方法定義1：選項(xiàng)正誤猜測的確定性程度等級量表為集合K，記為：其中，k為確定性程度等級，k=0表示完全不確定（無法猜），k=n表示完全確定（肯定錯或肯定對）。例如：0-完全不確定；1-不太確定；2-比較確定；3-完全確定6.猜測概率計算方法定義2：選項(xiàng)正誤猜測的方向?yàn)榧蟁，R的元素為r，記為： 且其中，r為猜測方向，r=-1干擾項(xiàng)；r=1答案項(xiàng)。定義3：猜測評判等級量表為集合Q，則會有：其中，q為猜測評判等級，q=-k肯定錯，q=k肯定對。例如：-3肯定錯；-2很可能錯；-1有可能錯；0無法猜；1

9、有可能對；2很可能對；3肯定對6.猜測概率計算方法定義4：若評判等級為q，選項(xiàng)的猜測概率為g，猜則有：6.猜測概率計算方法設(shè)評判準(zhǔn)確性集合為Z，且Z=-1,0,1；選項(xiàng)類別集合為O，且O=0,1。則有：四、結(jié)果與討論-I評判指標(biāo)的效度分析1.指標(biāo)預(yù)測功能分析表格 1 逐步回歸模型摘要更改統(tǒng)計量 模型 R R方 調(diào)整的 R方 估計的 標(biāo)準(zhǔn)差 R方更改 F 更改 df1 df2 顯著F更改 1 0.381 0.145 0.143 0.177 .145 70.765 1 418 .000 2 0.555 0.308 0.305 0.159 .164 98.610 1 417 .000 3 0.751

10、 0.565 0.562 0.126 .256 245.065 1 416 .000 4 0.875 0.766 0.764 0.093 .201 357.227 1 415 .000 5 0.937 0.877 0.876 0.067 .111 373.671 1 414 .000 6 0.954 0.910 0.908 0.058 .032 148.066 1 413 .000 7 0.967 0.934 0.933 0.049 .025 156.885 1 412 .000 8 0.977 0.955 0.954 0.041 .020 185.118 1 411 .000 9 0.986

11、 0.973 0.972 0.032 .018 271.779 1 410 .000 a 預(yù)測變量:(常量), 暗示。 b 預(yù)測變量:(常量), 暗示, 排除法。 c 預(yù)測變量:(常量), 暗示, 排除法, 常識性。 d 預(yù)測變量:(常量), 暗示, 排除法, 常識性, 語義突顯。 e 預(yù)測變量:(常量), 暗示, 排除法, 常識性, 語義突顯, 題干-選項(xiàng)關(guān)系。 f 預(yù)測變量:(常量), 暗示, 排除法, 常識性, 語義突顯, 題干-選項(xiàng)關(guān)系, 限定詞。 g 預(yù)測變量:(常量), 暗示, 排除法, 常識性, 語義突顯, 題干-選項(xiàng)關(guān)系, 限定詞, 對立關(guān)系。 h 預(yù)測變量:(常量), 暗示,

12、 排除法, 常識性, 語義突顯, 題干-選項(xiàng)關(guān)系, 限定詞, 對立關(guān)系, 形式突顯。 i 預(yù)測變量:(常量), 暗示, 排除法, 常識性, 語義突顯, 題干-選項(xiàng)關(guān)系, 限定詞, 對立關(guān)系, 形式突顯, 包含/交叉。 j 因變量: 猜測概率 1）9個預(yù)測變量能建立9個有效的回歸模型(方差分析表中每個模型的顯著性p值都是0，完全拒絕回歸系數(shù)為0的原假設(shè)，限于篇幅略去方差分析表)，說明每一項(xiàng)評判指標(biāo)都可以對猜測概率進(jìn)行有效預(yù)測；2）模型5已能解釋總離差方差和的87.6%，且前5個模型的R方更改量都在10%以上，說明前5項(xiàng)指標(biāo)是預(yù)測猜測概率的主要因子；3）模型9能夠解釋總離差方差和的97.2%，說明

13、使用9項(xiàng)指標(biāo)足以對選項(xiàng)可猜性進(jìn)行有效評判；4）回歸診斷顯示(略去殘差統(tǒng)計量表)殘差均值為0，標(biāo)準(zhǔn)差為0.031，說明預(yù)測值與觀測值幾乎沒有差異。上述分析表明，評判指標(biāo)對猜測概率具有很好的預(yù)測功能。 2.專家評判一致性檢驗(yàn) 專家評判結(jié)果基本致，但專家培訓(xùn)還應(yīng)加強(qiáng)。表格 2相關(guān)性表格 3 肯德爾W檢驗(yàn)統(tǒng)計量 表格 4 概化分析對各效應(yīng)的變差分量估計 3.專家評判信度分析 三位專家評判時概化系數(shù)已超過0.7，說明整體評判具有較好的信度?？梢栽诖嘶A(chǔ)上對選項(xiàng)的可猜性進(jìn)行進(jìn)一步分析。 表格 5 評判專家側(cè)面變化D-Study分析結(jié)果 結(jié)果與討論-II選項(xiàng)可猜性對比分析 1.整體可猜性 表格 6 單樣本t

14、檢驗(yàn)對比分析 兩套試卷整體上的可猜性都比較大，或者說，對選項(xiàng)可猜性的控制情況都不太理想，干擾項(xiàng)的干擾功能和答案項(xiàng)的構(gòu)念效度不容樂觀。 2.猜項(xiàng)的分布及評判準(zhǔn)確性 表格 7 可猜項(xiàng)的分布及評判準(zhǔn)確率對比分析 結(jié)果與討論-III選項(xiàng)可猜性控制措施1.加強(qiáng)命題培訓(xùn)導(dǎo)致選項(xiàng)可猜的根源在于命題人員要么是因?yàn)橹匾暡粔?，命題人員沒有將可猜性控制作為命題質(zhì)量管理的重要內(nèi)容；要么是由于經(jīng)驗(yàn)不足，命題人員不知道該從哪些方面來對可猜性進(jìn)行控制。一種錯誤的觀點(diǎn)：只要確保選項(xiàng)沒有錯誤，可不可猜無關(guān)緊要。有人甚至還有可能主張故意使用一些明顯可猜的選項(xiàng)來降低項(xiàng)目難度。筆者認(rèn)為：不加控制是有背測試原則的，而為了降低難度而故意

15、使用明顯可猜的選項(xiàng)更是不智之舉。明顯可猜項(xiàng)會使得測試效度在卷面即已受損；這種削足適履的做法并不一定能達(dá)到降低難度的目的，反而會導(dǎo)致測試不公平，因?yàn)檫@對那些善于猜題的考生來說，猜測將會變得更加輕而易舉。 2. 控制猜測因素 使用頻率高的評判指標(biāo)是導(dǎo)致選項(xiàng)可猜的主要因素，應(yīng)重點(diǎn)加以控制；其他指標(biāo)也不容忽視 表格 8 評判指標(biāo)使用頻率統(tǒng)計結(jié)果 指標(biāo)項(xiàng) Clu Cmn Elm Smn Stm Det Opp Frm Inc 合計 統(tǒng)計量 144 80 59 22 23 6 5 5 5 349 % 41.3 22.9 16.9 6.6 6.3 1.7 1.4 1.4 1.4 100 3.小心易猜題型 顯性細(xì)節(jié)辨別，如果沒有其他線索的暗示，僅憑猜測是很難答對的；而涉及推理和概括的內(nèi)容，往往會比較接近常識，如命題時不謹(jǐn)慎，就很容易編寫出憑常識即可猜對的選項(xiàng)。 表格 9 題型類別與選項(xiàng)可猜性情況統(tǒng)計 4.核查誤判選項(xiàng) The Help Desk in this library supplies service _. A. only during the daytime B. in case of emergency C. till the end of the Spring Break D. after 22:00 p.m. every dayIn case