命題質(zhì)量控制與評價(jià)(高校版)

命題質(zhì)量控制與評價(jià)(高校版)第一頁，共49頁。內(nèi)容提要2022/10/312第二頁，共49頁。第一部分測試基本概念難度區(qū)分度信度效度累進(jìn)辯論法2022/10/313第三頁，共49頁。1.1難度定義：考生在試題（卷）上的得分率，指所有考生的得分之和占試題（卷）滿分總計(jì)的比率（均值與滿分之比），計(jì)為P。公式：參考標(biāo)準(zhǔn)：*試題分值為非0即1的二項(xiàng)值時(shí)（滿分為1），難度系數(shù)為均值。（取值范圍在區(qū)間［0，1］之間）難度實(shí)指易度，值越大（得分率越高），試題（卷）越容易，反之越難。考試類別參照標(biāo)準(zhǔn)期望值水平考試平均水平0.5（0.3～0.7）達(dá)標(biāo)（選拔）考試達(dá)標(biāo)或錄取標(biāo)準(zhǔn)越接近標(biāo)準(zhǔn)越好成就考試學(xué)習(xí)內(nèi)容的掌握程度值越大越好不同考試難度系數(shù)的期望值2022/10/314第四頁，共49頁。1.2區(qū)分度定義：也稱鑒別指數(shù)，指試題（卷）有效區(qū)分高水平和低水平考生的程度，其值為高分組與低分組考生的得分率之差，計(jì)為D。公式：參考標(biāo)準(zhǔn)：其中，D

的取值范圍在［-1，1］之間鑒別指數(shù)與試題（卷）的優(yōu)劣程度（水平考試）高低分組的覺方法：二分、三分、四分或各占27％（大規(guī)模測試）。鑒別指數(shù)優(yōu)劣程度>=0.4優(yōu)0.30～0.39良，仍有待改進(jìn)0.20～0.29中，通常需要改進(jìn)<0.20差，應(yīng)該淘汰或重寫2022/10/315第五頁，共49頁。1.3信度

α信度系數(shù)量表（考試）的可信度

α

<

0.6差，試題（卷）不用可0.6≤α

<

0.7分量表（試卷部分）可接受0.7≤α

<

0.8總量表（試卷整體）可接受；分量表較好α≥0.8總量表較好，分量表理想α系數(shù)與可信度的高低題量越大或評分員越多，誤差越小，信度越高。

2022/10/316第六頁，共49頁。1.4效度定義：考試在多大程度上考到了要考的“東西”（各環(huán)節(jié)的結(jié)果數(shù)據(jù)在多大程度上體現(xiàn)了考試的目標(biāo)構(gòu)念）。內(nèi)涵：與無關(guān)干擾因素成反比。驗(yàn)證方法：累進(jìn)效度辯論（基于定性和定量證據(jù)）。環(huán)節(jié)效度：構(gòu)念效度設(shè)計(jì)效度開發(fā)效度施測效度評分效度使用效度參照效度開發(fā)考試任務(wù)目標(biāo)構(gòu)念考試成績考試規(guī)范目的/后果考生反應(yīng)外部標(biāo)準(zhǔn)測后測前參照使用設(shè)計(jì)/調(diào)查施測評分測試效度最大不大于最薄弱前任測試環(huán)節(jié)的效度。2022/10/317第七頁，共49頁。1.4-1效度辯論法辯證觀（避免證實(shí)主義偏差）[T]hetaskofvalidationisnottoupholdatest,practice,ortheory…[but]tograsptheargumentsproandcon…[toclarify]whatameasurementmeansandlimitationsofeachinterpretation.(Cronbach,1988:3)…Iinviteyoutothinkof‘validityargument’ratherthan‘validationresearch’

(Cronbach,1988:4)證偽論（主動(dòng)排除質(zhì)疑）Ifrepeatedchallengesfromavarietyofplausiblerivalhypothesescanbesystematicallydiscounted,thentheoriginalinterpretationbecomesmorefirmlygrounded.(Messick,1975:959)倡導(dǎo)辯證看待測試問題，注重證偽反面解釋。第八頁，共49頁。1.4-2累進(jìn)效度辯論每個(gè)環(huán)節(jié)都應(yīng)就焦點(diǎn)問題（圍繞目標(biāo)構(gòu)念）從正反兩個(gè)方面進(jìn)行辯論。第九頁，共49頁。第二部分：命題質(zhì)量控制構(gòu)念效度設(shè)計(jì)效度開發(fā)效度2022/10/3110第十頁，共49頁。2.1構(gòu)念效度辯論2022/10/3111第十一頁，共49頁。2.1-1目標(biāo)構(gòu)念定義：考試所要考查的特質(zhì)或品質(zhì)（所測量的那個(gè)“東西”）。內(nèi)涵：不能直接測量或無法直接觀測到的人類行為或心理過程，通常指考生所具備的能力。

教什么就應(yīng)考什么，而不是相反。語言知識(shí)世界知識(shí)策略認(rèn)知活動(dòng)語境交際語言能力理論教學(xué)的內(nèi)容及評價(jià)方式課程的培養(yǎng)目標(biāo)及規(guī)格2022/10/3112第十二頁，共49頁。2.1-2等級量表“能做”描述三要素范式：動(dòng)作+約束條件+質(zhì)量要求描述語來源：征集+改寫+自編分類定級能閱讀復(fù)雜的長篇專業(yè)論文，但時(shí)常需回頭再讀。能就日常話題跟本土語人士交談，沒有顯明的語言障礙。征集：國內(nèi)外教材及教學(xué)大綱、考試及考試大綱改寫：按編寫原則和規(guī)范組織文字自編：查漏補(bǔ)缺（基于理論或經(jīng)驗(yàn)）分類：基于理論框架（知識(shí)體系、策略體系、操作流程、情境約束）定級：層級結(jié)構(gòu)，如初級（A1、A2、A3）；中級（B1、B2、B3）；高級（C1、C2、C3）歐盟（于80年代開始研制，2000年頒布）；我國（2014年啟動(dòng)，將于2017年頒布）2022/10/3113第十三頁，共49頁。2.2設(shè)計(jì)效度辯論2022/10/3114第十四頁，共49頁。2.2-1考試規(guī)范及相關(guān)證據(jù)考試規(guī)范的準(zhǔn)確性、詳盡程度和可操作性對考什么和如何考做出規(guī)定（命題施工圖）

2022/10/3115第十五頁，共49頁。2.2-2設(shè)計(jì)辯論（以高考英語閱讀為例）理解語篇和段落的主旨大意；理解文中具體信息；根據(jù)上下文提供的語境推測生詞詞義；作出簡單的推理和判斷；理解文段的基本邏輯結(jié)構(gòu)；理解作者的觀點(diǎn)、意圖和態(tài)度；識(shí)別不同文體特征；理解文段的文化信息。分類重疊交叉考試內(nèi)容和考核目標(biāo)混為一談考前，雙向細(xì)目不明考后，統(tǒng)計(jì)指標(biāo)不清？2022/10/3116第十六頁，共49頁。2.2-3考試內(nèi)容及考核目標(biāo)用什么內(nèi)容（知識(shí)或意義）考何種能力（知識(shí)運(yùn)用、語言理解、語言表達(dá)）

2022/10/3117第十七頁，共49頁。直接辨別、間接辨別、簡單推斷題干：A語篇：A/A’+B答案：C題干：A語篇：A+B答案：B題干：A語篇：A’+B

|

A+B’答案：B直接辨別間接辨別簡單推斷答案在原文中直接找到答案在原文中間接找到答案在原文中無法找到，但可推理出來第十八頁，共49頁。顯性細(xì)節(jié)直接辨別Whenwillthemanprobablycallthewoman?A.Thursday.

B.Friday.

C.Sunday.錄音：GivemeacallonFridaytosetupatime,OK?

題干：call語篇：acallonFriday答案：Friday第十九頁，共49頁。顯性細(xì)節(jié)間接辨別Applicationsshouldbee-mailednolaterthan______?6September,2014.

B.8,September,201417September,2014. D.12,October,2014.語篇：Deadlineforapplications：8,September,2014

題干：nolaterthan

語篇：Deadline+8,September,2014

答案：8,September.2014第二十頁，共49頁。隱性細(xì)節(jié)歸納概括

_______:

Depending

on

your

choice.語篇：Thesecondquestionis:Howlargewouldyoulikethecitytobe?Itcanbelarge,medium,orsmall,dependingonyourownchoice.Size題干：Depending…語篇：depending…+

large,medium,orsmall答案：Size第二十一頁，共49頁。顯性要義間接辨別Themainpurposeofthepassageis__________.

A.totellvisitorshowtobookinadvance

B.tosupplyvisitorswithhotelinformation

C.toshowvisitorstheimportanceofself-help

D.tooffervisitorssomemoney-savingtips語篇：PlanningavisittotheUK?Herewehelpwithwaystocutyourcosts.

第二十二頁，共49頁。隱性要義歸納概括Whatisthemandoing?A.

Gettingdressed. B.Havinganinterview. C.Celebratingabirthday.M:Idon’tknowwhattoweartoday,dear.W:Whydoyoucaresomuchaboutyourclothestoday?M:I’mgoingtohaveanimportantinterview.W:Well,I’msureyouwilldowell,dear.M:Thanks.Doyoulikethissuit?W:Yes.Youlookverysmartinthatblueone.M:Howaboutthetie?Doyouthinkthiswillmatch?W:No,notreally.Whydon’tyouwearyournewone?M:Whichone?W:Theonethekidsgaveyouforyourbirthday.M:Thatone.Iwillgetit.第二十三頁，共49頁。直接記錄與間接記錄語篇：toprevent

flooding

題干：tostoptheriversfrom________

flooding語篇：Actually,vacation

happiness

isbasedonthefollowingtoprules.題干：Happy________

vacation語篇：…take

thepackageonmydesktothepostoffice

題干：Take____________onthedesktothepostoffice

thepackage直接記錄（顯性細(xì)節(jié)）間接記錄（顯性細(xì)節(jié)）間接記錄（顯性要義）第二十四頁，共49頁。簡單轉(zhuǎn)換語篇：…h(huán)elpusperformbetteratwork

題干：abetter

atwork

performance詞性轉(zhuǎn)換語篇：Pleasemakealistofalltheemployeesand

giveittoMs.Baxter,ownerofthegiftshop

題干：Givealistofalltheemployeestothe

owner

詞序轉(zhuǎn)換gift

shop語篇：…whichdestinationtoaddorsubtractfromourjourney

題干：

orsubtractingdestinations

詞形轉(zhuǎn)換adding第二十五頁，共49頁。復(fù)雜轉(zhuǎn)換語篇：anddeliveryisparticularlydifficult

insomespecial

fieldsthatrequirepracticalclasses,…題干：______________________ofsomespecialcourses

particularlydifficultdelivery句子結(jié)構(gòu)轉(zhuǎn)換+詞序轉(zhuǎn)換第二十六頁，共49頁。概括表達(dá)語篇：PodellsaidshewouldliketopromoteittoeachpublicspaceinNewYork,whichwouldbecarriedoutbyvariousvolunteersacrossthecity.

題干：HowwouldPodellpromoteherprojectinNewYork?

(Nomorethan15words)

Shewouldpromoteittoeachpublicspacewiththehelpofvolunteers.

多個(gè)信息點(diǎn)的綜合————————————————————————————————————————————————————————————————————————————————————————————————————————第二十七頁，共49頁。2.3開發(fā)效度辯論2022/10/3128第二十八頁，共49頁。2.3-1考試試卷及相關(guān)證據(jù)通過理性辯論逐一排除質(zhì)疑（命題人員自己再也找不出問題）2022/10/3129第二十九頁，共49頁。2.3-2兩類“硬”指標(biāo)語言表達(dá)形式：正確，沒有語法、標(biāo)點(diǎn)、拼寫等錯(cuò)誤語境意義：準(zhǔn)確、地道、得體，不悖常識(shí)和科學(xué)篇章結(jié)構(gòu)：完整、連貫、邏輯性強(qiáng)，改寫不留痕跡答案唯一性（單選）：有且只有一項(xiàng)可以接受，小心最佳答案詳盡性（主觀題）：考慮各種可能性，并可擴(kuò)充2022/10/3130第三十頁，共49頁。2.3-3三種“軟”指標(biāo)相關(guān)性對與錯(cuò)都應(yīng)基于語篇，不設(shè)無關(guān)干擾、不“繞彎子”典型性具有代表性且重點(diǎn)突出，不故意針對不起眼的細(xì)節(jié)“挖陷阱”充分性數(shù)量充足，不遺漏比例恰當(dāng)，不出現(xiàn)大段語篇沒有考點(diǎn)的情況順序展現(xiàn)，不要讓考生翻來覆去找答案2022/10/3131第三十一頁，共49頁。2.3-4題型及作答方式2022/10/3132第三十二頁，共49頁。2.3-5平行卷及題庫平行卷定性：結(jié)構(gòu)相同（組成部分、試題權(quán)重、考點(diǎn)分布、試卷長度等）定量：難度相等、區(qū)分度相當(dāng)、相關(guān)系數(shù)差異不顯著（與某個(gè)外部標(biāo)準(zhǔn)考試）試題庫示例：語言測試學(xué)期末考試平行卷題庫（A、B、C三卷）2022/10/3133第三十三頁，共49頁。選項(xiàng)可猜性分析-示例1Fromthewriter’sexperience,wecanconcludethat_________.noteveryoneenjoysjoggingheistheonlypersonwhohatesjoggingnothingotherthanjoggingcanhelppeoplekeepfitjoggingmakespeoplefeelgreaterthananyothersport選項(xiàng)特征：常識(shí)+絕對（only，never，always，all，every,any）

2022/10/3134第三十四頁，共49頁。選項(xiàng)可猜性分析-示例2TheauthorbegantolovebooksforthefollowingreasonsEXCEPTthat_______.hebegantoseesomethinginhismindhecouldvisualizewhathereadinhismindhecouldgobacktoreadthebooksagainherealizedthatbooksofferedhimnewexperience選項(xiàng)關(guān)系：同義;選項(xiàng)特征：常識(shí)

Themotherwas_______tomakehertwosonsswitchtoreadingbooks.A.hesitant B.unprepared

C.reluctant D.determined選項(xiàng)關(guān)系：對立（積極與消極）

2022/10/3135第三十五頁，共49頁。選項(xiàng)可猜性分析-示例3Howshouldcheerleading（啦啦隊(duì)）beviewedaccordingtothepassage?Itisjustalotofcheering. Itmainlyinvolvesyelling.Itmainlyinvolvesdancing. Itiscompetitiveinnature.選項(xiàng)關(guān)系：對立（要義與細(xì)節(jié)）

2022/10/3136第三十六頁，共49頁。選項(xiàng)可猜性分析-示例4Whichofthefollowingisoneofthecausesoftheeducationalinnovations?Effortsmadebychurchleaders.Thelimitationoftherangeofstudies．RalliesheldbygraduatesofHarvardUniversityDemandforamoreadvancedmodeofteachingamongthegraduatesoftheoldcolleges．對立關(guān)系：形式（長與短）

2022/10/3137第三十七頁，共49頁。選項(xiàng)可猜性分析-示例5TheunderlinedsentenceinParagraph4indicatesthatanywrongstepwillpossibly______.decreasethepopularityofacelebrityandthesalesofhisproductsdamagetheimageofacelebrityintheeyesofthegeneralpubliccutshorttheartisticcareerofacelebrityinshowbusinessinfluencethepriceofacelebrity’sproducts選項(xiàng)關(guān)系：包含

2022/10/3138第三十八頁，共49頁。選項(xiàng)可猜性分析-示例6Aproperwaytoreleaseafishisto________.moveitinwatertillitcanswimtakethehookoutofitsstomachkeepitinabucketforsometimeletitstrugglealittleinyourhand選項(xiàng)-題干關(guān)系：答非所問

2022/10/3139第三十九頁，共49頁。選項(xiàng)可猜性分析-示例710.

WhydidthewomangotoNewYork?Tospendsometimewiththebaby.Tolookafterhersister.Tofindanewjob.11.

HowoldwasthebabywhenthewomanleftforNewYork?12.

Whatdidthewomanlikedoingmostwiththebaby?題間關(guān)系：前后暗示

2022/10/3140第四十頁，共49頁。第三部分命題質(zhì)量評價(jià)1、測前質(zhì)量指標(biāo)2、測后質(zhì)量指標(biāo)2022/10/3141第四十一頁，共49頁。3.1測前質(zhì)量指標(biāo)試卷表面質(zhì)量語言正確性（形式、意義和結(jié)構(gòu)）排版合理性（方便考生作答）考試內(nèi)容質(zhì)量相關(guān)性（包括不可猜性）典型性（代表性與重要性）充足性（足夠且比例恰當(dāng)，利用雙向細(xì)目表統(tǒng)計(jì)）命題人員自評：提供開發(fā)環(huán)節(jié)的數(shù)據(jù)；非命題人員評價(jià)：重新采集數(shù)據(jù)。以定性分析為主，必要時(shí)進(jìn)行頻數(shù)統(tǒng)計(jì)。2022/10/3142第四十二頁，共49頁?！澳ヮ}”示例1A.Spreading

B.Boiling C.Baking D.Holding…

ImademysandwichthatafternoonwhilewaitingforCassie.

thebutter-creamgavemeanidea.

第四十三頁，共49頁?！澳ヮ}”示例2Consideringthechallenges,somepeopleargueMOOCswillsoonevaporate(蒸發(fā)).Buttheycertainlyprovidegoodopportunityforwideninghighereducation,areameansofraisingawarenessofuniversitiestoaudiencesoftensorhundredsofthousands,andarewellwo