命題和試題質(zhì)量分析課件

1、2022/7/26命題和試題質(zhì)量分析 目 錄難 度區(qū)分度信 度效 度某考試，共有四道題，5名考生得分如下。假設(shè)這次考試只有這五名考生，求各題的難度、整卷難度及難度分布%。考生編號(hào)題1題2題3題4總分滿分11010295011411925209528423163182841511320511052642難度0.80.680.30.72一、難度（一）含義：難度指試題的難易程度。問(wèn)題：試題1的難度系數(shù)為0.86， 試題2的為0.41。哪份試題更難些？結(jié)論： 難度系數(shù)越大，試題越容易；難度系數(shù)越小，試題越難。（二）難度系數(shù)的計(jì)算0.35135110題30.72261318281929題44210150

2、.68569410題220140.8難度281342022511501滿分總分題1考生編號(hào)1、題分難度計(jì)算：A）“1、0”記分題：P=通過(guò)人數(shù) / 全體人數(shù)B）非“1、0”記分題：P=平均分 / 該題滿分2、整卷難度計(jì)算：方法1：P= 平均分 / 整卷滿分方法2：P= 各題難度系數(shù)加權(quán)后的平均數(shù) （這里的權(quán)數(shù)：各題的滿分值）（三）試題難度的評(píng)價(jià)：P0.9 很易0.71P0.89 偏易0.30P0.70 適中0.11P0.29 偏難P0.10 很難（四）試題難度系數(shù)多大才適宜1、理論上，大部分試題的難度系數(shù)P在0.5左右為宜。為什么？因?yàn)镻=0.5時(shí)方差最大，而方差最大時(shí)試題的鑒別力最大。(方差

3、=pq=0.50.5=0.25)2、考慮考試目的1) 學(xué)科考試（如期末考），取P=0.5左右為宜2) 選拔類考試（如中考），錄取率為多少，難度系數(shù)也相應(yīng)取多少。如：某次考試要從1000名考生錄取200名，錄取率為0.2，則要求試題的難度系數(shù)盡量達(dá)到0.2左右。3) 診斷分類考試（如高中畢業(yè)考目的是鑒別畢業(yè)生），因?qū)^(qū)分度要求不高，所以要根據(jù)診斷要求具體確定難度系數(shù)。對(duì)這類考試，可取難度系數(shù)為0.80，甚至更大值。3、還要考慮到考生的實(shí)際情況1）若不同層次考生差異性太大，特別是其中的弱勢(shì)群體人數(shù)較多時(shí)，考慮到教育公平，試題難度應(yīng)偏易。2）要考慮考生學(xué)習(xí)信心和興趣，及參與測(cè)試的信心，試題難度可稍偏

4、易。（五）未考試，如何判定試題的難度1、根據(jù)以往考試的同質(zhì)性題目的難度判定。2、根據(jù)考試的目的、性質(zhì)、內(nèi)容及雙向細(xì)目表的要求進(jìn)行質(zhì)的分析。3、挑選典型題目組成微型試題，進(jìn)行正式考試前的預(yù)備性測(cè)試，通過(guò)量的統(tǒng)計(jì)分析以確定試題的難度。 目 錄難 度區(qū)分度信 度效 度二、區(qū)分度某次語(yǔ)文統(tǒng)考，5名考生得分如下。假設(shè)這次考試只有這五名考生，求各題的區(qū)分度?？忌幪?hào)題1題2語(yǔ)文科總分六科CEEB標(biāo)準(zhǔn)分總分滿分11050最高分90010425300219428683162841341520420511042639區(qū)分度二、區(qū)分度（一）含義：區(qū)分度是試題(或試題中的某小題)區(qū)分出學(xué)生能力水平差異的程度。水平高

5、者，成績(jī)好；水平低者，成績(jī)差。則區(qū)分度高。反之，則區(qū)分度低。ABC化學(xué)總分化學(xué)題3化學(xué)總分化學(xué)題1化學(xué)總分化學(xué)題2以上A、B、C三圖哪道題區(qū)分度較好？*計(jì)算區(qū)分度時(shí)應(yīng)考慮哪些問(wèn)題？*A、計(jì)算區(qū)分度，必須對(duì)兩列變量作分析。 計(jì)算兩列變量的相關(guān)系數(shù)，即可得到區(qū)分度B、要計(jì)算“某一題”的區(qū)分度，必須找到該題的參照變量能衡量學(xué)生水平高低的變量。本題可考慮把“化學(xué)總分”作是“化學(xué)卷某一題”的參照變量。C、若區(qū)分度較高，則表示：水平高者，則該題得分高；水平低者該題得分低。這里將“化學(xué)總分”作為衡量學(xué)生水平高低的指標(biāo)。（二）計(jì)算：1、相關(guān)法：某題區(qū)分度該題得分與總分的相關(guān)系數(shù)2、高低分組法：高分組：參照變量

6、成績(jī)排前27%考生PH 高分組得分率：=高分組平均分 / 該題滿分低分組：參照變量成績(jī)排后27%考生PL 低分組得分率：低分組平均分 / 該題滿分D = PH - PL（三）區(qū)分度多大,才算一份好試題：1、原則：區(qū)分度越大，測(cè)題越好2、評(píng)價(jià)區(qū)分度的標(biāo)準(zhǔn)：D0.40 區(qū)分度很好0.30D0.40 區(qū)分度良可0.20D0.30 區(qū)分度尚可，但要修改D0.20 區(qū)分度差，必須淘汰（四）區(qū)分度的運(yùn)用1、挑選典型題目組成微型試題，在正式考試前的進(jìn)行預(yù)備性測(cè)試，計(jì)算出每題的區(qū)分度，為正式命題提供依據(jù)。預(yù)備性測(cè)試中區(qū)分度差的題目，正式命題時(shí)應(yīng)放棄類似題目。預(yù)備性測(cè)試中區(qū)分度尚可的題目，正式命題時(shí)若要設(shè)計(jì)類似

7、題目，則要修改。可見(jiàn)，區(qū)分度是試卷編造過(guò)程中篩選測(cè)題的主要依據(jù)。2、通常情況下，區(qū)分度分析主要用于單一測(cè)題的分析，整份卷的區(qū)分度較難分析。原因是難以找到衡量被試該能力水平的變量。將一份試卷中所有題目的區(qū)分度簡(jiǎn)單平均以計(jì)算整份試卷的區(qū)分度，此做法缺乏科學(xué)依據(jù)。將一份試卷中所有題目的區(qū)分度進(jìn)行加權(quán)平均以計(jì)算整份試卷的區(qū)分度，此做法亦缺乏科學(xué)依據(jù)。三、信度某考試，數(shù)學(xué)科共有三道大題，5名考生得分如下。假設(shè)這次考試只有這五名考生，求數(shù)學(xué)試題的信度?？忌幪?hào)第一大題第二大題第三大題總分滿分10103050141192529528423631828451132051052642方差 目 錄難 度區(qū)分度信

8、度效 度三、信度問(wèn)：某人很可信。這里“可信”是什么意思？答：前面許下承諾，后面能堅(jiān)守承諾，說(shuō)到做到 做人穩(wěn)定性、一致性強(qiáng)。（一）含義： 經(jīng)過(guò)多次測(cè)試，所得結(jié)果的一致性程度 (假定多次測(cè)試期間，被試沒(méi)發(fā)生任何變化）（二）信度的分類重測(cè)信度：用同一份試題對(duì)同一組考生考兩次，所得結(jié)果的一致性程度。（假定：該組考生在兩次考試期間內(nèi)不會(huì)發(fā)生任何變化）復(fù)本信度：指將兩份程度相同的試題分別對(duì)同一組考生進(jìn)行考試，所得結(jié)果的一致性程度。重測(cè)信度與復(fù)本信度在實(shí)際中實(shí)施的可能性較低， 一次考試就能計(jì)得的內(nèi)部一致性信度內(nèi)部一致性信度：把一次考試人為地分為兩個(gè)部分，比較兩個(gè)部分的一致性程度。（三）內(nèi)部一致性信度的計(jì)算5

9、135110第二大題261318281930第三大題42105569410第一大題204方差28342225150滿分總分考生編號(hào)=（四）對(duì)試題信度的要求如果是標(biāo)準(zhǔn)測(cè)試量表，則要求0.80；如果是自制試題，則要求0.60。（五）影響信度的因素1、是否同質(zhì)性測(cè)題。計(jì)算內(nèi)部一致性信度時(shí)，所分析的多個(gè)測(cè)題必須是同質(zhì)性的。若不是同質(zhì)性題目，則會(huì)降低信度。2、測(cè)題的數(shù)量題數(shù)越多，信度越高；3、測(cè)試環(huán)境。若考試前半段與后半段的環(huán)境差異大，則會(huì)降低信度。4、樣本量大小。在其它條件均相同的情況下，樣本量越大，信度越高。5、考生：考生在考試過(guò)程中焦慮、疲勞或注意力分散。6、測(cè)題難度：一般來(lái)說(shuō)，測(cè)題難度越大，信度

10、會(huì)越低。（六）如何提高考試的信度1、適當(dāng)增加考試題目的數(shù)量2、進(jìn)行信度分析的測(cè)題應(yīng)盡量同質(zhì)3、試題的難度要適中4、考試的程序應(yīng)統(tǒng)一5、給考生提供良好的考試環(huán)境。6、抽取的樣本數(shù)應(yīng)達(dá)到要求。 目 錄難 度區(qū)分度信 度效 度四、效度問(wèn)： 某人工作很有效。何謂“有效”？答： 他的工作成果能很好達(dá)到預(yù)期的目的和要求。（一）效度的含義測(cè)量結(jié)果達(dá)到測(cè)量目的的程度（二）效度的分類內(nèi)容效度：所測(cè)試的內(nèi)容達(dá)到預(yù)期目的程度。 運(yùn)用定性分析法來(lái)估計(jì)內(nèi)容效度。結(jié)構(gòu)效度：測(cè)驗(yàn)結(jié)果對(duì)于人的假設(shè)屬性或理論概念測(cè)量到的程度。 運(yùn)用因素分析法來(lái)估計(jì)結(jié)構(gòu)效度。效標(biāo)關(guān)聯(lián)效度：考試得分與效標(biāo)之間相關(guān)程度。 運(yùn)用相關(guān)分析法來(lái)計(jì)算效標(biāo)關(guān)

11、聯(lián)效度。 效標(biāo)：反映被試真實(shí)水平的變量（三）對(duì)效度高低的要求不同的考試對(duì)效度系數(shù)有不同的要求對(duì)于一般考試，效度應(yīng)達(dá)到0.40。對(duì)效度系數(shù)大小的要求，也受效標(biāo)的影響。若該考試結(jié)果與效標(biāo)之間相似性較差，對(duì)效度系數(shù)只要求達(dá)到0.30以上即可；若該考試結(jié)果與效標(biāo)之間相似性較高，則要求達(dá)到0.60以上。（四）計(jì)算效度的方法1、對(duì)于內(nèi)容效度，通常使用定性分析法 在編寫考試試題或選擇試題之前，應(yīng)確定考試目標(biāo)、構(gòu)建整個(gè)考試的指標(biāo)體系，形成考試內(nèi)容系統(tǒng)。 以該內(nèi)容體系為標(biāo)準(zhǔn)，進(jìn)行編寫試題。 試題制定好后，分析試題包含的知識(shí)點(diǎn)和能力結(jié)構(gòu)，與編制試題前參考的內(nèi)容體系進(jìn)行對(duì)比。 若二者相符，則內(nèi)容效度較高； 反之若二

12、者不相符，則效度較低，還須對(duì)試題作進(jìn)一步的修訂。2、對(duì)于效標(biāo)關(guān)聯(lián)效度，一般使用相關(guān)分析法a）將考試得分與效標(biāo)作相關(guān)分析。b）若相關(guān)性顯著，則說(shuō)明效度較高；反之，則較低。Q1：發(fā)現(xiàn)問(wèn)題的能力Q2：判斷他人的能力Q3：作出決定的能力Q4：建立團(tuán)體一致的能力Q5：幫助他人作決定的能力Q6：與團(tuán)隊(duì)協(xié)同工作的能力3、對(duì)于結(jié)構(gòu)效度,通常使用因子分析法來(lái)估計(jì) 例：教學(xué)研究人員的能力,共包括6種能力:問(wèn)：理論上這六種能力可劃分哪兩個(gè)系列? 這是理論上分析得到的能力結(jié)構(gòu)， 但與實(shí)際測(cè)量的數(shù)據(jù)中所反映的能力結(jié)構(gòu)是否相符？實(shí)際測(cè)量的數(shù)據(jù)分析結(jié)果負(fù)荷量公因子每個(gè)變量與其所屬公因子之間的相關(guān)程度（五）如何提高效度編制測(cè)

13、題之前應(yīng)設(shè)計(jì)命題計(jì)劃雙向細(xì)目表1、命題計(jì)劃是設(shè)計(jì)測(cè)題的藍(lán)圖。 它能使命題工作避免盲目性而具有計(jì)劃性，使測(cè)題的內(nèi)容更完善地反映考試目標(biāo)，有利于提高考試的效度。2、命題計(jì)劃往往要通過(guò)雙向細(xì)目表反映出來(lái)。 雙向細(xì)目表：包括有兩個(gè)維度的表格，其中一維是考試內(nèi)容，主要指考試內(nèi)容的各章節(jié)；另一維是考試目標(biāo)，考試目標(biāo)一般以布盧姆的認(rèn)知目標(biāo)體系為基礎(chǔ)，包括有：知識(shí)、理解、應(yīng)用、分析綜合、創(chuàng)見(jiàn)（評(píng)價(jià)）雙向細(xì)目表示范1：知識(shí)理解應(yīng)用分析與綜合創(chuàng)見(jiàn)與評(píng)價(jià)合計(jì)代數(shù)實(shí)數(shù) 6 / 易7 / 易6 / 中10 / 易整數(shù)幾何相交、平行三角形合計(jì)中間部分填寫：1、各考試內(nèi)容所考核的各個(gè)認(rèn)知目標(biāo)上的占分2、難度雙向細(xì)目表示范2

14、：選擇題簡(jiǎn)答題應(yīng)用題分析題創(chuàng)新題合計(jì)知識(shí)理解知識(shí)知識(shí)理解應(yīng)用分析與綜合創(chuàng)見(jiàn)與評(píng)價(jià)合計(jì)代數(shù)實(shí)數(shù) 6 / 易9 / 易 4 / 易 6 / 易7 / 易6 / 中10 / 易整數(shù)幾何相交三角合計(jì)中間部分填寫：1、各考試內(nèi)容所考核的各個(gè)認(rèn)知目標(biāo)上的占分2、難度3、要保證試題的內(nèi)容效度，具體從以下五步進(jìn)行命題1）列出課程的主要教學(xué)內(nèi)容和教學(xué)目標(biāo)?？蓞⒖颊n程教學(xué)大綱來(lái)擬定。2）根據(jù)各部分教學(xué)內(nèi)容和教學(xué)目標(biāo)的重要程度，確定它們?cè)跍y(cè)試內(nèi)容上所占的比例。主要考量以下問(wèn)題： a)各知識(shí)單元在整個(gè)學(xué)習(xí)領(lǐng)域的重要程度如何？ b)分配給各知識(shí)單元的教學(xué)時(shí)數(shù)比重如何？ c)哪些知識(shí)單元對(duì)未來(lái)學(xué)習(xí)的價(jià)值較大些？一般參照教

15、學(xué)大綱來(lái)確定。3）編寫出命題雙向細(xì)目表。包括考試內(nèi)容和考試目標(biāo)的兩個(gè)維度的表格。4）根據(jù)雙向細(xì)目表正式命題。5）試題編制好后，對(duì)其內(nèi)容進(jìn)行分析，將試題分析結(jié)果 與雙向細(xì)目表對(duì)照，二者吻合度高，則試題內(nèi)容效度較高。第三部分海外考試的試題質(zhì)量控制介紹一、將部分題目設(shè)計(jì)為“信度題”。如臺(tái)灣的社會(huì)科和自然科的試題中的第一卷或第二卷中有12小題為“試題研究”題目，這些題目被穿插在試卷各小題中間，考生考前不被告知，對(duì)每道必須花同等努力去完成。而美國(guó)和即將實(shí)施的新加坡所采用的SAT考試，考試內(nèi)容被劃分七個(gè)部分，其中六個(gè)部分分別為語(yǔ)文或數(shù)學(xué)，分?jǐn)?shù)計(jì)入總分，另一部分可能是語(yǔ)文，亦可能是數(shù)學(xué)，分?jǐn)?shù)不計(jì)總分，稱“同

16、等題目”，設(shè)置該部分目的在于進(jìn)行試題研究，分析測(cè)試的信度情況。二、試題偏易。 臺(tái)灣絕大部分題目為單項(xiàng)選擇題，難度不高。美國(guó)ACT的科學(xué)推理測(cè)試均以題組題的形式出現(xiàn)，整個(gè)考卷共分為78個(gè)題組題，每個(gè)題組題首先為考生提供關(guān)于自然科學(xué)方面的資料，資料后面提供了5-7道問(wèn)題。這些資料主要包括三種形式：形象數(shù)據(jù)呈現(xiàn)（如圖形、表格以及其他的圖表形式）實(shí)驗(yàn)研究摘要（就自然科學(xué)方面的某一問(wèn)題，提供幾個(gè)相關(guān)聯(lián)的實(shí)驗(yàn)描述）對(duì)立觀點(diǎn) (就自然科學(xué)方面的某一問(wèn)題，提供幾個(gè)相互矛盾對(duì)立的觀點(diǎn)或假設(shè))這7個(gè)題組題中，有3個(gè)通過(guò)圖表呈現(xiàn)數(shù)據(jù)，34個(gè)是進(jìn)行實(shí)驗(yàn)研究描述，1個(gè)提供兩個(gè)對(duì)立的觀點(diǎn)。形式1：一項(xiàng)在一塊廢棄小麥地進(jìn)行

17、 “生態(tài)演變”研究:如圖一所示，隨著時(shí)間的演變，植物（動(dòng)物）的規(guī)則級(jí)數(shù)會(huì)發(fā)生改變。提示：在生態(tài)演變過(guò)程中，我們認(rèn)為植物群落是有規(guī)律分布的 在生態(tài)演變的早期階段，占主導(dǎo)地位植物群落稱之為優(yōu)勢(shì)群落，見(jiàn)圖2描述： 生態(tài)演變的末期階段，主要特點(diǎn)是極頂群落（在不受干擾下能生長(zhǎng)的植物）占了主導(dǎo)地位。圖3描述的是松樹(shù)林如何逐漸演變成闊葉林的。 1、從圖1中提供的數(shù)據(jù)可知，80年過(guò)后，廢棄的小麥地上將會(huì)出現(xiàn)：A、僅剩松樹(shù) B、僅剩橡樹(shù)山胡桃樹(shù)C、有侵略性的雜草（如乍蓬）D、大片的松樹(shù)林，及闊葉樹(shù)下層矮生植被2、從松樹(shù)演變?yōu)殚熑~樹(shù)的數(shù)據(jù)中可知，100年后，松樹(shù)林的密度為：A、增加，橡樹(shù)山胡桃樹(shù)林的密度也增加B、增加，橡樹(shù)山胡桃樹(shù)林的密度減少C、減少，橡樹(shù)山胡桃樹(shù)林的密度增加D、減少，橡樹(shù)山胡桃樹(shù)林的密度也減少 形式2：資料: 宇宙最終的結(jié)果將會(huì)是怎樣的呢？?jī)擅茖W(xué)家對(duì)立觀點(diǎn)如下： 科學(xué)家A：在未來(lái)，宇宙將會(huì)大爆炸，其自身能量則會(huì)逐漸向外傳布開(kāi)來(lái)