教育測驗編制與數(shù)據(jù)處理初步

教育測驗編制與數(shù)據(jù)處理初步1教育測驗編制的基本步驟2測驗編制的基本流程測驗對象評價目的測量變量或?qū)傩蚤_發(fā)測驗藍本開發(fā)選擇評價任務(wù)鑒定測驗質(zhì)量使用階段1階段2階段3階段4題目分析測驗分析31、趙裕彤的學(xué)習(xí)水平可以考入大學(xué)2、李燕存在幾個四則混合運算的概念問題3、張?zhí)斓姆磻?yīng)速度比較慢，記憶力不是很好4、李老師的班比我班的數(shù)學(xué)好5、我最近的教學(xué)效果提高了評價目的的制定41、了解和確定學(xué)生學(xué)業(yè)水平的一般情況

－學(xué)業(yè)水平測驗、選拔性測驗

－升學(xué)、分班、排名、學(xué)校評估2、鑒定和診斷學(xué)生學(xué)習(xí)中的問題

－（認知）診斷測驗

－提高學(xué)習(xí)和教學(xué)針對性評價目的的制定5了解學(xué)業(yè)水平一般情況題號學(xué)習(xí)內(nèi)容8（三）（2）9（七）（1）10（八）（2）11（九）（2）12（十三）（3）13（十三）（5）14（十六）（2）15（十九）（1）16（二十二）17（二十三）（3）18（二十三）（1）19（二十三）（6）20（二十三）（8）21（二十三）（9）題號學(xué)習(xí)內(nèi)容23（三）（1）24（五）（3）25（十）（1）26（十七）（1）27（二十三）（8）30（五）（1）、（十三）（8）31（十二）（2）32（九）（5）（6）、（二十三）（3）（9）33（二十三）（8）34（一）（3）、（七）（1）、（2）35（六）（1）（2）、（八）（2）、（九）（3）（4）36二十二6了解學(xué)業(yè)水平一般情況算術(shù)幾何代數(shù)測量統(tǒng)計Σ選擇307129260簡釋101860034問答131300026論文00300030Σ53384892150%35.325.33261.31007請看以下學(xué)生對評價任務(wù)的回答：

307-

182————

285

856-

699————

157

835-

217————

618

606-

568————

168

308-

287————

181×√××√診斷性測驗8診斷性測驗的設(shè)計基礎(chǔ)兩分數(shù)相加將復(fù)合分數(shù)置換為假分數(shù)最小共分母分子相加最小共倍數(shù)尋找等分數(shù)答案=分子總合最小共分母答案將假分數(shù)置換為復(fù)合分數(shù)分數(shù)簡化cf.Marshall,19809題目分析測驗分析測驗編制的基本流程測驗對象評價目的測量變量或?qū)傩蚤_發(fā)測驗藍本開發(fā)選擇評價任務(wù)鑒定測驗質(zhì)量使用階段1階段2階段3階段410測量的變量與屬性主要回答測驗考察什么的問題？主要依據(jù)： 1、相關(guān)的課程標準 2、當前的學(xué)習(xí)內(nèi)容 3、學(xué)生的學(xué)習(xí)情況

11課程標準案例數(shù)學(xué)課程標準1：數(shù)學(xué)作為一種問題解決

四年級數(shù)學(xué)學(xué)習(xí)應(yīng)該強調(diào)問題解決，學(xué)生能夠

用問題解決的方式研究和理解數(shù)學(xué)內(nèi)容從日常數(shù)學(xué)情景中形成數(shù)學(xué)問題形成并運用各種策略解決各種數(shù)學(xué)問題能驗證和解釋問題答案或結(jié)論在運用數(shù)學(xué)解決有意義的問題過程中獲得信心

NCTM：美國國家數(shù)學(xué)教師委員會12課程標準作為學(xué)習(xí)和考試目標概括化的學(xué)習(xí)目標較為具體的學(xué)習(xí)目標更為為具體的學(xué)習(xí)目標知識理解知道概念的含義理解科學(xué)原理能找出概念的定義能找出給定描述所對應(yīng)的概念能匹配概念與相應(yīng)的圖能區(qū)分該概念與其他概念的區(qū)別能用自己的話陳述該原理能找出符合該原理的例子能解釋兩個原理間的關(guān)系能基于原理提出合理假設(shè)13學(xué)習(xí)和考試的學(xué)科內(nèi)容電子控制技術(shù)（通用技術(shù)選修模塊1）一、傳感器 1、常見傳感器的認識 2、傳感器的作用與應(yīng)用二、數(shù)字電路 1、數(shù)字信號特性、電路符號、波形圖 2、常見數(shù)字集成電路類型、安裝與設(shè)計三、電磁繼電器 1、常見電磁繼電器的類型、構(gòu)造和工作原理 2、常見電磁繼電器的使用14測驗編制的基本流程測驗對象評價目的測量變量或?qū)傩蚤_發(fā)測驗藍本開發(fā)選擇評價任務(wù)鑒定測驗質(zhì)量使用階段1階段2階段3階段4題目分析測驗分析15測驗藍本的制定確定期望學(xué)生達到的學(xué)習(xí)目標確定相應(yīng)學(xué)習(xí)內(nèi)容的范圍確定學(xué)習(xí)內(nèi)容與目標的比重確定題目類型和難度的分布16測驗藍本的制定識記理解應(yīng)用Σ%傳感器515183833數(shù)字電路822104034電磁繼電器916133833Σ225341116100%19463517測驗編制的基本流程測驗對象評價目的測量變量或?qū)傩蚤_發(fā)測驗藍本開發(fā)選擇評價任務(wù)鑒定測驗質(zhì)量題目分析測驗分析使用階段1階段2階段3階段418開發(fā)選擇測驗任務(wù)核心問題：任務(wù)與目標一致性

－學(xué)生在完成測驗任務(wù)中所表現(xiàn)出來的認知活動

和水平與預(yù)期的考試目標所要求的相一致其他考慮： 1、題目類型是否適合測量相關(guān)的認知活動 2、題目類型的設(shè)計的難易度 3、評分的難易度 4、對內(nèi)容和認知覆蓋程度 5、信度19開發(fā)測驗任務(wù)：簡答題1、術(shù)語、事實、原理或方法的知識2、對數(shù)據(jù)或現(xiàn)象的簡單解釋3、問題解決能力比較適合考察優(yōu)點與不足不足：

不適合考察復(fù)雜的學(xué)習(xí)結(jié)果優(yōu)點： 1、容易命題 2、減少猜測20開發(fā)測驗任務(wù)：簡答題術(shù)語、事實、原理或方法的知識考察目標案例在氣體溫度恒定的條件下，如果氣壓增加，氣體的體積會怎樣？（變小）在氣體溫度恒定的條件下，如果氣壓增加，氣體的體積會————（變?。?1開發(fā)測驗任務(wù)：簡答題對數(shù)據(jù)或現(xiàn)象的簡單解釋考察目標案例在數(shù)字612中，數(shù)字6代表的數(shù)值是多少？答：60022開發(fā)測驗任務(wù)：簡答題問題解決能力考察目標案例超市中200毫升裝的牛奶賣10元錢，600毫升裝的牛奶賣25元，請問買大包裝的牛奶可以省多少錢？23開發(fā)測驗任務(wù)：多選題1、術(shù)語、事實、原理或方法的知識2、原理或概念的應(yīng)用3、因果關(guān)系的解釋4、對方法或程序的論證比較適合考察24開發(fā)測驗任務(wù)：多選題術(shù)語、事實、原理或方法的知識考察目標案例如果你進行對某個問題的科學(xué)研究，第一步應(yīng)該：A收集相關(guān)信息B形成檢驗假設(shè)C設(shè)計實驗方案 D選擇實驗儀器25開發(fā)測驗任務(wù)：多選題因果關(guān)系的解釋考察目標案例面包放在冰箱中不會很快發(fā)霉的原因是：A低溫會減緩真菌的生長B黑暗會減緩霉的生長C低溫防止面包水分喪失D霉的生長同時需要光和熱26開發(fā)測驗任務(wù)：多選題原理或概念的應(yīng)用考察目標案例下面屬于一個化學(xué)元素的例子的是：A酸B食鹽C氧氣 D水27開發(fā)測驗任務(wù)：多選題對方法或程序的論證考察目標案例為什么一個平衡的養(yǎng)魚缸需要充足的光照？A魚需要光照看到食物B魚在黑暗中需要氧氣C植物在黑暗中釋放二氧化碳D植物在黑暗中生長過快28開發(fā)測驗任務(wù)：解釋性任務(wù)考察目標：

推斷能力材料：

到13世紀末，歐洲已經(jīng)建立了幾個有名的大學(xué)。當然，它們與今天的大學(xué)區(qū)別很大。波西尼亞大學(xué)是其中最早建立的大學(xué)之一，也是最廣為人知的大學(xué)之一。學(xué)生從全國各地而來，希望得到羅馬法律的最好的教育。特別喜歡哲學(xué)和神學(xué)的學(xué)生去了巴黎大學(xué)。想學(xué)醫(yī)學(xué)的人去了蒙特培勒大學(xué)和薩勒努大學(xué)。題目：

TFN那時候人們之間偶爾會有法律糾紛

TFN教授們薪水很低

TFN中世紀的人對高等教育不感興趣29開發(fā)測驗任務(wù)：解釋性任務(wù)考察目標：合理推廣的能力

題目：

SRN美國25－34歲的男女性完成高等教育的比例差距最小

SRN大學(xué)入學(xué)政策對男女申請人的對待不公平

SRN不分男女，美國25－34歲的人完成基礎(chǔ)教育的比例最高國家基礎(chǔ)教育(男）高等教育(男）基礎(chǔ)教育（女）高等教育(女）德國9113.786.711.3日本89.334.291.811.5美國86.125.188.224.930開發(fā)測驗任務(wù)：論述題材料：

目前公眾普遍認為，吸煙對吸煙者本人以及吸二手煙的人的健康是有害的。許多城市已經(jīng)頒布了法律禁止在公眾場合吸煙。有人認為，這樣的規(guī)定違反了吸煙者本人的選擇自由。（A）你是否同反對禁煙的人的觀點（B）論證你的立場31開發(fā)測驗任務(wù)：論述題理解水平詳細描述擴展性抽象水平(ExtendedAbstract)該水平上的反應(yīng)不僅包括所有相關(guān)的信息，而且整合了問題中所沒有提及，然而與問題解答相關(guān)的信息。聯(lián)系水平(Relational)該水平反應(yīng)整合了問題所提及的所有相關(guān)信息。準聯(lián)系水平(Semi-Relational)該水平反應(yīng)將問題中提及的部分,但不是全部相關(guān)信息綜合成一個自圓其說的解答前聯(lián)系水平(Plural)該水平上的反應(yīng)運用了問題提及的多種相關(guān)信息(不是全部),但沒有將其加以綜合單一水平(Unitary)該水平上的反應(yīng)只運用了問題提及的一種相關(guān)信息前結(jié)構(gòu)化水平(Pre-Structural)該水平上的反應(yīng)只包括無關(guān)信息32開發(fā)測驗任務(wù)：表現(xiàn)性題目利用提供的工具：燈泡、電池和電線，找出左邊6個不可視箱子中是右邊五種不同組合的哪一種？注意：有兩只箱子中的東西是一樣的。

ABCDEF提示：你可以將箱子連到某個電路中兩節(jié)電池電線燈泡電池和燈泡空箱33測驗編制的基本流程測驗對象評價目的測量變量或?qū)傩蚤_發(fā)測驗藍本開發(fā)選擇評價任務(wù)鑒定測驗質(zhì)量題目分析測驗分析使用階段1階段2階段3階段434測驗質(zhì)量分析：題目分析1、題目效度2、題目難度3、題目區(qū)分度4、題目公平性（題目偏差分析）35測驗質(zhì)量分析：題目效度某個題目是否考察了我們想要考察的東西？36測驗質(zhì)量分析：題目效度如果X2+X-3=3,那么X=?如果X2+X-3=3,那么X=?-2 B.1 C.2 D.337測驗質(zhì)量分析：題目效度項目解決的認知訪談通過言語報告了解：學(xué)生對題目表述的理解是否與預(yù)期一致學(xué)生解答題目的過程是否與預(yù)期一致限制或促進學(xué)生解答的因素（題型、關(guān)鍵詞、選項）其他可能因素38六、Choosethewordorexpressionwhichisclosestinmeaningtotheunderlinedpartineachsentence.A.wanttoB.isashopassistantC.stoppedD.peoplewhoareillEcomeshomefromwork()1.Lucyusuallysellsthingstopeople.

()2.Nurseshelpdoctorstolookaftersickpeople.()3.Theywouldliketobepolicemeninthefuture.()4.Heusuallyfinishesworkat9p.m.()5.Mygrandfathergaveupsmokingmanyyearsago.ellsthingstopeople.

測驗質(zhì)量分析：題目效度39A你能給我說說這道題的答題要求是什么嗎？S他的要求就是選擇和劃線部分意思相近的單詞。A這個大體過程中你覺得哪些答案不確定？S第5題跟第2小題。A好吧，你為什么感覺第2小題不確定呢？sickpeople你理解的是什么意思？Ssickpeople就是生病的人，D的意思我沒有理解，就是D的選項。Apeoplewhoareill不太明白是什么意思對嗎？S是的A第五題你現(xiàn)在選的答案是什么？SCA那你為什么選C呢？S因為選好之后就剩最后一個了，就填上了。測驗質(zhì)量分析：題目效度40測驗質(zhì)量分析：題目難度學(xué)生題目1題目2題目3題目4題目5總分111110112101101431011015401111145110111360010097110009810111149100118101001011題目難度0.80.40.60.80.411.841測驗質(zhì)量分析：題目難度學(xué)生題目1題目2題目3題目4題目5總分155432192223121034433216422212955535422611223971231188413451795344319102233414題目難度3.12.73.02.72.842測驗質(zhì)量分析：題目難度得分人數(shù)百分比031.5194.523919.534522.54703553417總數(shù)20010043測驗質(zhì)量分析：題目區(qū)分度題目能否將不同水平的學(xué)生區(qū)分開來？具有區(qū)分度的題目的特征：

1、測驗總分高的學(xué)生答對該題目的概率應(yīng)該高于得分低的學(xué)生（該題目與總分有高相關(guān)） 2、如果把學(xué)生按照總分分成高分組、低分組和中間組，高分組答對該題的比例應(yīng)該比低分組高44測驗質(zhì)量分析：題目區(qū)分度45測驗質(zhì)量分析：題目區(qū)分度46測驗質(zhì)量分析：題目選項分析47測驗質(zhì)量分析：題目公平性概率能力對照組關(guān)注組48測驗質(zhì)量分析：題目公平性49測驗編制的基本流程測驗對象評價目的測量變量或?qū)傩蚤_發(fā)測驗藍本開發(fā)選擇評價任務(wù)鑒定測驗質(zhì)量題目分析測驗分析使用階段1階段2階段3階段450

測驗質(zhì)量分析：測驗分析信度分析 1、復(fù)本信度 2、再測信度 3、內(nèi)在一致性信度 4、決策一致性信度效度分析 1、內(nèi)容方面的證據(jù) 2、結(jié)構(gòu)方面的證據(jù) 3、參照標準方面的證據(jù)

51測驗分析：測驗分數(shù)某個測驗30個題目，20個選擇題（每個2分），8個簡答題（每個5分），2個論述題（每個10分）52測驗分析：經(jīng)典測量理論觀測分數(shù)真分數(shù)測量誤差53測驗分析：測量誤差T=403436414445X54測驗分析：誤差方差與標準差55經(jīng)典測量理論：測量誤差XT56經(jīng)典測量理論：（理論）信度57經(jīng)典測量理論：平行復(fù)本的概念1、同一測驗的兩個版本2、符合相同的測驗藍本（雙向細目表）3、相同題目難度分布和區(qū)分度分布4、每個學(xué)生在兩個版本上的真分數(shù)相同5、兩個版本的測量誤差的方差相同6、兩個版本的總分分布相同58復(fù)本一復(fù)本二84905031978858318077817661518172626939337769767462423051695621368792656073815360復(fù)本信度59時間一時間二84905031978858318077817661518172626939337769767462423051695621368792656073815360再測信度60內(nèi)在一致性信度克朗巴赫系數(shù)測驗中的題目之間的相關(guān)越高，內(nèi)在一致性信度越高61內(nèi)在一致性信度系數(shù)62決策一致性信度適用于標準參照測驗在標準參照測驗中，我們更關(guān)心學(xué)生是否達到預(yù)先規(guī)定的標準（達標）在常模參照測驗中，我們更關(guān)心學(xué)生與其他人相比考試成績的相對位置如何63決策一致性0.40.10.30.2未達標達標未達標達標基于測驗版本一的結(jié)果基于測驗版本二的結(jié)果0.70.30.50.5P=0.4+0.2=0.664決策準確性0.4