命題流程與質(zhì)量保障

1、命題流程與質(zhì)量保障溫州市教育教學研究院2012年3月1用標準提升教育質(zhì)量成為國際共識21世紀以來，世界教育進入了以提高質(zhì)量為中心目標的時代，制定教育質(zhì)量國家標準成為許多國家教育改革與發(fā)展的主要內(nèi)容。國際教育標準主要涉及學術(shù)內(nèi)容標準和教育質(zhì)量標準。其中，學術(shù)內(nèi)容標準明確學生應該知道什么和能夠做什么，教育質(zhì)量或績效標準明確學生如何展示他們的掌握程度。基于標準提高教育質(zhì)量、形成教育質(zhì)量評估的一般模式、廣泛開展教育質(zhì)量監(jiān)測、規(guī)范教師專業(yè)標準、加強立法保障，成為各國提升教育質(zhì)量的共同舉措。2012年1月31號 中國教育版2評價過程三要素確定對象開發(fā)工具評價工具3評價什么？4教育質(zhì)量與學業(yè)質(zhì)量學業(yè)質(zhì)量與學

2、業(yè)成績學業(yè)成績與考試成績幾個核心概念的區(qū)別與聯(lián)系5教育質(zhì)量的內(nèi)涵教育質(zhì)量與學業(yè)質(zhì)量聯(lián)合國兒童發(fā)展基金會在教育質(zhì)量定義中提出了教育質(zhì)量的五個要素:學習者、教育環(huán)境、教育內(nèi)容、教育過程和教育成果。從宏觀層面看，教育質(zhì)量即整個教育體系的質(zhì)量。 學習者的個體層面、教育管理與行政結(jié)構(gòu)的制度層面從微觀層面看，教育質(zhì)量最終落在培養(yǎng)對象的質(zhì)量上 。 學習者人作為質(zhì)量的載體以及影響其學習質(zhì)量的直接因素，其教育成果是質(zhì)量的核心6有質(zhì)量的教育旨在將學習者培養(yǎng)成為兼具個體、家庭成員、社會成員和全球公民四種角色能力的人；有質(zhì)量的教育構(gòu)建的是知識、生活技能、態(tài)度和價值觀并提供可持續(xù)發(fā)展的能力。宏觀教育質(zhì)量微觀學業(yè)質(zhì)量教育

3、質(zhì)量與學業(yè)質(zhì)量7有質(zhì)量的教育構(gòu)建的是知識、生活技能、態(tài)度和價值觀并提供可持續(xù)發(fā)展的能力。學業(yè)質(zhì)量與學業(yè)成績學業(yè)質(zhì)量是多面體學業(yè)成績是正視圖可測性？8歷史學科試題中日甲午戰(zhàn)爭甲午戰(zhàn)爭發(fā)生于何時何地？戰(zhàn)爭的起因是什么？戰(zhàn)爭的過程、結(jié)果如何？中國戰(zhàn)敗的原因何在？戰(zhàn)敗后中日之間簽訂的馬關(guān)條約內(nèi)容是什么？對中國有什么危害？9日本和中國一百年打一次仗。19世紀打了日清戰(zhàn)爭（我們稱甲午戰(zhàn)爭），20世紀打了一場中日戰(zhàn)爭（我們叫抗日戰(zhàn)爭）。21世紀如果日本和中國開火，你認為會在什么時候？可能的原因（近因和遠因）在哪里？如果日本戰(zhàn)勝勝在什么方面？輸了又是輸在什么條件上？歷史學科試題中日甲午戰(zhàn)爭10學業(yè)成績與考試成

4、績學業(yè)成績=考試成績？有效性？科學性？學業(yè)質(zhì)量學業(yè)成績考試成績11如何評價？量尺的開發(fā)12何為健康？概念界定 世界衛(wèi)生組織對健康定義:“健康不僅是沒有疾病,而且是指心理上和社會上的完滿狀態(tài)?！本唧w指標？框架構(gòu)建 世界衛(wèi)生組織WHO新的健康標準10條 如對一般感冒和傳染病有一定抵抗力；如何檢測？工具開發(fā) 體檢工具的開發(fā)與套餐的設(shè)計結(jié)果反饋？標準的設(shè)立 各項指標的標準設(shè)定健康體檢1314學業(yè)質(zhì)量概念不清晰具體指標框架不完善檢測量尺工具不科學結(jié)果反饋標準不穩(wěn)定 學業(yè)質(zhì)量評價現(xiàn)狀與問題？15如何評價現(xiàn)狀與問題？命題需要哪些人員課程專家教研員、教師測量統(tǒng)計1617PISA簡介“國際學生評價項目”( Pr

5、ogramme for International Student Assessment，簡稱PISA項目) 是由經(jīng)濟合作與發(fā)展組織(OECD)啟動，該項目在OECD 成員國和其他部分非成員國中進行18PISA評價目的及內(nèi)容評價目的： 以15歲在校生（接近義務教育末期）為評價對象，其主要目的是了解并比較各國15歲學生為未來生活的準備情況，了解他們是否具備分析、推理和溝通能力，了解他們是否具備終身學習的能力 。評價內(nèi)容：主要是生活所需要的基本知識和技能:閱讀素養(yǎng)、數(shù)學素養(yǎng)、科學素養(yǎng)以及問題解決能力，重點考查學生運用所學知識和技能解決日常生活問題的能力。此外，還收集學生的學習態(tài)度、學習策略、家庭背

6、景以及學校因素等影響學生表現(xiàn)的背景信息。 PISA項目是一種前瞻性評價。19PISA測試形式及發(fā)展從2000年起，每隔3年進行一次每次以一個學科（數(shù)學、閱讀、科學）為主，其他兩門學科占1/3各參與國隨機抽取4500-10000名15歲的學生 .完成兩個小時的紙筆測驗和20-30分鐘的問卷 被調(diào)查學校的校長也要完成一份20分鐘的問卷20數(shù)學素養(yǎng)一個有創(chuàng)新精神、關(guān)心他人及有思想的公民所應具有的數(shù)學能力：即能判斷和理解數(shù)學在現(xiàn)實世界中的作用；能運用數(shù)學做出有充分根據(jù)的決策；能在個體生活需要時使用和滲透數(shù)學21科學素養(yǎng)利用科學知識識別科學問題并能得出有根據(jù)的結(jié)論，以便能理解自然界以及人類活動造成的變化

7、，并有助于做出相關(guān)的決策。22閱讀素養(yǎng)理解，使用和思考書面文本的能力，以達到個人目標，增長知識、發(fā)揮潛力并參與社會2324評價三維框架25過程維度再現(xiàn)、回憶 （REPRODUCTION）這部分能力主要在相對熟悉的題目中起作用，主要是要求再現(xiàn)練習過的知識，包括熟悉、常規(guī)的數(shù)學過程和計算。如下例：解方程7x-3=13x+15;26連接能力基于再現(xiàn)能力，解決的不再是簡單的常規(guī)問題，是原來熟悉問題的微小擴展和超越，需要更多解釋，并且要求在情景的不同表征間形成聯(lián)系，或者把問題情境的不同方面聯(lián)系起來以獲得解題方法。如下例：等你開車開到三分之二路程時，你的油箱已由原來的滿箱到只有四分之一箱，問：是否能用這些

8、油到達終點？過程維度連接（CONNECTION）27過程維度反思（REFLECTION）連接能力基于再現(xiàn)能力之上。要求學生能夠綜合運用知識技能分析確定具體情境下的數(shù)學要素；創(chuàng)造性地辨別相關(guān)的數(shù)學概念，聯(lián)系相關(guān)的數(shù)學知識解決問題，并提出論據(jù)進行論證；同時還要去學生對問題解決的過程 、結(jié)果、方法進行反思。28PISA樣題2926連接27再現(xiàn)12再現(xiàn)3096反思312006年P(guān)ISA科學評價框架32知識緯度科學探究起源（如好奇心、科學問題）、目的、實驗、數(shù)據(jù)、測量、科學結(jié)果的特征（經(jīng)驗證的、試驗性的、可驗證的、可證偽的、自我校正的）科學解釋種類（假設(shè)、理論、模型、科學規(guī)律）、形成（既有的知識和新的證

9、據(jù)、創(chuàng)造力和想象力、邏輯）、法則（邏輯一致性、以證據(jù)為基礎(chǔ)、以歷史和當前的知識為基礎(chǔ)）、結(jié)果（新知、新方法、新技術(shù)、新研究）顯性知識隱性知識33能力緯度34樣題酸雨下圖是被稱作廊臺的六尊女像柱雕像，建立于2500年前的雅典衛(wèi)城。雕像由一種被稱為大理石的巖石雕刻而成，大理石成分為鈣的碳酸鹽。由于酸雨腐蝕，原始雕塑在1980年被轉(zhuǎn)移到博物館內(nèi)，由復制品取而代之。問題1 正常的雨水略帶酸性，因為它從空氣中吸收了一些二氧化碳。酸雨比正常的雨水更酸，因為它還同時吸收了如硫氧化物和氮氧化物之類的氣體?？諝庵械牧蜓趸锖偷趸锸菑哪睦飦淼模繉ΜF(xiàn)象進行科學地解釋35樣題酸雨問題2 一片大理石薄片在被浸泡在醋

10、里一整夜之前的質(zhì)量是0.2克。隔天大理石薄片被取出并且干燥，干燥后大理石薄片的質(zhì)量將會是多少？ A 少于0.2克 B 精確的0.2克 C 在2.0克至2.4克之間 D 多于2.4克使用科學證據(jù)問題3 學生把一份大理石浸沒在醋酸溶液中一夜，同時把另一份大理石放在蒸餾水中一夜，解釋做后一步驟的原因。識別科學問題36態(tài)度緯度37樣題酸雨科學興趣科學探究38樣題酸雨問題6 化石燃料的燃燒（煤炭、石油、天然氣）導致了酸雨的量。下面給出了四個觀點，選擇一個和你觀點最接近的答。對資源和環(huán)境的責任A.我認為酸雨不足以構(gòu)成導致我們改變使用化石燃料的問題。B.采取行動減少酸雨的量是好的，如果不影響我的生活方式的話

11、我會支持。C.為了減少酸雨，如果每個人都這樣做的話，我會減少對化石燃料的依賴性。D.為了減少酸雨，我會減少燃料化石的利用。39TIMSS簡介“國際數(shù)學和科學趨勢研究”(Trends in International Mathematics and Science Study 簡稱TIMSS項目) 國際教育成就評價協(xié)會組織(InternationalAssociationfortheEvaluationofEducationalAchievement，簡稱IEA)40評價目的：了解各國計劃數(shù)學、科學課程的實現(xiàn)程度評價對象：主要為四年級和八年級學生 評價周期： 每4年一次1970 (19個) 19

12、80 (24個) 1995 (40個) 1999 (38個) 2003年有近50個國家和地區(qū)(包括中國香港、中國臺北等地區(qū))參加了TIMSS項目。TIMSS測試形式及發(fā)展412007年TIMSS數(shù)學測試框架422007年TIMSS數(shù)學測試框架認知領(lǐng)域432007年TIMSS數(shù)學測試框架認知領(lǐng)域442007年TIMSS數(shù)學測試框架認知領(lǐng)域452007年TIMSS科學測試框架內(nèi)容領(lǐng)域462007年TIMSS科學測試框架認知領(lǐng)域472007年TIMSS科學探究表述問題和假設(shè)設(shè)計探究過程記錄表示數(shù)據(jù)分析和解釋數(shù)據(jù)得出結(jié)論，進一步解釋及拓展4849試卷結(jié)構(gòu)要素內(nèi)容維度能力維度情境維度單選題、多選題、封閉

13、式簡答題及開放式簡答題難度結(jié)構(gòu)結(jié)構(gòu)決定性質(zhì)，性質(zhì)決定功能50PISA數(shù)學素養(yǎng)評價框架各維度的試題分布圖51內(nèi)容結(jié)構(gòu)及比例（%） TIMSS數(shù)學素養(yǎng)評價框架各維度的試題分布圖2022/9/2152認知維度比例（%）TIMSS數(shù)學素養(yǎng)評價框架各維度的試題分布圖2022/9/2153雙向細目表試卷命制的布局分布圖5455甲午戰(zhàn)爭發(fā)生于何時何地？戰(zhàn)爭的起因是什么？戰(zhàn)爭的過程、結(jié)果如何？中國戰(zhàn)敗的原因何在？戰(zhàn)敗后中日之間簽訂的馬關(guān)條約內(nèi)容是什么？對中國有什么危害？歷史考題中日甲午戰(zhàn)爭56日本和中國一百年打一次仗。19世紀打了日清戰(zhàn)爭（我們稱甲午戰(zhàn)爭），20世紀打了一場中日戰(zhàn)爭（我們叫抗日戰(zhàn)爭）。21世紀

14、如果日本和中國開火，你認為會在什么時候？可能的原因（近因和遠因）在哪里？如果日本戰(zhàn)勝勝在什么方面？輸了又是輸在什么條件上？歷史考題中日甲午戰(zhàn)爭57測試目標、測試框架、試題屬性，試題內(nèi)在一致性58案例某地區(qū)平均得分率：82.1%試題目標：理解混合運算的順序59某地區(qū)平均得分率：74.2%在錯誤的答案中，396約占40%3.602022/9/2161案例612022/9/2162典型作答622022/9/2163典型作答632022/9/2164訪談了兩所學校（12人），總結(jié)： 多部分學生的作答跟表中數(shù)據(jù)無關(guān)，沒有利用數(shù)據(jù)做合理判斷的意識；部分學生已經(jīng)有了利用數(shù)據(jù)做判斷的意識，但學生的理由比較模糊

15、。2位學生從平均角度做答。反思：試題本身提問方式三年級學生 利用數(shù)據(jù)做合理判斷？64多倍試題及學生訪談小規(guī)模試測大規(guī)模試測專家審題命題流程65小規(guī)模預測題目表述是否清晰、準確背景學生是否熟悉學生的作答，以及是否與命題預設(shè)一致選擇題選項支的設(shè)置，是否有迷惑性；主觀題學生作答情況等，為試題修改和評分標準的初擬提供信息。試題的有效性及科學性66案例考查能力：理解概念考查目標：理解數(shù)位的意義，并能比較大小67現(xiàn)狀：得分比率過低，且A選項比例過高分析：可能是學生在組合比較數(shù)據(jù)由于數(shù)量級懸殊不大，造成了學生比較的難度建議：將數(shù)字9改成數(shù)字8。 修改如下：68案例PISA樣題69小明用同樣長的兩根鐵絲圍成了

16、如圖的甲、乙兩個圖形，比較它們的面積，那么（ ）A乙比甲大 B甲比乙大 C一樣大 D無法比較案例70A、B、C水平學生的平均得分率 分別為：78.8%，46.9%，28.2%。71這是一幅南極洲地圖,請利用圖中的比例尺估計它的面積,并解釋你是如何得到的.案例評分標準的設(shè)計72案例評分標準的設(shè)計732022/9/2174反映試卷總體難度及試題難易程度的分布學生的作答時間反映試題的質(zhì)量（區(qū)分度、難度、信息量等）學生的作答結(jié)果 為試題修改和評分標準的完善提供信息。大規(guī)模預測74案例選擇題難度區(qū)分度選項信息ABCD0.370.19百分比46.0 12.4 4.8 36.7 點二列0.12-0.17 -

17、0.25 0.1075試卷質(zhì)量保障命題過程力求科學規(guī)范質(zhì)性分析與量化分析結(jié)合開展學生研究題庫建設(shè)2022/9/2176如何評價工具？反饋與保障77試卷分析報告1.關(guān)注試題，忽略試卷量尺科學性2.關(guān)注結(jié)果，忽略過程診斷 試卷本身、學生思維障礙3.關(guān)注教學，忽略命題導向性78試卷分析指標標尺的科學性信度一致性、可信度效度有效性難度分數(shù)分布792011年中考科學試卷數(shù)據(jù)分析表80試卷分析2011年總分頻數(shù)分布圖負偏態(tài)？81試卷分析2011試卷信息函數(shù)后5%前12%前40%82試題分析指標難度區(qū)分度選項分布（采分點）點二列相關(guān)能力值83試題分析指標難度難度指標（通過率或得分率P值）84案例主觀題85案

18、例選擇題難度區(qū)分度選項信息ABCD0.370.19百分比46.0 12.4 4.8 36.7 點二列0.12-0.17 -0.25 0.1086試題分析指標區(qū)分度將學生能力按照測驗的總分分為高分組（前25%-33%）和低分組（后25%-33%），計算兩個組在某道題目上通過率或平均分數(shù)的差異： D PHPL87鑒別指數(shù)將學生能力按照測驗的總分分為高分組（前25%-33%）和低分組（后25%-33%），計算兩個組在某道題目上通過率或平均分數(shù)的差異： D PHPL88案例選擇題難度區(qū)分度選項信息ABCD0.370.19百分比46.0 12.4 4.8 36.7 點二列0.12-0.17 -0.25 0.1089中考科學試題難度區(qū)分度分布圖90試題分析指標選項比例91