第七章 地理測試命題質(zhì)量分析.pdf

地理教育測量與評價 西南大學 地理科學學院 蘇迎春 2011年10月 西南大學 地理科學學院 蘇迎春 2011年10月 第七章 地理測試命題質(zhì)量分析 第一節(jié) 試題質(zhì)量的初步評價 第二節(jié) 試題的信度 第三節(jié) 試題的效度 第四節(jié) 項目質(zhì)量評價 第一節(jié) 試題質(zhì)量的初步評價 第二節(jié) 試題的信度 第三節(jié) 試題的效度 第四節(jié) 項目質(zhì)量評價 第一節(jié) 試題質(zhì)量的初步評價第一節(jié) 試題質(zhì)量的初步評價 一 測驗分數(shù)的分布狀態(tài) 二 平均分 三 標準差 一 測驗分數(shù)的分布狀態(tài) 二 平均分 三 標準差 一 測驗分數(shù)的分布狀態(tài)一 測驗分數(shù)的分布狀態(tài) 1 表示形式 表示形式 頻數(shù)直方圖或頻數(shù)多邊圖 頻數(shù)是指在某分數(shù)段中出現(xiàn)測驗分數(shù)的次 數(shù) 2 作用 作用 通過對測驗分數(shù)分布狀態(tài)的描述 可以從一個 側(cè)面反映出試題的質(zhì)量水平 3 頻數(shù)直方圖制作步驟 頻數(shù)直方圖制作步驟 第一步 求全距第一步 求全距 全距是指要處理的所有測驗分數(shù)中最高分與最低分 的差 一般用R來表示 即 R 最高分數(shù) 最低分數(shù) 全距的作用 反映全部測驗分數(shù)的分布范圍 全距的作用 反映全部測驗分數(shù)的分布范圍 第二步 定組數(shù)第二步 定組數(shù) 組數(shù)一般根據(jù)全距R和測驗分數(shù)的個數(shù)n來確定 用I 表示 R值越大 測驗分數(shù)的個數(shù)n越多 組數(shù)就會越 多 第三步 定組距第三步 定組距 組距即為全距R與組數(shù)I相除后取整 第四步 確定組限第四步 確定組限 根據(jù)組距和全距確定每組的上限和下限 通常約定 每組只含下限 不含上限 即每組都是左閉右開區(qū)間 第五步 求組中值第五步 求組中值 即求每組的中點值 用M表示 其方法為 M 組實際下限 0 5ZR 第六步 列頻數(shù)分布表第六步 列頻數(shù)分布表 統(tǒng)計落在每個組中的測驗分數(shù)的個數(shù) 即每個組的 頻數(shù) 將其填入頻數(shù)分布表的相應(yīng)位置 第七步 根據(jù)頻數(shù)分市表繪制頻數(shù)直方圖第七步 根據(jù)頻數(shù)分市表繪制頻數(shù)直方圖 方法 在一個直角坐標系中 以橫坐標表示測驗分 數(shù) 從左到右標出各組分數(shù)的組中值 用縱坐標表示頻 數(shù) 從上到下等距地標出頻數(shù)數(shù)值 分別以各組的組距 為底邊 以組中值作為底邊的中點 頻數(shù)為高 對每組 作矩形 4 頻數(shù)多邊形圖 曲線圖 制作 頻數(shù)多邊形圖 曲線圖 制作 方法與直方圖類似 5 示例 示例 6 結(jié)果分析 結(jié)果分析 1 分布曲線的幾種形態(tài)及其意義 分布曲線的幾種形態(tài)及其意義 正態(tài)分布 表明在高分段稠低分 段的人數(shù)明顯少于中間分數(shù)段的 人 說明試題設(shè)計比較合理 試 題難度 區(qū)分度分布正常 正偏態(tài)分布 低分段出現(xiàn) 的人數(shù)明顯偏多 說明難 度偏高的題目多 試題難 度過高 呈負偏態(tài)分布 高分段出 現(xiàn)的人數(shù)偏多 說明難度 偏低的題較多 試題難度 偏低 呈高峰形的正態(tài)分布 中間段 分數(shù)出現(xiàn)的人數(shù)特別集中 學生之間的差距沒有拉開 說明中等難度的題目比例過 高 試題區(qū)分度較差 平峰形的正態(tài)分布 各分 數(shù)段出現(xiàn)人數(shù)的差異較 小 說明試題中不同難度 題目的比例比較接近 雙峰形分布 高分段和低分段出現(xiàn) 的人數(shù)多 而中間分數(shù)段的人數(shù) 偏少 說明難度過高和過低的題 目偏多 而中等難度的題目偏 少 試題難度梯度大 6 結(jié)果分析 結(jié)果分析 2 示例的結(jié)果分析 示例的結(jié)果分析 學生測驗分數(shù)的頻數(shù)直方圖和頻數(shù)多邊圖來看 基本上呈 一種負偏態(tài)分布狀態(tài) 如果不考慮其他因素對學生測驗分數(shù)的 影響 這次測驗試題的總體難度是偏低的 中等程度的學生和 程度較高的學生沒有拉開距離 二 平均分二 平均分 1 算術(shù)平均分 算術(shù)平均分 一組測驗分數(shù)的總和與分數(shù)個數(shù)相除所得的 商 2 加權(quán)平均分 加權(quán)平均分 在同一次 地理測驗中 如果已經(jīng)知道 各個被試組測 驗分數(shù)的算術(shù) 平均分 要求 計算所有考生 的平均分時 則需要用加權(quán) 平均分來計 算 三 標準差三 標準差 用于描述測驗分數(shù)的離散程度 當一組測驗分數(shù)的離散程度比較大時 則對應(yīng)的平均 分的代表性就比較小 反之則比較大 表示測驗分數(shù)離散程度的特征量數(shù) 全距 平均差 四分差 方差 標準差等等 比較常用的是標準差 第二節(jié) 試題的信度第二節(jié) 試題的信度 一 相關(guān)系數(shù) 二 信度 三 常模對照測驗的信度 四 目標參照測驗的信度 一 相關(guān)系數(shù) 二 信度 三 常模對照測驗的信度 四 目標參照測驗的信度 一 相關(guān)系數(shù)一 相關(guān)系數(shù) 1 概念 概念 相關(guān)系數(shù) 描述兩個變量之間相關(guān)程度的量 2 計算模型 計算模型 3 示例及結(jié)果分析 示例及結(jié)果分析 分析 分析 在以主觀性試題為主的地理測驗題和以客觀性試題為主地理測驗 題的考試中所取得的成績是呈高度正相關(guān) 在不考慮其他因素影響的前 提下 表明主觀性試題和客觀性試題這兩種題型都能比較好地考查學生 對有關(guān)地理知識掌握的情況 即主觀分高 客觀分也高 二 信度二 信度 1 概念 概念 信度也稱 可靠性 或 測驗分數(shù)的穩(wěn)定性 是指測量的一致性程 度 即同一個測驗在不同時間上聽得結(jié)果的一致性 2 常用指標及意義 常用指標及意義 相關(guān)系數(shù)作為數(shù)據(jù)指標來衡量測驗的一致性程度 也稱為信度 系數(shù) 信度系數(shù)的取值范圍 0 1 意義 意義 值越大 測驗的可信程度越高 試題的 可靠性 也就越 好 即它在多大程度上能準確地反映學生學習的真實水平 3 試題質(zhì)量對信度系數(shù)的影響 試題質(zhì)量對信度系數(shù)的影響 一是題目的數(shù)量 一是題目的數(shù)量 如果題目很少 則測驗所得分數(shù)越容易測驗 的信度就會降低 反之 則會提高測驗的信度 二是題目的難度二是題目的難度 題目的難度會影響到測驗分數(shù)的分布范圍 從而影響測驗結(jié)果的信度 如題目難度過大 考生大部分得低分 測驗分數(shù)頻數(shù)分布曲線形成正偏態(tài)分布 分數(shù)間的差異較小 三是題目的區(qū)分度三是題目的區(qū)分度 因為只有當題目有較好的區(qū)分度時 才能 正確反應(yīng)學生的學習效果 并保證測驗結(jié)果的 穩(wěn)定性 和 可靠性 三 常模參照測驗的信度三 常模參照測驗的信度 1 重測法 重測法 重測法是指用同一份試題在不同的時間對同一 學生群體進行兩次測驗 以這兩次測驗分數(shù)之間的 相關(guān)系數(shù)作為信度系數(shù)的一種方法 用重測法求得信度系數(shù)又叫重測信度重測信度或穩(wěn)定性 系數(shù) 穩(wěn)定性 系數(shù) 它反映的是兩次測驗分數(shù)之間的一致性程 度 如果兩次測驗分數(shù)的相關(guān)性越好 說明測驗的 信度就越高 表明試題的穩(wěn)定性好 影響因素 影響因素 重測的時間間隔 間隔時間過短 易產(chǎn)生練習效應(yīng) 過長 知識背景變化 會影響第 二次測驗 2 復(fù)本法 復(fù)本法 編制一份在內(nèi)容 形式 難度 區(qū)分度 評方 方法 題量 分值 測驗時間等都與原題基本相同 或相似的復(fù)本 對同一學生群體進行測驗 用復(fù)本法求得信度又叫復(fù)本信度復(fù)本信度 復(fù)本信度系數(shù)又稱等值性系數(shù)值性系數(shù) 影響因素 時間間隔影響 總體上 復(fù)本法優(yōu)于重測法 總體上 復(fù)本法優(yōu)于重測法 3 折半法 折半法 1 基本原理 基本原理 將整份測試卷的全部題目分成對等的兩半 然后依據(jù)考 生群體中每位考生在兩半部分題目上的得分 計算積差相關(guān) 系數(shù) 積差相關(guān) 系數(shù) 最后用相應(yīng)的校正公式對積差相關(guān)系數(shù)加以校正 以 求得測驗或測驗試卷的整體信度系數(shù) 2 折半常用方法 折半常用方法 一是完全隨機分半 二是奇偶題目分半 即奇數(shù)題組成 一個部分 偶數(shù)題則為奇數(shù)題的復(fù)本 三是測驗試卷分成若 干個內(nèi)容塊 再將各內(nèi)容塊的題目奇偶分半 所有奇數(shù)題和 所有偶數(shù)題各組成一個分測驗 3 指標 指標 用折半法求得的測驗或測驗試卷的整體信度 叫折半信 度 其信度系數(shù)叫折半信度系數(shù) 4 意義 意義 折半信度主要反映的是測驗或測驗試卷內(nèi)部所有題目之 間的一致性或同質(zhì)性程度 四 目標參照測驗的信度四 目標參照測驗的信度 1 分階段比較法1 分階段比較法 1 基本原理 基本原理 分階段比較法是對考生在前后兩個階段的目標參照測 驗結(jié)果進行對照 以后一階段的測驗結(jié)果來檢驗前一階段 測驗的信度 通過分析 了解測驗內(nèi)容與實際教學中要求 掌握的肉容之間的一致性程度 測量試題內(nèi)容的質(zhì)量 如 果信度高 說明試題內(nèi)容反映了學要求 試題質(zhì)量較高 否則 試題質(zhì)量低 2 具體步驟 具體步驟 第一步 對考生進行第一次測驗第一步 對考生進行第一次測驗 前期目標預(yù)測測驗 即 對考生進行一次較低水平的目標參照測驗 確定一個決斷 分數(shù) 從測驗中找出高出決斷分數(shù)的考生 并認為這些考 生已具備進入下一階段學習所需要的條件 第二步第二步 后期目標檢測測驗后期目標檢測測驗 讓這一部分考生進入下一階 段的學習或訓(xùn)練 在完成學習或訓(xùn)練之后 對考生進行第 二次測驗 第三步 分析結(jié)果第三步 分析結(jié)果 因為這部分考生在第一次測驗之后被 認為已經(jīng)具備進入下一階段學習的條件 因此在第二次測 驗中能達到目標的可能性應(yīng)該比較大 如果在第一次測驗 中達到目標的大部分考生在第二次測驗中也能達到所規(guī)定 的目標 則認為上一次測驗的信度是高的 如果在第一次 測驗中達到目標的許多考生花第二次測驗中得分很低 沒 有達到所規(guī)定的目標 則認為第一次測驗的信度不高 四 目標參照測驗的信度四 目標參照測驗的信度 2 復(fù)本法2 復(fù)本法 1 基本方法 基本方法 用兩份等值測驗試卷對同一考生群體進行兩次側(cè) 驗 事先確定一個決斷分數(shù)決斷分數(shù) 如果考生的測驗分數(shù)低 于決斷分數(shù) 則認為不合格 然后統(tǒng)計出兩次測驗中 均合格 兩次測驗都合格 人數(shù) a 和均不合格人數(shù) b 用兩者的總數(shù)與參加測驗總?cè)藬?shù) n 的百分比 來判斷測驗的信度 即用兩次測驗合格與不合格的一 致性百分比作為測驗的信度 r 2 示例 示例 第三節(jié) 試題的效度第三節(jié) 試題的效度 一 效度的概念 二 幾種常用效度及估算方法 一 效度的概念 二 幾種常用效度及估算方法 一 效度的概念一 效度的概念 1 效度的概念1 效度的概念 效度也稱 測驗的有效性 是指某次測驗所能 提供的對某一特質(zhì)所做預(yù)測的理想程度 即測驗在 多大程度上測試了所要測的內(nèi)容 它代表的是測驗 的準確性準確性 2 效度的類型2 效度的類型 根據(jù)不同用途 效度通?？梢苑譃閮?nèi)容效度 效標關(guān)聯(lián)效度和構(gòu)想效度 二 內(nèi)容效度二 內(nèi)容效度 1 內(nèi)容效度的含義 內(nèi)容效度的含義 內(nèi)容效度是指測驗內(nèi)容反映出考生掌握相關(guān)的教學 內(nèi)容和實現(xiàn)預(yù)期能力提高的程度 即測驗的內(nèi)容能否反 映所要測試的目的和要求 例 在測驗考生掌握 時差 這一概念程度時 用 北京位 于東八區(qū) 東京位于東九區(qū) 當北京是2000年11月21日 晚上12點整時 東京是2000年 月 日 點 這一題目 來測試 顯然要比 中國的首都是 日本的首都 是 這種測驗試題更具有 內(nèi)容代表性 即內(nèi)容效度 更高 2 影響內(nèi)容效度的主要因素 影響內(nèi)容效度的主要因素 教學內(nèi)容和教學目標是內(nèi)容效度的兩個重要因素 3 內(nèi)容效度的評價方法 內(nèi)容效度的評價方法 內(nèi)容效度主要是通過比較地理測驗內(nèi)容與地理課程 標準要求的一致性程度 地理測驗內(nèi)容與地理課程 標準要求的一致性程度來衡量 常采用雙向細目表 將測驗內(nèi)容對照雙向細目表進 行邏輯分析和比較的方法 具體方法 1 根據(jù)想要測驗的教學內(nèi)容范圍編制一份雙向細 目表 它包括教學內(nèi)容和教學目標兩大維度 各維度又 分為若干個小項 列出每一項的相對比例 2 分析測驗試卷的每一個題目 確定它們所涉及 的相關(guān)地理知識和技能 列出涉及同一教學內(nèi)容和教學 目標的題目 并統(tǒng)計它們的分值及在整份測驗試卷中所 占比例 3 把測驗試卷的內(nèi)容結(jié)構(gòu)與相應(yīng)的雙向細目表進行 比較分析 計算測驗內(nèi)容對雙向細目表范圍的覆蓋率 從而獲取衡量內(nèi)容效度的指標 三 效標關(guān)聯(lián)效度三 效標關(guān)聯(lián)效度 1 相關(guān)概念 相關(guān)概念 效標效標 被測驗的內(nèi)容即檢驗測驗效度的標準 同時效度同時效度 測驗分數(shù)與作為效標的分數(shù)獲得的時 間間隔比較短 預(yù)測效度預(yù)測效度 測驗分數(shù)與作為效標的分數(shù)獲得的時 間間隔比較長 效標關(guān)聯(lián)度效標關(guān)聯(lián)度 指某測驗對考生目前或?qū)淼哪撤N 能力 行為進行測試 預(yù)測的有效性 2 效標關(guān)聯(lián)度評價方法 效標關(guān)聯(lián)度評價方法 相關(guān)法相關(guān)法 相關(guān)法 是指用統(tǒng)計方法求出被測測驗與效標測 驗兩者所得分數(shù)之間的相關(guān)系數(shù) 作為衡量效標關(guān)聯(lián) 效度高低的指標 第四節(jié) 項目質(zhì)量評價第四節(jié) 項目質(zhì)量評價 一 平均得分率 二 難度系數(shù) 三 極端平均得分率和極端難度系數(shù) 一 平均得分率 二 難度系數(shù) 三 極端平均得分率和極端難度系數(shù) 一 平均得分率 p 一 平均得分率 p p越大 通過率越高 難度越小 反之 越