教育測量與評價測量指標

1、教育測量與評價測量指標第1頁，共66頁，2022年，5月20日，16點58分，星期三教育測量的質量指標衡量教育測量的質量，可采用四個指標：信度 主要對整個測量而言。效度 難度 主要對測量的項目而言。區(qū)分度 第2頁，共66頁，2022年，5月20日，16點58分，星期三一、信度概述（一）什么是信度信度是指測量結果的穩(wěn)定性或可靠性程度。一般地說，一個好的測量必須具有較高的信度，也就是說，一個好的測量工具，只要遵守操作規(guī)則，其結果就不應隨工具的使用者或使用時間等方面的變化而發(fā)生較大的變化。必須從以下兩個方面去理解測量的信度：信度指實測值（X）和真值（T）相差的程度；信度指兩次重復測量或等值測量之間的

2、關聯程度。第3頁，共66頁，2022年，5月20日，16點58分，星期三（二）信度的估計方法1、重復信度（再測信度）指的是同一個量表對同一組被試施測兩次所得結果的一致性程度。其大小等于同一組被試在兩次測驗上所得分數的相關系數，一般采用皮爾遜積差相關的公式來計算。第4頁，共66頁，2022年，5月20日，16點58分，星期三例一用一個算術四則的速度測驗12個小學生，得分記為X，為了考察測量結果的可靠性，于3個月后再測一次，得分記為Y，問測驗結果是否可靠？學生序號 1 2 3 4 5 6 7 8 9 10 11 12X 20 20 21 22 23 23 23 24 25 26 26 27Y 20

3、 21 21 20 23 23 25 25 26 26 27 29第5頁，共66頁，2022年，5月20日，16點58分，星期三在使用重測法計算穩(wěn)定性系數時，應注意以下問題：1、信度的取值范圍為0，1，當信度值較大時，說明前后兩次測量結果比較一致；2、兩次測驗之間的時間間隔要適宜。應由測驗的性質、測題類型、測題數量和被試特點所決定；3、重測法適用于速度測驗而不適用于難度測驗；4、應注意提高被試者的積極性。第6頁，共66頁，2022年，5月20日，16點58分，星期三2、復本信度指的是兩個平等的測驗測量同一批被試所得結果的一致性程度。其大小等于同一批被試在兩個復本測驗上所得分數的相關系數。所謂復

4、本測驗是指在性質、內容、題型、題數、難度等方面都一致（或相等）的兩份或多份測驗。第7頁，共66頁，2022年，5月20日，16點58分，星期三例二以A、B兩型英語復本測驗對初中三年級10個學生施測，為避免由測驗施測順序所造成的誤差，其中5個學生先做A型測驗，休息15分鐘后，再做B型測驗；而另5個學生先做B型測驗，休息15分鐘后，再做A型測驗。10個學生A型測驗結果記為X，B型測驗結果記為Y，其測驗的復本信度如何？學生序號 1 2 3 4 5 6 7 8 9 10X 19 19 18 17 16 15 15 14 13 12Y 20 17 18 18 17 15 13 15 12 12第8頁，共

5、66頁，2022年，5月20日，16點58分，星期三復本信度的優(yōu)缺點表現：優(yōu)點：1、測驗的兩個復本，如果在不同的時間使用，其信度既可以反映在不同時間的穩(wěn)定性，又可以反映對于不同測題的一致性；2、兩個復本在同時使用時，可以避免再測信息的一些缺點，如首測時再測在記憶、練習、效果的影響，間隔期間獲得新知識的影響，兩次施測的環(huán)境不同和被試主觀狀態(tài)不同的影響，以及為了應付測驗所作訓練的影響等。第9頁，共66頁，2022年，5月20日，16點58分，星期三缺點：1、編制兩個完全相等的測驗是很困難的，如果兩個復本過分相似，則變成再測形式，而過分不相似，又使等值的條件不存在；2、兩個復本測驗有可能在某種程度上

6、測量了不同的性質，這就會低估測驗的信度；3、被試同時接受性質相似的兩個測驗，可能減少完成測驗的積極性；4、雖然兩個復本測驗的題目材料不同，但被試一旦掌握了解題的某一模式，就能觸類旁通，有可能失去復本的意義。第10頁，共66頁，2022年，5月20日，16點58分，星期三3、折半信度（分半信度）就是將測驗分半，再求被試在每一半測驗上所得分數的相關系數。首先根據內容、形式、題數、平均數、標準差、難度、測題間相關以及分布形態(tài)相等的原則，將試題分成兩半，或者將從易到難排列的測題，按照測題序號，奇數測題為一組，偶數測題為一組，分成兩半；然后計算每個被試在兩個分半測驗分數的積差相關系數，再用斯皮爾曼布朗公

7、式加以校正。斯皮爾曼布朗公式為第11頁，共66頁，2022年，5月20日，16點58分，星期三例三對初中一年級學生進行地理成績測驗，每答對1題得1分，答錯1題得0分，其測驗結果如下表，試估計該測驗的折半信度？學生序號 題 序 1 2 3 4 5 61 1 0 0 0 0 02 0 0 0 1 0 03 1 0 1 0 0 04 1 1 0 0 1 05 1 0 0 1 0 06 1 1 1 0 1 17 1 1 1 1 0 18 1 1 0 1 1 09 0 1 1 0 0 110 1 1 1 1 1 1第12頁，共66頁，2022年，5月20日，16點58分，星期三（三）提高信度的方法1、影

8、響測量信度的主要因素（1）被試方面（2）主試方面（3）施測情境方面（4）測量工具方面（5）兩次施測的間隔時間方面第13頁，共66頁，2022年，5月20日，16點58分，星期三2、提高測量信度的常用方法（1）適當增加測驗的長度（2）測驗的難度要適中（3）測驗的內容應盡量同質（4）測驗的程序應統(tǒng)一（5）測驗的時間要充分（6）測驗的評分要盡量做到客觀化，減少評分誤差第14頁，共66頁，2022年，5月20日，16點58分，星期三二、效度的概念（一）什么是效度效度是指測量結果的準確性和有效性的程度。也可以說是測量是否達到了預期的目的。1、效度是一個相對的概念。（1）測量的效度是相對一定的測量目的而言

9、的（2）測量的效度是相對測量的結果而言的2、一種測量的效度只是高或低的問題測量結果總是有一定效度的，只是效度高低不同罷了。第15頁，共66頁，2022年，5月20日，16點58分，星期三（二）效度的估計效度估計就是多方尋找證據來證明一個測驗的有效性程度的過程。1、內容效度就是指測驗內容對所要測量的內容的代表性程度。也就是說，測驗的內容范圍、材料與所要測量的內容范圍、教育目標是否相符合；測驗中測題所引起的行為是否是所要測量的屬性的明確反應；測驗的結果是否是一個有代表性的行為樣本。為了使測驗的內容具有有效性，成為所欲測量內容的一個具有代表性的行為樣本，在編制測驗時，就要考慮建立內容效度的問題。第1

10、6頁，共66頁，2022年，5月20日，16點58分，星期三2、內容效度的估計（1）邏輯分析法其工作思路是請有關專家對測驗題目與原定內容范圍的吻合程度作出判斷。（2）統(tǒng)計分析法從同一個教學內容總體中抽取兩套獨立的平行測驗，用這兩個測驗來測同一批被試，求其相關。若相關高，表明測驗內容效度較高；若相關低，表示測驗的內容效度較低。采用求統(tǒng)計量的公式進行計算，其公式有以下三種形式：第17頁，共66頁，2022年，5月20日，16點58分，星期三例一在社會發(fā)展史某一單元教學之前，對學生進行有關這一單元內容的測驗。教學之后，再以復本測驗施測，兩次測驗分數如下，試檢定測驗的內容效度？學生序號 1 2 3 4

11、 5 6 7 8 9 10教學前X 34 40 32 30 31 35 44 33 42 36教學后Y 52 64 50 54 58 63 72 62 62 50第18頁，共66頁，2022年，5月20日，16點58分，星期三結論然后根據自由度df=N-1=9,查t值表，尋得0.01顯著性水平t的雙側臨界值為t（9）0.01=4.781，而實際計算出的t=13.974.781=t(9)0.01，于是可以說，教學前后學生在兩個復本測驗上得分的平均數有極顯著性差異，從而可以作出判斷，社會發(fā)展史中該單元測驗的內容具有有效性，或內容效度較高。第19頁，共66頁，2022年，5月20日，16點58分，星

12、期三內容效度主要應用于成就測驗、學科測驗、選拔和分類職業(yè)測驗。內容效度不適合用于能力傾向和人格測驗。第20頁，共66頁，2022年，5月20日，16點58分，星期三2、結構效度是指測驗對于人的心理特性或理論概念測量到的程度。通常用某種操作來定義，并用測驗來測量。例如：人的創(chuàng)造力可以分解為人的思維流暢性、靈活性和創(chuàng)造性三大特性，并根據這三大特性編制測驗，若有足夠的證據來證明該測驗確實可以測到這些特性，則認為該測驗是個結構效度較高的創(chuàng)造力測驗。第21頁，共66頁，2022年，5月20日，16點58分，星期三（1）結構效度的特點結構效度的大小完全取決于事先假定的心理特質理論，一旦人們對同一種心理特質

13、有著不同的定義或假設，則會使得關于特質測驗的結構效度的研究結果無法比較。當實際測量的資料無法證實我們的理論假設時，并不一定就表明該測驗結構效度高。因為還有可能出現理論假設不成立，或者該實驗設計不能對該假設作適當的檢查等情況，這就使得結構效度的獲取更為困難。第22頁，共66頁，2022年，5月20日，16點58分，星期三（2）建立結構效度的步驟A、提出理論假設；B、根據假定結構擬定測題，編制測驗；C、以測驗結果為根據來驗證假設結構中的各種因素是否成立。第23頁，共66頁，2022年，5月20日，16點58分，星期三（3）結構效度的估計A、因素分析法其目的是把一些具有錯綜復雜關系的因素歸結為數量較

14、少的幾個綜合因素或稱共同因素，并以此測驗所測之特質對測驗分數作出解釋。B、多元特質多重方法矩陣法是由肯貝爾和菲斯克1959年提出的最受歡迎的一種結構效度的評估方法。這種方法的設想：若采用兩種方法以上的方法去測量兩種以上的特質，那么這些測量結果之間可以形成一個多元特質多重方法矩陣。第24頁，共66頁，2022年，5月20日，16點58分，星期三從理論上說，以不同方法測量同一特質的相關應當為最高；以相同方法測量不同特質的相關次之；以不同方法測量特質的相關為最低。與內容效度不同，結構效度主要用于智力測驗、人格測驗等一些心理測驗方面。第25頁，共66頁，2022年，5月20日，16點58分，星期三3、

15、效標關聯效度是以測驗分數和效標之間的相關系數來表示測驗效度高低的方法。例如：某年全國高考物理學科的測驗效度，可用大學一年級物理學科的測驗分數為效標，然后求同一組學生高考物理得分與大一物理得分之間的相關，此相關系數就是該年高考物理測驗的效標關聯效度系數。當這個相關系數與總體零相關有顯著性差異時，相關系數的值（正值）越大，效度就越高；相關系數的值越小，效度就越低。第26頁，共66頁，2022年，5月20日，16點58分，星期三效標不僅隨測驗的種類不同而不同，而且可能隨時間而改變，現在是一個好的成功的效標，將來就不一定是。所以，為某個測驗選擇一個最有效的效標，這是最重要的事情。教育測驗的效標，可采用

16、各學科成績和教師評定的結果；智力測驗的效標，可采用學科成績、教師評判的結果、學生總成績、受教育年限、年齡以及其他事物；能力傾向測驗的效標，可采用特殊課程或特殊訓練的成績；職業(yè)興趣測驗的效標，可采用從業(yè)人員實際服務成績或記錄；人格測驗的效標，可采用編制者的主觀標準，或以被試以后行為或臨床資料。第27頁，共66頁，2022年，5月20日，16點58分，星期三效標關聯效度的估計方法（1）相關法由于測驗分數和效標分數這兩個變量的類型不同，二者相關系數的計算方法也就不同。A、積差相關法：適用于兩個變量為連續(xù)變量進行顯著性檢驗：自由度df=N-2，檢驗的是兩個變量，都減去2；置信度取0.05，查相關系數界

17、值表，尋找臨界值；結論：r臨界值，說明顯著相關，效度高；r0為正區(qū)分，D0為負區(qū)分，D=0為零區(qū)分第45頁，共66頁，2022年，5月20日，16點58分，星期三（二）區(qū)分度的計算1、極端分組法（1）客觀性試題D=PH-PL例6：有道試題，高分組有70%學生通過，低分組有30%的學生通過；而另一道題，高分組有40%學生通過，低分組有70%學生通過，求兩題的各自區(qū)分度？第46頁，共66頁，2022年，5月20日，16點58分，星期三（2）主觀題D=（XH-XL）/N（H-L）XH為高分組得分總數XL為低分組得分總數H為該道題的最高分L為該道題的最低分N為應試總人數的27%。第47頁，共66頁，2

18、022年，5月20日，16點58分，星期三例7 高分組 低分組得分X 人次f 得分X 人次f 5 4 5 0 4 3 4 1 3 2 3 1 2 1 2 3 1 0 1 4 0 0 0 4第48頁，共66頁，2022年，5月20日，16點58分，星期三2、相關法點二列相關法例8：15個學生在數學測驗中得分記錄如下，計算數學測驗中第一題的區(qū)分度？學生 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15測驗 65 70 31 49 80 50 35 10 81 69 78 55 77 90 42第一題 0 1 0 1 1 0 1 0 0 1 1 0 1 1 0第49頁，共66頁

19、，2022年，5月20日，16點58分，星期三二列相關例9：已知一測驗中某選擇題的通過率為0.5，答對者的測驗總分平均為76分，答錯者的測驗總分平均為63分，全體被試20人總分的標準差為16，求該題的區(qū)分度？第50頁，共66頁，2022年，5月20日，16點58分，星期三（三）提高區(qū)分度的方法1、使題目的難度適中，使整個考試難度適中題目的難度適中可使區(qū)分度達到最大值，因此，使難度適中是提高區(qū)分度的重要方法。2、著重考察復雜的學習結果使高能學生得高分或低能學生得低分，使分數盡量分布在整個分數量尺上。3、掌握區(qū)分度的評價標準。第51頁，共66頁，2022年，5月20日，16點58分，星期三第三章教

20、育測驗的編制與實施一、教育測驗編制的一般程序（一）確定測驗目標1、什么是測驗目標測驗目標是測驗編制者所編制的測驗所要達到的某種具體的目的。它明確規(guī)定測驗所要達到的預期結果或標準。確定測驗目標是編制測驗的首要前提。第52頁，共66頁，2022年，5月20日，16點58分，星期三2、測驗目標與教育目標分類測驗目標的確定是以教育目標分類理論為基礎的。（1）布魯姆的認知目標領域知識：這是最低等級的認知目標。主要指記憶知識。對學過的知識和有關材料的識別和再現。理解：這是最低層次的理解。主要是對知識的掌握，其特點是脫離了“死記硬背”。應用：指的是將學過的材料（知識）應用到新的具體情景中去。分析：指能將知識

21、進行分解，找出組成要素，并分析其相互關系及組成原理。綜合：與分析相反，指把各個元素或部分組成新的整體。評價：指根據一定的標準對事物給予價值判斷。第53頁，共66頁，2022年，5月20日，16點58分，星期三布氏上述六類目標是有層次、有順序的，知識是最低層次，是最基本的要求。其余依次是理解、應用、分析、綜合、評價。評價為認知領域的最高層次，是前面五種目標的綜合并增加了價值標準。這六類目標，由簡單到復雜，由低級到高級依次排列，組成層次結構。第54頁，共66頁，2022年，5月20日，16點58分，星期三（2）我國認知目標的分類A、五分法知識理解應用分析綜合創(chuàng)造B、四分法識記理解簡單運用綜合運用第

22、55頁，共66頁，2022年，5月20日，16點58分，星期三（二）確定測驗內容測驗內容的確定，實際上也就是內容抽樣的決定和測驗目標的確立相結合而成。這一結合過程必須通過命題雙向細目表來確定。命題雙向細目表由3個要素構成：測驗目標測驗內容測驗目標和測驗內容的比例第56頁，共66頁，2022年，5月20日，16點58分，星期三比例確定標準每一內容范圍的比例應與該內容項目在整個教學領域里的相對重要性相符合，這種相對重要性可由該內容項目的教學課時的多少來體現；每一目標層次所要求的比例應當與測驗編制者認為這個目標對所受測學生的水平所具有的重要性相符。測驗雙向細目表，是編制測驗的藍圖，它詳細說明了測驗的

23、內容、測驗目標，對試題數量、考試時間安排、測驗分數分配等，都起著重要作用，因此，它是編制測驗必不可少的一環(huán)。第57頁，共66頁，2022年，5月20日，16點58分，星期三測驗材料的收集必須遵循的原則：1、測驗材料要適合測驗目的2、測驗材料要能夠代表該教材的全部內容3、測驗材料要有普遍性4、測驗材料要適合學生程度并能鑒別學生的學習水平5、測驗材料要能激發(fā)學生的進取心第58頁，共66頁，2022年，5月20日，16點58分，星期三（三）測驗設計1、測驗形式的確定2、測驗題目形式的確定3、測驗具體題型的確定與題目編制4、測驗題目量的確定5、測驗時間的確定6、測驗題目的編制先按試題的形式及內容分類從

24、易到難排列第59頁，共66頁，2022年，5月20日，16點58分，星期三二、測驗題目編制技術1、客觀性測驗題目的編制（約占60%左右）試題應反映教學內容的重點或教學過程中要求學生掌握的有意義的內容和知識點；務必使每道試題自成一體，不可互相牽扯；試題文字力求淺顯易懂，題意明確；試題的答案應該是明確且唯一的；試題應按教育目標的要求，內容不能超過受測者的知識和能力。第60頁，共66頁，2022年，5月20日，16點58分，星期三2、主觀性測驗題目的編制（大約占40%左右）試題應考查教育內容中的重要問題；把問題和實際情景結合起來，強調知識的應用；要給被試發(fā)揮自己創(chuàng)造力的余地；要使答案的復雜程度與被試的成熟程度相符。第61頁，共66頁，2022年，5月20日，16點58分，星期三三、教育測量分數的整理和分析編制頻數分布表求組中值求全矩求組數求組限畫頻數分布曲線圖第62頁，共66頁，2022年，5月20日，16點58分，星期三分析頻數曲線圖1、常態(tài)分布即成績中等的多，優(yōu)秀和差的少，俗稱“中間大，兩頭小”。學生的學業(yè)成績呈常態(tài)分布，表明能正確、客觀地反映學生真實的知識程度和能力水平。這是因為學生智力及其差異，一般是呈常態(tài)分配的；另外，教學大綱的制定、教材的編寫、考試命題