測驗(yàn)的項(xiàng)目分析解析課件

1、測驗(yàn)質(zhì)量信 度效 度測驗(yàn)項(xiàng)目如何分析項(xiàng)目的好壞？篩選題目編制測驗(yàn)第1頁，共65頁。第六章 測驗(yàn)的項(xiàng)目分析(Item analysis)第2頁，共65頁。項(xiàng)目分析的內(nèi)涵項(xiàng)目分析是對測驗(yàn)中每個題目的質(zhì)量進(jìn)行的分析，包括質(zhì)的分析和量的分析。質(zhì)的分析:主要由專家對項(xiàng)目的內(nèi)容和形式進(jìn)行分析，包括考察內(nèi)容效度、題目編寫的恰當(dāng)性和有效性等。量的分析：是通過計(jì)算項(xiàng)目的一些統(tǒng)計(jì)量作為項(xiàng)目質(zhì)量高低的指標(biāo)，包括項(xiàng)目的難度和區(qū)分度。目的：對項(xiàng)目進(jìn)行篩選和修訂，提高測驗(yàn)的信度和效度。 如題庫的建立第3頁，共65頁。測驗(yàn)質(zhì)量信 度效 度項(xiàng)目質(zhì)量難 度篩選題目編制測驗(yàn)區(qū)分度目的第4頁，共65頁。教學(xué)目標(biāo)通過本章的學(xué)習(xí)可解決

2、三個問題： 一、掌握什么是測驗(yàn)的難度，如何計(jì)算測驗(yàn)的難度（重點(diǎn)） 二、掌握什么是測驗(yàn)的區(qū)分度，如何計(jì)算測驗(yàn)的區(qū)分度，難度和區(qū)分度的關(guān)系怎樣（重點(diǎn)）三、掌握項(xiàng)目分析的其他特殊形式 第5頁，共65頁。第一節(jié) 項(xiàng)目的難度一、難度的含義1.難度（difficulty）指測驗(yàn)項(xiàng)目的難易程度。2.一個測驗(yàn)項(xiàng)目，如果大部分被試都能答對，該項(xiàng)目的難度就??；如果大部分被試都不能答對，則該項(xiàng)目的難度就大。3.難度過大或過小的題目，都不能很好地將不同水平的被試區(qū)分開來，因此對常模參照測驗(yàn)的價值就不大 。第6頁，共65頁。二、難度的計(jì)算方法 難度通常以答對百分比作指標(biāo)。 （一）二分法記分的項(xiàng)目 1.通過率若試題為二分

3、法記分項(xiàng)目（即答對給1分，答錯記0分）時,難度的指標(biāo)通常以通過率表示，即以答對或通過該題的人數(shù)的百分比來表示： 式中，P代表項(xiàng)目的難度，N代表全體被試者人數(shù)，R為答對或通過該項(xiàng)目的人數(shù)。 P值越大，則難度越??；反之越難。第7頁，共65頁。例題10名被試在某選擇題上的得分如下，試計(jì)算該題的難度。被試12345678910得分1100110110第8頁，共65頁。2.極端分組法當(dāng)被試人數(shù)較多時，則可根據(jù)測驗(yàn)總成績將被試分成三組：分?jǐn)?shù)最高的27%被試者為高分組（NH）,分?jǐn)?shù)最低的27%被試者為低分組（NL）。分別計(jì)算高分組和低分組的通過率，以兩組通過率的平均值作為每一題的難度。公式為：PH 、 PL

4、 分別代表高分組和低分組的通過率。第9頁，共65頁。例題選取有代表性的試卷370份，按照總分高低排序，將從最高分向下的27%（100人）作為高分組，將從最低分向上的27%（100人）作為低分組。某題的答題情況如下表。試計(jì)算該題的難度。組別選擇各項(xiàng)答案的人數(shù) A B C D 未答正確答案高分組低分組 8 36 34 21 1 4 30 46 20 0B第10頁，共65頁。練習(xí)題練習(xí)題1：80名學(xué)生參加了某個測驗(yàn)，答對第3道選擇題的有64人，請問該題目的難度是多大？練習(xí)題2：100個學(xué)生參加了某測驗(yàn)，其中某選擇題的答題情況如下表所示，計(jì)算該題目的難度。選項(xiàng)高分組低分組難度A*BCDE5150073

5、71205第11頁，共65頁。注意：標(biāo)準(zhǔn)化測驗(yàn)一般采用27%為分組點(diǎn)。也可以取總?cè)藬?shù)的1/4或1/3（即25%或33%）為分組點(diǎn)。當(dāng)樣本小于100時，一般選50%作為分界點(diǎn)。 第12頁，共65頁。（二）非二分法計(jì)分的難度當(dāng)項(xiàng)目是多重計(jì)分時，難度等于平均分與滿分之比。 P =試題的難度 =全體被試在該題上的平均分?jǐn)?shù) =該題的滿分分?jǐn)?shù)第13頁，共65頁。例題問答題滿分為15分，10名被試在該題的得分如下。試計(jì)算該題的難度。被試12345678910得分131510109111091110第14頁，共65頁。問 題有A、B兩個測題，項(xiàng)目A為四重選擇題，通過率為0.58；項(xiàng)目B為五重選擇題，通過率為0

6、.56，能否說項(xiàng)目A更容易，項(xiàng)目B更難？第15頁，共65頁。（三）難度的校正 由于選擇題允許猜測，所以通過率可能因機(jī)遇作用而變大。備選答案的數(shù)目越少，機(jī)遇的作用越大，越不能反映測驗(yàn)的難度。為了平衡機(jī)遇對難度的影響，吉爾福特提出了一個難度的校正公式：CP=矯正后的難度P=未矯正的難度K=測題的選項(xiàng)數(shù)目第16頁，共65頁。例 題1.一個五擇一的項(xiàng)目，其通過率為0.50，則排除猜測的影響，矯正后的難度為多少？2.有A、B兩個測題，項(xiàng)目A為四重選擇題，通過率為0.58；項(xiàng)目B為五重選擇題，通過率為0.56，試比較兩題的難度。第17頁，共65頁。P值的范圍在0-1之間。P值越大，題目越容易；P值越小，題

7、目越難。P值與我們通常理解的難度意義正好相反，也有人將稱它為容易度。P值的范圍及其意義第18頁，共65頁。三、測驗(yàn)難度水平的確定 進(jìn)行難度分析的主要目的是為了篩選項(xiàng)目，項(xiàng)目的難度多高合適，取決于測驗(yàn)的目的、性質(zhì)以及項(xiàng)目的形式。一般準(zhǔn)則：平均難度在0.50左右。 1. 成就或?qū)W績測驗(yàn)：不考慮難度（Why?）目的是考察教學(xué)內(nèi)容的掌握情況。只要是必須掌握的內(nèi)容，不論其難度都可以作為考試項(xiàng)目，其難度可以從0-1之間變動。2.選拔性、競賽性考試：其項(xiàng)目難度應(yīng)接近錄取率。思考：若選拔率為15，題目的難度該多少？若測驗(yàn)的目的在于選出20%的差生進(jìn)行特別輔導(dǎo)，題目的難度該多少？第19頁，共65頁。3.選擇題的

8、難度：P值要大于猜測概率。4.人格測驗(yàn)的難度：不存在難度問題，于此相應(yīng)的指標(biāo)是“通俗性”。 5.對于一般性測驗(yàn)而言，項(xiàng)目難度的一般標(biāo)準(zhǔn)應(yīng)在0.3-0.7之間；第20頁，共65頁。四、難度的等距轉(zhuǎn)換使用項(xiàng)目難度等距量表的理由： 測題的難度一般用答對某題的人數(shù)的百分比表示。百分量表是等級量表，而非等距量表。也就是說它只表示事物之間大小的關(guān)系，但沒有相等的單位。用百分比P值作為難度指標(biāo)，實(shí)際上是在順序量表的水平上衡量題目的難度。 難度的等級量表是反序而行的，P值越大，項(xiàng)目越容易，這與我們的日常概念是相反的。第21頁，共65頁。當(dāng)樣本的容量很大時，測驗(yàn)分?jǐn)?shù)接近正態(tài)分布。將某題的通過率P視為正態(tài)分布曲線

9、下的面積；查正態(tài)分布表找出正態(tài)曲線右側(cè)面積所對應(yīng)的Z分?jǐn)?shù)。就可以將以等級量表表示的P值轉(zhuǎn)換為具有相等單位的等距量表Z值。第22頁，共65頁。第23頁，共65頁。（一）Z值Z是均值為0、標(biāo)準(zhǔn)差為1的標(biāo)準(zhǔn)分?jǐn)?shù)。Z在-3到3之間變動。通過查閱正態(tài)分布表，可以從P值查到Z值。Z值越大，題目越難；Z值越小，題目越容易。這一點(diǎn)與P值的含義相反。試題P值Z值1230.700.600.50-0.52-0.250第24頁，共65頁。（二）值美國教育測驗(yàn)服務(wù)中心（ETS）的難度指標(biāo)：=13+4Z值是對Z值的線性轉(zhuǎn)化，平均數(shù)為13，標(biāo)準(zhǔn)差為4。在1與25之間變動注意：值越大，難度越大；值越小，難度越小。這一點(diǎn)也與P

10、值的含義相反。第25頁，共65頁。 P=0.9987時, Z=3 , 故=13+4(3)=1 P=0.9772時, Z=2 , 故=13+4(2)=5 P=0.8413時, Z=1 , 故=13+4(1)=9 P=0.5000時, Z= 0 , 故=13+ 4(0) =13 P=0.1587時, Z= + 1 , 故=13+4(+1)=17 P=0.0228時, Z= + 2 , 故=13+4(+2)=21 P=0.0013時, Z= + 3 , 故=13+4(+3)=25 由此可見，常用的值域介于125之間，值越大，試題越難； 值越小，試題越容易。 第26頁，共65頁。例 題如果某測驗(yàn)兩個題

11、目的難度分別是0.50和0.60，其對應(yīng)的標(biāo)準(zhǔn)分?jǐn)?shù)分別是：0和-0.25，則它們轉(zhuǎn)換為等距量表的難度值是多少？第27頁，共65頁。五、項(xiàng)目難度對測驗(yàn)的影響1、項(xiàng)目難度影響測驗(yàn)的編排 一般根據(jù)試題的難度，按照由易到難的順序編排。 2、項(xiàng)目難度影響測驗(yàn)分?jǐn)?shù)的分布形態(tài) 整個測驗(yàn)的難度中等，測驗(yàn)的分?jǐn)?shù)接近正態(tài)分布； 測驗(yàn)的難度偏大，則大多數(shù)被試集中在低分端，“正偏態(tài)分布”； 測驗(yàn)的難度過低，則大多數(shù)被試集中在高分端，“負(fù)偏態(tài)分布”。第28頁，共65頁。常態(tài)分布：平均難度在0.5左右負(fù)偏態(tài)分布：測驗(yàn)容易，P值大正偏態(tài)分布：測驗(yàn)過難，P值小ACB第29頁，共65頁。3、項(xiàng)目難度影響測驗(yàn)分?jǐn)?shù)的離散程度 題目

12、難度過大或過小，測驗(yàn)分?jǐn)?shù)的離散程度??； 題目難度在0.50左右時，分?jǐn)?shù)分布的離散程度最大。4、項(xiàng)目難度影響測驗(yàn)信度 當(dāng)測驗(yàn)難度的平均值在0.50左右時，分?jǐn)?shù)的分布范圍最廣，以相關(guān)系數(shù)為基礎(chǔ)的信度也變得相對較高。5、項(xiàng)目難度影響區(qū)分度第30頁，共65頁。第二節(jié) 項(xiàng)目的區(qū)分度一、區(qū)分度的含義1.區(qū)分度(discrimination)指測驗(yàn)項(xiàng)目對被試心理品質(zhì)水平差異的區(qū)分能力或鑒別力。2.區(qū)分度良好的項(xiàng)目，能夠?qū)⒏咚脚c低水平的被試區(qū)分開來。即高水平個體在該項(xiàng)目上得分高，低水平被試在該項(xiàng)目上得分低。3.項(xiàng)目分析中，一般采用被試的測驗(yàn)總分作為判斷其水平的效標(biāo)分?jǐn)?shù)，即內(nèi)部效標(biāo)。也可以采取外部效標(biāo)。第31

13、頁，共65頁。區(qū)分度一般用D表示。D值在-11之間變動。D為正值時，稱為積極區(qū)分；D為負(fù)值時，為消極區(qū)分；D為0時稱作無區(qū)分作用。D值越大，區(qū)分的效果越好嗎？區(qū)分度的大小是測驗(yàn)是否有效的指示器，常常能夠決定是否刪除或保留一個項(xiàng)目，它可以作為篩選項(xiàng)目的一個主要指標(biāo)。區(qū)分度的范圍及其意義第32頁，共65頁。項(xiàng)目特征曲線（item characteristic curve, ICC）項(xiàng)目特征曲線描述了效標(biāo)分?jǐn)?shù)不同的被試在該項(xiàng)目上的通過率。曲線坡度越陡，鑒別力越好，預(yù)測的誤差越小。率概的目項(xiàng)答回確正1.000.000.50低 中 高 能力鑒別力較好第33頁，共65頁。低 中 高能力率概的目項(xiàng)答回確正1

14、.000.000.50低 中 高能力率概的目項(xiàng)答回確正1.000.000.50鑒別力為負(fù)鑒別力較低第34頁，共65頁。率概的目項(xiàng)答回確正1.000.000.50低 中 高能力ABC難度不同的3個項(xiàng)目的ICC第35頁，共65頁。率概的目項(xiàng)答回確正1.000.000.50低 中 高能力ABCD多項(xiàng)選擇中每個選項(xiàng)的ICC第36頁，共65頁。二、區(qū)分度計(jì)算 項(xiàng)目區(qū)分度可以有不同的計(jì)算方法，我們要根據(jù)測驗(yàn)的目的以及測驗(yàn)分?jǐn)?shù)的特征來選擇合適的方法。1、鑒別指數(shù)法（適合0、1計(jì)分） 一個項(xiàng)目的鑒別指數(shù)指總分高分組與低分組在該項(xiàng)目上的通過率之差。 D = PH PL D鑒別指數(shù)PH高分組通過率PL低分組通過率

15、D=1D=0 各表示什么意思？D=-1第37頁，共65頁。例題選取有代表性的試卷370份，按照總分高低排序，將從最高分向下的27%（100人）作為高分組，將從最低分向上的27%（100人）作為低分組。某題的答題情況如下表。試計(jì)算該題的鑒別指數(shù)。組別選擇各項(xiàng)答案的人數(shù)A B C D 未答正確答案高分組低分組8 36 34 21 14 30 46 20 0B第38頁，共65頁。選答人數(shù)正確答案B鑒別指數(shù)D？組別ABCD未答高分組884530低分組183522250第39頁，共65頁。鑒別指數(shù)的含義D為1時，表明高分組被試全部通過，而低分組被試全部失?。籇為-1時，含義相反；D為0時，表明高分組和低

16、分組通過率一樣。作為鑒別指數(shù)的D值的含義，是高分組比低分組通過率高出的百分比程度。第40頁，共65頁。鑒別指數(shù)的一般標(biāo)準(zhǔn)（美.艾伯爾）鑒別指數(shù)D題目評價0.4以上優(yōu)0.30-0.39良好，如能修改，則更佳。0.20-0.29尚可，須修改在0.19以下劣，必須淘汰。第41頁，共65頁。極端組的劃分，見P79第42頁，共65頁。2、相關(guān)法鑒別指數(shù)只考慮了高分組和低分組的情況，浪費(fèi)了測驗(yàn)中的許多信息，統(tǒng)計(jì)結(jié)果的精確度與分析全體被試的數(shù)據(jù)要差一些。在大規(guī)?；驑?biāo)準(zhǔn)化的測驗(yàn)中，大多采用相關(guān)法來計(jì)算項(xiàng)目區(qū)分度?？梢杂袃煞N計(jì)算途徑：其一，計(jì)算項(xiàng)目得分與測驗(yàn)總分的相關(guān)系數(shù)；其二，計(jì)算項(xiàng)目得分與外部效標(biāo)的相關(guān)系數(shù)

17、。對相關(guān)系數(shù)進(jìn)行顯著性檢驗(yàn)。相關(guān)越高，項(xiàng)目區(qū)分度越高。第43頁，共65頁。數(shù)據(jù)性質(zhì)與計(jì)算相關(guān)系數(shù)的方法相關(guān)種類 變量1變量2公式點(diǎn)二列相關(guān)真正的二分變量，類別數(shù)據(jù)常態(tài)分布的連續(xù)變量二列相關(guān)常態(tài)分布的連續(xù)變量，但人為地分為兩個類別。常態(tài)分布的連續(xù)變量相關(guān)真正的二分變量，類別數(shù)據(jù)真正的二分變量，類別數(shù)據(jù)積差相關(guān)連續(xù)變量，正態(tài)分布連續(xù)變量，正態(tài)分布見第四章公式.第44頁，共65頁。（1）點(diǎn)二列相關(guān) 一個是二分變量（如0、1計(jì)分），另一個是正態(tài)分布的連續(xù)變量。第45頁，共65頁。例題學(xué)生12345678總分9087838080777168項(xiàng)目得分11101000第46頁，共65頁。點(diǎn)二列相關(guān)系數(shù)的顯著

18、性檢驗(yàn) 用相關(guān)法計(jì)算出來的區(qū)分度，不能采用艾伯爾的鑒別指數(shù)評價標(biāo)準(zhǔn)，而是要進(jìn)行顯著性檢驗(yàn)才能確定其意義。點(diǎn)二列相關(guān)系數(shù)的檢驗(yàn)有兩種方法：（1）采用積差相關(guān)系數(shù)的檢驗(yàn)方法進(jìn)行檢驗(yàn)。查閱積差相關(guān)系數(shù)的檢驗(yàn)表 。（2）用t檢驗(yàn)，比較 與 是否存在顯著差異。如果兩者差異顯著，則相關(guān)系數(shù)也顯著。 第47頁，共65頁。（2）二列相關(guān)兩個變量都是常態(tài)分布的連續(xù)變量，但其中一個被人為分為兩個類別。 例如，項(xiàng)目是多重記分的連續(xù)變量，總分（效標(biāo)）也是連續(xù)變量，但總分被人為地分為及格與不及格?；蛘撸偡质沁B續(xù)變量，項(xiàng)目得分也是連續(xù)變量，但項(xiàng)目得分被人為地分成對、錯兩類（如計(jì)算題，分成全對得5分，其他分?jǐn)?shù)計(jì)0分）。

19、第48頁，共65頁。二列相關(guān)系數(shù)的計(jì)算公式 公式中只有y不同于點(diǎn)二列相關(guān)系數(shù)的公式，它可以根據(jù)P的值，通過查正態(tài)分布表獲得。第49頁，共65頁。例題學(xué)生12345678總分9087838080777168作文得分3635332824262122通過與否11111100第50頁，共65頁。（3）相關(guān)兩個變量都是二分變量。有時連續(xù)變量也可以轉(zhuǎn)化為二分變量，通過相關(guān)計(jì)算。 通過四格表來計(jì)算相關(guān)。r= 用卡方檢驗(yàn)r的顯著性第51頁，共65頁。（4）積差相關(guān)兩個變量都是正態(tài)分布的連續(xù)變量。 r =第52頁，共65頁。三、區(qū)分度與難度的關(guān)系項(xiàng)目難度P鑒別指數(shù)D1.000.900.700.600.500.4

20、00.300.100.000.000.200.600.801.000.800.600.200.00第53頁，共65頁。0.200.40.60.81.0P值1.00.80.60.40.2D的最大值第54頁，共65頁。1.當(dāng)難度為0.50時，該項(xiàng)目的潛在鑒別指數(shù)D最大，而難度分布在兩端（0或1）時，潛在的鑒別指數(shù)D最小。2.較難的項(xiàng)目對高水平的被試的區(qū)分度高，較易的項(xiàng)目對低水平被試區(qū)分度高，中等難度的項(xiàng)目對中等水平被試的區(qū)分度高。是不是測驗(yàn)中所有項(xiàng)目的難度都要控制在0.50左右呢 ?3.實(shí)際編制測驗(yàn)時，最好使項(xiàng)目的難度分布廣一些，梯度大一些，容易：中等難度：難=3：5：2，使整個測驗(yàn)的難度呈正態(tài)分

21、布，且平均難度保持在0.50左右。常模測驗(yàn)中要求項(xiàng)目難度保持在中等水平，可以最大程度地區(qū)分被試的水平差異。第55頁，共65頁。四、區(qū)分度的相對性1、不同計(jì)算方法得到的區(qū)分度指標(biāo)不同。 鑒別指數(shù)法和相關(guān)法求出的區(qū)分度含義不同，所得數(shù)值也不相同。2、樣本容量大小影響相關(guān)法區(qū)分度的大小。 樣本容量越小，用相關(guān)法計(jì)算出來的相關(guān)系數(shù)越不可靠。樣本容量越大，相關(guān)系數(shù)越可靠。3、分組標(biāo)準(zhǔn)影響鑒別指數(shù)。 25%、27%、33%、50%，分組越極端，D值越大。 4、被試團(tuán)體的性質(zhì)影響區(qū)分度大小。 項(xiàng)目的區(qū)分度是針對不同被試而言的。比如同一份測量試卷，讓自考學(xué)生和全日制心理系大學(xué)生做，項(xiàng)目的區(qū)分度會有很大不同。第

22、56頁，共65頁。第三節(jié) 猜測問題與猜測率一、猜測誤差1.猜相對于不猜的誤差2.是否猜對引發(fā)的誤差二、猜測的校正1.被試群體難度校正： CP=(KP-1)/(K-1)2.單個被試分?jǐn)?shù)校正： S=R-W/(K-1)第57頁，共65頁。練習(xí)題1、100個人參加一個測驗(yàn)，有75人答對一個5選1的選擇題，請問這個選擇題的難度是多少？若對該選擇題進(jìn)行猜測校正，校正后的難度又是多少？2、一個5選1題目的難度值是0.61，另一個4選1題目的難度值為0.64，經(jīng)過猜測校正后，請問哪一個題目的難度值更大？3.某被試參加由100道四重選擇題組成的測驗(yàn)，測驗(yàn)結(jié)果是答對82道題，答錯18道題，該被試的實(shí)得分?jǐn)?shù)是多少？（每題1分）答案：1、 0.75 ，0.69；2、0.51 0.52；3、76分第58頁，共65頁。三、關(guān)于猜測校正的爭論（一）支持的觀點(diǎn)1.可避免降低測驗(yàn)的信度2.可反映被試的真實(shí)水平3.可培養(yǎng)被試誠實(shí)的美德4.比較公平第59頁，共65頁。三、關(guān)于猜測校正的爭論（二）反對的觀點(diǎn)1.校正公式的基本假設(shè)不成立2.若被試作答所有試題，校正分?jǐn)?shù)無實(shí)質(zhì)作用3.不采用猜測校正對信度無重大影響4.可能