項目析培訓講座教學學習PPT

1、項目分析項目分析 項目分析：項目分析：是指在組成測驗前，一組分析被試對測驗項目反應(yīng)的統(tǒng)計方法。廣義的項目分析還包括內(nèi)容效度分析、項目編寫分析。 一般來說，測驗的項目分析含定性/定量分析 定性分析：定性分析：主要依靠編制者豐富的經(jīng)驗、所受的訓練，對項目的內(nèi)容效度、形式恰當性、項目思想性教育性、表達的簡潔性清晰性等進行分析 定量分析：定量分析：主要指用統(tǒng)計方法對項目難度、區(qū)分度、備選答案的合適度等進行分析。 意義：意義：有助于篩選、修訂項目，從而提高測驗信效度，使測驗簡潔、實用、有效、可靠。一、項目難度一、項目難度 1 1、定義：、定義： 題目難難易程度度，在能力測驗?zāi)芰y驗中稱項目的難度水平，非

2、能力(人格人格)測驗中，稱“通俗性通俗性”水平（即取自相同總體的樣本中，能在答案方向上回答該題的人數(shù)） 計算式定義計算式定義：難度（p）常以通過率通過率為指標 p=r/n100% p值大小與難度高低成反比，也稱易度易度。 適用于二值計分。2、計算方法、計算方法 （1 1）二分法計分）二分法計分的題目（客觀題，不考慮被試作答是猜測成功的機遇） 通過率通過率 例：在100個學生中，答對某題的人數(shù)為65個，則該題的難度是多少？ p=r/np=r/n =65/100=0.65 分組法：分組法： 當被試人數(shù)較多被試人數(shù)較多，先將被試依照測驗總分從高到低排列，分成三組，總分最高的27%被試為高分組（nh）

3、，總分最低的27%被試低分組（nl）。以兩組通過率的平均值作為難度 p=（ph+pl）/2=（ph/nh +pl/nl）/2 例：在370名學生中，選為高分組與低分組的學生各有100人，其中高分組有80人答對第一題，低分組有40人答對第一題，則該題的難度是： p=（rh/nh+rl/nl）/2 =（80/100+40/100）/2 =0.60、用于多重選擇題時用于多重選擇題時，項目難度受機遇影響的矯正 cp=（kp-1）/（k-1）檢驗實際難度檢驗實際難度：某題有75%的被試通過，有5個選項，則校正后的通過率應(yīng)為：cp=（5*0.75）/（5-1）=0.69比較兩個不同選項數(shù)題目的難度比較兩個

4、不同選項數(shù)題目的難度：有二道題,一題難度為0.50,五個選項，另一題難度為0.53,四個選項 x是全體考生在該題的平均分，xmax該題的滿分分數(shù) 某測驗中某題的滿分為20分，該題考生的平均得分為13.6分，則該題的難度為 p= x/xmax=13.6/20 =0.68（2）非二值計分）非二值計分3 3、測驗難度水平的確定、測驗難度水平的確定 （1）合適的項目難度水平，取決于測驗的目的、形式、性質(zhì)。 （2）在教育工作或?qū)嶋H工作教育工作或?qū)嶋H工作（效標參照測驗、掌握測驗）中，若測驗?zāi)康氖菫榱肆私獗辉囋谀撤矫娴闹R技能的掌握情況，可以不必過多考慮難度，只要教育者認為重要的內(nèi)容就可以選用，甚至那些10

5、0%100%通通過或通過率為過或通過率為0 0的項目。 （3）用于選拔錄用選拔錄用人員，就應(yīng)該將項目的難度控制在接近錄取率接近錄取率左右。 4）用于診斷，則診斷，則p值高值高，只有少數(shù)不能通過 （5）大多數(shù)測驗，都希望能準確測量過個體差異。通過率接近0或1，就無辨別力；越接近0.5，越有區(qū)分力。 （6）每道題都是0.5，一方面不太可能做到；一方面，只有項目間相關(guān)為0得分才符合正態(tài)分布，而實際上個項目都有某種程度的相關(guān)。一般，一般，把測驗的平均難度控制在把測驗的平均難度控制在0.50.5，而每道題可在，而每道題可在0.3-0.3-0.70.7中波動中波動。 （7）選擇題，選擇題，p p值一般應(yīng)大

6、于概率水平值一般應(yīng)大于概率水平。等于概率，說明題目可能過難或題意不清，被試者憑猜測作答；小于概率無意義，說明題目質(zhì)量有問題。二選一，p值0.75最為合適；四選一， p值0.63最為合適。 （8）分數(shù)分布是常態(tài)的，測題難度就恰當4 4、難度的等距變換、難度的等距變換 （1 1）通過率屬順序變量，不具相等單位）通過率屬順序變量，不具相等單位；樣本量大測驗分數(shù)近正態(tài)，可據(jù)正態(tài)曲線表可據(jù)正態(tài)曲線表，將p作為正態(tài)曲線下的面積，轉(zhuǎn)換成具有相等單位的等距量數(shù)（轉(zhuǎn)換成具有相等單位的等距量數(shù)（z z分數(shù)）。分數(shù)）。z(標準差)yp.00.39894.00000.50.35207.191461.00.24197.

7、341341.50.12952.433191.96.05844.475002.00.05399.477252.50.01753.493792.58.01431.495063.00.00443.498653.50.00087.499773.99.00014.49997 p y 0 z p z 0.0013 +3 250.0228 +2 210.1600 +1 170.5000 0 130.9772 -2 50.8400 -1 90.9987 -3 1（3）美國教育測驗中心采用美國教育測驗中心采用的難度指標的難度指標=13+4=13+4z z（以消除正負號和小數(shù)點） 為常態(tài)化等距難度值，z表示p轉(zhuǎn)

8、換得來的標準分數(shù) 并提出標準正態(tài)分數(shù)的全并提出標準正態(tài)分數(shù)的全距一般包括距一般包括6 6個標準差，即難個標準差，即難度指數(shù)的全距由度指數(shù)的全距由1 1至至2525，值，值越大，難度越高。平均數(shù)為越大，難度越高。平均數(shù)為1313，標準差為標準差為4 4ets難度指標等距難度指標等距變換的部分數(shù)值變換的部分數(shù)值5 5、難度對測驗的影響、難度對測驗的影響 （1）難度影響分數(shù)的分布形態(tài) 樣具有代表性的被試，接受中等難度測驗，其分數(shù)呈正態(tài)分布。 測驗項目難度普遍較大，被試得分普遍較低，測驗分數(shù)集中在低段，其分數(shù)分布呈正偏態(tài)正偏態(tài)；反之則呈負偏態(tài)負偏態(tài)。 一般能力測驗的平均難度在0.50 （2）難度影響測

9、驗分數(shù)的離散程度及信度 一般一般p=0.50p=0.50，測題有最佳的離散程度，測題有最佳的離散程度（分數(shù)分布呈正態(tài)，且全距較大）、信度、區(qū)分度信度、區(qū)分度。 在測題中被試之間相互配對的可能性越多，就越在測題中被試之間相互配對的可能性越多，就越有利于準確地鑒別被試的不同能力有利于準確地鑒別被試的不同能力。 如，100個學生參加考試，若p=0.50的題目，則對錯各50，此題有50*50次配對比較 p=0.70 30 70 = 2100 p=0.98 2 98 = 196二、項目的區(qū)分度二、項目的區(qū)分度 1、定義： 項目的區(qū)分度即鑒別力，指測驗項目對被試心理品質(zhì)水平差異的區(qū)分能力。 2、意義 （1

10、）具有良好區(qū)分度的項目，能將不同水平的被試區(qū)分開來，實際水平高的被試的分高。 （2）測量專家把試題的區(qū)分度稱為測驗是否具有效度的指示器指示器，并作為評價項目質(zhì)量，篩選項目的主要指標與依據(jù)。 （3）評價測驗項目區(qū)分度高低依賴于對被試水平的準確測量，常稱作準則分數(shù)。測驗項目區(qū)分度的準則分數(shù)更多的是用測驗總分，稱作內(nèi)部準則。 （4）區(qū)分度的取值范圍-1.00-+1.00。通常d為正值，稱積極區(qū)分；為負值為消極區(qū)分；0為無區(qū)分。具有積極區(qū)分作用的項目，d值越大，區(qū)分的效果越好。3 3、區(qū)分度的計算、區(qū)分度的計算 （1）鑒別力指數(shù)（index of discrimination，d） 最常用、最簡單。當

11、效標成績（測驗總分）是連續(xù)變量，被試按總分高低排列，可從兩端各取27%的被試，分別計算出每個題目上各自的通過率。 d=ph-pl 如，當某一個項目上，高分組和地分組的通過率分別為0.78，0.33，則d為0.45 極端組的劃分：極端組的劃分：樣本大于100或分數(shù)分布式正態(tài)，一般按高低分組各取27%,或25-33%均可。 樣本小于100，可取50%分上下兩半鑒別指數(shù)與測題的評價鑒別指數(shù)與測題的評價 （1965，美，艾伯爾） _ d 測題評價 - 0.40以上 非常優(yōu)良 0.30-0.39 良好,如能修改更好 0.20-0.29 尚可,但必須修改 0.20以下 劣,淘汰 -一般而言，一般而言，d

12、0.30，該題目的該題目的鑒別度是鑒別度是可以接受可以接受的的(2)(2)、方差法、方差法 被試在某一試題上的得分越分散，方差越大，則該題的鑒別力就越大。 s s2 2= =（x xi i-x-x）2 2/n/n x xi i：第i個被試在該題的得分； 當n30（實際的項目分析不能小于30） s s2 2= =（x xi i-x-x）2 2/ /（n-1n-1）(3)(3)、項目與總分相關(guān)法、項目與總分相關(guān)法 一般以總分來衡量被試能力高低，項目與總分有一致性，項目與總分相關(guān)高則項目的鑒別力高。 、點二列相關(guān)：、點二列相關(guān)： 適用條件：適用條件：項目是二值計分，總分是連續(xù)變量 公式：公式： =

13、答對該題的被試在總分上的平均分 = 答錯該題的被試在總分上的平均分 p = 該題的難度 q = 1-p st = 全體被試的總分標準差 注意：注意：求出rpbi后，需檢驗其是否達到顯著性水平。方法有積差相關(guān)法、t檢驗法（比較二分變量對偶的兩組連續(xù)變量的平均數(shù)的差異是否顯著，如平均數(shù)（xp和xq）的差異顯著，則相關(guān)系數(shù)也顯著）學生123456789101112131415總分90 8180787770696555504942353110某題1011111000101001515個學生某測題的得分與總分情況個學生某測題的得分與總分情況、二列相關(guān)、二列相關(guān) xp xqpq st yrb = 適用于二

14、列連續(xù)測量變量，其中一個被人為分成兩類。如項目分數(shù)，效標或測驗總分被人為分成：對、錯，高、低，及格、不及格等。4) 因素分析因素分析 分析測題在一個因素上的負荷分析測題在一個因素上的負荷,負荷越大說負荷越大說明越有區(qū)分度明越有區(qū)分度,一般在一般在0.30以上才是可以接受的以上才是可以接受的5) 相關(guān)相關(guān)：不要求二分名義變量成正態(tài)分布，兩個變量都是二分名義變量 ad-bc (a+b)(c+d)(a+c)(b+d) r= （6）積差相關(guān)法 對于論文題目，得分有連續(xù)性，被試團體較大時，項目分數(shù)分布呈正態(tài)分布。可將項目得分與效標分數(shù)求積差相關(guān)系數(shù)以得到項目的區(qū)分度。4、區(qū)分度與難度的關(guān)系、區(qū)分度與難度

15、的關(guān)系 （1 1）難度和區(qū)分度是相對的，是針對）難度和區(qū)分度是相對的，是針對一定團體而言。一般來說，相應(yīng)難度的項一定團體而言。一般來說，相應(yīng)難度的項目對相應(yīng)水平被試區(qū)分度高。較難、中等、目對相應(yīng)水平被試區(qū)分度高。較難、中等、較易的項目分別對高、中、低水平的被試較易的項目分別對高、中、低水平的被試區(qū)分度高。這不與中等難度項目的區(qū)分度區(qū)分度高。這不與中等難度項目的區(qū)分度最高的說法相矛盾。最高的說法相矛盾。 （2 2）由于人的多數(shù)心理特征呈正態(tài)分）由于人的多數(shù)心理特征呈正態(tài)分布，所以當需要人作最大程度的區(qū)分時，布，所以當需要人作最大程度的區(qū)分時，項目難度的分布也以正態(tài)為好（特難、特項目難度的分布也以

16、正態(tài)為好（特難、特易的少，中等的多），且平均水平保持在易的少，中等的多），且平均水平保持在0.500.50左右。但左右。但p p值接近值接近0.500.50并不保證項目并不保證項目有高的鑒別力，只能說在統(tǒng)計上已經(jīng)沒有有高的鑒別力，只能說在統(tǒng)計上已經(jīng)沒有限制了限制了通過率pd最大值1.000.000.900.200.700.600.600.800.501.000.400.800.300.600.100.200.000.00難度難度p p與區(qū)分度與區(qū)分度d d的關(guān)系的關(guān)系5 5、區(qū)分度的相對性、區(qū)分度的相對性 （1 1）不同的計算方法，所得區(qū)分值不同。）不同的計算方法，所得區(qū)分值不同。在分析同一個

17、測驗時，各個項目的區(qū)分度值要采用用一種指標，否則不便分析比較。 （2 2）樣本容量大小影響相關(guān)法區(qū)分度值的大小。）樣本容量大小影響相關(guān)法區(qū)分度值的大小。一般樣本量越小，其統(tǒng)計值越不可靠。應(yīng)進一步用顯著性檢驗法，來檢驗區(qū)分度值是否顯著。 （3 3）分組標準影響鑒別指數(shù)值（）分組標準影響鑒別指數(shù)值（d d）。）。分組越極端越大 （4 4）被試樣本的同質(zhì)性程度影響區(qū)分度值的）被試樣本的同質(zhì)性程度影響區(qū)分度值的大小。大小。被試越同質(zhì)，區(qū)分度越??；被試越異質(zhì)，區(qū)分度越大 （5 5）評價項目的有效性時，應(yīng)考慮到測驗的）評價項目的有效性時，應(yīng)考慮到測驗的目的、功能以及被試團體的總分水平，不能將區(qū)目的、功能以

18、及被試團體的總分水平，不能將區(qū)分度值作為篩選試題的絕對標準。分度值作為篩選試題的絕對標準。三、猜測問題與猜測率三、猜測問題與猜測率 （一）客觀測驗題中的猜測問題與猜測率 1、被試憑猜測選擇正確答案的機會是1/k（k是每題的選項的數(shù)目）。 2、由猜測給測量帶來誤差，叫做猜測誤差。猜測誤差來源有： （1 1）相對于不猜引起的誤差）相對于不猜引起的誤差： 100道4選1，每題1分的考試中，甲乙都只會做50分的題，甲知之為知之不知為不知50分，乙知其不可而為之，50+50*0.25=50+12.5=62.5分 （2 2）是否猜得對引起的誤差）是否猜得對引起的誤差。猜測過程中因隨機得分情況不同所引起的誤

19、差。（二）項目難度受猜測影響的校正（二）項目難度受猜測影響的校正 1、全體被試在某項目上通過率的校正難度全體被試在某項目上通過率的校正難度公式 cp=（kp-1）/（k-1） 或cp=p-q/（k-1） 某個被試參加由多個項目組成的測驗得分校正某個被試參加由多個項目組成的測驗得分校正 s=r-w/（k-1） s校正分，r答對項目數(shù)，w答錯數(shù)，k項目數(shù) 例例，某被試參加由100道四重選擇題組成的測驗，測驗結(jié)果答對79題，答錯21題，該被試的實得分數(shù)為（每題1分） s=r-w/（k-1） =79-21/（4-1） =722、優(yōu)點 p88 （1）可避免降低測驗的信度：可用答錯一題倒扣一定分數(shù)，使被試

20、不敢盲目猜測 （2）校正后的得分可反映被試的真正水平和能力。 （3）在教育測驗中，可培養(yǎng)被試誠實的美德 （4）比較公平3、缺點 （1）公式基本假設(shè)不成立。多數(shù)情況，被試先舍棄部分誘答，非盲目猜測。答錯可能是觀念模糊、記憶錯誤、粗心大意 （2）只要被試能答完全部試題，則猜測校正無實質(zhì)作用。校正只是進行線性變換成相對分數(shù) （3）不采用猜測校正對信度并無重大影響。據(jù)臺灣學者黃國彥研究（1977）：鼓勵被試猜測，其影響只有4%左右，此項缺點可通過增加試題的數(shù)目來提高測驗信度 （4）有時會出現(xiàn)無法解釋現(xiàn)象。一個學生答對的題數(shù)等于或少于答錯的題數(shù)。校正后會得到零分或負分。 （5）在實際生活中，經(jīng)常缺乏充分

21、的證據(jù)與資料，需要憑借部分知識來判斷，且進行合理猜測是值得培養(yǎng)的習慣。 在答題時間充裕，備選答案在4個或4個以上的選擇題。沒有必須進行校正記分。 總結(jié)：項目分析步驟總結(jié)：項目分析步驟1、選取有代表性的樣組實施測驗。2、計算每個人的總分,然后按總分分組。3、計算高分組和低分組通過每一題的比率。4、分別求出每一測題的難度和鑒別指數(shù)。 5 5、選項分析、選項分析：選項設(shè)置不當會降低題目的難度,所以也要對選項作分析,看有無異常情況。 通常判斷選項好壞有以下幾點: 1) 正確答案無人選或少于其它選項的人數(shù) 2) 錯誤答案選的人太多 3) 正確選項高分組選擇人數(shù)少于低分組 4) 錯誤選項上高分組選擇人數(shù)多于低分組 5) 選項無人選擇 6) 未答人數(shù)較多 6 6、備選答案的反應(yīng)模式、備選答案的反應(yīng)模式 1）如正確的選項被所有被試選擇，則說明該題目太容易或者題目中可能提供了某種暗示； 2）如某個錯誤答案沒有一個被試選擇，說明該項目不具迷惑性，錯得過于明顯；一般