探討項目分析

探討項目分析本章主要內容項目的難度分析項目的鑒別力（區(qū)分度）分析項目難度與區(qū)分度的關系項目難度與信、效度的關系項目區(qū)分度與信、效度的關系項目分析實例

項目分析是對測驗中每個測題的質量進行的分析，包括質的分析和量的分析。質的分析就是對項目質量的邏輯分析，比如項目對所測內容的代表性，即內容效度。量的分析是通過計算項目的一些統(tǒng)計量作為項目質量高低的指標，包括項目的難度和區(qū)分度。前面講到項目的難度會影響到測驗的信、效度。進行項目分析的目的就是通過改進項目的統(tǒng)計量來提高測驗的信、效度。題庫第一節(jié)項目的難度分析1、定義2、難度的計算方法3、項目難度對測驗的影響4、測驗難度水平的選擇一、定義

難度是表示題目難易程度的指標，在能力測驗中，它指被試在某個題目上的通過率或得分率。二、估計測題難度的方法1、對0，1記分的題目，計算公式：

P=R/NR：答對該題的人數(shù)N:參加測驗的總人數(shù)隨堂練習

設有90個人參加測驗，答對第2題的人數(shù)是30人，問該題的難度是多少？

P=30/90=0.3P值越大，難度越小。難度值越小，難度越大。

0≤P≤12、當人數(shù)較多時，對于選擇題、是非題等二級計分的題目，我們也可以用極端分組法。先根據(jù)被試的測驗總分把他們由高到低排序，然后在兩端分別截取人數(shù)比例相等的（一般取27%的比例）高分組和低分組，分別計算兩組被試在某個項目上的通過率，求其平均數(shù)作為該題目的難度指標：

3、對于二級計分的題目，如選擇題、是非題，被試有猜題（憑機遇答題）的可能，對于一個二重選擇題，能力為0的被試仍有50%的可能性選擇正確答案。對K重選擇題，被試完全憑機遇答題而得到正確答案的可能性是1/k。鑒于機遇對選擇題的影響，其實際難度與使用難度公式（P=R/N)計算的難度就有一定的差別，因此必須進行矯正。校正公式是：

另外，這個公式在選擇題的備選答案數(shù)互不相同，又要比較它們的難度時特別有用。例題：一個五選一的測題的難度指數(shù)是0.50，一個四選一的測題的難度指數(shù)是0.53，問哪一個測題的難度大？

4、在心理測驗中，有些量表是多級計分的，比如許多心理量表中常用5點計分法：從未有過、偶爾、有時、經(jīng)常、總是，并分別給予1分，2分，3分，4分，5分。在學科測驗中，像簡答、論述等主觀性試題，也是按照評分標準對正確的部分給予一定的分數(shù)。像這種非二級計分的測題，可用下列公式計算測題難度：

是全體考生在該題上所得的平均分數(shù)Xmax是該題的滿分分數(shù)5、項目難度的等距量表使用項目難度等距量表的理由：

⑴測題的難度一般用答對某題的人數(shù)的百分比表示。百分量表是等級量表，而非等距量表。也就是說它只表示事物之間大小的關系，但沒有相等的單位。用百分比P值作為難度指標，實際上是在順序量表的水平上衡量題目的難度。⑵難度的等級量表是反序而行的，P值越大，項目越容易，這與我們的日常概念是相反的。

當樣本的容量很大時，測驗分數(shù)接近正態(tài)分布，如果把測驗的難度指數(shù)P作為正態(tài)曲線下的面積，查標準正態(tài)分布表，就可以將以等級量表表示的P值轉換為具有相等單位的等距量表Z值。

P=0.5時，對應的Z=0，P=0.6時，對應的Z=-0.25，P=0.7時，對應的Z=-0.52.前兩個Z值相差0.25，后兩者相差0.27，顯然差距是不相等的。由于Z分數(shù)的值有正有負，使用起來有諸多不便，為此美國教育測驗中心（ETS)創(chuàng)立了一個量表，用希臘字母△做單位：△=13+4Z

標準正態(tài)分布的全距一般包括6個標準差的距離，即從-3到+3，所以等距難度指數(shù)△量表的全距是1至25，平均數(shù)是13，標準差為4.

P=0.9987時,Z=－3,故Δ=13+4(－3)=1P=0.9772時,Z=－2,故Δ=13+4(－2)=5P=0.8413時,Z=－1,故Δ=13+4(－1)=9P=0.5000時,Z=0,故Δ=13+4(0)=13P=0.1587時,Z=+1,故Δ=13+4(+1)=17P=0.0228時,Z=+2,故Δ=13+4(+2)=21P=0.0013時,Z=+3,故Δ=13+4(+3)=25

由此可見，常用的Δ值域介于1-25之間，Δ值越大，試題越難；Δ值越小，試題越容易。

例題：如果某測驗兩個題目的難度分別是0.50和0.60，其對應的標準分數(shù)分別是：0和-0.25，則它們轉換為等距量表的難度值是多少？三、測驗的難度對測驗的影響（P207）1、測驗的難度會影響測驗分數(shù)的分布形態(tài)。當P=1時，全體被試得滿分；當P=0時，全體被試得零分。在這兩種極端情況下，全體被試的分數(shù)不能形成有效的分布，被試之間在知識、能力上實際存在的個體差異都被掩蓋了，如果是一個擇優(yōu)錄取的選拔測驗，就失去了選拔的功能。當測驗難度大時（P值?。?，測驗分數(shù)集中于低分一端，呈正偏態(tài)分布；當測驗難度小時（P值大),測驗分數(shù)集中在高分一端，呈負偏態(tài)。正、負偏態(tài)的分布都會縮小分數(shù)的離散程度。2、測驗的難度會影響到測驗的信度和效度。測驗的難度過大或過小會使測驗形成正偏態(tài)和負偏態(tài)，與正態(tài)分布相比，分數(shù)的離散程度都會變小，導致信度降低。信度低了會導致效度降低。另外心理特質的分布大多是正態(tài)的，只有當測驗的平均難度是0.5時，測驗分數(shù)的分布才會是正態(tài)，兩者才能相互吻合，只有當測驗分數(shù)的分布與心理特質的分布相吻合時，測驗才能對不同心理特質水平的被試有最大的鑒別力，測驗的效度才能達到最高。四、測驗難度水平的確定

在測驗編制中，測驗的難度定多高才合適呢？⑴從測驗目的上看。目的不同，難度也不同。當測驗用于選拔人才時，如大學招生考試，企業(yè)選拔員工，一般將題目的難度定在接近錄取率的水平。如果要將全體被試的能力水平做最大限度的區(qū)分時，則在一份測驗中，各種難度的題目都應該有，整個測驗的平均難度應在0.5左右。在學科測驗中，測驗的目的是考察學生對某門課知識、技能的掌握情況。因而應首先保證試題內容取樣的代表性，凡是重要的概念、原理，即使人人都會也要編進測驗中，使測驗具有較好的內容效度。在這個前提下，可根據(jù)學生的程度適當考慮題目的難度，使考試對學生的學習起促進作用。

⑵從測驗的性質上看無論難度測驗還是速度測驗都要防止被試得滿分，因為難度測驗是考察被試的最高能力水平，速度測驗是考察被試的最快反應速度。如果被試在這些性質的測驗上得滿分，我們就很難確定倘若題目比現(xiàn)在更難更多一些，被試將比現(xiàn)在多得多少分。因而，在速度測驗中，題目的難度不應超出被試的能力水平，但題目的數(shù)量必須多到反應最快的人在規(guī)定時間內也做不完的程度，這樣才能真正測出被試的反應速度。在難度測驗中應該包括各種不同難度的題目，其中最難的題目幾乎是所有被試都回答不上來的，這樣在時間比較寬裕的條件下，才能真正測出被試的最高能力水平。第二節(jié)項目的鑒別力定義項目鑒別力的估計方法項目鑒別力與信、效度的關系項目鑒別力與難度的關系一、定義

項目鑒別力又叫做項目的區(qū)分度。它是指項目對不同水平的被試反應的區(qū)分程度和鑒別能力。二、項目鑒別力的估計方法1、項目鑒別指數(shù)將被試按總分高低排列，把得分最高的27%的被試作為高分組，得分最低的27%的被試作為低分組，計算高分組該題答對的人數(shù)的比例與低分組該題答對的人數(shù)比例。采用公式：

美國教育與心理測量學家艾伯根據(jù)鑒別力指數(shù)提出了一個評價題目優(yōu)劣的標準

D測題評鑒0.40以上優(yōu)良0.30-0.39良好，如能修改更好0.20-0.29尚可，仍須修改0.19以下劣，必須淘汰2、方差法：方差表示一組數(shù)據(jù)的離散程度。方差越大，數(shù)據(jù)越分散，被試在某一試題上的得分越分散，該題的鑒別力就越大。3、項目與總分的相關我們一般以總分來衡量被試能力的高低。當被試總分高時，在某個項目上的得分也高，總分低時，在某個項目上的得分也低，說明該項目與總分有一致性，從這個項目上就可以鑒別出被試能力的高低，那么這個項目的鑒別力也高。主要有：點二列相關、二列相關、積差相關。⑴點二列相關系數(shù)測驗總分是連續(xù)變量，項目是二分變量采用公式：

隨堂練習

某學校15名學生測驗總分和某項目的解答情況

學生123456789101112131415總分908180787770696555504942353110項目得分101111100010100⑵二列相關系數(shù)兩列變量，一列是連續(xù)變量，另一列被人為劃分為兩個類別。采用公式：

Y：正態(tài)分布下百分比P對應的Y軸的高度隨堂練習

15名學生語文測驗總分與作文分數(shù)（作文30分及以上為“及格”，30分以下為“不及格”）

學生123456789101112131415總分879565328180735265464386546490作文485623133045383534202229362833⑶積差相關對于兩列變量都是連續(xù)變量，非0、1計分的項目的區(qū)分度的估計。采用積差相關公式。

隨堂練習

5名被試的測驗總分Y與某題目的得分X

學生12345Y30808060100X123454、項目的組間相關項目的組間相關又稱項目間的相互關系，它是指一個測驗中各個測題之間的相互關系。

0、1計分的項目之間的相關用四分相關，非二級計分的題目用積差相關。四分相關

第i題

01

第1j

題0badc5、項目與外部準則（效標）的相關是指被試在項目上的反應與在效標上的表現(xiàn)的關系，看看這個項目能不能預測被試在效標上的表現(xiàn)，即能不能預測被試在實際中的表現(xiàn)。

項目答錯答對

01

升1

留02(b)6（a)5(d)2(c)項目的鑒別力與信、效度的關系

項目的鑒別力可以用項目與總分的相關來表示，因而鑒別力體現(xiàn)了測驗的同質性。如果項目1上得分高，總分也高；項目1上得分低，總分也低，則說明項目1可以把高分者和低分者區(qū)分開來。如果每個項目與總分的相關都很高，說明這些項目都測到了同一種心理特質，說明測題的內部一致性系數(shù)比較高，就說明測驗的信度比較高。

事實上測驗的信度會隨著鑒別力的提高而迅速的提高。鑒別力與信度的關系

鑒別力（D）信度0.12250.000.160.420.200.630.300.840.400.9150.500.949

鑒別力是項目對被試能力高低的鑒別指標，項目如果能有效地將高低能力水平的被試區(qū)別開來，則說明項目是有效的，所以鑒別力與效度有直接的關系。測驗的鑒別力與難度的關系

難度與鑒別力有密切的關系。一般而言，難度越接近1或0時，項目的鑒別力越?。浑y度越接近0.50，項目的鑒別力越大。所以在編制測驗時要使其平均難度為0.50.

能不能讓每個測題的難度都為0.50？一、步驟

1、選取有代表性的樣組，進行預測。

2、把測驗按分數(shù)的高低次序排列，然后從最高分往下取27%的人作為高分組，再從最低分向上取27%的人作為低分組。

3、計算高分組和低分組在每道題上的通過率。

4、運用公式分別求出每道題的難度和鑒別力指數(shù)。

5、比較高分組和低分組在測題不同答案上的反應。

6、根據(jù)測題統(tǒng)計分析的結果，修改測題或選擇適當?shù)臏y題。二、項目分析舉例

多重選擇題的項目分析對選擇項的反應模式應從以下幾方面進行分析：

⑴如果正確的備選答案被所有的受測者選擇說明測題太容易或者可能項目提供了某種暗示，或者其他的答案錯得太過明顯。⑵如果某個錯誤答案無一人選擇說明該選項不具有迷惑性，錯得過于明顯。一般而言，除非有2%以上的人選擇，否則該備選答案應該修改或刪除。

⑶如果所有的被試都選擇了同一錯誤答案說明可能在編制測驗時把正確答案弄錯了，也可能是教學時教錯了。⑷如果高分組被試的選擇集中在兩個答案上，并且兩者的選擇率接近說明該題可能本來就有兩種正確答案，或者在某種意義上另一個選項也有一定道理。⑸如果高分組對正確答案的選擇率與低分組相等或低于低分組說明該題所考察的東西與被試的能力無關，即不具有鑒別力，應該刪除或做較大地修改。

⑹如果一個題目被試未作答的人數(shù)較多，或者選擇各個備選答案的人數(shù)相等說明該項目可能過難或題意不清，被試無法作答或只能憑猜測作答。

選擇題與填空題、問答題不同，被試若答對了某道填空或簡答，我們就有充分的理由認為他具備了相應的水平，答錯了也有充分的理由認為他不具備。但對選擇題而言，情況要復雜一些。選擇了正確答案的被試可能是因為猜測而不是由于具備了相應的能力，有相應能力的被試也可能因為其他選項的干擾而沒有選擇正確答案。因而對于選擇題我們有必要對其選項進行分析，從而對不合適的選項進行修改。2道四重選擇題的項目分析表

題號分組選項A選項B選項C選項DPD1高分組低分組24231600260.720.262高分組低分組93181206060.560.22速度測驗的題目分析

速度測驗主要是測量被試心理活動和動作反應的快慢。上述分析題目難度和區(qū)分度的方法不適合速度測驗。因為速度測驗的特點是：題目容易數(shù)量多，在嚴格規(guī)定的時間內，被試不可能全部做完。如果用通過率來表示題目的難度，后面題目的通過率必然會低于前面的題目，這樣就會得出后面題目難度很高的錯誤結論。

由于速度測驗嚴格控制時間，后面題目的鑒別力必然會比前面的題目高得多，這與事實是不相符合的。有人認為可以延長測驗時間，讓被試全部回答完，再來分析題目的難度和區(qū)分度。但是速度測驗的主要目標是評估被試的反應速度，因而這也不是理想的辦法。因而學術界至今也沒找到分析速度測驗題目質量的理想的數(shù)量化方法，一般是從性質上、取樣的代表性上進行考察。

10、某測驗對11名被試施測，數(shù)據(jù)如下，試計算各題的難度和區(qū)分度。

題號滿分

被試

12345

6789101113330330300332550550055500310885910371010574121012785598767520

15101217151015171815106504530204235