探討項(xiàng)目分析

探討項(xiàng)目分析本章主要內(nèi)容項(xiàng)目的難度分析項(xiàng)目的鑒別力（區(qū)分度）分析項(xiàng)目難度與區(qū)分度的關(guān)系項(xiàng)目難度與信、效度的關(guān)系項(xiàng)目區(qū)分度與信、效度的關(guān)系項(xiàng)目分析實(shí)例

項(xiàng)目分析是對測驗(yàn)中每個測題的質(zhì)量進(jìn)行的分析，包括質(zhì)的分析和量的分析。質(zhì)的分析就是對項(xiàng)目質(zhì)量的邏輯分析，比如項(xiàng)目對所測內(nèi)容的代表性，即內(nèi)容效度。量的分析是通過計(jì)算項(xiàng)目的一些統(tǒng)計(jì)量作為項(xiàng)目質(zhì)量高低的指標(biāo)，包括項(xiàng)目的難度和區(qū)分度。前面講到項(xiàng)目的難度會影響到測驗(yàn)的信、效度。進(jìn)行項(xiàng)目分析的目的就是通過改進(jìn)項(xiàng)目的統(tǒng)計(jì)量來提高測驗(yàn)的信、效度。題庫第一節(jié)項(xiàng)目的難度分析1、定義2、難度的計(jì)算方法3、項(xiàng)目難度對測驗(yàn)的影響4、測驗(yàn)難度水平的選擇一、定義

難度是表示題目難易程度的指標(biāo)，在能力測驗(yàn)中，它指被試在某個題目上的通過率或得分率。二、估計(jì)測題難度的方法1、對0，1記分的題目，計(jì)算公式：

P=R/NR：答對該題的人數(shù)N:參加測驗(yàn)的總?cè)藬?shù)隨堂練習(xí)

設(shè)有90個人參加測驗(yàn)，答對第2題的人數(shù)是30人，問該題的難度是多少？

P=30/90=0.3P值越大，難度越小。難度值越小，難度越大。

0≤P≤12、當(dāng)人數(shù)較多時(shí)，對于選擇題、是非題等二級計(jì)分的題目，我們也可以用極端分組法。先根據(jù)被試的測驗(yàn)總分把他們由高到低排序，然后在兩端分別截取人數(shù)比例相等的（一般取27%的比例）高分組和低分組，分別計(jì)算兩組被試在某個項(xiàng)目上的通過率，求其平均數(shù)作為該題目的難度指標(biāo)：

3、對于二級計(jì)分的題目，如選擇題、是非題，被試有猜題（憑機(jī)遇答題）的可能，對于一個二重選擇題，能力為0的被試仍有50%的可能性選擇正確答案。對K重選擇題，被試完全憑機(jī)遇答題而得到正確答案的可能性是1/k。鑒于機(jī)遇對選擇題的影響，其實(shí)際難度與使用難度公式（P=R/N)計(jì)算的難度就有一定的差別，因此必須進(jìn)行矯正。校正公式是：

另外，這個公式在選擇題的備選答案數(shù)互不相同，又要比較它們的難度時(shí)特別有用。例題：一個五選一的測題的難度指數(shù)是0.50，一個四選一的測題的難度指數(shù)是0.53，問哪一個測題的難度大？

4、在心理測驗(yàn)中，有些量表是多級計(jì)分的，比如許多心理量表中常用5點(diǎn)計(jì)分法：從未有過、偶爾、有時(shí)、經(jīng)常、總是，并分別給予1分，2分，3分，4分，5分。在學(xué)科測驗(yàn)中，像簡答、論述等主觀性試題，也是按照評分標(biāo)準(zhǔn)對正確的部分給予一定的分?jǐn)?shù)。像這種非二級計(jì)分的測題，可用下列公式計(jì)算測題難度：

是全體考生在該題上所得的平均分?jǐn)?shù)Xmax是該題的滿分分?jǐn)?shù)5、項(xiàng)目難度的等距量表使用項(xiàng)目難度等距量表的理由：

⑴測題的難度一般用答對某題的人數(shù)的百分比表示。百分量表是等級量表，而非等距量表。也就是說它只表示事物之間大小的關(guān)系，但沒有相等的單位。用百分比P值作為難度指標(biāo)，實(shí)際上是在順序量表的水平上衡量題目的難度。⑵難度的等級量表是反序而行的，P值越大，項(xiàng)目越容易，這與我們的日常概念是相反的。

當(dāng)樣本的容量很大時(shí)，測驗(yàn)分?jǐn)?shù)接近正態(tài)分布，如果把測驗(yàn)的難度指數(shù)P作為正態(tài)曲線下的面積，查標(biāo)準(zhǔn)正態(tài)分布表，就可以將以等級量表表示的P值轉(zhuǎn)換為具有相等單位的等距量表Z值。

P=0.5時(shí)，對應(yīng)的Z=0，P=0.6時(shí)，對應(yīng)的Z=-0.25，P=0.7時(shí)，對應(yīng)的Z=-0.52.前兩個Z值相差0.25，后兩者相差0.27，顯然差距是不相等的。由于Z分?jǐn)?shù)的值有正有負(fù)，使用起來有諸多不便，為此美國教育測驗(yàn)中心（ETS)創(chuàng)立了一個量表，用希臘字母△做單位：△=13+4Z

標(biāo)準(zhǔn)正態(tài)分布的全距一般包括6個標(biāo)準(zhǔn)差的距離，即從-3到+3，所以等距難度指數(shù)△量表的全距是1至25，平均數(shù)是13，標(biāo)準(zhǔn)差為4.

P=0.9987時(shí),Z=－3,故Δ=13+4(－3)=1P=0.9772時(shí),Z=－2,故Δ=13+4(－2)=5P=0.8413時(shí),Z=－1,故Δ=13+4(－1)=9P=0.5000時(shí),Z=0,故Δ=13+4(0)=13P=0.1587時(shí),Z=+1,故Δ=13+4(+1)=17P=0.0228時(shí),Z=+2,故Δ=13+4(+2)=21P=0.0013時(shí),Z=+3,故Δ=13+4(+3)=25

由此可見，常用的Δ值域介于1-25之間，Δ值越大，試題越難；Δ值越小，試題越容易。

例題：如果某測驗(yàn)兩個題目的難度分別是0.50和0.60，其對應(yīng)的標(biāo)準(zhǔn)分?jǐn)?shù)分別是：0和-0.25，則它們轉(zhuǎn)換為等距量表的難度值是多少？三、測驗(yàn)的難度對測驗(yàn)的影響（P207）1、測驗(yàn)的難度會影響測驗(yàn)分?jǐn)?shù)的分布形態(tài)。當(dāng)P=1時(shí)，全體被試得滿分；當(dāng)P=0時(shí)，全體被試得零分。在這兩種極端情況下，全體被試的分?jǐn)?shù)不能形成有效的分布，被試之間在知識、能力上實(shí)際存在的個體差異都被掩蓋了，如果是一個擇優(yōu)錄取的選拔測驗(yàn)，就失去了選拔的功能。當(dāng)測驗(yàn)難度大時(shí)（P值?。瑴y驗(yàn)分?jǐn)?shù)集中于低分一端，呈正偏態(tài)分布；當(dāng)測驗(yàn)難度小時(shí)（P值大),測驗(yàn)分?jǐn)?shù)集中在高分一端，呈負(fù)偏態(tài)。正、負(fù)偏態(tài)的分布都會縮小分?jǐn)?shù)的離散程度。2、測驗(yàn)的難度會影響到測驗(yàn)的信度和效度。測驗(yàn)的難度過大或過小會使測驗(yàn)形成正偏態(tài)和負(fù)偏態(tài)，與正態(tài)分布相比，分?jǐn)?shù)的離散程度都會變小，導(dǎo)致信度降低。信度低了會導(dǎo)致效度降低。另外心理特質(zhì)的分布大多是正態(tài)的，只有當(dāng)測驗(yàn)的平均難度是0.5時(shí)，測驗(yàn)分?jǐn)?shù)的分布才會是正態(tài)，兩者才能相互吻合，只有當(dāng)測驗(yàn)分?jǐn)?shù)的分布與心理特質(zhì)的分布相吻合時(shí)，測驗(yàn)才能對不同心理特質(zhì)水平的被試有最大的鑒別力，測驗(yàn)的效度才能達(dá)到最高。四、測驗(yàn)難度水平的確定

在測驗(yàn)編制中，測驗(yàn)的難度定多高才合適呢？⑴從測驗(yàn)?zāi)康纳峡?。目的不同，難度也不同。當(dāng)測驗(yàn)用于選拔人才時(shí)，如大學(xué)招生考試，企業(yè)選拔員工，一般將題目的難度定在接近錄取率的水平。如果要將全體被試的能力水平做最大限度的區(qū)分時(shí)，則在一份測驗(yàn)中，各種難度的題目都應(yīng)該有，整個測驗(yàn)的平均難度應(yīng)在0.5左右。在學(xué)科測驗(yàn)中，測驗(yàn)的目的是考察學(xué)生對某門課知識、技能的掌握情況。因而應(yīng)首先保證試題內(nèi)容取樣的代表性，凡是重要的概念、原理，即使人人都會也要編進(jìn)測驗(yàn)中，使測驗(yàn)具有較好的內(nèi)容效度。在這個前提下，可根據(jù)學(xué)生的程度適當(dāng)考慮題目的難度，使考試對學(xué)生的學(xué)習(xí)起促進(jìn)作用。

⑵從測驗(yàn)的性質(zhì)上看無論難度測驗(yàn)還是速度測驗(yàn)都要防止被試得滿分，因?yàn)殡y度測驗(yàn)是考察被試的最高能力水平，速度測驗(yàn)是考察被試的最快反應(yīng)速度。如果被試在這些性質(zhì)的測驗(yàn)上得滿分，我們就很難確定倘若題目比現(xiàn)在更難更多一些，被試將比現(xiàn)在多得多少分。因而，在速度測驗(yàn)中，題目的難度不應(yīng)超出被試的能力水平，但題目的數(shù)量必須多到反應(yīng)最快的人在規(guī)定時(shí)間內(nèi)也做不完的程度，這樣才能真正測出被試的反應(yīng)速度。在難度測驗(yàn)中應(yīng)該包括各種不同難度的題目，其中最難的題目幾乎是所有被試都回答不上來的，這樣在時(shí)間比較寬裕的條件下，才能真正測出被試的最高能力水平。第二節(jié)項(xiàng)目的鑒別力定義項(xiàng)目鑒別力的估計(jì)方法項(xiàng)目鑒別力與信、效度的關(guān)系項(xiàng)目鑒別力與難度的關(guān)系一、定義

項(xiàng)目鑒別力又叫做項(xiàng)目的區(qū)分度。它是指項(xiàng)目對不同水平的被試反應(yīng)的區(qū)分程度和鑒別能力。二、項(xiàng)目鑒別力的估計(jì)方法1、項(xiàng)目鑒別指數(shù)將被試按總分高低排列，把得分最高的27%的被試作為高分組，得分最低的27%的被試作為低分組，計(jì)算高分組該題答對的人數(shù)的比例與低分組該題答對的人數(shù)比例。采用公式：

美國教育與心理測量學(xué)家艾伯根據(jù)鑒別力指數(shù)提出了一個評價(jià)題目優(yōu)劣的標(biāo)準(zhǔn)

D測題評鑒0.40以上優(yōu)良0.30-0.39良好，如能修改更好0.20-0.29尚可，仍須修改0.19以下劣，必須淘汰2、方差法：方差表示一組數(shù)據(jù)的離散程度。方差越大，數(shù)據(jù)越分散，被試在某一試題上的得分越分散，該題的鑒別力就越大。3、項(xiàng)目與總分的相關(guān)我們一般以總分來衡量被試能力的高低。當(dāng)被試總分高時(shí)，在某個項(xiàng)目上的得分也高，總分低時(shí)，在某個項(xiàng)目上的得分也低，說明該項(xiàng)目與總分有一致性，從這個項(xiàng)目上就可以鑒別出被試能力的高低，那么這個項(xiàng)目的鑒別力也高。主要有：點(diǎn)二列相關(guān)、二列相關(guān)、積差相關(guān)。⑴點(diǎn)二列相關(guān)系數(shù)測驗(yàn)總分是連續(xù)變量，項(xiàng)目是二分變量采用公式：

隨堂練習(xí)

某學(xué)校15名學(xué)生測驗(yàn)總分和某項(xiàng)目的解答情況

學(xué)生123456789101112131415總分908180787770696555504942353110項(xiàng)目得分101111100010100⑵二列相關(guān)系數(shù)兩列變量，一列是連續(xù)變量，另一列被人為劃分為兩個類別。采用公式：

Y：正態(tài)分布下百分比P對應(yīng)的Y軸的高度隨堂練習(xí)

15名學(xué)生語文測驗(yàn)總分與作文分?jǐn)?shù)（作文30分及以上為“及格”，30分以下為“不及格”）

學(xué)生123456789101112131415總分879565328180735265464386546490作文485623133045383534202229362833⑶積差相關(guān)對于兩列變量都是連續(xù)變量，非0、1計(jì)分的項(xiàng)目的區(qū)分度的估計(jì)。采用積差相關(guān)公式。

隨堂練習(xí)

5名被試的測驗(yàn)總分Y與某題目的得分X

學(xué)生12345Y30808060100X123454、項(xiàng)目的組間相關(guān)項(xiàng)目的組間相關(guān)又稱項(xiàng)目間的相互關(guān)系，它是指一個測驗(yàn)中各個測題之間的相互關(guān)系。

0、1計(jì)分的項(xiàng)目之間的相關(guān)用四分相關(guān)，非二級計(jì)分的題目用積差相關(guān)。四分相關(guān)

第i題

01

第1j

題0badc5、項(xiàng)目與外部準(zhǔn)則（效標(biāo)）的相關(guān)是指被試在項(xiàng)目上的反應(yīng)與在效標(biāo)上的表現(xiàn)的關(guān)系，看看這個項(xiàng)目能不能預(yù)測被試在效標(biāo)上的表現(xiàn)，即能不能預(yù)測被試在實(shí)際中的表現(xiàn)。

項(xiàng)目答錯答對

01

升1

留02(b)6（a)5(d)2(c)項(xiàng)目的鑒別力與信、效度的關(guān)系

項(xiàng)目的鑒別力可以用項(xiàng)目與總分的相關(guān)來表示，因而鑒別力體現(xiàn)了測驗(yàn)的同質(zhì)性。如果項(xiàng)目1上得分高，總分也高；項(xiàng)目1上得分低，總分也低，則說明項(xiàng)目1可以把高分者和低分者區(qū)分開來。如果每個項(xiàng)目與總分的相關(guān)都很高，說明這些項(xiàng)目都測到了同一種心理特質(zhì)，說明測題的內(nèi)部一致性系數(shù)比較高，就說明測驗(yàn)的信度比較高。

事實(shí)上測驗(yàn)的信度會隨著鑒別力的提高而迅速的提高。鑒別力與信度的關(guān)系

鑒別力（D）信度0.12250.000.160.420.200.630.300.840.400.9150.500.949

鑒別力是項(xiàng)目對被試能力高低的鑒別指標(biāo)，項(xiàng)目如果能有效地將高低能力水平的被試區(qū)別開來，則說明項(xiàng)目是有效的，所以鑒別力與效度有直接的關(guān)系。測驗(yàn)的鑒別力與難度的關(guān)系

難度與鑒別力有密切的關(guān)系。一般而言，難度越接近1或0時(shí)，項(xiàng)目的鑒別力越??；難度越接近0.50，項(xiàng)目的鑒別力越大。所以在編制測驗(yàn)時(shí)要使其平均難度為0.50.

能不能讓每個測題的難度都為0.50？一、步驟

1、選取有代表性的樣組，進(jìn)行預(yù)測。

2、把測驗(yàn)按分?jǐn)?shù)的高低次序排列，然后從最高分往下取27%的人作為高分組，再從最低分向上取27%的人作為低分組。

3、計(jì)算高分組和低分組在每道題上的通過率。

4、運(yùn)用公式分別求出每道題的難度和鑒別力指數(shù)。

5、比較高分組和低分組在測題不同答案上的反應(yīng)。

6、根據(jù)測題統(tǒng)計(jì)分析的結(jié)果，修改測題或選擇適當(dāng)?shù)臏y題。二、項(xiàng)目分析舉例

多重選擇題的項(xiàng)目分析對選擇項(xiàng)的反應(yīng)模式應(yīng)從以下幾方面進(jìn)行分析：

⑴如果正確的備選答案被所有的受測者選擇說明測題太容易或者可能項(xiàng)目提供了某種暗示，或者其他的答案錯得太過明顯。⑵如果某個錯誤答案無一人選擇說明該選項(xiàng)不具有迷惑性，錯得過于明顯。一般而言，除非有2%以上的人選擇，否則該備選答案應(yīng)該修改或刪除。

⑶如果所有的被試都選擇了同一錯誤答案說明可能在編制測驗(yàn)時(shí)把正確答案弄錯了，也可能是教學(xué)時(shí)教錯了。⑷如果高分組被試的選擇集中在兩個答案上，并且兩者的選擇率接近說明該題可能本來就有兩種正確答案，或者在某種意義上另一個選項(xiàng)也有一定道理。⑸如果高分組對正確答案的選擇率與低分組相等或低于低分組說明該題所考察的東西與被試的能力無關(guān)，即不具有鑒別力，應(yīng)該刪除或做較大地修改。

⑹如果一個題目被試未作答的人數(shù)較多，或者選擇各個備選答案的人數(shù)相等說明該項(xiàng)目可能過難或題意不清，被試無法作答或只能憑猜測作答。

選擇題與填空題、問答題不同，被試若答對了某道填空或簡答，我們就有充分的理由認(rèn)為他具備了相應(yīng)的水平，答錯了也有充分的理由認(rèn)為他不具備。但對選擇題而言，情況要復(fù)雜一些。選擇了正確答案的被試可能是因?yàn)椴聹y而不是由于具備了相應(yīng)的能力，有相應(yīng)能力的被試也可能因?yàn)槠渌x項(xiàng)的干擾而沒有選擇正確答案。因而對于選擇題我們有必要對其選項(xiàng)進(jìn)行分析，從而對不合適的選項(xiàng)進(jìn)行修改。2道四重選擇題的項(xiàng)目分析表

題號分組選項(xiàng)A選項(xiàng)B選項(xiàng)C選項(xiàng)DPD1高分組低分組24231600260.720.262高分組低分組93181206060.560.22速度測驗(yàn)的題目分析

速度測驗(yàn)主要是測量被試心理活動和動作反應(yīng)的快慢。上述分析題目難度和區(qū)分度的方法不適合速度測驗(yàn)。因?yàn)樗俣葴y驗(yàn)的特點(diǎn)是：題目容易數(shù)量多，在嚴(yán)格規(guī)定的時(shí)間內(nèi)，被試不可能全部做完。如果用通過率來表示題目的難度，后面題目的通過率必然會低于前面的題目，這樣就會得出后面題目難度很高的錯誤結(jié)論。

由于速度測驗(yàn)嚴(yán)格控制時(shí)間，后面題目的鑒別力必然會比前面的題目高得多，這與事實(shí)是不相符合的。有人認(rèn)為可以延長測驗(yàn)時(shí)間，讓被試全部回答完，再來分析題目的難度和區(qū)分度。但是速度測驗(yàn)的主要目標(biāo)是評估被試的反應(yīng)速度，因而這也不是理想的辦法。因而學(xué)術(shù)界至今也沒找到分析速度測驗(yàn)題目質(zhì)量的理想的數(shù)量化方法，一般是從性質(zhì)上、取樣的代表性上進(jìn)行考察。

10、某測驗(yàn)對11名被試施測，數(shù)據(jù)如下，試計(jì)算各題的難度和區(qū)分度。

題號滿分

被試

12345

6789101113330330300332550550055500310885910371010574121012785598767520

15101217151015171815106504530204235