探討項(xiàng)目分析

探討項(xiàng)目分析本章主要內(nèi)容項(xiàng)目的難度分析項(xiàng)目的鑒別力（區(qū)分度）分析項(xiàng)目難度與區(qū)分度的關(guān)系項(xiàng)目難度與信、效度的關(guān)系項(xiàng)目區(qū)分度與信、效度的關(guān)系項(xiàng)目分析實(shí)例

項(xiàng)目分析是對(duì)測(cè)驗(yàn)中每個(gè)測(cè)題的質(zhì)量進(jìn)行的分析，包括質(zhì)的分析和量的分析。質(zhì)的分析就是對(duì)項(xiàng)目質(zhì)量的邏輯分析，比如項(xiàng)目對(duì)所測(cè)內(nèi)容的代表性，即內(nèi)容效度。量的分析是通過(guò)計(jì)算項(xiàng)目的一些統(tǒng)計(jì)量作為項(xiàng)目質(zhì)量高低的指標(biāo)，包括項(xiàng)目的難度和區(qū)分度。前面講到項(xiàng)目的難度會(huì)影響到測(cè)驗(yàn)的信、效度。進(jìn)行項(xiàng)目分析的目的就是通過(guò)改進(jìn)項(xiàng)目的統(tǒng)計(jì)量來(lái)提高測(cè)驗(yàn)的信、效度。題庫(kù)第一節(jié)項(xiàng)目的難度分析1、定義2、難度的計(jì)算方法3、項(xiàng)目難度對(duì)測(cè)驗(yàn)的影響4、測(cè)驗(yàn)難度水平的選擇一、定義

難度是表示題目難易程度的指標(biāo)，在能力測(cè)驗(yàn)中，它指被試在某個(gè)題目上的通過(guò)率或得分率。二、估計(jì)測(cè)題難度的方法1、對(duì)0，1記分的題目，計(jì)算公式：

P=R/NR：答對(duì)該題的人數(shù)N:參加測(cè)驗(yàn)的總?cè)藬?shù)隨堂練習(xí)

設(shè)有90個(gè)人參加測(cè)驗(yàn)，答對(duì)第2題的人數(shù)是30人，問(wèn)該題的難度是多少？

P=30/90=0.3P值越大，難度越小。難度值越小，難度越大。

0≤P≤12、當(dāng)人數(shù)較多時(shí)，對(duì)于選擇題、是非題等二級(jí)計(jì)分的題目，我們也可以用極端分組法。先根據(jù)被試的測(cè)驗(yàn)總分把他們由高到低排序，然后在兩端分別截取人數(shù)比例相等的（一般取27%的比例）高分組和低分組，分別計(jì)算兩組被試在某個(gè)項(xiàng)目上的通過(guò)率，求其平均數(shù)作為該題目的難度指標(biāo)：

3、對(duì)于二級(jí)計(jì)分的題目，如選擇題、是非題，被試有猜題（憑機(jī)遇答題）的可能，對(duì)于一個(gè)二重選擇題，能力為0的被試仍有50%的可能性選擇正確答案。對(duì)K重選擇題，被試完全憑機(jī)遇答題而得到正確答案的可能性是1/k。鑒于機(jī)遇對(duì)選擇題的影響，其實(shí)際難度與使用難度公式（P=R/N)計(jì)算的難度就有一定的差別，因此必須進(jìn)行矯正。校正公式是：

另外，這個(gè)公式在選擇題的備選答案數(shù)互不相同，又要比較它們的難度時(shí)特別有用。例題：一個(gè)五選一的測(cè)題的難度指數(shù)是0.50，一個(gè)四選一的測(cè)題的難度指數(shù)是0.53，問(wèn)哪一個(gè)測(cè)題的難度大？

4、在心理測(cè)驗(yàn)中，有些量表是多級(jí)計(jì)分的，比如許多心理量表中常用5點(diǎn)計(jì)分法：從未有過(guò)、偶爾、有時(shí)、經(jīng)常、總是，并分別給予1分，2分，3分，4分，5分。在學(xué)科測(cè)驗(yàn)中，像簡(jiǎn)答、論述等主觀性試題，也是按照評(píng)分標(biāo)準(zhǔn)對(duì)正確的部分給予一定的分?jǐn)?shù)。像這種非二級(jí)計(jì)分的測(cè)題，可用下列公式計(jì)算測(cè)題難度：

是全體考生在該題上所得的平均分?jǐn)?shù)Xmax是該題的滿分分?jǐn)?shù)5、項(xiàng)目難度的等距量表使用項(xiàng)目難度等距量表的理由：

⑴測(cè)題的難度一般用答對(duì)某題的人數(shù)的百分比表示。百分量表是等級(jí)量表，而非等距量表。也就是說(shuō)它只表示事物之間大小的關(guān)系，但沒(méi)有相等的單位。用百分比P值作為難度指標(biāo)，實(shí)際上是在順序量表的水平上衡量題目的難度。⑵難度的等級(jí)量表是反序而行的，P值越大，項(xiàng)目越容易，這與我們的日常概念是相反的。

當(dāng)樣本的容量很大時(shí)，測(cè)驗(yàn)分?jǐn)?shù)接近正態(tài)分布，如果把測(cè)驗(yàn)的難度指數(shù)P作為正態(tài)曲線下的面積，查標(biāo)準(zhǔn)正態(tài)分布表，就可以將以等級(jí)量表表示的P值轉(zhuǎn)換為具有相等單位的等距量表Z值。

P=0.5時(shí)，對(duì)應(yīng)的Z=0，P=0.6時(shí)，對(duì)應(yīng)的Z=-0.25，P=0.7時(shí)，對(duì)應(yīng)的Z=-0.52.前兩個(gè)Z值相差0.25，后兩者相差0.27，顯然差距是不相等的。由于Z分?jǐn)?shù)的值有正有負(fù)，使用起來(lái)有諸多不便，為此美國(guó)教育測(cè)驗(yàn)中心（ETS)創(chuàng)立了一個(gè)量表，用希臘字母△做單位：△=13+4Z

標(biāo)準(zhǔn)正態(tài)分布的全距一般包括6個(gè)標(biāo)準(zhǔn)差的距離，即從-3到+3，所以等距難度指數(shù)△量表的全距是1至25，平均數(shù)是13，標(biāo)準(zhǔn)差為4.

P=0.9987時(shí),Z=－3,故Δ=13+4(－3)=1P=0.9772時(shí),Z=－2,故Δ=13+4(－2)=5P=0.8413時(shí),Z=－1,故Δ=13+4(－1)=9P=0.5000時(shí),Z=0,故Δ=13+4(0)=13P=0.1587時(shí),Z=+1,故Δ=13+4(+1)=17P=0.0228時(shí),Z=+2,故Δ=13+4(+2)=21P=0.0013時(shí),Z=+3,故Δ=13+4(+3)=25

由此可見(jiàn)，常用的Δ值域介于1-25之間，Δ值越大，試題越難；Δ值越小，試題越容易。

例題：如果某測(cè)驗(yàn)兩個(gè)題目的難度分別是0.50和0.60，其對(duì)應(yīng)的標(biāo)準(zhǔn)分?jǐn)?shù)分別是：0和-0.25，則它們轉(zhuǎn)換為等距量表的難度值是多少？三、測(cè)驗(yàn)的難度對(duì)測(cè)驗(yàn)的影響（P207）1、測(cè)驗(yàn)的難度會(huì)影響測(cè)驗(yàn)分?jǐn)?shù)的分布形態(tài)。當(dāng)P=1時(shí)，全體被試得滿分；當(dāng)P=0時(shí)，全體被試得零分。在這兩種極端情況下，全體被試的分?jǐn)?shù)不能形成有效的分布，被試之間在知識(shí)、能力上實(shí)際存在的個(gè)體差異都被掩蓋了，如果是一個(gè)擇優(yōu)錄取的選拔測(cè)驗(yàn)，就失去了選拔的功能。當(dāng)測(cè)驗(yàn)難度大時(shí)（P值小），測(cè)驗(yàn)分?jǐn)?shù)集中于低分一端，呈正偏態(tài)分布；當(dāng)測(cè)驗(yàn)難度小時(shí)（P值大),測(cè)驗(yàn)分?jǐn)?shù)集中在高分一端，呈負(fù)偏態(tài)。正、負(fù)偏態(tài)的分布都會(huì)縮小分?jǐn)?shù)的離散程度。2、測(cè)驗(yàn)的難度會(huì)影響到測(cè)驗(yàn)的信度和效度。測(cè)驗(yàn)的難度過(guò)大或過(guò)小會(huì)使測(cè)驗(yàn)形成正偏態(tài)和負(fù)偏態(tài)，與正態(tài)分布相比，分?jǐn)?shù)的離散程度都會(huì)變小，導(dǎo)致信度降低。信度低了會(huì)導(dǎo)致效度降低。另外心理特質(zhì)的分布大多是正態(tài)的，只有當(dāng)測(cè)驗(yàn)的平均難度是0.5時(shí)，測(cè)驗(yàn)分?jǐn)?shù)的分布才會(huì)是正態(tài)，兩者才能相互吻合，只有當(dāng)測(cè)驗(yàn)分?jǐn)?shù)的分布與心理特質(zhì)的分布相吻合時(shí)，測(cè)驗(yàn)才能對(duì)不同心理特質(zhì)水平的被試有最大的鑒別力，測(cè)驗(yàn)的效度才能達(dá)到最高。四、測(cè)驗(yàn)難度水平的確定

在測(cè)驗(yàn)編制中，測(cè)驗(yàn)的難度定多高才合適呢？⑴從測(cè)驗(yàn)?zāi)康纳峡础Ｄ康牟煌?，難度也不同。當(dāng)測(cè)驗(yàn)用于選拔人才時(shí)，如大學(xué)招生考試，企業(yè)選拔員工，一般將題目的難度定在接近錄取率的水平。如果要將全體被試的能力水平做最大限度的區(qū)分時(shí)，則在一份測(cè)驗(yàn)中，各種難度的題目都應(yīng)該有，整個(gè)測(cè)驗(yàn)的平均難度應(yīng)在0.5左右。在學(xué)科測(cè)驗(yàn)中，測(cè)驗(yàn)的目的是考察學(xué)生對(duì)某門課知識(shí)、技能的掌握情況。因而應(yīng)首先保證試題內(nèi)容取樣的代表性，凡是重要的概念、原理，即使人人都會(huì)也要編進(jìn)測(cè)驗(yàn)中，使測(cè)驗(yàn)具有較好的內(nèi)容效度。在這個(gè)前提下，可根據(jù)學(xué)生的程度適當(dāng)考慮題目的難度，使考試對(duì)學(xué)生的學(xué)習(xí)起促進(jìn)作用。

⑵從測(cè)驗(yàn)的性質(zhì)上看無(wú)論難度測(cè)驗(yàn)還是速度測(cè)驗(yàn)都要防止被試得滿分，因?yàn)殡y度測(cè)驗(yàn)是考察被試的最高能力水平，速度測(cè)驗(yàn)是考察被試的最快反應(yīng)速度。如果被試在這些性質(zhì)的測(cè)驗(yàn)上得滿分，我們就很難確定倘若題目比現(xiàn)在更難更多一些，被試將比現(xiàn)在多得多少分。因而，在速度測(cè)驗(yàn)中，題目的難度不應(yīng)超出被試的能力水平，但題目的數(shù)量必須多到反應(yīng)最快的人在規(guī)定時(shí)間內(nèi)也做不完的程度，這樣才能真正測(cè)出被試的反應(yīng)速度。在難度測(cè)驗(yàn)中應(yīng)該包括各種不同難度的題目，其中最難的題目幾乎是所有被試都回答不上來(lái)的，這樣在時(shí)間比較寬裕的條件下，才能真正測(cè)出被試的最高能力水平。第二節(jié)項(xiàng)目的鑒別力定義項(xiàng)目鑒別力的估計(jì)方法項(xiàng)目鑒別力與信、效度的關(guān)系項(xiàng)目鑒別力與難度的關(guān)系一、定義

項(xiàng)目鑒別力又叫做項(xiàng)目的區(qū)分度。它是指項(xiàng)目對(duì)不同水平的被試反應(yīng)的區(qū)分程度和鑒別能力。二、項(xiàng)目鑒別力的估計(jì)方法1、項(xiàng)目鑒別指數(shù)將被試按總分高低排列，把得分最高的27%的被試作為高分組，得分最低的27%的被試作為低分組，計(jì)算高分組該題答對(duì)的人數(shù)的比例與低分組該題答對(duì)的人數(shù)比例。采用公式：

美國(guó)教育與心理測(cè)量學(xué)家艾伯根據(jù)鑒別力指數(shù)提出了一個(gè)評(píng)價(jià)題目?jī)?yōu)劣的標(biāo)準(zhǔn)

D測(cè)題評(píng)鑒0.40以上優(yōu)良0.30-0.39良好，如能修改更好0.20-0.29尚可，仍須修改0.19以下劣，必須淘汰2、方差法：方差表示一組數(shù)據(jù)的離散程度。方差越大，數(shù)據(jù)越分散，被試在某一試題上的得分越分散，該題的鑒別力就越大。3、項(xiàng)目與總分的相關(guān)我們一般以總分來(lái)衡量被試能力的高低。當(dāng)被試總分高時(shí)，在某個(gè)項(xiàng)目上的得分也高，總分低時(shí)，在某個(gè)項(xiàng)目上的得分也低，說(shuō)明該項(xiàng)目與總分有一致性，從這個(gè)項(xiàng)目上就可以鑒別出被試能力的高低，那么這個(gè)項(xiàng)目的鑒別力也高。主要有：點(diǎn)二列相關(guān)、二列相關(guān)、積差相關(guān)。⑴點(diǎn)二列相關(guān)系數(shù)測(cè)驗(yàn)總分是連續(xù)變量，項(xiàng)目是二分變量采用公式：

隨堂練習(xí)

某學(xué)校15名學(xué)生測(cè)驗(yàn)總分和某項(xiàng)目的解答情況

學(xué)生123456789101112131415總分908180787770696555504942353110項(xiàng)目得分101111100010100⑵二列相關(guān)系數(shù)兩列變量，一列是連續(xù)變量，另一列被人為劃分為兩個(gè)類別。采用公式：

Y：正態(tài)分布下百分比P對(duì)應(yīng)的Y軸的高度隨堂練習(xí)

15名學(xué)生語(yǔ)文測(cè)驗(yàn)總分與作文分?jǐn)?shù)（作文30分及以上為“及格”，30分以下為“不及格”）

學(xué)生123456789101112131415總分879565328180735265464386546490作文485623133045383534202229362833⑶積差相關(guān)對(duì)于兩列變量都是連續(xù)變量，非0、1計(jì)分的項(xiàng)目的區(qū)分度的估計(jì)。采用積差相關(guān)公式。

隨堂練習(xí)

5名被試的測(cè)驗(yàn)總分Y與某題目的得分X

學(xué)生12345Y30808060100X123454、項(xiàng)目的組間相關(guān)項(xiàng)目的組間相關(guān)又稱項(xiàng)目間的相互關(guān)系，它是指一個(gè)測(cè)驗(yàn)中各個(gè)測(cè)題之間的相互關(guān)系。

0、1計(jì)分的項(xiàng)目之間的相關(guān)用四分相關(guān)，非二級(jí)計(jì)分的題目用積差相關(guān)。四分相關(guān)

第i題

01

第1j

題0badc5、項(xiàng)目與外部準(zhǔn)則（效標(biāo)）的相關(guān)是指被試在項(xiàng)目上的反應(yīng)與在效標(biāo)上的表現(xiàn)的關(guān)系，看看這個(gè)項(xiàng)目能不能預(yù)測(cè)被試在效標(biāo)上的表現(xiàn)，即能不能預(yù)測(cè)被試在實(shí)際中的表現(xiàn)。

項(xiàng)目答錯(cuò)答對(duì)

01

升1

留02(b)6（a)5(d)2(c)項(xiàng)目的鑒別力與信、效度的關(guān)系

項(xiàng)目的鑒別力可以用項(xiàng)目與總分的相關(guān)來(lái)表示，因而鑒別力體現(xiàn)了測(cè)驗(yàn)的同質(zhì)性。如果項(xiàng)目1上得分高，總分也高；項(xiàng)目1上得分低，總分也低，則說(shuō)明項(xiàng)目1可以把高分者和低分者區(qū)分開(kāi)來(lái)。如果每個(gè)項(xiàng)目與總分的相關(guān)都很高，說(shuō)明這些項(xiàng)目都測(cè)到了同一種心理特質(zhì)，說(shuō)明測(cè)題的內(nèi)部一致性系數(shù)比較高，就說(shuō)明測(cè)驗(yàn)的信度比較高。

事實(shí)上測(cè)驗(yàn)的信度會(huì)隨著鑒別力的提高而迅速的提高。鑒別力與信度的關(guān)系

鑒別力（D）信度0.12250.000.160.420.200.630.300.840.400.9150.500.949

鑒別力是項(xiàng)目對(duì)被試能力高低的鑒別指標(biāo)，項(xiàng)目如果能有效地將高低能力水平的被試區(qū)別開(kāi)來(lái)，則說(shuō)明項(xiàng)目是有效的，所以鑒別力與效度有直接的關(guān)系。測(cè)驗(yàn)的鑒別力與難度的關(guān)系

難度與鑒別力有密切的關(guān)系。一般而言，難度越接近1或0時(shí)，項(xiàng)目的鑒別力越小；難度越接近0.50，項(xiàng)目的鑒別力越大。所以在編制測(cè)驗(yàn)時(shí)要使其平均難度為0.50.

能不能讓每個(gè)測(cè)題的難度都為0.50？一、步驟

1、選取有代表性的樣組，進(jìn)行預(yù)測(cè)。

2、把測(cè)驗(yàn)按分?jǐn)?shù)的高低次序排列，然后從最高分往下取27%的人作為高分組，再?gòu)淖畹头窒蛏先?7%的人作為低分組。

3、計(jì)算高分組和低分組在每道題上的通過(guò)率。

4、運(yùn)用公式分別求出每道題的難度和鑒別力指數(shù)。

5、比較高分組和低分組在測(cè)題不同答案上的反應(yīng)。

6、根據(jù)測(cè)題統(tǒng)計(jì)分析的結(jié)果，修改測(cè)題或選擇適當(dāng)?shù)臏y(cè)題。二、項(xiàng)目分析舉例

多重選擇題的項(xiàng)目分析對(duì)選擇項(xiàng)的反應(yīng)模式應(yīng)從以下幾方面進(jìn)行分析：

⑴如果正確的備選答案被所有的受測(cè)者選擇說(shuō)明測(cè)題太容易或者可能項(xiàng)目提供了某種暗示，或者其他的答案錯(cuò)得太過(guò)明顯。⑵如果某個(gè)錯(cuò)誤答案無(wú)一人選擇說(shuō)明該選項(xiàng)不具有迷惑性，錯(cuò)得過(guò)于明顯。一般而言，除非有2%以上的人選擇，否則該備選答案應(yīng)該修改或刪除。

⑶如果所有的被試都選擇了同一錯(cuò)誤答案說(shuō)明可能在編制測(cè)驗(yàn)時(shí)把正確答案弄錯(cuò)了，也可能是教學(xué)時(shí)教錯(cuò)了。⑷如果高分組被試的選擇集中在兩個(gè)答案上，并且兩者的選擇率接近說(shuō)明該題可能本來(lái)就有兩種正確答案，或者在某種意義上另一個(gè)選項(xiàng)也有一定道理。⑸如果高分組對(duì)正確答案的選擇率與低分組相等或低于低分組說(shuō)明該題所考察的東西與被試的能力無(wú)關(guān)，即不具有鑒別力，應(yīng)該刪除或做較大地修改。

⑹如果一個(gè)題目被試未作答的人數(shù)較多，或者選擇各個(gè)備選答案的人數(shù)相等說(shuō)明該項(xiàng)目可能過(guò)難或題意不清，被試無(wú)法作答或只能憑猜測(cè)作答。

選擇題與填空題、問(wèn)答題不同，被試若答對(duì)了某道填空或簡(jiǎn)答，我們就有充分的理由認(rèn)為他具備了相應(yīng)的水平，答錯(cuò)了也有充分的理由認(rèn)為他不具備。但對(duì)選擇題而言，情況要復(fù)雜一些。選擇了正確答案的被試可能是因?yàn)椴聹y(cè)而不是由于具備了相應(yīng)的能力，有相應(yīng)能力的被試也可能因?yàn)槠渌x項(xiàng)的干擾而沒(méi)有選擇正確答案。因而對(duì)于選擇題我們有必要對(duì)其選項(xiàng)進(jìn)行分析，從而對(duì)不合適的選項(xiàng)進(jìn)行修改。2道四重選擇題的項(xiàng)目分析表

題號(hào)分組選項(xiàng)A選項(xiàng)B選項(xiàng)C選項(xiàng)DPD1高分組低分組24231600260.720.262高分組低分組93181206060.560.22速度測(cè)驗(yàn)的題目分析

速度測(cè)驗(yàn)主要是測(cè)量被試心理活動(dòng)和動(dòng)作反應(yīng)的快慢。上述分析題目難度和區(qū)分度的方法不適合速度測(cè)驗(yàn)。因?yàn)樗俣葴y(cè)驗(yàn)的特點(diǎn)是：題目容易數(shù)量多，在嚴(yán)格規(guī)定的時(shí)間內(nèi)，被試不可能全部做完。如果用通過(guò)率來(lái)表示題目的難度，后面題目的通過(guò)率必然會(huì)低于前面的題目，這樣就會(huì)得出后面題目難度很高的錯(cuò)誤結(jié)論。

由于速度測(cè)驗(yàn)嚴(yán)格控制時(shí)間，后面題目的鑒別力必然會(huì)比前面的題目高得多，這與事實(shí)是不相符合的。有人認(rèn)為可以延長(zhǎng)測(cè)驗(yàn)時(shí)間，讓被試全部回答完，再來(lái)分析題目的難度和區(qū)分度。但是速度測(cè)驗(yàn)的主要目標(biāo)是評(píng)估被試的反應(yīng)速度，因而這也不是理想的辦法。因而學(xué)術(shù)界至今也沒(méi)找到分析速度測(cè)驗(yàn)題目質(zhì)量的理想的數(shù)量化方法，一般是從性質(zhì)上、取樣的代表性上進(jìn)行考察。

10、某測(cè)驗(yàn)對(duì)11名被試施測(cè)，數(shù)據(jù)如下，試計(jì)算各題的難度和區(qū)分度。

題號(hào)滿分

被試

12345

6789101113330330300332550550055500310885910371010574121012785598767520

15101217151015171815106504530204235