第五章 測(cè)量效度

第五章測(cè)量效度

第一節(jié)效度概述

第二節(jié)效度的估計(jì)

第三節(jié)提高測(cè)量效度的方法

第一節(jié)效度的概述一、效度所要回答的問(wèn)題

二、效度的含義三、效度和信度的關(guān)系四、效度驗(yàn)證與效度概化

一、效度所要回答的問(wèn)題

（1）一個(gè)測(cè)驗(yàn)測(cè)量了什么特性？（2）它對(duì)所要測(cè)量的特性測(cè)得有多準(zhǔn)？二、效度的含義

效度是指測(cè)量的有效性，一個(gè)測(cè)驗(yàn)實(shí)際所能測(cè)出其所要測(cè)量的心理特質(zhì)的程度。

效度與測(cè)驗(yàn)?zāi)康挠嘘P(guān)的有效SV2和實(shí)得SX2

的比值

效度檢驗(yàn)的實(shí)質(zhì)實(shí)際的測(cè)量結(jié)果測(cè)量目標(biāo)

兩者關(guān)系注意：1.效度是一個(gè)相對(duì)的概念。具有連續(xù)性。

★針對(duì)某種特定的測(cè)量目的

★只有程度上的差異2.效度是測(cè)量的隨機(jī)誤差和系統(tǒng)誤差的綜合反映。3.判斷一個(gè)測(cè)量是否有效要從多方面搜集證據(jù)。三、信度與效度的關(guān)系1.信度是效度的必要而非充分條件

ST2

SV2SI2SE2Sx2

下面哪種情況不可能存在？高信度，高效度高信度，低效度低信度，高效度低信度，低效度ST2SX2ST2SX2ST2rxyrxx

rxyrxx

rxyrxx

↑↓↑↑↓↓SX22.效度受信度的制約，信度系數(shù)規(guī)定了效度系數(shù)的上限。根據(jù)信度和效度的定義（）可以得到，

四、效度驗(yàn)證與效度概化效度驗(yàn)證：收集大量資料和證據(jù)來(lái)檢驗(yàn)效度的工作過(guò)程。效度概化：是指在某一種情境中所做的效度研究能否推廣到其他情景。效度概化方法-----交叉效度評(píng)定、元分析第二節(jié)效度的估計(jì)

1974年美國(guó)心理學(xué)會(huì)在《教育心理測(cè)驗(yàn)值標(biāo)準(zhǔn)》中將效度分為三大類：

1．內(nèi)容效度（ContentValidity）內(nèi)容效度指測(cè)驗(yàn)實(shí)際測(cè)到的內(nèi)容與所要測(cè)量的內(nèi)容之間的吻合程度。

2．實(shí)證效度(CriterionrelatedValidity)

實(shí)證效度是指一個(gè)測(cè)驗(yàn)對(duì)處于特定情景中的個(gè)體的行為進(jìn)行估計(jì)的有效性

3．結(jié)構(gòu)效度(ConstructValidity)

結(jié)構(gòu)效度是指測(cè)驗(yàn)對(duì)于被稱作構(gòu)想的某一理論概念或特質(zhì)測(cè)量的程度。一、內(nèi)容效度（一）含義

內(nèi)容效度是指一個(gè)測(cè)驗(yàn)實(shí)際測(cè)到的內(nèi)容與所要測(cè)量的內(nèi)容之間的吻合程度。

一個(gè)測(cè)驗(yàn)要有內(nèi)容效度必須具備兩個(gè)條件：1.要有定義得完好的內(nèi)容范圍

20以內(nèi)的加減法

中小學(xué)生的心理健康的特點(diǎn)和表現(xiàn)。

2.測(cè)驗(yàn)項(xiàng)目應(yīng)是已界定的內(nèi)容范圍的代表性樣本

如果把所有的內(nèi)容視為一個(gè)總體，那么測(cè)驗(yàn)項(xiàng)目可以視為一個(gè)樣本，這個(gè)樣本要具有代表性，這個(gè)樣本能夠代表總體的程度就是內(nèi)容效度。內(nèi)容效度與表面效度的區(qū)別1）表面效度是由外行對(duì)測(cè)驗(yàn)做表面上的檢查確定的，而內(nèi)容效度是由夠資格的判斷者（專家）詳盡地、系統(tǒng)地對(duì)測(cè)驗(yàn)評(píng)價(jià)而建立的。

例如，MMPI中有這樣的題目：“我的喉嚨里總好象有一塊東西堵著似的?！?）表面效度不是效度的客觀指標(biāo)，但能對(duì)受測(cè)者的動(dòng)機(jī)產(chǎn)生影響，因而也會(huì)影響到效度。

最高行為測(cè)驗(yàn)要求有較高的表面效度，典型行為測(cè)驗(yàn)卻要求較低的表面效度。（二）估計(jì)方法

1.專家判斷法

2.統(tǒng)計(jì)法

復(fù)本法

（克龍巴赫法）再測(cè)法

內(nèi)容效度比

專家評(píng)定法這是一種定性分析的方法，由專家對(duì)測(cè)驗(yàn)項(xiàng)目與所涉及的內(nèi)容范圍進(jìn)行符合性判斷。我們以教育測(cè)驗(yàn)為例來(lái)說(shuō)明應(yīng)遵循的程序。1.確定所要測(cè)量的全部?jī)?nèi)容范圍。比如要考察某一學(xué)科測(cè)驗(yàn)是否有效度，就要根據(jù)教材和教學(xué)大綱列出這門(mén)課程的全部知識(shí)點(diǎn)。2.根據(jù)教育目標(biāo)的要求，將測(cè)驗(yàn)?zāi)康木唧w化為不同層次的測(cè)驗(yàn)?zāi)繕?biāo)。教育測(cè)驗(yàn)?zāi)繕?biāo)一般采用布魯姆教育目標(biāo)分類學(xué)中的分類標(biāo)準(zhǔn)，將測(cè)驗(yàn)?zāi)繕?biāo)分成識(shí)記、理解、應(yīng)用、分析、綜合、評(píng)價(jià)六個(gè)層次。按不同層次的測(cè)驗(yàn)?zāi)繕?biāo)對(duì)知識(shí)點(diǎn)進(jìn)行分類。3.確定每一層次目標(biāo)在整個(gè)測(cè)驗(yàn)項(xiàng)目中所占的比重。4.編制測(cè)驗(yàn)雙向細(xì)目表。5.請(qǐng)專家對(duì)雙向細(xì)目表以及測(cè)題是否符合雙向細(xì)目表的內(nèi)容要求、測(cè)題的形式是否合適等進(jìn)行評(píng)定。6.對(duì)測(cè)題進(jìn)行必要的修改，直至多數(shù)專家對(duì)測(cè)驗(yàn)的內(nèi)容效度感到滿意為止。最后，報(bào)告專家評(píng)定的情況，這個(gè)評(píng)定結(jié)果可以作為內(nèi)容效度。無(wú)良好的數(shù)量指標(biāo)描述這種符合性的程度；不同專家對(duì)同一測(cè)驗(yàn)內(nèi)容效度的判斷可能不一致；不同專家對(duì)內(nèi)容范圍會(huì)有不同的理解

局限克倫巴赫法克倫巴赫認(rèn)為，內(nèi)容效度可由一組被試在取自同樣內(nèi)容范圍的兩個(gè)測(cè)驗(yàn)復(fù)本上得分的相關(guān)來(lái)作數(shù)量上的估計(jì)。當(dāng)相關(guān)高時(shí)，可以推論測(cè)驗(yàn)具有較高的內(nèi)容效度。缺點(diǎn)：如果相關(guān)低，至少一個(gè)測(cè)驗(yàn)缺乏內(nèi)容效度，但不能確定哪個(gè)測(cè)驗(yàn)缺乏內(nèi)容效度。如果相關(guān)高，也可能兩個(gè)測(cè)驗(yàn)存在相同的偏差，兩者效度都不高。再測(cè)法在教學(xué)或訓(xùn)練之前施測(cè)某一測(cè)驗(yàn)，經(jīng)過(guò)一段時(shí)間的學(xué)習(xí)或訓(xùn)練后再次施測(cè)，如果后測(cè)的成績(jī)顯著高于前測(cè)，則可以認(rèn)為測(cè)驗(yàn)?zāi)芎芎玫胤磻?yīng)學(xué)習(xí)或訓(xùn)練的效果，測(cè)驗(yàn)具有較高的內(nèi)容效度。前測(cè)后測(cè)

被試經(jīng)過(guò)預(yù)測(cè)知識(shí)的教學(xué)內(nèi)容效度比讓本專業(yè)的專家對(duì)取樣的代表性進(jìn)行分析，評(píng)價(jià)某一測(cè)驗(yàn)項(xiàng)目是否具有代表性，統(tǒng)計(jì)出專家中認(rèn)為某一項(xiàng)目能代表所要測(cè)量的內(nèi)容范圍的人數(shù)，再用公式計(jì)算出內(nèi)容效度之比

式中CVR表示內(nèi)容效度比，ni表示專家中認(rèn)為某項(xiàng)目具有代表性的人數(shù)，N表示參加評(píng)定的專家的總?cè)藬?shù)。根據(jù)內(nèi)容效度比，刪除內(nèi)容效度比低的項(xiàng)目。計(jì)算全部項(xiàng)目的內(nèi)容效度比的平均數(shù)，作為內(nèi)容效度的指標(biāo)。（三）應(yīng)用和評(píng)價(jià)內(nèi)容效度適合于測(cè)驗(yàn)所要測(cè)量的內(nèi)容總體能夠明確界定的情況。因此尤其適合對(duì)成就測(cè)驗(yàn)的效度的考察。內(nèi)容效度對(duì)各種用于人員選拔和安置的職業(yè)測(cè)驗(yàn)也是適用的。職業(yè)測(cè)驗(yàn)關(guān)心的是被試是否具有從事某項(xiàng)職業(yè)的知識(shí)、技能等，那么要明確某項(xiàng)職業(yè)所需的全部知識(shí)和技能，再對(duì)這些知識(shí)和技能進(jìn)行取樣，取出一個(gè)有代表性的樣本。內(nèi)容效度不適合用于能力傾向測(cè)驗(yàn)和人格測(cè)驗(yàn)。缺點(diǎn)：缺乏理想的數(shù)量指標(biāo)，因而妨礙了信息交流和各測(cè)驗(yàn)的相互比較。二、實(shí)證效度（效標(biāo)關(guān)聯(lián)效度）（一）效標(biāo)關(guān)聯(lián)效度的含義、種類及作用

定義：是指一個(gè)測(cè)驗(yàn)對(duì)處于特定情景中的個(gè)體的行為進(jìn)行估計(jì)的有效性。以實(shí)踐的效果作為檢驗(yàn)標(biāo)準(zhǔn)被估計(jì)的行為是檢驗(yàn)測(cè)驗(yàn)效度的標(biāo)準(zhǔn)，簡(jiǎn)稱效標(biāo)。根據(jù)效標(biāo)資料搜集的時(shí)間差異，實(shí)證效度可以分成同時(shí)效度和預(yù)測(cè)效度兩種。有人把二種效度都稱為預(yù)測(cè)效度，并把測(cè)驗(yàn)稱作預(yù)測(cè)源。

（二）效標(biāo)

效標(biāo)就是衡量一個(gè)測(cè)驗(yàn)是否有效的外在標(biāo)準(zhǔn)，它是獨(dú)立于測(cè)驗(yàn)并可以從實(shí)踐中直接獲得的我們所感興趣的行為。如，我們可以用飛行員的工作表現(xiàn)作為驗(yàn)證飛行員選拔測(cè)驗(yàn)的效標(biāo)用于心理病理測(cè)量的人格量表可以用醫(yī)生的臨床診斷結(jié)果作為效標(biāo)效標(biāo)污染

效標(biāo)污染是指由于評(píng)定者知道被試測(cè)驗(yàn)的原分?jǐn)?shù)而使被試的效標(biāo)分?jǐn)?shù)受到影響的情況。

最好的預(yù)防方法是不讓評(píng)分者看到原來(lái)測(cè)驗(yàn)的分?jǐn)?shù)，保證效標(biāo)分?jǐn)?shù)和原測(cè)驗(yàn)分?jǐn)?shù)的獨(dú)立性。觀念效標(biāo)與效標(biāo)測(cè)量阿斯丁把效標(biāo)分為兩個(gè)層次：一是理論描述水平的“觀念效標(biāo)”，二是操作定義水平的“效標(biāo)測(cè)量”。理論定義與操作定義。所謂觀念效標(biāo)指從概念上確定所要選擇的測(cè)驗(yàn)效標(biāo)是什么。

。常用的觀念效標(biāo)有：實(shí)際工作表現(xiàn)、學(xué)業(yè)成就、臨床診斷、行為的等級(jí)評(píng)定、專門(mén)的訓(xùn)練成績(jī)、對(duì)團(tuán)體的區(qū)分能力以及其他現(xiàn)成的有效測(cè)驗(yàn)，等等。

效標(biāo)測(cè)量，指將觀念效標(biāo)進(jìn)行量化操作。一種觀念效標(biāo)可以有多種不同的效標(biāo)測(cè)量。如實(shí)際工作表現(xiàn)的效標(biāo)測(cè)量可以采用的數(shù)量指標(biāo)有：產(chǎn)品數(shù)量和質(zhì)量、銷售額、收入、職位、薪水提高的幅度、領(lǐng)導(dǎo)評(píng)定、同事評(píng)定等等。又如，學(xué)業(yè)成就的效標(biāo)測(cè)量可以采用的數(shù)量指標(biāo)：?jiǎn)卧荚嚦煽?jī)、期中期末的考試成績(jī)、老師評(píng)價(jià)、同伴評(píng)定、獲獎(jiǎng)情況、發(fā)表作品情況等等。好的效標(biāo)測(cè)量應(yīng)符合以下幾個(gè)條件：（1）有效性效標(biāo)測(cè)量與觀念效標(biāo)必須是高度一致的。

（2）可靠性效標(biāo)測(cè)量必須正確可靠。也就是說(shuō)要具有較高的信度。

（3）客觀性效標(biāo)測(cè)量必須客觀，避免偏見(jiàn)。如，當(dāng)效標(biāo)測(cè)量是主觀評(píng)定時(shí)，一定要盡量避免主觀偏見(jiàn)。（4）實(shí)用性在保證有效性的前提下，效標(biāo)測(cè)量必須盡可能簡(jiǎn)單、省時(shí)、花費(fèi)少。（三）實(shí)證效度的確定步驟：①明確觀念效標(biāo)；②確定效標(biāo)測(cè)量；③考查測(cè)驗(yàn)分?jǐn)?shù)與效標(biāo)測(cè)量的關(guān)系。（四）確定方法

一般可以通過(guò)統(tǒng)計(jì)分析得到一個(gè)數(shù)量指標(biāo)，因此有人將它稱為統(tǒng)計(jì)效度。常用的估計(jì)方法有相關(guān)法、區(qū)分法、命中率法等。1.相關(guān)法

最常用的計(jì)算效標(biāo)關(guān)聯(lián)效度的方法，測(cè)驗(yàn)分?jǐn)?shù)與效標(biāo)間的相關(guān)系數(shù)稱為效度系數(shù)。測(cè)驗(yàn)分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)的數(shù)據(jù)性質(zhì)不同，計(jì)算相關(guān)系數(shù)的方法不同。

如：假設(shè)有10名男性經(jīng)職業(yè)興趣測(cè)驗(yàn)而被選定作為推銷員，其測(cè)驗(yàn)分?jǐn)?shù)下表第一行，而第二行是經(jīng)過(guò)若干年后他們某段時(shí)間內(nèi)銷售金額總量(以萬(wàn)元為單位)?，F(xiàn)問(wèn)該測(cè)驗(yàn)的效度如何?

如，對(duì)某個(gè)群體進(jìn)行心理病理方面的人格測(cè)驗(yàn)，以是否患精神疾病為效標(biāo)。如，對(duì)初中生進(jìn)行學(xué)習(xí)能力測(cè)驗(yàn)，以是否考上重點(diǎn)中學(xué)為效標(biāo)?？偨Y(jié)：

相關(guān)系數(shù)的平方表示一個(gè)變量的變異數(shù)由另一個(gè)變量的變異數(shù)決定的百分比（決定系數(shù)）。因此，當(dāng)rxy=0．50時(shí)，我們可以說(shuō)效標(biāo)分?jǐn)?shù)中有25％(0．502=0．25)的變異數(shù)是來(lái)自預(yù)測(cè)源分?jǐn)?shù)的變異，或者說(shuō)有25％的變異數(shù)為兩個(gè)測(cè)量所共同擁有。假如效標(biāo)中有一半的變異數(shù)能由預(yù)測(cè)源分?jǐn)?shù)的變異來(lái)解釋，則效度系數(shù)必須為0．71。以相關(guān)法求效度的優(yōu)點(diǎn)是：(1)提供了一個(gè)統(tǒng)計(jì)指標(biāo)以總結(jié)預(yù)測(cè)源與效標(biāo)間的關(guān)系；(2)可利用回歸方程式來(lái)預(yù)測(cè)每個(gè)人的期望效標(biāo)成績(jī)；(3)效度系數(shù)（相關(guān)系數(shù)）為大家廣泛使用，便于比較研究。2、區(qū)分法

看預(yù)測(cè)源的分?jǐn)?shù)是否可區(qū)分由效標(biāo)測(cè)量所定義的團(tuán)體。

例：某工廠通過(guò)測(cè)驗(yàn)錄用了一批工人，過(guò)一段時(shí)間后，根據(jù)工作成績(jī)（如產(chǎn)品的數(shù)量、質(zhì)量）將他們分成成功的和失敗的兩組，然后回過(guò)頭來(lái)檢查他們的測(cè)驗(yàn)分?jǐn)?shù)。

假如：成功組有60人，失敗組有40人；成功組的平均數(shù)為6.05，標(biāo)準(zhǔn)差為2.02；失敗組的平均數(shù)為4.25，標(biāo)準(zhǔn)差為1.3。3．命中率法含義：依據(jù)測(cè)驗(yàn)分?jǐn)?shù)對(duì)被試作出的分類與根據(jù)被試的實(shí)際工作表現(xiàn)所做出的分類的一致性程度。（取舍正確率）用途人才選拔方法正確決策的結(jié)果正確接受正確拒絕

預(yù)測(cè)源與效標(biāo)都是二分的總命中率關(guān)心錄取者中合格的人數(shù)與淘汰者中不合格的人數(shù)的比率。正命中率只關(guān)心錄取者中有多少合格的人，不關(guān)心淘汰者是否有合格的人。以取舍正確性作為測(cè)驗(yàn)效度的指標(biāo)，主要優(yōu)點(diǎn)：與實(shí)際生活聯(lián)系更緊；計(jì)算方法簡(jiǎn)單并容易為一般人所理解。缺點(diǎn)：它對(duì)分?jǐn)?shù)剛剛低于臨界分?jǐn)?shù)的人不公平。三、構(gòu)想效度（一）含義構(gòu)想效度（constructvalidity），又稱構(gòu)念效度、結(jié)構(gòu)效度。構(gòu)想：心理學(xué)理論中所涉及到的抽象而假設(shè)性的概念或特質(zhì)，如智力、焦慮等，它們往往用某種操作定義來(lái)定義、可以用測(cè)驗(yàn)來(lái)測(cè)量。

構(gòu)想效度是指一個(gè)測(cè)驗(yàn)實(shí)際測(cè)到所要測(cè)量的理論結(jié)構(gòu)和特質(zhì)的程度，或者說(shuō)測(cè)驗(yàn)分?jǐn)?shù)能夠說(shuō)明某一理論概念或特質(zhì)的程度。（二）驗(yàn)證構(gòu)想效度的方法

假設(shè)我們要檢驗(yàn)一個(gè)智力測(cè)驗(yàn)的結(jié)構(gòu)效度1、尋找測(cè)驗(yàn)依據(jù)的理論定義。

智力代表了一個(gè)人獲得、保持知識(shí)的能力，推理能力，及適應(yīng)環(huán)境的能力。2、根據(jù)理論定義提出假設(shè)。

智力不同于后天獲得的知識(shí)，因此與遺傳因素有關(guān)，切更為穩(wěn)定；智力會(huì)隨著人的生理變化而發(fā)展變化；智力會(huì)影響人的學(xué)習(xí)成績(jī)和事業(yè)成功。3、搜集資料，驗(yàn)證假設(shè)。﹠計(jì)算同卵雙生子、異卵雙生子、其他同胞、非同胞間的智商的相關(guān)，看相關(guān)系數(shù)是否依次降低；

﹠看智商與學(xué)業(yè)成績(jī)間是否有高相關(guān)；

﹠智力是否隨著年齡的增長(zhǎng)而逐漸提高，在某一階段又是相對(duì)穩(wěn)定的。（三）估計(jì)方法1.測(cè)驗(yàn)內(nèi)方法

內(nèi)容效度

分析被試解答測(cè)題時(shí)的反應(yīng)過(guò)程

測(cè)驗(yàn)的同質(zhì)性—內(nèi)部一致性系數(shù)

2.測(cè)驗(yàn)間方法

相容效度（congruentvalidity）

區(qū)分效度（discriminantvalidity）因素分析（factorialvalidity)

3.效標(biāo)關(guān)聯(lián)法

4.多種特質(zhì)——多種方法矩陣法1、測(cè)驗(yàn)內(nèi)部尋找證據(jù)法（1）確定內(nèi)容效度作為結(jié)構(gòu)效度的證據(jù)（2）分析被試的答題過(guò)程

例如，人格測(cè)驗(yàn)中有這樣一個(gè)題目：“我喜歡在別人面前說(shuō)另一個(gè)人的缺點(diǎn)?！币粋€(gè)被試回答“否”，問(wèn)他是怎么考慮