第8章-測量效度

第一節(jié)

效度概述一、什么是效度

（一）效度的概念效度是指一個(gè)測驗(yàn)或量表實(shí)際能測出其所要測的心理特質(zhì)的程度。效度是指對于一個(gè)既定的目標(biāo)，在作出決策和供應(yīng)說明的過程中，測量的有用性程度。（吉爾伯特·薩克斯：教化和心理的測量與評價(jià)原理——第四版）（二）對效度概念的理解

1.效度是一個(gè)相對概念（1）效度是相對于確定的測量目的而言的（2）心理特質(zhì)是較隱藏的特性，只能通過他的行為表現(xiàn)來進(jìn)行推想，因此，心理測量不行能達(dá)到百分之百精確，而只能達(dá)到某種程度上的精確。(3)推斷一個(gè)測量是否有效要從多方面收集證據(jù)。例如：一個(gè)人的健康程度：可從這幾方面自我主訴、就診次數(shù)、體檢收集證據(jù)。2.效度和信度一樣，也是指一列測量的特性，也是一個(gè)構(gòu)想概念3.效度的性質(zhì)測驗(yàn)的效度應(yīng)當(dāng)說測驗(yàn)結(jié)果的效度更精確效度不是全或無，而是在程度上的差別。如:用磅秤測身高或用成人身高評價(jià)你的智力？效度是針對某種用途而言，并不具有普遍意義效度的性質(zhì)

二、效度與信度的關(guān)系

（一）信度高是效度高的必要而非充分條件。測量值(X)的變異（二）測驗(yàn)的效度受它的信度制約：r2xy≤rxx（三）一般來說，效度的作用比信度更重要。一個(gè)測驗(yàn)假如效度很低，則信度無論多高，也是無用的。真變異系統(tǒng)變異隨機(jī)變異信度和效度都比較差效度與信度的關(guān)系圖示這是一個(gè)狙擊手的三種射擊結(jié)果！效度與信度的關(guān)系圖示信度好，效度差信度效度都好三、效度的標(biāo)準(zhǔn)效度系數(shù)越高越好。有人認(rèn)為相關(guān)系數(shù)在0.7以上才有效。只要測驗(yàn)分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)之間有統(tǒng)計(jì)學(xué)上的顯著性相關(guān)就有效。即便效度在0.3以下的測驗(yàn)也有運(yùn)用價(jià)值。一般認(rèn)為，效度的凹凸要依據(jù)測驗(yàn)的性質(zhì)何接受效度的種類而定。實(shí)力測驗(yàn)效度比人格測驗(yàn)效度高。一般智力測驗(yàn)的效度在0.3到0.6之間（彭聃齡《普心》423頁）其次節(jié)效度的估計(jì)效度的估計(jì)：就是多方找尋證據(jù)來證明一個(gè)測驗(yàn)的有效性程度的過程。弗蘭士（J.W.French）、米西貝爾（W.B.Michbel）提出三種說明角度：1、用測量的內(nèi)容來說明目的—內(nèi)容效度2、專心理學(xué)上某種理論結(jié)構(gòu)來說明目的——結(jié)構(gòu)效度3、用實(shí)際實(shí)效來說明目的—效標(biāo)關(guān)聯(lián)效度一、內(nèi)容效度（邏輯效度）（一）內(nèi)容效度的含義及應(yīng)用范圍

1.內(nèi)容效度：是指一個(gè)測驗(yàn)實(shí)際測到的內(nèi)容與所要測量的內(nèi)容之間的吻合程度內(nèi)容效度是指測驗(yàn)項(xiàng)目在多大程度上測量了特定的目標(biāo)并反映了任務(wù)的范圍或領(lǐng)域。（吉爾伯特·薩克斯：教化和心理的測量與評價(jià)原理——第四版）2.內(nèi)容效度的應(yīng)用范圍

（1）主要應(yīng)用于成就測驗(yàn)（2）也適合于某些用于選拔和分類的職業(yè)測驗(yàn)3.應(yīng)當(dāng)留意的幾點(diǎn)（1）內(nèi)容效度不適合用于實(shí)力傾向測驗(yàn)和人格測驗(yàn)。（2）在運(yùn)用內(nèi)容效度時(shí)要避開與表面效度相混淆。表面效度是外行人對某個(gè)測驗(yàn)從表面上看好象是測某種心理特質(zhì)的一種現(xiàn)象。當(dāng)外行人認(rèn)為某個(gè)測驗(yàn)?zāi)苡行У販y得某種心理特質(zhì)時(shí)，該測驗(yàn)就被認(rèn)為有較高的表面效度。一般來說，最佳行為測驗(yàn)往往表面效度高，其他測驗(yàn)則希望表面效度低。表面效度與內(nèi)容效度的區(qū)分：表面效度不是真正的效度。表面效度也會(huì)影響測驗(yàn)的實(shí)際效度。

（二）內(nèi)容效度的確定方法1.邏輯分析法(主要由專家推斷)（1）明確欲測內(nèi)容的范圍：包括學(xué)問范圍和實(shí)力要求兩個(gè)方面。這種范圍的確定必需具體、具體，并要依據(jù)確定目的規(guī)定好各綱目的比例。（2）確定每個(gè)題目所測的內(nèi)容，并與測驗(yàn)編制者所列的雙向細(xì)目表（考試藍(lán)圖）比照，逐題比較自己的分類與制卷者的分類，并做記錄。（3）制訂評定量表：考察題目對所定義的內(nèi)容范圍的覆蓋率、推斷題目難度與實(shí)力要求之間的差異，還要考察各種題目數(shù)量和分?jǐn)?shù)的比例以及題目形式對內(nèi)容的適當(dāng)性等等，對整個(gè)測驗(yàn)的有效性作出總的評價(jià)。2.克龍巴赫的統(tǒng)計(jì)分析方法。（不是阿爾法系數(shù)）3.統(tǒng)計(jì)分析法計(jì)算兩個(gè)評分者之間評定的一樣性（評分者信度）兩個(gè)測驗(yàn)復(fù)本上得分之相關(guān)（復(fù)本信度）再測法也可用于內(nèi)容效度的評估（測驗(yàn)-學(xué)習(xí)-再測驗(yàn)）二、實(shí)證效度（一）實(shí)證效度的含義、種類及作用1.實(shí)證效度:也稱效標(biāo)關(guān)聯(lián)效度，是指一個(gè)測驗(yàn)對處于特定情境中的個(gè)體的行為進(jìn)行估計(jì)的有效性。也就是說，一個(gè)測驗(yàn)特別有效，應(yīng)當(dāng)以實(shí)踐的效果來作為檢驗(yàn)標(biāo)準(zhǔn)。也可以理解為測驗(yàn)分?jǐn)?shù)與外部效標(biāo)之間的相關(guān)。2.實(shí)證效度的種類:同時(shí)效度和預(yù)料效度。3.實(shí)證效度的作用

（1）對于同時(shí)效度來說：主要用于診斷現(xiàn)狀，在于用更簡潔、更省時(shí)、更廉價(jià)和更有效的測驗(yàn)分?jǐn)?shù)來取代不易搜集的效標(biāo)資料。

（2）對于預(yù)料效度來說：在于預(yù)料某個(gè)個(gè)體將來的行為。（二）效標(biāo)(準(zhǔn)則)1.效標(biāo)的含義

效標(biāo)就是衡量一個(gè)測驗(yàn)是否有效的外在標(biāo)準(zhǔn)，它是獨(dú)立于測驗(yàn)并可以從實(shí)踐中干脆獲得的我們所感愛好的行為。2.效標(biāo)測量：通常我們感愛好的行為往往是一個(gè)觀念上的東西（觀念效標(biāo)），它必需用一個(gè)數(shù)字或等級來進(jìn)行表達(dá)（效標(biāo)測量）。校標(biāo)測量的主要特征：第一，要能代表理論上測驗(yàn)有效性的主要方面；其次，必需牢靠，即有信度；第三，不應(yīng)有偏差和污染。3.常用的效標(biāo)

在心理與教化測量工作中，常用的效標(biāo)主要有：限制組（比照組）的成果、學(xué)業(yè)成就、等級評定、臨床診斷、特地的訓(xùn)練成果、實(shí)際的工作表現(xiàn)、他人的評定、其他現(xiàn)成的有效測驗(yàn)分?jǐn)?shù)。這些效標(biāo)可以是連續(xù)變量，也可以是離散變量；可以是自然的現(xiàn)成指標(biāo)，也可以是人為設(shè)計(jì)的指標(biāo)；可以是主觀推斷，也可以是客觀測量；可以是自我評定，也可以是他人評定等等。（三）實(shí)證效度的確定方法1.確定實(shí)證效度的步驟

（1）明確觀念效標(biāo)

（2）確定效標(biāo)測量

（3）考察測量分?jǐn)?shù)與效標(biāo)測量的關(guān)系2.估計(jì)實(shí)證效度的方法（1）相關(guān)法：計(jì)算測量分?jǐn)?shù)與效標(biāo)測量的相關(guān)。（2）區(qū)分法：被試接受測驗(yàn)后，讓他們工作一段時(shí)間，再依據(jù)工作成果（效標(biāo)測量）的好壞分成兩組。這時(shí)再回過頭來分析這兩組被試原先接受測驗(yàn)的分?jǐn)?shù)差異，若這兩種人的測驗(yàn)分?jǐn)?shù)差異顯著，則說明該測驗(yàn)有較高的效度。（3）命中率：總命中率、正命中率注：可以理解為信號檢測論中的擊中率等。當(dāng)用測驗(yàn)作取舍決策時(shí)，決策的正命中率和總命中率是測驗(yàn)有效性的較好指標(biāo)?？偯新适侵敢罁?jù)測驗(yàn)選出的人當(dāng)中工作合格的人數(shù)，以及依據(jù)測驗(yàn)淘汰的人當(dāng)中工作不合格的人數(shù)之和與總?cè)藬?shù)之比。若總命中率高，則說明測驗(yàn)的效度高。這種測驗(yàn)在區(qū)分合格者與不合格者方法是有效的。正命中率是指用測驗(yàn)選出的人中合格者所占的比例。這個(gè)比例越高，測驗(yàn)越有效。這類測驗(yàn)只關(guān)切被選中合格者有多少，而不關(guān)切被淘汰者中是否有合格者。這時(shí)測驗(yàn)的效度應(yīng)當(dāng)用測驗(yàn)的正命中率來評價(jià)。三、結(jié)構(gòu)效度（一）結(jié)構(gòu)效度的含義、特點(diǎn)與應(yīng)用范圍1.結(jié)構(gòu)效度的定義構(gòu)想或結(jié)構(gòu)是指心理學(xué)理論所涉及到的抽象而屬假設(shè)性的概念或特質(zhì)。如智力、動(dòng)機(jī)、內(nèi)外向等。結(jié)構(gòu)效度:是指一個(gè)測驗(yàn)實(shí)際測到所要測量的理論結(jié)構(gòu)和特質(zhì)的程度，或者說它是指測驗(yàn)分?jǐn)?shù)在多大程度上測量或說明白某種理論構(gòu)想。**為了表明一個(gè)測驗(yàn)的構(gòu)想效度，你必需表明在這個(gè)測驗(yàn)上得分高與低的人行為起來和特定理論所預(yù)期的那樣。如在智力測驗(yàn)上得分低的人行為起來應(yīng)當(dāng)與我們預(yù)料的低智力者行為一樣。2.結(jié)構(gòu)效度的特點(diǎn)（1）結(jié)構(gòu)效度的大小首先取決于事先假定的心理特質(zhì)理論。（2）當(dāng)實(shí)際測量的資料無法證明我們的理論假設(shè)時(shí)，并不確定就表明該測驗(yàn)結(jié)果效度不高，因?yàn)檫€有可能出現(xiàn)理論假設(shè)不成立，或者該試驗(yàn)設(shè)計(jì)不能對該假設(shè)作適當(dāng)?shù)臋z驗(yàn)等狀況。這就使得結(jié)構(gòu)效度的獲得很難。（3）結(jié)構(gòu)效度是通過測量什么、不測量什么的證據(jù)累積起來賜予確定的，因而不行能有單一的數(shù)量指標(biāo)來描述結(jié)構(gòu)效度。3.結(jié)構(gòu)效度的應(yīng)用范圍:與內(nèi)容效度不同，結(jié)構(gòu)效度主要用于智力測驗(yàn)、人格測驗(yàn)等一些心理測驗(yàn)方面。（二）結(jié)構(gòu)效度的確定方法1.確立結(jié)構(gòu)效度的步驟

（1）提出理論假設(shè)，并把這一假設(shè)分解成一些細(xì)小的綱目，以說明被試在測驗(yàn)上的表現(xiàn)。

（2）依據(jù)理論框架，推演出有關(guān)測驗(yàn)成果的假設(shè)。

（3）用邏輯的和實(shí)證的方法來驗(yàn)證假設(shè)。2.結(jié)構(gòu)效度的估計(jì)方法（1）測驗(yàn)內(nèi)部找尋證據(jù)法：內(nèi)容效度法、分析被試答題過程（項(xiàng)目分析）、同質(zhì)性信度法（必要條件）。（2）測驗(yàn)之間找尋證據(jù)法：相容效度、區(qū)分效度、因素分析法。（3）考察測驗(yàn)的實(shí)證效度法（4）多種特質(zhì)--多種方法距陣法（坎貝爾、菲斯克）

例如，若有多種特質(zhì)（如A、支配性B、社會(huì)志向C、成就動(dòng)機(jī)）都接受了多種方法（如1、自陳報(bào)告問卷2、投射技術(shù)3、他人評估4、平行測驗(yàn)）的測查，就可以分別計(jì)算出隨意兩種方法測量同一特質(zhì)的相關(guān)和測量不同特質(zhì)的相關(guān)，以及隨意兩種特質(zhì)接受同一方法和不同方法的相關(guān)，并以這些相關(guān)系數(shù)為元素構(gòu)成一個(gè)距陣。小結(jié)：當(dāng)是對測量之外的其他成果的推斷，就用校標(biāo)關(guān)聯(lián)效度。依據(jù)項(xiàng)目代表行為領(lǐng)域的程度，這種代表性可以區(qū)分為：樣本(samples)——全域能被界定清晰——描述領(lǐng)域，求內(nèi)容效度；標(biāo)記（signs）——全域不能被界定清晰——說明領(lǐng)域，求結(jié)構(gòu)效度。1、內(nèi)容效度所涉及的問題是，從所感愛好的行為總體中取樣的測驗(yàn)項(xiàng)目，其代表性如何。方法：專家推斷、克隆巴赫統(tǒng)計(jì)分析、再測法、閱歷法。2、效標(biāo)效度指的是測驗(yàn)對我們所感愛好的外在實(shí)際行為能夠做出多好的診斷和預(yù)料。方法：相關(guān)法、區(qū)分法、命中率法、預(yù)期表法、功利率法、合成法。3、構(gòu)想效度是指一個(gè)測驗(yàn)對某種心理學(xué)所涉及的抽象概念或心理特質(zhì)測得如何。方法：測驗(yàn)間方法、測驗(yàn)內(nèi)方法、確定測驗(yàn)的效標(biāo)效度、試驗(yàn)操作法。第三節(jié)

提高測量效度的方法一、影響測量效度的因素

（一）測驗(yàn)的構(gòu)成：試題樣本、長度（二）測驗(yàn)的實(shí)施過程

（三）接受測驗(yàn)的被試：個(gè)體狀況、團(tuán)體同質(zhì)性（四）所選效標(biāo)的性質(zhì)

（五）測量的信度

二、提高測量效度的方法要想提高測量效度民間必需設(shè)法限制隨機(jī)誤差、減小系統(tǒng)誤差，同時(shí)，還要選擇好特殊恰當(dāng)?shù)男?biāo)，把效度系數(shù)精確地計(jì)算出來。（一）細(xì)心編制測驗(yàn)量表，避開出現(xiàn)系統(tǒng)誤差。（二）妥當(dāng)組織測驗(yàn)，限制隨機(jī)誤差。（三）創(chuàng)設(shè)標(biāo)準(zhǔn)的應(yīng)試情境，讓每個(gè)被試都能發(fā)揮正常的水平。（四）選好正確的效標(biāo)、定好恰當(dāng)?shù)男?biāo)測量，正確地運(yùn)用有關(guān)公式。結(jié)構(gòu)效度的因素分析法具體過程為：依據(jù)構(gòu)想編制測驗(yàn)——探究性因素分析（找到心理特質(zhì)的基本結(jié)構(gòu)）——驗(yàn)證性因素分析（對探究階段的因素進(jìn)行核證）——假如探究性因素分析得到的結(jié)果被驗(yàn)證性因素分析證明是最佳模型，則認(rèn)為該測驗(yàn)有較好的結(jié)構(gòu)效度。第4節(jié)因素分析簡介構(gòu)建測驗(yàn)的有效結(jié)構(gòu)100名學(xué)生在9個(gè)不同學(xué)科間的相關(guān)系數(shù)因素分析的基本思想依據(jù)相關(guān)性大小把變量分組，使得同組內(nèi)的變量間相關(guān)較高，不同組變量間的相關(guān)較低；每組變量代表了一個(gè)基本結(jié)構(gòu)，即因素。因素又稱“潛變量”。因素分析的目標(biāo)：簡化困難的數(shù)據(jù)結(jié)構(gòu)兩種路途：探究性因素分析和驗(yàn)證性因素分析因素分析模式常用的模式1、Zj為第j各變量的標(biāo)準(zhǔn)化分?jǐn)?shù)；2、Fi為共同因素；3、m為全部變量共同因素的數(shù)目；4、Uj為變量Zj唯一因素；5、aj1為因素負(fù)荷量。幾個(gè)基本概念因素負(fù)荷矩陣共同性（h2）每一變量在每個(gè)共同因素的負(fù)荷量的平方和。代表了每一變量的變異能貝各因素說明的部分。特征根（λ）是每個(gè)變量在某一共同因素的因素負(fù)荷量的平方和。除以總變異則代表了改因素對于總變異的說明量。因素負(fù)荷矩陣的轉(zhuǎn)換轉(zhuǎn)換的意義盡量使各分測驗(yàn)上負(fù)荷值向兩極分化，使其確定值都接近1或0。轉(zhuǎn)換的方法正交旋轉(zhuǎn)法：得到的因子互不相關(guān)；斜交旋轉(zhuǎn)法：因子之間是相關(guān)的。可以在斜交旋轉(zhuǎn)的基礎(chǔ)上抽取高階因子。公共因素的選擇和說明依據(jù)抽取的因素的方差百分比來確定因素?cái)?shù)量。依據(jù)特征根（λ）變更的描繪圖來確定因素?cái)?shù)量。以特征根（λ）大于等于1為抽取公共因素的原則。探討者必需對抽取的因素加以命名并做合理的說明。驗(yàn)證性因素分析探究性因素分