《心理測量學(xué)》全套精品課件-第五章-測量效度1

1、心理測量學(xué)全套精品課件 第五章 測量效度1本章內(nèi)容效度概念及其與信度的關(guān)系效度的種類及估計(jì)提高測量效度的方法一個(gè)現(xiàn)實(shí)的問題1997年1月，北京市政府宣布從社會(huì)各界公開招聘57名廳、局級干部（均為副職）。經(jīng)過各種測驗(yàn)和測評，57名干部從2000多名候選人中脫穎而出，如期上任。其中使用的測驗(yàn)技術(shù)包括：結(jié)構(gòu)化面試，評價(jià)中心，紙筆考試（專業(yè)知識(shí)）等。你從測驗(yàn)學(xué)的角度如何看待這一舉措？不考慮政治因素。根據(jù)測驗(yàn)分?jǐn)?shù)作出推斷的例子得這個(gè)分?jǐn)?shù)的人能順利完成醫(yī)學(xué)院的訓(xùn)練得這個(gè)分?jǐn)?shù)的人可能成為最令人滿意的工程師得這個(gè)分?jǐn)?shù)的人極有可能從廠里偷東西第一節(jié) 效度概述 一、什么是效度 效度（validity）是指一個(gè)測驗(yàn)

2、或量表實(shí)際能測出其所要測的心理特質(zhì)的程度。例： 語文能力好的學(xué)生，在語文測驗(yàn)上的得分高；語文能力不好的學(xué)生，在語文測驗(yàn)上的得分低注意：（1）效度是一個(gè)相對的概念：效度是相對于一定的測量目的而言的。 每個(gè)測量工具都有自己的目的；測量某一特質(zhì)有效的量表，若用它來測量另一種特質(zhì)，必然無效，如，用測身高的鋼尺測量體重，用測量智力的量表測性格。內(nèi)隱特質(zhì)是通過外顯行為間接測得的。所以，測量無法達(dá)到100準(zhǔn)確，而是一定程度的準(zhǔn)確，效度永遠(yuǎn)不會(huì)為0。（2）效度是測量的隨機(jī)誤差和系統(tǒng)誤差的綜合反映。（3）判斷一個(gè)測量是否有效要從多方面收集證據(jù)。 實(shí)測結(jié)果無法和心理特性直接比較，而必須先從多種角度把特性描述清楚。

3、操作定義：與目的有關(guān)的真分?jǐn)?shù)在實(shí)測分?jǐn)?shù)中所占的比例 實(shí)測分?jǐn)?shù)=真分?jǐn)?shù)+誤差(隨機(jī)誤差) 與目的 與目的 有關(guān) 無關(guān)(系統(tǒng)誤差) 效度=S2V/S2X=r2XYrXY代表效度系數(shù)，S2V代表有效變異數(shù)，S2X代表總變異數(shù)二、效度和信度的關(guān)系信度高是效度高的必要而非充分條件有信度的測驗(yàn)未必有效度，高效度可保證某種程度的信度信度低，效度一定低，但測驗(yàn)具有效度之前，需先具有信度，因若測驗(yàn)不可靠，更不用談其正確性。SV2 SI2 SE2SV2 SI2 SE2SV2 SI2 SE2 高信度、高效度高信度、低效度低信度、低效度效度高，信度一定高，但效度低，信度不一定低效度需要測驗(yàn)分?jǐn)?shù)的一致性和正確性，但信度

4、僅需要一致性即可。效度是受信度制約的第二節(jié) 效度的估計(jì)測量效度的估計(jì)很大程度上取決于人們對測量目的的解釋。常見的解釋角度主要有三種：用測量的內(nèi)容來說明目的（內(nèi)容效度）用心理學(xué)上某種理論結(jié)構(gòu)來說明目的（構(gòu)想效度）用工作實(shí)效來說明目的（實(shí)證效度）一、內(nèi)容效度1含義及應(yīng)用范圍 內(nèi)容效度（content validity）是指測驗(yàn)題目對有關(guān)內(nèi)容或行為取樣的適當(dāng)程度，即一個(gè)測驗(yàn)實(shí)際測到的內(nèi)容與所要測量的內(nèi)容之間的吻合程度。 因此，一個(gè)測驗(yàn)要有內(nèi)容效度必須具備兩個(gè)條件： （1）要有定義完好的內(nèi)容范圍 包括欲測的知識(shí)范圍，以及該范圍內(nèi)各知識(shí)點(diǎn)所要求掌握的程度 （2）測驗(yàn)題目應(yīng)是所界定的內(nèi)容范圍的代表性取樣。

5、內(nèi)容效度主要應(yīng)用于成就測驗(yàn)，也適合于某些用于選拔和分類的職業(yè)測驗(yàn)。但不適用于能力傾向測驗(yàn)和人格測驗(yàn)。表面效度（surface validity）：外行人對某個(gè)測驗(yàn)從表面上看好像是測某種心理特質(zhì)的程度。并不是一種真正的效度。人格測驗(yàn)要求表面效度不宜過高。2內(nèi)容效度的確定方法（1）邏輯分析法：專家判斷根據(jù)自己的知識(shí)經(jīng)驗(yàn)對量表的有效性（邏輯性）作出判斷，也稱邏輯效度。 為使內(nèi)容效度的判斷過程更客觀，一般采用下列步驟：確定測驗(yàn)內(nèi)容的總體范圍；編制雙向細(xì)目表；編制評定量表，從測驗(yàn)內(nèi)容所測的技能、題目對所定義的范圍的覆蓋率、各種題目數(shù)量和分?jǐn)?shù)的比例以及題目形式的適當(dāng)性等方面，對測驗(yàn)作出總的評價(jià)。提高內(nèi)容效

6、度的方法之一： 編制命題的雙向細(xì)目表記憶了解應(yīng)用分析綜合評價(jià)合計(jì)第一章8210第二章12621030第三章4422618第四章2101284642合計(jì)6262814206100（2）統(tǒng)計(jì)方法：用兩個(gè)測驗(yàn)復(fù)本來測同一批被試，若相關(guān)高，則內(nèi)容效度可能高，但若相關(guān)低，則說明必有一個(gè)測驗(yàn)缺乏內(nèi)容效度。（3）再測法： 前測教學(xué)后測 如果后測成績優(yōu)于前測成績，說明該測驗(yàn)具有一定的內(nèi)容效度。二、結(jié)構(gòu)效度1含義、特點(diǎn)與應(yīng)用范圍 結(jié)構(gòu)效度（structure validity）是指一個(gè)測驗(yàn)實(shí)際測到所要測量的理論結(jié)構(gòu)或特質(zhì)的程度，或者說測驗(yàn)分?jǐn)?shù)能夠說明心理學(xué)理論的某種結(jié)構(gòu)或特質(zhì)的程度。特點(diǎn)：（1）具有不同理論構(gòu)思

7、的測驗(yàn)，其結(jié)構(gòu)效度是無法進(jìn)行比較的；（2）結(jié)構(gòu)效度有時(shí)很難獲得；（3）結(jié)構(gòu)效度沒有單一的指標(biāo)，是由各方面的證據(jù)累積起來進(jìn)行評價(jià)的。2結(jié)構(gòu)效度的確定方法 結(jié)構(gòu)效度確立的一般步驟：（1）提出理論框架；（2）依據(jù)理論框架推演出有關(guān)測驗(yàn)成績的假設(shè)；（3）用邏輯或?qū)嵶C的方法來證明假設(shè)。某一智力理論的四項(xiàng)假設(shè):1.智力隨年齡而增長;2.智力與學(xué)業(yè)成就有密切的關(guān)系 根據(jù)上面的假設(shè)編制智力測驗(yàn)，對測量數(shù)據(jù)進(jìn)行以下分析。測試者的分?jǐn)?shù)與年齡的相關(guān)智力與學(xué)業(yè)的相關(guān) 例如：要檢驗(yàn)一個(gè)適應(yīng)行為測驗(yàn)的結(jié)構(gòu)效度，首先要根據(jù)廣泛認(rèn)可的“適應(yīng)行為”的定義提出假設(shè)，比如：弱智兒童適應(yīng)行為弱于正常兒童等。然后搜集資料對假設(shè)進(jìn)行驗(yàn)證

8、。如果假設(shè)得到了驗(yàn)證，那么我們認(rèn)為該測驗(yàn)具有較好的結(jié)構(gòu)效度。具體方法：（1）測驗(yàn)內(nèi)部尋找證據(jù)法分析測驗(yàn)的內(nèi)容效度：若內(nèi)容效度高，說明其結(jié)構(gòu)效度也高；分析被試對題目反應(yīng)的特點(diǎn)： 有無社會(huì)稱許性的題目，如“當(dāng)事情不順我意時(shí)，我時(shí)常動(dòng)怒?！睂υ擃}的回答，也許反映不了要測的性格。計(jì)算測驗(yàn)的同質(zhì)性信度：分半信度、系數(shù)、KR20、KR21 測驗(yàn)內(nèi)容效度有時(shí)可以作為測驗(yàn)的結(jié)構(gòu)效度的證據(jù)。比如編制語文能力測驗(yàn)時(shí)，對內(nèi)容范圍的界定描述為：對詞匯下定義對語言作類比推理在句子中正確運(yùn)用文字的能力。 這實(shí)際上就是對語文能力的構(gòu)想下了定義。 通過被試的操作，詢問他如何處理題目，通過必要的統(tǒng)計(jì)處理分析，發(fā)現(xiàn)有些什么樣的變

9、量影響反應(yīng)，因而可確定測驗(yàn)是否測量了所要測的特質(zhì)。 比如，人格測驗(yàn)有這樣的題目： “我總是避免批評別人的言行?！蓖ㄟ^分析，發(fā)現(xiàn)對這類題目的反應(yīng)受道德觀念的影響，測量是否按照符合社會(huì)的價(jià)值趨向來回答問題。 通過計(jì)算被試在每個(gè)題目上的反應(yīng)與測驗(yàn)總分的相關(guān)或分測驗(yàn)分?jǐn)?shù)與總分的相關(guān)，以及系數(shù)、庫德理查遜系數(shù)等內(nèi)部一致性的指標(biāo)，可以推估測驗(yàn)是測單一特質(zhì)還是測多種特質(zhì)，從而確定測驗(yàn)的構(gòu)想效度的高低。（2）測驗(yàn)之間尋找證據(jù)法相容效度：新老測驗(yàn)之間的相關(guān)（兩測驗(yàn)測的是同一心理特質(zhì)）。若相關(guān)高，則說明新測驗(yàn)可能有較高的效度。區(qū)分效度：新老測驗(yàn)之間的相關(guān)（兩測驗(yàn)測的不是同一心理特質(zhì)），若相關(guān)低，則說明新測驗(yàn)可能有

10、較高的效度。因素分析法：得出的因素符合理論的構(gòu)思，說明效度高。（3）考察測驗(yàn)的實(shí)證效度法根據(jù)效標(biāo)把被試分組，考察其得分差異。根據(jù)測驗(yàn)得分差異把被試分組，考察其所測特質(zhì)（行為表現(xiàn)）的差異。（4）多種特質(zhì)-多種方法矩陣法方法：1、2、3特質(zhì)：A、B、CA1B1C1A2B2C2A3B3C3A10.90B10.500.89C10.350.410.81A20.580.250.100.95B20.210.590.090.630.91C20.140.130.500.570.530.85A30.550.200.130.690.320.300.93B30.110.600.190.200.680.290.500.

11、96C30.150.200.700.210.190.670.530.510.92例如構(gòu)想：考試焦慮是當(dāng)考試結(jié)果對個(gè)人有重大意義時(shí)的一種害怕失敗的緊張情緒”。有一個(gè)焦慮測驗(yàn)，考察這測驗(yàn)是否有構(gòu)想效度。設(shè)計(jì)幾種試驗(yàn)情境：設(shè)計(jì)1：比較不同重要性考試時(shí)該測驗(yàn)的分?jǐn)?shù)按照構(gòu)想，重要考試時(shí)焦慮分?jǐn)?shù)高平時(shí)考試中實(shí)施此焦慮測驗(yàn)重要考試之前施該焦慮測驗(yàn)比較兩次分?jǐn)?shù)，如重要考試前的焦慮分?jǐn)?shù)顯著提高，就說明這個(gè)測驗(yàn)對測量考試焦慮是有效的。設(shè)計(jì)2：舉行兩場考試，使被試相信一場考試關(guān)系重大，一場考試無關(guān)要緊。挑選兩組被試，高焦慮組和低焦慮組。比較考試成績，出現(xiàn)下述情況，說明測驗(yàn)有構(gòu)想效度：焦慮分?jǐn)?shù)高組學(xué)生，如在第一場考試

12、中成績比平時(shí)有所下降，在第二場考試中卻能正常發(fā)揮。焦慮分?jǐn)?shù)低組學(xué)生，無論在哪場考試都發(fā)揮正常。設(shè)計(jì)3：收集被試在經(jīng)歷一場重大考試時(shí)的生理心理參數(shù)作為焦慮的指標(biāo)將其同焦慮測驗(yàn)分?jǐn)?shù)比較相關(guān)高證明焦慮測驗(yàn)測量了焦慮這個(gè)特質(zhì)。對構(gòu)想效度的評價(jià)構(gòu)想效度這一概念提出的最大貢獻(xiàn)是把著眼點(diǎn)放在提出假設(shè)、檢驗(yàn)假設(shè)上，因此使心理測驗(yàn)不再只是作實(shí)際決定的輔助工具，同時(shí)還成為發(fā)展心理學(xué)理論的重要工具。有些構(gòu)想概念模糊，缺乏一致的定義。同樣構(gòu)想可能有不同名稱；同樣的概念可能有不同解釋理解。確定效度時(shí)沒有明確的操作步驟與程序。沒有單一的數(shù)量指標(biāo)來描述有效程度。三、實(shí)證效度1含義、種類及作用 實(shí)證效度是指一個(gè)測驗(yàn)對處于特定

13、情境中的個(gè)體的行為進(jìn)行估計(jì)的有效性。 被估計(jì)的行為是檢驗(yàn)測驗(yàn)效度的標(biāo)準(zhǔn)，簡稱效標(biāo)。 所以，實(shí)證效度又稱效標(biāo)關(guān)聯(lián)效度（criterion-related validity）。 同時(shí)效度（concurrent validity）：測驗(yàn)分?jǐn)?shù)與效標(biāo)資料是同時(shí)收集的。 預(yù)測效度（predictive validity）：先獲得測驗(yàn)分?jǐn)?shù)，隔一段時(shí)間后，再收集效標(biāo)資料。2效標(biāo)（1）效標(biāo)與效標(biāo)測量 效標(biāo)（criterion）就是衡量一個(gè)測驗(yàn)是否有效的外在標(biāo)準(zhǔn)。常用的效標(biāo)：學(xué)業(yè)成就、臨床診斷、實(shí)際工作表現(xiàn)、特殊訓(xùn)練成績、不同團(tuán)體的總體表現(xiàn)、先前有效的測驗(yàn)、等級評定。觀念效標(biāo)：理論定義，如“大學(xué)的成功”效標(biāo)測量：

14、操作定義，如大學(xué)成績（2）效標(biāo)的特性a.多樣性： 一個(gè)測驗(yàn)可能有不同的觀念效標(biāo)，同一個(gè)觀念效標(biāo)又可能有不同的效標(biāo)測量。b.復(fù)雜性： 幾乎每一種效標(biāo)行為都由多種特質(zhì)構(gòu)成，包含復(fù)雜的成分。c.特殊性： 即使一個(gè)普通的效標(biāo)，在應(yīng)用時(shí)也有特殊性。d.時(shí)間性： 近期效標(biāo)與最后效標(biāo)（3）效標(biāo)測量的條件a.有效性：效標(biāo)測量能真正反映觀念效標(biāo)。b.可靠性：有較高的信度c.客觀性： 效標(biāo)測量必須能真正反映觀念效標(biāo)，防止效標(biāo)污染。效標(biāo)污染（criterion contamination）是指評定者知道被試的測驗(yàn)分?jǐn)?shù)，因而影響到對效標(biāo)的客觀評定。d.實(shí)用性： 經(jīng)濟(jì)實(shí)用3實(shí)證效度的確定方法（1）相關(guān)法 測驗(yàn)分?jǐn)?shù)與效標(biāo)

15、測量之間的相關(guān)系數(shù)。最常用來建立實(shí)證效度的方法是求測驗(yàn)分?jǐn)?shù)與效標(biāo)測量之間的相關(guān)，所得到的數(shù)量指標(biāo)稱為效度系數(shù)。測驗(yàn)成績或分?jǐn)?shù)同效標(biāo)都是連續(xù)變量時(shí)，使用積差相關(guān)法。當(dāng)測驗(yàn)分?jǐn)?shù)是連續(xù)變量，而效標(biāo)是二分變量時(shí)，可用二列相關(guān)公式計(jì)算。當(dāng)測驗(yàn)與效標(biāo)都是二分變量時(shí)，可用皮爾遜余弦法計(jì)算四分相關(guān)。以上幾種方法的運(yùn)算公式可參考（心理與教育統(tǒng)計(jì)）（張厚燦粲、孟慶茂）。相關(guān)法求效度的優(yōu)缺點(diǎn) 優(yōu)點(diǎn)：提供一個(gè)統(tǒng)計(jì)指標(biāo)以總結(jié)預(yù)測源與效標(biāo)間的關(guān)系?？衫没貧w方程式來預(yù)測每個(gè)人的期望效標(biāo)成績。效度系數(shù)為大家廣泛接受，便于比較研究。 缺點(diǎn)：假如預(yù)測源與效標(biāo)的關(guān)系不是直線的，則必須采用特殊的相關(guān)法。測驗(yàn)結(jié)果不能提供有關(guān)取舍正確

16、性的指標(biāo)。（2）區(qū)分法 測驗(yàn)工作效標(biāo)測量（工作成績） 按工作成績分高低兩組，如工作成績高，測驗(yàn)得分也高；工作成績低，測驗(yàn)得分也低，說明該測驗(yàn)是有一定效度的。預(yù)測源分?jǐn)?shù)能否區(qū)分由效標(biāo)測量所定義的團(tuán)體。 檢驗(yàn)平均數(shù)測驗(yàn)錄取一批工人，工作一段后，根據(jù)工作成績（產(chǎn)品數(shù)量、質(zhì)量）分成稱職和不稱職兩組，然后再檢查當(dāng)初的測驗(yàn)分?jǐn)?shù)，用t檢驗(yàn)看兩組在測驗(yàn)的平均分?jǐn)?shù)上有無顯著的差異，如果有，說明測驗(yàn)有預(yù)測作用，否則就沒效。當(dāng)團(tuán)體數(shù)量大時(shí)，很小的一點(diǎn)平均數(shù)的差異都會(huì)有顯著意義，此時(shí)測驗(yàn)區(qū)分這些團(tuán)體的實(shí)際價(jià)值就很小。為了避免上述問題，必須把兩組的平均分?jǐn)?shù)、標(biāo)準(zhǔn)差、重疊量以及平均分?jǐn)?shù)的差異在統(tǒng)計(jì)學(xué)上的顯著性一并報(bào)告。（

17、3）命中率當(dāng)測驗(yàn)用來作取舍的根據(jù)時(shí)，其有效性的指標(biāo)就是正確決定的比例。預(yù)測源分?jǐn)?shù)確定一個(gè)臨界分?jǐn)?shù)（分?jǐn)?shù)線），高于分?jǐn)?shù)線者接受，低于分?jǐn)?shù)線拒絕。在效標(biāo)方面根據(jù)情況確定一個(gè)標(biāo)準(zhǔn)，高于標(biāo)準(zhǔn)為成功，低于標(biāo)準(zhǔn)為失敗。此時(shí)可以得到預(yù)測命中表。工 作表 現(xiàn)測驗(yàn)成績合格不合格合格AC不合格BD總命中率=（A+D）/（A+B+C+D）正命中率= A/（A+C）（4）功利率對使用測驗(yàn)所需的費(fèi)用和所得到的收益進(jìn)行比較，看是否利大于弊。一個(gè)測驗(yàn)如果簡單易行，省時(shí)省錢，不經(jīng)過特殊訓(xùn)練的人也能掌握，又適合于團(tuán)體施測，那么，即使效度低一些，也會(huì)有人使用。反之，只有效度極高，能給人帶來很大好處時(shí)，才會(huì)使用。第三節(jié) 提高測量效度的方法一、影響測量效度的因素1測驗(yàn)的構(gòu)成 測驗(yàn)長度與效度的關(guān)系： r（Kx）y = K rxy /K（1- rxx +Krxx）測驗(yàn)材料必須對整個(gè)內(nèi)容具有代表性；測題設(shè)計(jì)時(shí)應(yīng)盡量避免容易引起誤差的題型(如是非題)；測題難度要適中，具有較高的區(qū)分度；測驗(yàn)長度要恰當(dāng)，即要有一定的測題量；測題的排列按先易后難順序。2測驗(yàn)的實(shí)施過程3接受測驗(yàn)的被試 常模團(tuán)體的同質(zhì)