心理測量學(xué)測驗(yàn)的效度

關(guān)于心理測量學(xué)測驗(yàn)的效度第1頁，共62頁，2023年，2月20日，星期四

（Validity）效度的概念效度評(píng)估的方法影響效率的因素第2頁，共62頁，2023年，2月20日，星期四

一、效度的概念效度的定義效度的特點(diǎn)第3頁，共62頁，2023年，2月20日，星期四一、效度的概念

（一）效度的定義信度S2X=S2T+S2E效度S2X=S2V+S2I+S2E隨機(jī)誤差有效方差S2V系統(tǒng)誤差S2I第4頁，共62頁，2023年，2月20日，星期四與測驗(yàn)?zāi)康挠嘘P(guān)的有效SV2和實(shí)得SX2

的比值效度效度定義第5頁，共62頁，2023年，2月20日，星期四信度高，給S2V增加提供可能能否提高效度，再看S2I大小信度高不一定效度高效度要高，S2V須占較大比重，S2T↑效度高，信度必高ST2（二）信度與效度的關(guān)系第6頁，共62頁，2023年，2月20日，星期四（二）信度與效度的關(guān)系信度是效度的必要條件非充分條件第7頁，共62頁，2023年，2月20日，星期四效度是一個(gè)相對(duì)的概念。效度是兩種誤差的綜合反映。效度的確定要從多方面搜集證據(jù)。（三）效度的特點(diǎn)第8頁，共62頁，2023年，2月20日，星期四

二、效度評(píng)估的方法根據(jù)人們對(duì)測驗(yàn)?zāi)康慕忉尩牟煌?內(nèi)容效度結(jié)構(gòu)效度效標(biāo)效度

考研題第9頁，共62頁，2023年，2月20日，星期四（一）內(nèi)容效度概念評(píng)估方法特性(contentvalidity)第10頁，共62頁，2023年，2月20日，星期四（一）內(nèi)容效度

1、概念定義：測驗(yàn)對(duì)于應(yīng)測內(nèi)容的代表性程度。內(nèi)容高的條件:內(nèi)容范圍明確取樣有代表性應(yīng)用：

成就測驗(yàn)職業(yè)選擇測驗(yàn)第11頁，共62頁，2023年，2月20日，星期四2、特性特定性：測驗(yàn)編制者與使用者的關(guān)系避免與表面效度（facevalidity）混淆

一個(gè)測驗(yàn)看上去適合欲測目的的程度，而非實(shí)際適合欲測目的的程度。

測驗(yàn)在使用者或被試主觀上感覺有效的程度。

編制測驗(yàn)應(yīng)適當(dāng)考慮表面效度。

最高作為測驗(yàn)表面效度可高些其他測驗(yàn)則希望表面效度低些第12頁，共62頁，2023年，2月20日，星期四含義專家按測題和假設(shè)內(nèi)容范圍作出的符合度判斷。作法與程序確定總體范圍；編制雙向細(xì)目表；選擇測驗(yàn)項(xiàng)目；制定評(píng)定量表。3、評(píng)估方法1）專家判斷法（邏輯分析法）第13頁，共62頁，2023年，2月20日，星期四局限不同專家對(duì)內(nèi)容范圍會(huì)有不同的理解。不同專家對(duì)同一測驗(yàn)內(nèi)容效度的判斷可能不一致；無良好的數(shù)量指標(biāo)描述這種符合性的程度；第14頁，共62頁，2023年，2月20日，星期四2）經(jīng)驗(yàn)推測法檢查不同年級(jí)被試總分與每題分?jǐn)?shù)變化情況若隨年級(jí)增高總分和每題通過率也升高，可推論該測驗(yàn)基本測量了教學(xué)內(nèi)容和目標(biāo)。檢查不同年齡兒童測驗(yàn)分?jǐn)?shù)的變化情況是否隨年齡增長而增加。第15頁，共62頁，2023年，2月20日，星期四信度指標(biāo)復(fù)本信度r高：內(nèi)容效度高（也可能兩個(gè)都低）r低：至少一個(gè)缺乏內(nèi)容效度再測信度

首測---訓(xùn)練---再測---成績提高3）統(tǒng)計(jì)分析法第16頁，共62頁，2023年，2月20日，星期四（二）構(gòu)想效度定義確定步驟估計(jì)方法(constructvalidity)第17頁，共62頁，2023年，2月20日，星期四（二）構(gòu)想效度

1、定義構(gòu)想（結(jié)構(gòu)）解釋行為的理論框架或心理特質(zhì)的抽象概念。結(jié)構(gòu)效度

測驗(yàn)在多大程度上測量了所要測的理論構(gòu)想。應(yīng)用

智力測驗(yàn)和人格測驗(yàn)第18頁，共62頁，2023年，2月20日，星期四2、確定步驟提出理論提出假設(shè)檢驗(yàn)假設(shè)解釋被試的測驗(yàn)表現(xiàn)測驗(yàn)成績的假設(shè)邏輯和實(shí)證檢驗(yàn)方法第19頁，共62頁，2023年，2月20日，星期四關(guān)于情緒穩(wěn)定性的假設(shè)測驗(yàn)分?jǐn)?shù)和心理學(xué)家的評(píng)價(jià)有某種程度的相關(guān)；精神病人和正常人的測驗(yàn)分?jǐn)?shù)是有區(qū)別的；測驗(yàn)分?jǐn)?shù)和同伴的評(píng)價(jià)有一定的關(guān)系；測驗(yàn)分?jǐn)?shù)與IQ沒有什么關(guān)系；測驗(yàn)分?jǐn)?shù)和性別沒有關(guān)系。第20頁，共62頁，2023年，2月20日，星期四關(guān)于智力的假設(shè)智力隨年齡而增長；智力與學(xué)業(yè)成績有密切關(guān)系；智商是相對(duì)穩(wěn)定的；智力受遺傳的影響。第21頁，共62頁，2023年，2月20日，星期四3、估計(jì)方法測驗(yàn)內(nèi)方法測驗(yàn)間方法效標(biāo)效度實(shí)驗(yàn)法或觀察法的證實(shí)第22頁，共62頁，2023年，2月20日，星期四

3、估計(jì)方法

1）對(duì)測驗(yàn)本身的分析——測驗(yàn)內(nèi)方法研究測驗(yàn)內(nèi)部構(gòu)造分析測驗(yàn)的結(jié)構(gòu)效度。具體方法內(nèi)容效度法內(nèi)部一致性法分析解題的心理過程

第23頁，共62頁，2023年，2月20日，星期四①內(nèi)容效度法確定取樣內(nèi)容范圍后，利用這些資料定義測驗(yàn)欲測的結(jié)構(gòu)性質(zhì)韋氏智力測驗(yàn)言語：常識(shí)、理解、算術(shù)、相似性、詞匯、記憶廣度操作：譯碼、填圖、積木圖案、圖片排列、圖形拼湊第24頁，共62頁，2023年，2月20日，星期四內(nèi)容范圍的描述見到老師、小朋友是否主動(dòng)打招呼？愿意自己獨(dú)自玩，還是與其他孩子一起玩？語言較多還是較少，見生人時(shí)是否害羞？是否大方？做游戲時(shí)，與人交往時(shí)，能與人合得來嗎？獨(dú)生子女合群性測驗(yàn)第25頁，共62頁，2023年，2月20日，星期四卡特爾16PF16個(gè)特質(zhì)，187個(gè)題目樂群性，聰慧性，穩(wěn)定性，持續(xù)性，興奮性，有恒性，敢為性，敏感性，懷疑性，幻想性，世故性，憂慮性，實(shí)驗(yàn)性，獨(dú)立性，自律性，緊張性分測驗(yàn)間關(guān)系的分析：特質(zhì)間相互獨(dú)立分測驗(yàn)內(nèi)項(xiàng)目關(guān)系的分析：項(xiàng)目相互聯(lián)系第26頁，共62頁，2023年，2月20日，星期四②內(nèi)部一致性法目的推斷測驗(yàn)是否測量單一特質(zhì)方法極端組比較法（extreme-groupmethod）二列相關(guān)法：求題目與總分的相關(guān)分測驗(yàn)與總分的相關(guān)第27頁，共62頁，2023年，2月20日，星期四2）測驗(yàn)間的相互比較——測驗(yàn)間方法含義同時(shí)考慮幾個(gè)測驗(yàn)間的關(guān)聯(lián)，考察是否測同一結(jié)構(gòu)。常用方法相容效度區(qū)分效度因素效度

第28頁，共62頁，2023年，2月20日，星期四①相容效度concurrentvalidity含義測相同結(jié)構(gòu)的各種測驗(yàn)間應(yīng)有較高的相關(guān)。求一個(gè)新編測驗(yàn)與另一已知結(jié)構(gòu)測驗(yàn)間的相關(guān)。第29頁，共62頁，2023年，2月20日，星期四②區(qū)分效度含義某一特定測驗(yàn)的分?jǐn)?shù)與已知測量不同結(jié)構(gòu)的測驗(yàn)分?jǐn)?shù)無關(guān)。相關(guān)高說明新測驗(yàn)的效度有問題。第30頁，共62頁，2023年，2月20日，星期四③因素效度含義通過對(duì)一組測驗(yàn)進(jìn)行因素分析，找到影響測驗(yàn)分?jǐn)?shù)的共同因素，每個(gè)測驗(yàn)在共同因素上的負(fù)荷量即每個(gè)測驗(yàn)與共同因素的相關(guān)，稱作測驗(yàn)的因素效度?；驹砜傋儺?共同因素+特殊因素+誤差第31頁，共62頁，2023年，2月20日，星期四（美）霍爾津格（Holzinger）和斯溫福德（Swineford）的因素分析取樣：芝加哥校區(qū)被試：145名7～8年級(jí)學(xué)生內(nèi)容：實(shí)施24個(gè)心理測驗(yàn)結(jié)果：4個(gè)基本因素圖--詞測驗(yàn)和數(shù)--圖測驗(yàn)的功能不明顯。第32頁，共62頁，2023年，2月20日，星期四24個(gè)心理測驗(yàn)的因素歸類詞語速度推理記憶1.一般知識(shí)段落理解2.句子填空3.詞匯分類4.詞義解釋5.加法6.編碼7.計(jì)數(shù)8.點(diǎn)子9.直-曲10.算術(shù)問題11.視知覺15.數(shù)字游戲12.體積16.問題推理13.面積17.系列填空14.打旗18.演繹推理19.詞匯識(shí)別20.數(shù)字識(shí)別21.圖形識(shí)別22.實(shí)物-數(shù)23.圖－詞24.數(shù)－圖第33頁，共62頁，2023年，2月20日，星期四3）效標(biāo)效度的研究證明測驗(yàn)效標(biāo)效標(biāo)效度資料：提供與結(jié)構(gòu)效度有關(guān)的信息。第34頁，共62頁，2023年，2月20日，星期四4）實(shí)驗(yàn)法和觀察法的證實(shí)考察實(shí)驗(yàn)變量對(duì)X的影響比較實(shí)驗(yàn)處理：前后分?jǐn)?shù)的差異搜集某些變異上的證據(jù)。第35頁，共62頁，2023年，2月20日，星期四（三）效標(biāo)效度定義效標(biāo)估計(jì)方法criterion-relatedvalidity第36頁，共62頁，2023年，2月20日，星期四1、定義效標(biāo)效度是指一個(gè)測驗(yàn)對(duì)處于特定情境中的個(gè)體行為進(jìn)行估計(jì)的有效性。一個(gè)測驗(yàn)是否有效，應(yīng)以實(shí)踐的效果來作為檢驗(yàn)標(biāo)準(zhǔn)。符號(hào)：rxy又稱統(tǒng)計(jì)效度或?qū)嵶C效度。第37頁，共62頁，2023年，2月20日，星期四

2、效標(biāo)及其標(biāo)準(zhǔn)

1）定義衡量測驗(yàn)效度的外在標(biāo)準(zhǔn)。它是獨(dú)立于測驗(yàn)并可以從實(shí)踐中直接獲得我們所感興趣的行為。做預(yù)測所依據(jù)的標(biāo)準(zhǔn)。檢驗(yàn)效度的參照標(biāo)準(zhǔn)。測驗(yàn)所要測的或要預(yù)測的行為特質(zhì)。第38頁，共62頁，2023年，2月20日，星期四思考？能夠考上大學(xué)的學(xué)生是否是能力強(qiáng)、素質(zhì)好、有發(fā)展前途的人？我們可以通過他們的哪些方面來衡量？可見，一個(gè)測驗(yàn)的效標(biāo)是不唯一的。具有多樣性、復(fù)雜性、特殊性和時(shí)間性。第39頁，共62頁，2023年，2月20日，星期四2）良好效標(biāo)的選擇依據(jù)反映測驗(yàn)的目標(biāo)；較高的信度；可客觀地測量；測量方法簡單，省時(shí)省力，經(jīng)濟(jì)實(shí)用。第40頁，共62頁，2023年，2月20日，星期四各類測驗(yàn)的可用效標(biāo)測驗(yàn)類型常見效標(biāo)成就學(xué)年平均分，教師評(píng)定結(jié)果，學(xué)習(xí)量，知識(shí)應(yīng)用力，評(píng)判知識(shí)的批判力，自學(xué)能力…智力學(xué)科成績，教師評(píng)定結(jié)果，學(xué)生總成績能力傾向特殊課程或訓(xùn)練成績，工作或?qū)W習(xí)成績職業(yè)興趣從業(yè)者的實(shí)際成績或工作表現(xiàn)人格主試主觀標(biāo)準(zhǔn)，被試以后行為，臨床資料第41頁，共62頁，2023年，2月20日，星期四

3）效標(biāo)效度的類型

①同時(shí)效度含義根據(jù)測驗(yàn)分區(qū)分已有的狀態(tài)或預(yù)測已知的效標(biāo)表現(xiàn)來評(píng)估測驗(yàn)效度的方法。對(duì)同組對(duì)象求新編測驗(yàn)得分與現(xiàn)有測驗(yàn)得分（效標(biāo)值）之間的相關(guān)。應(yīng)用：效標(biāo)分和新編測驗(yàn)分能同時(shí)得到。度量指標(biāo)：測驗(yàn)分與效標(biāo)分的相關(guān)系數(shù)第42頁，共62頁，2023年，2月20日，星期四

②預(yù)測效度定義根據(jù)測驗(yàn)分?jǐn)?shù)預(yù)測其在效標(biāo)上將來成績來考察測驗(yàn)效度的方法。一個(gè)測驗(yàn)對(duì)被試心理特質(zhì)或未來績效所作預(yù)測的準(zhǔn)確程度。應(yīng)用：測驗(yàn)分與效標(biāo)分不能同時(shí)得到。度量指標(biāo)：測驗(yàn)分與效標(biāo)分的相關(guān)系數(shù)。第43頁，共62頁，2023年，2月20日，星期四

3、估計(jì)方法相關(guān)法區(qū)分法命中率功利率第44頁，共62頁，2023年，2月20日，星期四

１）相關(guān)法效度系數(shù)測驗(yàn)分（新編）與效標(biāo)分的相關(guān)系數(shù)計(jì)算方法積差相關(guān)法二列相關(guān)、點(diǎn)二列相關(guān)，多系列相關(guān)等第45頁，共62頁，2023年，2月20日，星期四2）區(qū)分法該方法的思路是：被試接受測驗(yàn)后，讓他們工作一段時(shí)間，再根據(jù)工作成績（效標(biāo)測量）的好壞分成兩組。這時(shí)再回過頭來分析這兩組被試原先接受測驗(yàn)的分?jǐn)?shù)差異，若這兩種人的測驗(yàn)分?jǐn)?shù)差異顯著，則說明該測驗(yàn)有較高的效度。缺點(diǎn)：組間均數(shù)差異顯著性取決于團(tuán)體大小。第46頁，共62頁，2023年，2月20日，星期四3）命中率含義：正確決策的比例。用途人才選拔方法正確決策的結(jié)果正命中率總命中率

第47頁，共62頁，2023年，2月20日，星期四表：命中表

效標(biāo)成績測驗(yàn)成績失?。?）成功（+）成功（+）失?。?）總命中率=命中/（命中+失誤）

=（B+C）/（A+B+C+D）正命中率=成功人數(shù)/選擇人數(shù)

=B/（A+B）當(dāng)測驗(yàn)用于提高工作效率時(shí)考察正命中率；如果強(qiáng)調(diào)公平，考察總命中率。A（失誤）B（命中）C（命中）D（失誤）第48頁，共62頁，2023年，2月20日，星期四4）功利率使用測驗(yàn)所帶來的好處應(yīng)大大高于使用測驗(yàn)所耗費(fèi)的時(shí)間、精力和經(jīng)費(fèi)，還要比較用測驗(yàn)與不用測驗(yàn)的效益之差，若差別不大，則沒有使用測驗(yàn)的必要。總之，一個(gè)好的測驗(yàn)，根據(jù)其測驗(yàn)的目的和性質(zhì)，往往需要多個(gè)效度指標(biāo)達(dá)到相當(dāng)高的水平。第49頁，共62頁，2023年，2月20日，星期四

三、影響效度的因素測驗(yàn)組成測驗(yàn)實(shí)施樣本團(tuán)體的性質(zhì)效標(biāo)的性質(zhì)第50頁，共62頁，2023年，2月20日，星期四（一）測驗(yàn)組成試題的質(zhì)量。測驗(yàn)長度、試題難度和鑒別力及編排方式。增加新試題對(duì)信度的影響大于效度。第51頁，共62頁，2023年，2月20日，星期四測驗(yàn)長度與信度和效度的關(guān)系題數(shù)與原測驗(yàn)題數(shù)之比信度效度1010.3000.4002020.4620.4963030.5620.5486060.7200.619120120.8370.688240240.9110.697480480.9540.713第52頁，共62頁，2023年，2月20日，星期四測驗(yàn)長度與效度關(guān)系的計(jì)算公式：

=例：已知RXX為0.31,RXY為0.42,若把效度系數(shù)提高到0.65和0.70,則測驗(yàn)的長度要增加幾倍?第53頁，共62頁，2023年，2月20日，星期四（二）測驗(yàn)實(shí)施主試測驗(yàn)情境的控制按測驗(yàn)手冊各項(xiàng)規(guī)定實(shí)施測驗(yàn)。施測過程場地布置材料準(zhǔn)備作答方式說明時(shí)間的限制等第54頁，共62頁，2023年，2月20日，星期四被試人格：興趣、動(dòng)機(jī)、情緒、態(tài)度身心健康狀況作答真實(shí)性：是否充分合作與盡力第55頁，共62頁，2023年，2月20日，星期四（三）樣本團(tuán)體的性質(zhì)異質(zhì)性越異質(zhì)，分?jǐn)?shù)分布越廣，效度越高；越同質(zhì)，分?jǐn)?shù)分布越窄，效度越低；第56頁，共62頁，2023年，2月20日，星期四2、干涉變量相同測驗(yàn)對(duì)不同團(tuán)體的測量功能不同。干涉變量因性質(zhì)不同（性別、興趣、職業(yè)、年齡等）使不同團(tuán)體具有不同的預(yù)測能力。第57頁，共