心理測量的信度和效度

1、 教育測評系列講座第一講第一講 測量的信度與效度測量的信度與效度主講人：孫潔一、心理與教育測量的概念一、心理與教育測量的概念二、心理與教育測量簡史二、心理與教育測量簡史三、測量的信度三、測量的信度四、測量的效度四、測量的效度心理與教育測量心理與教育測量 根據(jù)心理與教育學(xué)法則給人的心理特質(zhì)和教育成就指派數(shù)字，或者依據(jù)一定的心理學(xué)和教育學(xué)理論在測驗(yàn)上對人的心理特質(zhì)和教育成就進(jìn)行定量描述的過程。 高度復(fù)雜、高度專業(yè)化測量測量 依據(jù)一定的法則使用量尺對事物的屬性進(jìn)行定量描述的過程。一、心理與教育測量的概念一、心理與教育測量的概念心理與教育工作者的素質(zhì)要求心理與教育工作者的素質(zhì)要求（一）心理與教育測量工

2、作者的（一）心理與教育測量工作者的知識結(jié)構(gòu)知識結(jié)構(gòu) 基礎(chǔ)知識（普通心理學(xué)、發(fā)展心理學(xué)、教育心理學(xué)、心理與教育統(tǒng)計(jì)學(xué)、教育學(xué)等） 專業(yè)知識（教育領(lǐng)域、臨床領(lǐng)域、人事部門、司法部門等相應(yīng)的專門知識）（二）對心理與教育測驗(yàn)的（二）對心理與教育測驗(yàn)的科學(xué)態(tài)度科學(xué)態(tài)度 勿高估、勿貶低，有待改進(jìn)和完善 實(shí)際應(yīng)用中的輔助工具，和其他研究方法結(jié)合使用 測量結(jié)果是相對估計(jì)，要謹(jǐn)慎預(yù)測 中國古代1796 英國天文臺貝塞爾 個(gè)人觀察誤差1869 高爾頓 遺傳 差異是可以測量的1890 卡特爾心理測驗(yàn)與測量1905 比內(nèi)-西蒙量表西方現(xiàn)代清朝末年，西方智力測驗(yàn)量表傳入中國1920 南京高等師范學(xué)校開設(shè)心理測驗(yàn)課程19

3、31 中國測驗(yàn)學(xué)會成立智力、人格、教育測量的發(fā)展中國現(xiàn)代二、心理與教育測量簡史二、心理與教育測量簡史 2500年前 孔子學(xué)生能力的個(gè)別差異 三國時(shí)期 劉邵人物志 6世紀(jì)中葉 周歲試兒習(xí)俗 清代 益智圖（七巧板）九連環(huán)（中國式的迷津）信度信度（ReliabilityReliability） 即可靠性，它是指采用同樣的方法對同一對象重復(fù)測量時(shí)所得結(jié)果的一致性程度。 信度是反應(yīng)測量中隨機(jī)誤差大小的指標(biāo)。 描述測量一致性程度的指標(biāo)可以用信度指數(shù)，即信度系數(shù)的平方根。三、測量的信度三、測量的信度信度的估計(jì)方法信度的估計(jì)方法 一、重測信度一、重測信度(test-retest reliabilty)(tes

4、t-retest reliabilty)含義含義：同一組受評者在兩次不同時(shí)間作同一套量表評定，對兩次結(jié)果作相關(guān)性檢驗(yàn)，以估計(jì)量表結(jié)果的穩(wěn)定性。使用的前提條件前提條件：所測心理特性必須是穩(wěn)定的，如成人的人格測驗(yàn)練習(xí)和遺忘的效果基本上相互抵消在兩次施測的間隔期內(nèi)，被試在所要測查的心理特質(zhì)方面沒有獲得更多的學(xué)習(xí)和訓(xùn)練二、復(fù)本信度（二、復(fù)本信度（alternate-form reliability)alternate-form reliability)含義：含義：指兩個(gè)平行的測驗(yàn)測量同一批被試所得結(jié)果的一致性程度，其大小等于同一批被試在兩個(gè)復(fù)本測驗(yàn)上所得分?jǐn)?shù)的皮爾遜積差相關(guān)系數(shù)。使用前提條件前提條件：

5、構(gòu)造出兩份或兩份以上真正平行的測驗(yàn)（即A、B卷）被試要有條件（時(shí)間、經(jīng)費(fèi)等）接受兩個(gè)測驗(yàn)仍不能排除練習(xí)、記憶等遷移效應(yīng)三、分半信度三、分半信度(split-half reliability)(split-half reliability)含義含義：指將一個(gè)測驗(yàn)分成對等的兩半后，所有被試在這兩半上所得分?jǐn)?shù)的一致性程度。分半方法分半方法：奇偶、按難度、按內(nèi)容等使用的前提條件及范圍前提條件及范圍只能施測一次或沒有復(fù)本使用斯皮爾曼-布朗公式時(shí)要求兩半測驗(yàn)得分的變異數(shù)相等 四、同質(zhì)性信度四、同質(zhì)性信度(inter-item consistency)(inter-item consistency)含義：含

6、義：又叫內(nèi)部一致性系數(shù)，指測驗(yàn)內(nèi)部所有題目之間的一致性程度。一致性程度高的測驗(yàn)得分之間具有較高的正相關(guān)。計(jì)算及適用范圍：計(jì)算及適用范圍：庫德一理查遜公式（KuderRichardson formula 20，K-R20），適用于二分法計(jì)分題量表克倫巴赫系數(shù)（Cronbach s S Coefficicient)，多重記分法量表 五、評定者信度五、評定者信度(inter-rater reliability)(inter-rater reliability)含義含義：多名評分者給同一批人的答卷進(jìn)行評分的一致性程度。計(jì)算及適用范圍：計(jì)算及適用范圍：適用于主觀評分可用肯德爾和諧系數(shù)進(jìn)行估計(jì)提高信度的方

7、法提高信度的方法 影響因素：影響因素： 被試、主試、施測情境、測量工具、兩次施測間隔時(shí)間 提高方法：提高方法： 1.適當(dāng)增加測驗(yàn)的長度 2.使所有試題的難度接近正態(tài)分布，并控制在中等水平 3.努力提高測驗(yàn)試題的區(qū)分度 4.選取恰當(dāng)?shù)谋辉噲F(tuán)體，提高測驗(yàn)在各同質(zhì)性較強(qiáng)的亞 團(tuán)體上的信度 5.主試要嚴(yán)格執(zhí)行施測規(guī)程，嚴(yán)格按標(biāo)準(zhǔn)評分，施測場 地按測驗(yàn)手冊布置，減少無關(guān)因素干擾 效度（效度（ValidityValidity） 即有效性，它是指測量工具或手段能夠準(zhǔn)確測出所需測量的事物的程度。 效度是一個(gè)相對的概念 效度是測量的隨機(jī)誤差和系統(tǒng)誤差的綜合反映判斷一個(gè)測量是否有效要從多方面搜集證據(jù)四、測量的效度

8、四、測量的效度信度與效度的關(guān)系信度與效度的關(guān)系信度是效度的必要而非充分條件信度是效度的必要而非充分條件測驗(yàn)的效度受信度制約測驗(yàn)的效度受信度制約 效度的分類（一）（一） 內(nèi)容效度內(nèi)容效度 指一個(gè)測驗(yàn)實(shí)際測到的內(nèi)容與所要測量的內(nèi)容之間的吻合程度。估計(jì)一個(gè)測驗(yàn)的內(nèi)容效度就是去確定該測驗(yàn)在多大程度上代表了所要測量的行為領(lǐng)域（依據(jù)測量目的而定）。適用范圍：適用范圍：主要應(yīng)用于成就測驗(yàn)、選拔和分類的職業(yè)測驗(yàn)估計(jì)方法估計(jì)方法：專家判斷法復(fù)本法再測法經(jīng)驗(yàn)法（二）（二） 結(jié)構(gòu)效度結(jié)構(gòu)效度 又稱構(gòu)想效度，結(jié)構(gòu)效度是指一個(gè)測驗(yàn)實(shí)際測到所要測量的理論結(jié)構(gòu)和特質(zhì)的程度，或者說它是指測驗(yàn)分?jǐn)?shù)能夠說明心理學(xué)理論的某種結(jié)構(gòu)或特質(zhì)的程度；是指實(shí)驗(yàn)與理論之間的一致性，即實(shí)驗(yàn)是否真正測量到假設(shè)（構(gòu)造）的理論。適用范圍適用范圍：主要用于智力測驗(yàn)和人格測驗(yàn)等心理測驗(yàn)方面估計(jì)方法估計(jì)方法：對測驗(yàn)題目進(jìn)行分析計(jì)算與同類權(quán)威測驗(yàn)的相關(guān)因素分析（三）（三） 效標(biāo)效度效標(biāo)效度 指一個(gè)測驗(yàn)對處于特定情境中的個(gè)體的行為進(jìn)行估計(jì)的有效性。效標(biāo)效度以實(shí)踐的效果作為檢驗(yàn)標(biāo)準(zhǔn)，主要重視那些與測驗(yàn)獨(dú)立的效標(biāo)行為，不太注重測驗(yàn)內(nèi)容或結(jié)構(gòu)。分類分類：預(yù)測效度與同時(shí)效度效標(biāo)和效標(biāo)測量估計(jì)方法估計(jì)方法：相關(guān)法（積差相關(guān)法、等級相關(guān)法、二列相關(guān)法等）區(qū)分法（合格與不合格等、高分與低分組等）命中率提高效度的方法提高效度的