心理測(cè)量課件 第6章 信度

心理測(cè)量

第六章信度CONTENTS目錄信度的理論測(cè)量誤差的來(lái)源估計(jì)信度的方法影響信度系數(shù)的因素測(cè)量的標(biāo)準(zhǔn)誤差概化理論簡(jiǎn)介123456PART01第一節(jié)信度的理論01第一節(jié)信度的理論一、信度的含義信度就是對(duì)測(cè)量一致性程度的估計(jì)。作為測(cè)驗(yàn)的基本特點(diǎn)之一，信度相當(dāng)重要。雖然一份測(cè)驗(yàn)的最終目的是求得較高的效度，但是信度的高低對(duì)測(cè)驗(yàn)性能的優(yōu)劣依然影響很大。二、誤差心理測(cè)量所指的誤差就是指測(cè)量中與目的無(wú)關(guān)的變因所產(chǎn)生的不準(zhǔn)確、不一致效應(yīng)。誤差大致可分為抽樣誤差、系統(tǒng)誤差和測(cè)量誤差三種。第一節(jié)信度的理論（一）抽樣誤差

抽樣誤差即由抽樣變動(dòng)而造成的誤差。（二）系統(tǒng)誤差

系統(tǒng)誤差是由與測(cè)驗(yàn)?zāi)康臒o(wú)關(guān)的因子所引起的恒定、系統(tǒng)的、有規(guī)律的變化，存在于每次測(cè)量中，故又稱常定誤差。（三）測(cè)量誤差測(cè)量誤差是使用測(cè)量工具進(jìn)行心理測(cè)量所造成的誤差，又稱觀察誤差、隨機(jī)誤差、偶然誤差。第一節(jié)信度的理論三、測(cè)量誤差和真分?jǐn)?shù)理論（一）物理測(cè)量的測(cè)量誤差物理測(cè)量中的真實(shí)值在不少情況下是可以想辦法獲知的，這樣就可以直接計(jì)算誤差。而心理測(cè)量中的真實(shí)值，也就是真分?jǐn)?shù)，通常是個(gè)體內(nèi)在的心理特性或者是代表心理特性的行為，無(wú)法像物理測(cè)量那樣通過反復(fù)測(cè)量而獲取，也就不能直接得到誤差的大小。我們只能借助一些方法對(duì)其進(jìn)行估計(jì)。這里，我們著重介紹經(jīng)典的真分?jǐn)?shù)理論，這是最常用的、也是最基本的信度理論模型。第一節(jié)信度的理論三、測(cè)量誤差和真分?jǐn)?shù)理論（二）真分?jǐn)?shù)理論1.真分?jǐn)?shù)的定義真分?jǐn)?shù)，即測(cè)量中不存在測(cè)量誤差時(shí)的真值或客觀值，操作定義就是無(wú)數(shù)次測(cè)量的平均值，通常用X∞或T表示。2.真分?jǐn)?shù)理論的基本方程式

Xt=X∞+Xe（6.1）或X=T+E意即實(shí)測(cè)分?jǐn)?shù)是真分?jǐn)?shù)與誤差分?jǐn)?shù)的函數(shù)，即實(shí)測(cè)分?jǐn)?shù)Xt由X∞和Xe共同決定。3.真分?jǐn)?shù)理論的三個(gè)基本假設(shè)其一，誤差分?jǐn)?shù)的平均數(shù)是零。其二，誤差分?jǐn)?shù)與真分?jǐn)?shù)相互獨(dú)立，即相關(guān)為零。其三，兩次測(cè)量的誤差分?jǐn)?shù)之間的相關(guān)為零。第一節(jié)信度的理論四、信度的數(shù)學(xué)定義（一）定義及表達(dá)式信度就是一組測(cè)驗(yàn)分?jǐn)?shù)中真分?jǐn)?shù)方差與實(shí)測(cè)分?jǐn)?shù)方差的比率。表達(dá)式為：rtt=r2t∞=S2∞S2t（6.3）這里，rtt就是信度，也稱作信度系數(shù);rt∞則是信度指標(biāo)，是真分?jǐn)?shù)與實(shí)測(cè)分?jǐn)?shù)的相關(guān)。r2t∞叫決定系數(shù)，是真分?jǐn)?shù)與實(shí)測(cè)分?jǐn)?shù)相關(guān)系數(shù)的平方，表示兩測(cè)量間共有的方差比率，標(biāo)志著因變量能以自變量解釋的比例部分。心理測(cè)量實(shí)際上是無(wú)法直接測(cè)量到真分?jǐn)?shù)和真分?jǐn)?shù)方差的，所以對(duì)信度只能作估計(jì)。而上式提供了一個(gè)對(duì)信度估計(jì)的基礎(chǔ)，即求測(cè)量誤差方差，用它來(lái)估計(jì)信度。值得強(qiáng)調(diào)的是，信度是一組測(cè)驗(yàn)之間的一致性，而非個(gè)人的分?jǐn)?shù)的一致性。PART02第二節(jié)測(cè)量誤差的來(lái)源02一、測(cè)驗(yàn)本身引起的測(cè)量誤差（一）測(cè)驗(yàn)題目取樣不當(dāng)（二）測(cè)驗(yàn)題目格式不妥（三）測(cè)題的難度過高（四）測(cè)題或指導(dǎo)語(yǔ)用詞不當(dāng)（五）測(cè)驗(yàn)時(shí)限過短第二節(jié)測(cè)量誤差的來(lái)源二、測(cè)驗(yàn)實(shí)施過程引起的測(cè)量誤差（一）物理環(huán)境施測(cè)現(xiàn)場(chǎng)的溫度不適，光線過暗，背景聲音（例如過于安靜或一直有噪音），桌椅不舒適，空間大小不當(dāng)，通風(fēng)不夠等諸多情況都會(huì)產(chǎn)生測(cè)量誤差。（二）主試方面主試的年齡、性別與施測(cè)要求不相符合，穿著不得體，施測(cè)時(shí)的言談舉止不符合施測(cè)要求，表情夸張或過分呆板，都會(huì)不同程度地影響被試的測(cè)試狀態(tài)乃至測(cè)驗(yàn)分?jǐn)?shù)。第二節(jié)測(cè)量誤差的來(lái)源（三）意外干擾測(cè)試途中突然停電、突發(fā)噪聲，或有人生病、作弊，或測(cè)驗(yàn)用品臨時(shí)出問題（如計(jì)時(shí)表失靈，題目、作答卷紙印刷不清，或有裝訂錯(cuò)誤）等不能預(yù)見的干擾都會(huì)產(chǎn)生測(cè)量誤差。二、測(cè)驗(yàn)實(shí)施過程引起的測(cè)量誤差（四）評(píng)分不客觀，計(jì)算、登記分?jǐn)?shù)出錯(cuò)答題、論文題等自由反應(yīng)型題目，評(píng)分標(biāo)準(zhǔn)難以客觀。尤其是測(cè)驗(yàn)有多個(gè)評(píng)分者時(shí)，評(píng)分者的偏好往往各不相同，難以保證分?jǐn)?shù)的一致性。第二節(jié)測(cè)量誤差的來(lái)源三、被試本身引起的測(cè)量誤差（一）應(yīng)試動(dòng)機(jī)的影響如果被試在兩次測(cè)試時(shí)的動(dòng)機(jī)不一樣，會(huì)使被試的回答態(tài)度、注意力、持久性以及反應(yīng)速度發(fā)生變化，就容易引起測(cè)量誤差。（二）測(cè)驗(yàn)的焦慮測(cè)驗(yàn)的焦慮與被試的能力、抱負(fù)水平以及測(cè)驗(yàn)經(jīng)驗(yàn)有關(guān)，它對(duì)被試的興奮性水平、注意力和反應(yīng)速度都有影響。過度的焦慮對(duì)活動(dòng)有不良影響，從而產(chǎn)生測(cè)量誤差。因而主試在施測(cè)時(shí)應(yīng)對(duì)測(cè)驗(yàn)?zāi)康暮蜏y(cè)驗(yàn)程序作出清楚的解釋，并適當(dāng)?shù)毓膭?lì)被試，以緩解焦慮、穩(wěn)定情緒。第二節(jié)測(cè)量誤差的來(lái)源三、被試本身引起的測(cè)量誤差（三）生理因素當(dāng)被試在測(cè)試前失眠，或在生病、疲勞的狀態(tài)下進(jìn)行測(cè)試，也容易引起測(cè)量誤差。（四）學(xué)習(xí)、發(fā)展和教育重復(fù)測(cè)驗(yàn)中，如果有個(gè)別人在首次測(cè)驗(yàn)后受到特殊訓(xùn)練（學(xué)習(xí)），復(fù)本測(cè)驗(yàn)中某些人在兩次測(cè)驗(yàn)間受到特殊訓(xùn)練，或教育學(xué)習(xí)量不同，均會(huì)造成測(cè)量誤差。第二節(jié)測(cè)量誤差的來(lái)源（五）測(cè)驗(yàn)經(jīng)驗(yàn)被試對(duì)測(cè)驗(yàn)的程序、內(nèi)容材料的熟悉程度不同以及回答技巧的差異都會(huì)影響測(cè)量的一致性。所以在正式測(cè)驗(yàn)之前，應(yīng)有示范或例子、練習(xí)。PART03第三節(jié)估計(jì)信度的方法03一、重測(cè)信度（一）計(jì)算方法用同一種測(cè)驗(yàn)，對(duì)同一組被試先后測(cè)量?jī)纱?，然后?jì)算這兩次測(cè)驗(yàn)分?jǐn)?shù)的相關(guān)。整個(gè)過程簡(jiǎn)示如下。圖式測(cè)驗(yàn)一段時(shí)距再測(cè)驗(yàn)這里，“一段時(shí)距”可以為幾分鐘，也可以長(zhǎng)達(dá)幾年，依實(shí)際研究需要和測(cè)驗(yàn)性質(zhì)而定。同時(shí)需要盡可能保證兩次測(cè)驗(yàn)的被試狀態(tài)和測(cè)試條件相同。（二）重測(cè)信度的誤差來(lái)源測(cè)驗(yàn)本身：測(cè)驗(yàn)所測(cè)的特性本身就不穩(wěn)定，例如情緒，使得測(cè)量的隨機(jī)性更大。被試方面：在兩次測(cè)量間隔的時(shí)間里，身心成熟、知識(shí)的發(fā)展并非人人等量增長(zhǎng)，在練習(xí)因素、記憶效果等方面也存在個(gè)體差異，這些因素可能會(huì)使得不同個(gè)體在兩次測(cè)量結(jié)果上有不一致的變化。偶發(fā)因素的干擾：如主試計(jì)時(shí)錯(cuò)誤，個(gè)體突發(fā)疾病，或動(dòng)機(jī)變化等。第三節(jié)估計(jì)信度的方法二、復(fù)本信度（一）計(jì)算方法先實(shí)施該測(cè)驗(yàn)的復(fù)份A（第一型），然后在最短時(shí)距內(nèi)實(shí)施復(fù)份B（第二型），再求兩次測(cè)驗(yàn)分?jǐn)?shù)的相關(guān)系數(shù)。（二）復(fù)本信度的誤差來(lái)源

復(fù)本信度的誤差來(lái)源主要是測(cè)驗(yàn)兩種形式是否等值：測(cè)題取樣是否匹配，格式是否相同，內(nèi)容、題數(shù)、難度、平均數(shù)、標(biāo)準(zhǔn)差是否一致。再就是被試方面的情緒波動(dòng)、動(dòng)機(jī)變化等，以及測(cè)驗(yàn)情境的變化，偶發(fā)因素的干擾。這些都會(huì)引起測(cè)量誤差。第三節(jié)估計(jì)信度的方法三、內(nèi)在一致性信度當(dāng)測(cè)驗(yàn)既無(wú)復(fù)本，也不可能重復(fù)測(cè)量時(shí)，我們常用內(nèi)在一致性系數(shù)來(lái)估計(jì)測(cè)驗(yàn)的信度。該系數(shù)反映的是測(cè)驗(yàn)內(nèi)部的一致性，即項(xiàng)目同質(zhì)性。（一）分半法分半法通常先把一份測(cè)驗(yàn)按題目的奇偶順序或其他方法分成兩個(gè)盡可能平行的半份測(cè)驗(yàn)，然后計(jì)算兩半之間的相關(guān)，即得到分半信度系數(shù)。第三節(jié)估計(jì)信度的方法（二）基于項(xiàng)目協(xié)方差的方法

把測(cè)驗(yàn)劃分成兩半的方法實(shí)際上有多種，除了奇偶法以外，還有隨機(jī)安置法、內(nèi)容匹配法、難度排序奇偶法等。而每一種劃分方法產(chǎn)生的rtt估計(jì)值都有差別，因此用分半法得到的信度估計(jì)值不具備唯一性。所以庫(kù)德（Kuder）、理查遜（Richardson）針對(duì)分半法的不足，提出以項(xiàng)目統(tǒng)計(jì)量為轉(zhuǎn)移，利用每道測(cè)題的方差或協(xié)方差來(lái)計(jì)算信度。四、評(píng)分者信度

評(píng)分者信度是由多個(gè)評(píng)分者給一組測(cè)驗(yàn)結(jié)果評(píng)分，所得各個(gè)分?jǐn)?shù)之間的一致性。有些情況下，被試的得分會(huì)受到評(píng)分者的主觀判斷的影響，不同的評(píng)分人員對(duì)相同被試的評(píng)分存在著差異。典型的例子有心理測(cè)量中的投射測(cè)驗(yàn)、學(xué)業(yè)測(cè)驗(yàn)中的高考作文水平的測(cè)試、職業(yè)選拔中的面試，這時(shí)就有必要考慮評(píng)分者之間的一致性了。第三節(jié)估計(jì)信度的方法PART04第四節(jié)影響信度系數(shù)的因素04一、分?jǐn)?shù)分布范圍的影響（一）分?jǐn)?shù)分布范圍越寬，信度系數(shù)就越高（二）馬格魯森公式

由信度系數(shù)的推導(dǎo)公式rtt=1－S2eS2t可得S2e=S2t（1－rtt）在同一個(gè)全域里，一個(gè)測(cè)驗(yàn)應(yīng)用于有代表性的兩個(gè)群體，這個(gè)時(shí)候，我們可以假定這兩個(gè)不同差異范圍的測(cè)量誤差的標(biāo)準(zhǔn)差，也就是測(cè)量標(biāo)準(zhǔn)誤差是相等的。那么，就可以根據(jù)其中一個(gè)群體的信度系數(shù)、分?jǐn)?shù)分布的標(biāo)準(zhǔn)差與另一個(gè)群體的分?jǐn)?shù)分布的標(biāo)準(zhǔn)差，利用S2e=S2t（1－rtt）來(lái)估計(jì)另一個(gè)群體的信度系數(shù)。

分布標(biāo)準(zhǔn)差實(shí)質(zhì)上也就是分?jǐn)?shù)分布的范圍對(duì)信度系數(shù)的影響。所以，我們?cè)诰幹茰y(cè)驗(yàn)量表、抽選被試時(shí)，往往要考慮選取不同層次的被試，以使得測(cè)驗(yàn)團(tuán)體呈異質(zhì)性，從而使得信度提高。反之，當(dāng)需要同質(zhì)團(tuán)體的信度時(shí)，就應(yīng)該盡量選取同一層次的被試。第四節(jié)影響信度系數(shù)的因素二、測(cè)驗(yàn)長(zhǎng)度的影響

前面介紹分半信度時(shí)，曾提及分半信度系數(shù)低估了原長(zhǎng)測(cè)驗(yàn)的信度，這是因?yàn)槠渌麠l件不變時(shí)，測(cè)驗(yàn)長(zhǎng)度越長(zhǎng)，即題目越多，信度就越高，測(cè)驗(yàn)長(zhǎng)度增加，信度就隨之提高。第四節(jié)影響信度系數(shù)的因素三、測(cè)驗(yàn)難度的影響

測(cè)驗(yàn)難度對(duì)信度估計(jì)的影響不能像測(cè)驗(yàn)的分?jǐn)?shù)分布范圍和長(zhǎng)度那樣，可以用公式直接反映出來(lái)。但是，如果測(cè)驗(yàn)對(duì)某個(gè)測(cè)試團(tuán)體而言太難，被試對(duì)許多題目就只能作隨機(jī)反應(yīng)，即猜測(cè)，這時(shí)，測(cè)驗(yàn)分?jǐn)?shù)的差別就主要取決于隨機(jī)分布的測(cè)量誤差，信度系數(shù)當(dāng)然就很低，趨近于零。相反，如果測(cè)驗(yàn)太容易，被試對(duì)許多測(cè)題的反應(yīng)都為正確，那么測(cè)驗(yàn)分?jǐn)?shù)就相當(dāng)接近，分?jǐn)?shù)分布范圍隨之變得狹窄，同樣會(huì)使得信n度降低。這就表明，要使信度達(dá)到最高，測(cè)驗(yàn)應(yīng)該有一個(gè)適當(dāng)?shù)碾y度水平，以產(chǎn)生最廣的分?jǐn)?shù)分布。PART05第五節(jié)測(cè)量的標(biāo)準(zhǔn)誤差05一、測(cè)量的標(biāo)準(zhǔn)誤差（一）定義及由來(lái)

測(cè)量的標(biāo)準(zhǔn)誤差，就是測(cè)量誤差分布的標(biāo)準(zhǔn)差，表示測(cè)量誤差的大小，用Se表示，又稱標(biāo)準(zhǔn)誤。

真分?jǐn)?shù)理論的信度反映的是一組被試測(cè)量結(jié)果的一致性程度，測(cè)量的標(biāo)準(zhǔn)誤反映的也是一組被試測(cè)量結(jié)果的情況。測(cè)量的標(biāo)準(zhǔn)誤可以用來(lái)估計(jì)個(gè)人的真分?jǐn)?shù)。（二）計(jì)算公式

Se=St1－rtt由rtt=1－S2eS2t推導(dǎo)而來(lái)。這樣，就可以根據(jù)測(cè)驗(yàn)實(shí)測(cè)分?jǐn)?shù)的標(biāo)準(zhǔn)差和測(cè)驗(yàn)的信度，計(jì)算測(cè)量的標(biāo)準(zhǔn)誤差，進(jìn)而估計(jì)個(gè)人的真分?jǐn)?shù)及誤差。第五節(jié)測(cè)量的標(biāo)準(zhǔn)誤差一、測(cè)量的標(biāo)準(zhǔn)誤差（三）用測(cè)量的標(biāo)準(zhǔn)誤差估計(jì)真分?jǐn)?shù)

統(tǒng)計(jì)學(xué)里Z檢驗(yàn)的基本公式為Z=X－μσ，并可以用Z，σ和X來(lái)估計(jì)μ。這里，測(cè)量的標(biāo)準(zhǔn)誤差是測(cè)量誤差分布的標(biāo)準(zhǔn)差，用常態(tài)分布標(biāo)準(zhǔn)分的數(shù)學(xué)模型Z=X－μσ來(lái)處理，這時(shí)，可以表達(dá)成Z=Xt－X∞Se，同樣可以用Z，Se和Xt來(lái)估計(jì)真分?jǐn)?shù)X∞。（四）判斷差異分?jǐn)?shù)的顯著性在運(yùn)用測(cè)驗(yàn)進(jìn)行研究、評(píng)估或者臨床診斷時(shí)，研究者可能會(huì)對(duì)被試接受一段時(shí)間的訓(xùn)練或者學(xué)習(xí)前后是否存在知識(shí)、技能、智力等認(rèn)知因素的改變，或者態(tài)度、情緒上的變化感興趣，也有可能關(guān)注同一套測(cè)驗(yàn)中的不同分測(cè)驗(yàn)分?jǐn)?shù)的差異（比如言語(yǔ)分?jǐn)?shù)和操作分?jǐn)?shù)），希望判斷這些測(cè)驗(yàn)分?jǐn)?shù)的差異是否能夠說(shuō)明被試在某些心理特性或者認(rèn)知的發(fā)展方面有差別。這時(shí)，就可以利用測(cè)量的標(biāo)準(zhǔn)誤差來(lái)判斷差異分?jǐn)?shù)是否具有足夠的顯著性。第五節(jié)測(cè)量的標(biāo)準(zhǔn)誤差二、直接估計(jì)標(biāo)準(zhǔn)誤差

用公式Se=St1－rtt求Se是一種間接計(jì)算方法，它是從理論出發(fā)，以假定真分?jǐn)?shù)已知為前提。在實(shí)際問題中，也可以直接根據(jù)分?jǐn)?shù)誤差的方差來(lái)求Se。第五節(jié)測(cè)量的標(biāo)準(zhǔn)誤差PART06第六節(jié)概化理論簡(jiǎn)介06一、GT的基本原理和概念

GT把測(cè)量者希望測(cè)量的那些實(shí)體稱為測(cè)量目標(biāo)（objectofmeasurement），在心理與教育測(cè)量中通常是人的能力、成就等特性。對(duì)測(cè)量目標(biāo)的測(cè)量都是在特定的測(cè)量條件下進(jìn)行的。GT用側(cè)面（facet）這一概念來(lái)表示一組特定的測(cè)量條件，并稱條件的數(shù)量為該側(cè)面的水平（level）。整個(gè)任務(wù)涉及概化研究（generalizabilitystudy，簡(jiǎn)稱G研究）和決策研究（decisionstudy，簡(jiǎn)稱D研究）。GT為評(píng)價(jià)D研究不同設(shè)計(jì)方案的效果提供了兩個(gè)誤差指標(biāo)：用于相對(duì)決策的相對(duì)誤差方差和用于絕對(duì)決策的絕對(duì)誤差方差。第六節(jié)概化理論簡(jiǎn)介一、GT的基本原理和概念

側(cè)面有隨機(jī)（random）和固定（fixed）之分。如果一個(gè)側(cè)面代表的是概化全域更為廣闊的一組條件，樣本所包含的條件是從全域中隨機(jī)抽取出來(lái)的，樣本容量比全域要小得多，或者容量相同的樣本之間可以互換，這個(gè)側(cè)面就是隨機(jī)側(cè)面。如果一個(gè)側(cè)面是指概化全域和實(shí)際觀察擁有相同的一組條件，或者說(shuō)側(cè)面條件窮盡了全域所有的條件，這個(gè)側(cè)面就是固定側(cè)面。當(dāng)測(cè)量條件有多個(gè)側(cè)面時(shí)，兩個(gè)側(cè)面可以相互交叉（crossed），也可以一個(gè)側(cè)面嵌套于（nested）另一個(gè)側(cè)面。如果一個(gè)側(cè)面的每一個(gè)條件都和另一個(gè)側(cè)面的每一個(gè)條件結(jié)合起來(lái)出現(xiàn)，那么這兩個(gè)側(cè)面就是交叉的。在假設(shè)G研究和D研究的測(cè)量條件來(lái)自同一個(gè)全域的基礎(chǔ)上，整個(gè)GT的研究過程就是：根據(jù)D研究可能的設(shè)計(jì)方案進(jìn)行G研究，包括設(shè)定可接受的觀察全域、進(jìn)行方差分析等步驟，然后進(jìn)行D研究，運(yùn)用G研究提供的方差分析結(jié)果估計(jì)各種可能的設(shè)計(jì)方案相應(yīng)的誤差方差和G系數(shù)或Φ系數(shù)，最后結(jié)合實(shí)際情況選擇一個(gè)最適宜的D研究設(shè)計(jì)方案。第六節(jié)概化理論簡(jiǎn)介二、單側(cè)面隨機(jī)設(shè)計(jì)根據(jù)測(cè)量側(cè)面與被試的交叉或嵌套關(guān)系，單側(cè)面設(shè)計(jì)可以分為交叉設(shè)計(jì)和嵌套設(shè)計(jì)兩大類。當(dāng)每個(gè)被試面對(duì)相同的測(cè)量條件時(shí)，就稱測(cè)量側(cè)面與被試交叉（crossedwithexaminees），記作p×i，p指被試，i指測(cè)量條件。當(dāng)每個(gè)被試面對(duì)不同的測(cè)量條件時(shí)，就稱測(cè)量側(cè)面嵌套于被試（nestedinexaminees）記作i∶p。以只有