心理測量課件 第6章 信度

心理測量

第六章信度CONTENTS目錄信度的理論測量誤差的來源估計(jì)信度的方法影響信度系數(shù)的因素測量的標(biāo)準(zhǔn)誤差概化理論簡介123456PART01第一節(jié)信度的理論01第一節(jié)信度的理論一、信度的含義信度就是對測量一致性程度的估計(jì)。作為測驗(yàn)的基本特點(diǎn)之一，信度相當(dāng)重要。雖然一份測驗(yàn)的最終目的是求得較高的效度，但是信度的高低對測驗(yàn)性能的優(yōu)劣依然影響很大。二、誤差心理測量所指的誤差就是指測量中與目的無關(guān)的變因所產(chǎn)生的不準(zhǔn)確、不一致效應(yīng)。誤差大致可分為抽樣誤差、系統(tǒng)誤差和測量誤差三種。第一節(jié)信度的理論（一）抽樣誤差

抽樣誤差即由抽樣變動而造成的誤差。（二）系統(tǒng)誤差

系統(tǒng)誤差是由與測驗(yàn)?zāi)康臒o關(guān)的因子所引起的恒定、系統(tǒng)的、有規(guī)律的變化，存在于每次測量中，故又稱常定誤差。（三）測量誤差測量誤差是使用測量工具進(jìn)行心理測量所造成的誤差，又稱觀察誤差、隨機(jī)誤差、偶然誤差。第一節(jié)信度的理論三、測量誤差和真分?jǐn)?shù)理論（一）物理測量的測量誤差物理測量中的真實(shí)值在不少情況下是可以想辦法獲知的，這樣就可以直接計(jì)算誤差。而心理測量中的真實(shí)值，也就是真分?jǐn)?shù)，通常是個體內(nèi)在的心理特性或者是代表心理特性的行為，無法像物理測量那樣通過反復(fù)測量而獲取，也就不能直接得到誤差的大小。我們只能借助一些方法對其進(jìn)行估計(jì)。這里，我們著重介紹經(jīng)典的真分?jǐn)?shù)理論，這是最常用的、也是最基本的信度理論模型。第一節(jié)信度的理論三、測量誤差和真分?jǐn)?shù)理論（二）真分?jǐn)?shù)理論1.真分?jǐn)?shù)的定義真分?jǐn)?shù)，即測量中不存在測量誤差時的真值或客觀值，操作定義就是無數(shù)次測量的平均值，通常用X∞或T表示。2.真分?jǐn)?shù)理論的基本方程式

Xt=X∞+Xe（6.1）或X=T+E意即實(shí)測分?jǐn)?shù)是真分?jǐn)?shù)與誤差分?jǐn)?shù)的函數(shù)，即實(shí)測分?jǐn)?shù)Xt由X∞和Xe共同決定。3.真分?jǐn)?shù)理論的三個基本假設(shè)其一，誤差分?jǐn)?shù)的平均數(shù)是零。其二，誤差分?jǐn)?shù)與真分?jǐn)?shù)相互獨(dú)立，即相關(guān)為零。其三，兩次測量的誤差分?jǐn)?shù)之間的相關(guān)為零。第一節(jié)信度的理論四、信度的數(shù)學(xué)定義（一）定義及表達(dá)式信度就是一組測驗(yàn)分?jǐn)?shù)中真分?jǐn)?shù)方差與實(shí)測分?jǐn)?shù)方差的比率。表達(dá)式為：rtt=r2t∞=S2∞S2t（6.3）這里，rtt就是信度，也稱作信度系數(shù);rt∞則是信度指標(biāo)，是真分?jǐn)?shù)與實(shí)測分?jǐn)?shù)的相關(guān)。r2t∞叫決定系數(shù)，是真分?jǐn)?shù)與實(shí)測分?jǐn)?shù)相關(guān)系數(shù)的平方，表示兩測量間共有的方差比率，標(biāo)志著因變量能以自變量解釋的比例部分。心理測量實(shí)際上是無法直接測量到真分?jǐn)?shù)和真分?jǐn)?shù)方差的，所以對信度只能作估計(jì)。而上式提供了一個對信度估計(jì)的基礎(chǔ)，即求測量誤差方差，用它來估計(jì)信度。值得強(qiáng)調(diào)的是，信度是一組測驗(yàn)之間的一致性，而非個人的分?jǐn)?shù)的一致性。PART02第二節(jié)測量誤差的來源02一、測驗(yàn)本身引起的測量誤差（一）測驗(yàn)題目取樣不當(dāng)（二）測驗(yàn)題目格式不妥（三）測題的難度過高（四）測題或指導(dǎo)語用詞不當(dāng)（五）測驗(yàn)時限過短第二節(jié)測量誤差的來源二、測驗(yàn)實(shí)施過程引起的測量誤差（一）物理環(huán)境施測現(xiàn)場的溫度不適，光線過暗，背景聲音（例如過于安靜或一直有噪音），桌椅不舒適，空間大小不當(dāng)，通風(fēng)不夠等諸多情況都會產(chǎn)生測量誤差。（二）主試方面主試的年齡、性別與施測要求不相符合，穿著不得體，施測時的言談舉止不符合施測要求，表情夸張或過分呆板，都會不同程度地影響被試的測試狀態(tài)乃至測驗(yàn)分?jǐn)?shù)。第二節(jié)測量誤差的來源（三）意外干擾測試途中突然停電、突發(fā)噪聲，或有人生病、作弊，或測驗(yàn)用品臨時出問題（如計(jì)時表失靈，題目、作答卷紙印刷不清，或有裝訂錯誤）等不能預(yù)見的干擾都會產(chǎn)生測量誤差。二、測驗(yàn)實(shí)施過程引起的測量誤差（四）評分不客觀，計(jì)算、登記分?jǐn)?shù)出錯答題、論文題等自由反應(yīng)型題目，評分標(biāo)準(zhǔn)難以客觀。尤其是測驗(yàn)有多個評分者時，評分者的偏好往往各不相同，難以保證分?jǐn)?shù)的一致性。第二節(jié)測量誤差的來源三、被試本身引起的測量誤差（一）應(yīng)試動機(jī)的影響如果被試在兩次測試時的動機(jī)不一樣，會使被試的回答態(tài)度、注意力、持久性以及反應(yīng)速度發(fā)生變化，就容易引起測量誤差。（二）測驗(yàn)的焦慮測驗(yàn)的焦慮與被試的能力、抱負(fù)水平以及測驗(yàn)經(jīng)驗(yàn)有關(guān)，它對被試的興奮性水平、注意力和反應(yīng)速度都有影響。過度的焦慮對活動有不良影響，從而產(chǎn)生測量誤差。因而主試在施測時應(yīng)對測驗(yàn)?zāi)康暮蜏y驗(yàn)程序作出清楚的解釋，并適當(dāng)?shù)毓膭畋辉?，以緩解焦慮、穩(wěn)定情緒。第二節(jié)測量誤差的來源三、被試本身引起的測量誤差（三）生理因素當(dāng)被試在測試前失眠，或在生病、疲勞的狀態(tài)下進(jìn)行測試，也容易引起測量誤差。（四）學(xué)習(xí)、發(fā)展和教育重復(fù)測驗(yàn)中，如果有個別人在首次測驗(yàn)后受到特殊訓(xùn)練（學(xué)習(xí)），復(fù)本測驗(yàn)中某些人在兩次測驗(yàn)間受到特殊訓(xùn)練，或教育學(xué)習(xí)量不同，均會造成測量誤差。第二節(jié)測量誤差的來源（五）測驗(yàn)經(jīng)驗(yàn)被試對測驗(yàn)的程序、內(nèi)容材料的熟悉程度不同以及回答技巧的差異都會影響測量的一致性。所以在正式測驗(yàn)之前，應(yīng)有示范或例子、練習(xí)。PART03第三節(jié)估計(jì)信度的方法03一、重測信度（一）計(jì)算方法用同一種測驗(yàn)，對同一組被試先后測量兩次，然后計(jì)算這兩次測驗(yàn)分?jǐn)?shù)的相關(guān)。整個過程簡示如下。圖式測驗(yàn)一段時距再測驗(yàn)這里，“一段時距”可以為幾分鐘，也可以長達(dá)幾年，依實(shí)際研究需要和測驗(yàn)性質(zhì)而定。同時需要盡可能保證兩次測驗(yàn)的被試狀態(tài)和測試條件相同。（二）重測信度的誤差來源測驗(yàn)本身：測驗(yàn)所測的特性本身就不穩(wěn)定，例如情緒，使得測量的隨機(jī)性更大。被試方面：在兩次測量間隔的時間里，身心成熟、知識的發(fā)展并非人人等量增長，在練習(xí)因素、記憶效果等方面也存在個體差異，這些因素可能會使得不同個體在兩次測量結(jié)果上有不一致的變化。偶發(fā)因素的干擾：如主試計(jì)時錯誤，個體突發(fā)疾病，或動機(jī)變化等。第三節(jié)估計(jì)信度的方法二、復(fù)本信度（一）計(jì)算方法先實(shí)施該測驗(yàn)的復(fù)份A（第一型），然后在最短時距內(nèi)實(shí)施復(fù)份B（第二型），再求兩次測驗(yàn)分?jǐn)?shù)的相關(guān)系數(shù)。（二）復(fù)本信度的誤差來源

復(fù)本信度的誤差來源主要是測驗(yàn)兩種形式是否等值：測題取樣是否匹配，格式是否相同，內(nèi)容、題數(shù)、難度、平均數(shù)、標(biāo)準(zhǔn)差是否一致。再就是被試方面的情緒波動、動機(jī)變化等，以及測驗(yàn)情境的變化，偶發(fā)因素的干擾。這些都會引起測量誤差。第三節(jié)估計(jì)信度的方法三、內(nèi)在一致性信度當(dāng)測驗(yàn)既無復(fù)本，也不可能重復(fù)測量時，我們常用內(nèi)在一致性系數(shù)來估計(jì)測驗(yàn)的信度。該系數(shù)反映的是測驗(yàn)內(nèi)部的一致性，即項(xiàng)目同質(zhì)性。（一）分半法分半法通常先把一份測驗(yàn)按題目的奇偶順序或其他方法分成兩個盡可能平行的半份測驗(yàn)，然后計(jì)算兩半之間的相關(guān)，即得到分半信度系數(shù)。第三節(jié)估計(jì)信度的方法（二）基于項(xiàng)目協(xié)方差的方法

把測驗(yàn)劃分成兩半的方法實(shí)際上有多種，除了奇偶法以外，還有隨機(jī)安置法、內(nèi)容匹配法、難度排序奇偶法等。而每一種劃分方法產(chǎn)生的rtt估計(jì)值都有差別，因此用分半法得到的信度估計(jì)值不具備唯一性。所以庫德（Kuder）、理查遜（Richardson）針對分半法的不足，提出以項(xiàng)目統(tǒng)計(jì)量為轉(zhuǎn)移，利用每道測題的方差或協(xié)方差來計(jì)算信度。四、評分者信度

評分者信度是由多個評分者給一組測驗(yàn)結(jié)果評分，所得各個分?jǐn)?shù)之間的一致性。有些情況下，被試的得分會受到評分者的主觀判斷的影響，不同的評分人員對相同被試的評分存在著差異。典型的例子有心理測量中的投射測驗(yàn)、學(xué)業(yè)測驗(yàn)中的高考作文水平的測試、職業(yè)選拔中的面試，這時就有必要考慮評分者之間的一致性了。第三節(jié)估計(jì)信度的方法PART04第四節(jié)影響信度系數(shù)的因素04一、分?jǐn)?shù)分布范圍的影響（一）分?jǐn)?shù)分布范圍越寬，信度系數(shù)就越高（二）馬格魯森公式

由信度系數(shù)的推導(dǎo)公式rtt=1－S2eS2t可得S2e=S2t（1－rtt）在同一個全域里，一個測驗(yàn)應(yīng)用于有代表性的兩個群體，這個時候，我們可以假定這兩個不同差異范圍的測量誤差的標(biāo)準(zhǔn)差，也就是測量標(biāo)準(zhǔn)誤差是相等的。那么，就可以根據(jù)其中一個群體的信度系數(shù)、分?jǐn)?shù)分布的標(biāo)準(zhǔn)差與另一個群體的分?jǐn)?shù)分布的標(biāo)準(zhǔn)差，利用S2e=S2t（1－rtt）來估計(jì)另一個群體的信度系數(shù)。

分布標(biāo)準(zhǔn)差實(shí)質(zhì)上也就是分?jǐn)?shù)分布的范圍對信度系數(shù)的影響。所以，我們在編制測驗(yàn)量表、抽選被試時，往往要考慮選取不同層次的被試，以使得測驗(yàn)團(tuán)體呈異質(zhì)性，從而使得信度提高。反之，當(dāng)需要同質(zhì)團(tuán)體的信度時，就應(yīng)該盡量選取同一層次的被試。第四節(jié)影響信度系數(shù)的因素二、測驗(yàn)長度的影響

前面介紹分半信度時，曾提及分半信度系數(shù)低估了原長測驗(yàn)的信度，這是因?yàn)槠渌麠l件不變時，測驗(yàn)長度越長，即題目越多，信度就越高，測驗(yàn)長度增加，信度就隨之提高。第四節(jié)影響信度系數(shù)的因素三、測驗(yàn)難度的影響

測驗(yàn)難度對信度估計(jì)的影響不能像測驗(yàn)的分?jǐn)?shù)分布范圍和長度那樣，可以用公式直接反映出來。但是，如果測驗(yàn)對某個測試團(tuán)體而言太難，被試對許多題目就只能作隨機(jī)反應(yīng)，即猜測，這時，測驗(yàn)分?jǐn)?shù)的差別就主要取決于隨機(jī)分布的測量誤差，信度系數(shù)當(dāng)然就很低，趨近于零。相反，如果測驗(yàn)太容易，被試對許多測題的反應(yīng)都為正確，那么測驗(yàn)分?jǐn)?shù)就相當(dāng)接近，分?jǐn)?shù)分布范圍隨之變得狹窄，同樣會使得信n度降低。這就表明，要使信度達(dá)到最高，測驗(yàn)應(yīng)該有一個適當(dāng)?shù)碾y度水平，以產(chǎn)生最廣的分?jǐn)?shù)分布。PART05第五節(jié)測量的標(biāo)準(zhǔn)誤差05一、測量的標(biāo)準(zhǔn)誤差（一）定義及由來

測量的標(biāo)準(zhǔn)誤差，就是測量誤差分布的標(biāo)準(zhǔn)差，表示測量誤差的大小，用Se表示，又稱標(biāo)準(zhǔn)誤。

真分?jǐn)?shù)理論的信度反映的是一組被試測量結(jié)果的一致性程度，測量的標(biāo)準(zhǔn)誤反映的也是一組被試測量結(jié)果的情況。測量的標(biāo)準(zhǔn)誤可以用來估計(jì)個人的真分?jǐn)?shù)。（二）計(jì)算公式

Se=St1－rtt由rtt=1－S2eS2t推導(dǎo)而來。這樣，就可以根據(jù)測驗(yàn)實(shí)測分?jǐn)?shù)的標(biāo)準(zhǔn)差和測驗(yàn)的信度，計(jì)算測量的標(biāo)準(zhǔn)誤差，進(jìn)而估計(jì)個人的真分?jǐn)?shù)及誤差。第五節(jié)測量的標(biāo)準(zhǔn)誤差一、測量的標(biāo)準(zhǔn)誤差（三）用測量的標(biāo)準(zhǔn)誤差估計(jì)真分?jǐn)?shù)

統(tǒng)計(jì)學(xué)里Z檢驗(yàn)的基本公式為Z=X－μσ，并可以用Z，σ和X來估計(jì)μ。這里，測量的標(biāo)準(zhǔn)誤差是測量誤差分布的標(biāo)準(zhǔn)差，用常態(tài)分布標(biāo)準(zhǔn)分的數(shù)學(xué)模型Z=X－μσ來處理，這時，可以表達(dá)成Z=Xt－X∞Se，同樣可以用Z，Se和Xt來估計(jì)真分?jǐn)?shù)X∞。（四）判斷差異分?jǐn)?shù)的顯著性在運(yùn)用測驗(yàn)進(jìn)行研究、評估或者臨床診斷時，研究者可能會對被試接受一段時間的訓(xùn)練或者學(xué)習(xí)前后是否存在知識、技能、智力等認(rèn)知因素的改變，或者態(tài)度、情緒上的變化感興趣，也有可能關(guān)注同一套測驗(yàn)中的不同分測驗(yàn)分?jǐn)?shù)的差異（比如言語分?jǐn)?shù)和操作分?jǐn)?shù)），希望判斷這些測驗(yàn)分?jǐn)?shù)的差異是否能夠說明被試在某些心理特性或者認(rèn)知的發(fā)展方面有差別。這時，就可以利用測量的標(biāo)準(zhǔn)誤差來判斷差異分?jǐn)?shù)是否具有足夠的顯著性。第五節(jié)測量的標(biāo)準(zhǔn)誤差二、直接估計(jì)標(biāo)準(zhǔn)誤差

用公式Se=St1－rtt求Se是一種間接計(jì)算方法，它是從理論出發(fā)，以假定真分?jǐn)?shù)已知為前提。在實(shí)際問題中，也可以直接根據(jù)分?jǐn)?shù)誤差的方差來求Se。第五節(jié)測量的標(biāo)準(zhǔn)誤差PART06第六節(jié)概化理論簡介06一、GT的基本原理和概念

GT把測量者希望測量的那些實(shí)體稱為測量目標(biāo)（objectofmeasurement），在心理與教育測量中通常是人的能力、成就等特性。對測量目標(biāo)的測量都是在特定的測量條件下進(jìn)行的。GT用側(cè)面（facet）這一概念來表示一組特定的測量條件，并稱條件的數(shù)量為該側(cè)面的水平（level）。整個任務(wù)涉及概化研究（generalizabilitystudy，簡稱G研究）和決策研究（decisionstudy，簡稱D研究）。GT為評價D研究不同設(shè)計(jì)方案的效果提供了兩個誤差指標(biāo)：用于相對決策的相對誤差方差和用于絕對決策的絕對誤差方差。第六節(jié)概化理論簡介一、GT的基本原理和概念

側(cè)面有隨機(jī)（random）和固定（fixed）之分。如果一個側(cè)面代表的是概化全域更為廣闊的一組條件，樣本所包含的條件是從全域中隨機(jī)抽取出來的，樣本容量比全域要小得多，或者容量相同的樣本之間可以互換，這個側(cè)面就是隨機(jī)側(cè)面。如果一個側(cè)面是指概化全域和實(shí)際觀察擁有相同的一組條件，或者說側(cè)面條件窮盡了全域所有的條件，這個側(cè)面就是固定側(cè)面。當(dāng)測量條件有多個側(cè)面時，兩個側(cè)面可以相互交叉（crossed），也可以一個側(cè)面嵌套于（nested）另一個側(cè)面。如果一個側(cè)面的每一個條件都和另一個側(cè)面的每一個條件結(jié)合起來出現(xiàn)，那么這兩個側(cè)面就是交叉的。在假設(shè)G研究和D研究的測量條件來自同一個全域的基礎(chǔ)上，整個GT的研究過程就是：根據(jù)D研究可能的設(shè)計(jì)方案進(jìn)行G研究，包括設(shè)定可接受的觀察全域、進(jìn)行方差分析等步驟，然后進(jìn)行D研究，運(yùn)用G研究提供的方差分析結(jié)果估計(jì)各種可能的設(shè)計(jì)方案相應(yīng)的誤差方差和G系數(shù)或Φ系數(shù)，最后結(jié)合實(shí)際情況選擇一個最適宜的D研究設(shè)計(jì)方案。第六節(jié)概化理論簡介二、單側(cè)面隨機(jī)設(shè)計(jì)根據(jù)測量側(cè)面與被試的交叉或嵌套關(guān)系，單側(cè)面設(shè)計(jì)可以分為交叉設(shè)計(jì)和嵌套設(shè)計(jì)兩大類。當(dāng)每個被試面對相同的測量條件時，就稱測量側(cè)面與被試交叉（crossedwithexaminees），記作p×i，p指被試，i指測量條件。當(dāng)每個被試面對不同的測量條件時，就稱測量側(cè)面嵌套于被試（nestedinexaminees）記作i∶p。以只有