量表的信度與效度分析計算

關于量表的信度與效度分析計算一、信度（reliability）定義若重復進行測量，產生相同結果的準確程度

測量的可靠性、穩(wěn)定性和預測性

測量的精確度反復測量結果的穩(wěn)定性或一致性可能很高但卻可能是不準確的

用零點沒有調整在中心的秤來測量重量采用有明顯導向性的問答題組成的量表測量態(tài)度第2頁,共46頁，2024年2月25日，星期天二、效度（validity）定義

所測量的是不是研究者所想要的在多大程度上給出了他/她所想要的例如，研究者希望測量電視廣告的傳播效果目的：了解廣告能否引起目標消費群的購買欲望

消費者的購物決策是否與觀看的電視廣告相關如果：最終測得的不是廣告對消費者購物決策的影響而主要是消費者對廣告藝術感染力的評價結論：所用量表是無效的或是效度很低的第3頁,共46頁，2024年2月25日，星期天

信度高時效度不一定高但效度高時信度一定高第4頁,共46頁，2024年2月25日，星期天從三個方面來分析測量的信度

穩(wěn)定性(stability)

內在一致性(internalconsistency)

等價性(equivalency)三、信度評價第5頁,共46頁，2024年2月25日，星期天1、穩(wěn)定性分析也叫做測驗--再測驗法目的：考察對于同樣的問答題（或測試）對同一組被訪者或受測試者前后兩次測量的結果是否基本一致第6頁,共46頁，2024年2月25日，星期天1、穩(wěn)定性分析方法：用“再測信度”來測量穩(wěn)定性再測信度：兩次測量結果間的相關系數(shù)

相關系數(shù)越接近1，表示穩(wěn)定性越好第7頁,共46頁，2024年2月25日，星期天1、穩(wěn)定性分析缺點：一般應用中很難真正實現(xiàn)（人力、財力、時間）再測信度的應用有局限性

第一次的測量可能會影響到第二次（信度偏高）兩次測量間客觀的情況可能有變化（信度偏低）第8頁,共46頁，2024年2月25日，星期天2、內在一致性分析

目的：檢驗多項目量表中各個項目的一致性

可信的量表的項目必須具有內在一致性第9頁,共46頁，2024年2月25日，星期天2、內在一致性分析方法之一：折半法

(split-halftechnique)

將量表中的項目分成兩半計算這兩部分的總得分的相關系數(shù)rh

如果量表具有較高的內在一致性那么這兩部分應該是高度相關的第10頁,共46頁，2024年2月25日，星期天2、內在一致性分析方法之一：折半法

(split-halftechnique)優(yōu)點：不需要重復的測量常用分法：按項目號的前后順序分或按項目號的奇偶性分計算公式：

ru=2rh/(1+rh)第11頁,共46頁，2024年2月25日，星期天2、內在一致性分析方法之一：折半法

(split-halftechnique)注意：需先將量表中的反意題作逆向處理再分別計算兩部分的總得分前提假設：兩半題項得分方差大致相等

否則可能會低估信度系數(shù)第12頁,共46頁，2024年2月25日，星期天2、內在一致性分析方法之二：alpha信度系數(shù)法

克朗巴哈提出用α系數(shù)來測量累加量表的信度

α=K(1-Σσi2/σT2)/(K-1)

K量表中題（項目）的總數(shù)

σi2

第i個題（項目）得分的題內方差

Σσi2K個題項的方差之和

σT2

總得分（所有題項得分之和）的方差α信度系數(shù)是評估量表內部一致性的比較常用系數(shù)第13頁,共46頁，2024年2月25日，星期天2、內在一致性分析方法之三：平均相關系數(shù)法缺點：偏重于項目之間的相關而不是整個量表的信度項目越多，平均相關系數(shù)就可能越高提高信度的方法之一：增加量表中的測量項目

因為各個項目的隨機誤差可能會相互抵消第14頁,共46頁，2024年2月25日，星期天2、內在一致性分析小結：信度的高低既依賴于項目的內在一致性也依賴于量表的長度因此：一方面盡量設計內在相關性更高的項目另一方面也可以考慮適當增加項目的數(shù)量第15頁,共46頁，2024年2月25日，星期天3、等價性分析A當使用兩種不同的量表去測量同一概念時，這兩種量表是否等價？

方法：在同一時段中，讓同一組被訪者接受兩種量表的測試；計算兩組得分之間的相關，用于評價信度B當兩個評分者（或編碼員）判斷同一現(xiàn)象時，評價結果是否一致？

方法：計算兩個評分者評分之間的相關；或計算兩個編碼員編碼結果一致的比例，用于評價信度第16頁,共46頁，2024年2月25日，星期天3、等價性分析前一種應用A比較少見（構造等價的量表非常困難）后一種應用B比較常見，也稱為

評分者內在信度

(inter-raterreliability)

編碼員間信度

(inter-coderreliability)第17頁,共46頁，2024年2月25日，星期天3、等價性分析在內容分析中，要評價編碼員間信度

編碼：將分析單位（如單詞、符號、主題等）置于各種內容類別中

不同的編碼者獨立地編碼如果能得到比較一致的結果則信度較高第18頁,共46頁，2024年2月25日，星期天3、等價性分析--編碼者間信度的計算公式霍斯提(Holsti)公式假定兩個編碼員分別同時做了m1和m2個單位的編碼，其中一致的編碼數(shù)為m，則

編碼者間信度=2m/(m1+m2)

第19頁,共46頁，2024年2月25日，星期天3、等價性分析--編碼者間信度的計算公式霍斯提(Holsti)公式優(yōu)點：計算簡單、易于操作缺點：信度的大小可能與編碼時所用的類別的數(shù)目有關

類別的數(shù)目越少，由于偶然性而造成一致的可能性就越大

編碼問題都是兩個類別時，隨機的編碼也可能有50%的信度在五個類別的情況，隨機的編碼就只可能有20%左右的信度第20頁,共46頁，2024年2月25日，星期天3、等價性分析--編碼者間信度的計算公式史考特(Scott)指數(shù)編碼員間信度π=(πo-πe)/(1-πe)πo：觀測到的一致性或叫實際一致性（用霍斯提公式計算）πe：純粹由于偶然性而造成的一致性或叫期望一致性（等于每個類別出現(xiàn)的相對頻率的平方和）

第21頁,共46頁，2024年2月25日，星期天3、等價性分析--編碼者間信度的計算公式利用霍斯特公式計算時，一般信度在90%或以上利用史考特公式計算時，信度大都是75%或以上考察編碼員內(intra-coder)信度時讓同一個編碼員在不同的時間內對同一個資料編碼兩次然后借助以上公式計算編碼-再編碼信度將上式中對應兩個編碼員的數(shù)據(jù)，改為同一編碼員的兩次數(shù)據(jù)

第22頁,共46頁，2024年2月25日，星期天例在一項少兒電視節(jié)目內容分析的編碼表中，兩個編碼員分別同時獨立地將100個少兒節(jié)目分配到如下三個類別中：1、單本劇2、連續(xù)劇3、系列劇。已知編碼不一致的節(jié)目共計8個；這三個類別的節(jié)目數(shù)分別占30%、45%和25%。試分別利用霍斯提和史考特公式，評價這兩個編碼員編碼的等價性。解：m1=m2=100,m=100-8=92霍斯提信度

=2m/(m1+m2)=2(92)/(100+100)=0.92πo=0.92,πe=(0.30)2+(0.45)2+(0.25)2=0.355史考特信度π=(πo-πe)/(1-πe)

=(0.92-0.355)/(1-0.355)=0.876第23頁,共46頁，2024年2月25日，星期天

效度主要有三種類型：

內容效度(contentvalidity)

效標效度(criterionvalidity)

結構效度(constructvalidity)四、效度評價第24頁,共46頁，2024年2月25日，星期天1、內容效度

也叫做表面效度(facevalidity)

用最簡單的也是最基本的主觀判斷的方法一般根據(jù)測量量表所選的題項來判斷僅從表面上來觀察判斷其是否能夠代表想要測量的內容或主題第25頁,共46頁，2024年2月25日，星期天1、內容效度盡量收集和閱讀與測量內容有關的資料除了研究人員的主觀判斷之外最好再請一些專家來幫助判斷第26頁,共46頁，2024年2月25日，星期天1、內容效度單項與總和相關效度分析法確定各個具體的題項對整個量表的效度是否都有足夠的貢獻或考察量表內的題項是否具有同質性

計算每個題項的得分與總分的相關系數(shù)如果相關不顯著，表示該題項的鑒別力低，最好剔除題項與總和的相關關系越顯著，量表的內容效度也越高

第27頁,共46頁，2024年2月25日，星期天1、內容效度例如，1993年卜衛(wèi)等在廈門受眾調查問卷中（見“媒介·人·現(xiàn)代化”），設計了一個四級李克動機量表，以測試廈門受眾的媒介使用動機。表中的受眾媒介動機量表就是剔除了不合格題項后的量表，表中的各個題項的得分與總分都是顯著相關的（概值P≤0.001），說明量表內的各個題項之間具有較好的同質性。

第28頁,共46頁，2024年2月25日，星期天第29頁,共46頁，2024年2月25日，星期天2、效標效度也叫做效標關聯(lián)效度或獨立標準效度

效標是一個與量表有密切關聯(lián)的獨立標準將量表所測特性看成因變量將效標看成自變量所測特性與效標密切相關的量表才是有效的量表

第30頁,共46頁，2024年2月25日，星期天2、效標效度的分析方法考察所測特性（因變量）與效標（自變量）是否有顯著的相關(相關分析)

或是對效標的不同取值，特性的值是否表現(xiàn)出顯著的差異(t檢驗、F檢驗）效標的確定并不是一件容易的事選擇效標一般要根據(jù)某種已知的理論、或某種已經得到肯定的結論第31頁,共46頁，2024年2月25日，星期天2、效標效度的舉例用高考的成績，作為預測學生大學期間學業(yè)成績的效標（是否有研究結果表明，這兩者之間是有密切相關關系的）設計測量人們現(xiàn)代化觀念的量表時，媒介接觸行為可能是主要的效標之一（很難設想不看報、不聽廣播的人會具有現(xiàn)代化的觀念）可考慮以媒介接觸頻度、時間、內容等為具體的效標第32頁,共46頁，2024年2月25日，星期天2、效標效度的舉例臺灣的“蘭嶼民眾傳播行為與現(xiàn)代化程度之研究”,用離島經驗作為測量雅美族人現(xiàn)代化程度的效標

有、無離島經驗的雅美族人之間現(xiàn)代化程度有明顯差異的量表才有可能是高效度的量表

要剔除那些沒有顯著差異的低效度的題項第33頁,共46頁，2024年2月25日，星期天3、結構效度

評價量表測量的結果是否與理論假設或框架相關

稱能測出結構的量表為具有高的結構效度的量表

因子分析法(factoranalysis)

評價量表中的各個題項能否有效地區(qū)分研究對象

各題項能否有效地鑒別態(tài)度不同的被訪者？題項內容的難易度是否合適？

項目分析法(itemanalysis)第34頁,共46頁，2024年2月25日，星期天3、結構效度---因子分析法因子分析法是一種高級的統(tǒng)計分析法將量表中的題項集合成不同的群使每一個群的變量（題項）共享一個公共因子這些公共因子就代表了量表的基本結構

考察這些公共因子的意義比較量表的實際結構與理論框架之間的異同若兩者相吻合，且提取的公共因子有足夠的代表性則說明該測量量表具有令人滿意的結構效度第35頁,共46頁，2024年2月25日，星期天3、結構效度---因子分析法舉例對測量動機的量表進行了因子分析

（參考“媒介●人●現(xiàn)代化”）結果將受眾使用媒介動機分成了三類

信息尋求動機、娛樂消遣動機、社會功利動機與研究者設計量表時假設的結構一致

說明這一動機量表具有很好的結構效度第36頁,共46頁，2024年2月25日，星期天第37頁,共46頁，2024年2月25日，星期天3、結構效度---項目分析法（難易度）量表中各個題項的“難易度”和“鑒別度”

難易度=(PH+PL)/2

PH和PL分別表示高分組和低分組的通過率第38頁,共46頁，2024年2月25日，星期天3、結構效度---項目分析法（難易度）通過率的計算方法：將反向題作逆向處理后，計算累加量表的總分總分按由小到大的順序排列，劃分成人數(shù)相等的四個組分數(shù)最高和最低的兩個組分別為“高分組”和“低分組”計算這兩組的被訪者在每個題項上的“通過率”PH和PL

正向題的通過率=（“非常同意”+“比較同意”）的比例逆向題的通過率=（“很不同意”+“不太同意”）的比例