信和效測量PPT課件

1、 測量理論 信度 效度 信度與效度的關系 信度與效度的分類及Stata計算 信度與效度的影響因素 提高信度與效度的途徑主要內容主要內容第1頁/共38頁測量理論測量理論第2頁/共38頁信度信度(Reliability)正如很多教科書所說：信度是指測試方法不受隨機誤差干擾的程度，反映測試結果的一致性和穩(wěn)定性(consistency, and stability)。第3頁/共38頁效度效度(Validity)它反映測試的準確性( (accuracyaccuracy) )，即在多大程度上測量了想要測的內容。T第4頁/共38頁信度和效度的關系信度和效度的關系可以證明：第5頁/共38頁 總而言之，信度和效

2、度相互排斥又相互依存；沒有信度總而言之，信度和效度相互排斥又相互依存；沒有信度就不可能有效度；沒有效度，信度就毫無意義；高信度就不可能有效度；沒有效度，信度就毫無意義；高信度可能帶來低效度；高效度也可能帶來低信度?？赡軒淼托Ф?；高效度也可能帶來低信度。舉例來說舉例來說第6頁/共38頁信度分類及計算信度分類及計算 信度主要分為四大類：信度主要分為四大類： 重測信度重測信度(Test-retest Reliability) 復本信度復本信度(Alternate-form Reliability) 內部一致性系數(shù)內部一致性系數(shù)(Internal Consistency Reliability) 評

3、分者信度評分者信度(Scorer Reliability)第7頁/共38頁重測信度重測信度kappa系數(shù)系數(shù) 重測信度反映兩次測量結果的相關程度。對于分類變量，可采用Cohens kappa系數(shù)來測量：12015/ 500.725302520505050500.30.20.50.70.50.4110.5aeeaeaeaeeppK appakpppppppkp系 數(shù) ：其 中是 兩 次 觀 測 的 實 際 一 致 率 ，是 兩 次 觀 測 的 期 望 一 致 率 。以 右 表 為 例 ：BA好壞合計好20525壞101525合計302050第8頁/共38頁將上表恢復為原始數(shù)據(jù)集后，采用Stata

4、的kappa命令可得如下結果：Kappa 系數(shù)大于0. 75 表示重測信度很好, 在0. 4 0. 75 表示較好,而低于0. 4 表示較差。如果結果顯示某個問卷(量表)項目的Kappa 系數(shù)低于0. 4 , 則要考慮修改或刪除該項目。第9頁/共38頁重測信度重測信度ICC系數(shù)系數(shù) 對于連續(xù)變量，可采用Ronald Fisher(1954)提出的ICC (Intraclass Correlation Coefficient )系數(shù)來測量： 兩種相關系數(shù)的本質區(qū)別在于均值和方差計算不同。在計算連續(xù)變量的重測信度時，應采用rFisher系數(shù)更準確。12Fisher11212221211111()2

5、1()()21nipipippnpiiinnpipipiixxxxrnssxxxnsxxxxnPearson1221122111111,()11,()niiixynnixiiinniyiiixxyyrnssxx sxxnnyy syynn一般來說, ICC 大于0. 75 表示極好, ICC 在0. 6 0. 75 表示較好。通常的相關系數(shù)：第10頁/共38頁Stata命令：命令：For rpearsoncorr var1 var2For rFisherloneway var1 var2第11頁/共38頁復本信度復本信度 復本信度是指用母本和復本兩次等值測評結果的一致性程度。它的計算與重測信度

6、相似，即計算母本和復本測評數(shù)據(jù)的相關性。當測評結果為分數(shù)或數(shù)值時，用rPearson法或rFisher計算；當測評結果為等級或名次時，用斯皮爾曼等級相關系數(shù) (Spearman Rank Correlation)。這些方法的適用性和差異見下表：第12頁/共38頁 從表中數(shù)字可以看出，工人的考試成績愈高其產(chǎn)量也愈高，二者之間的聯(lián)系程度較一致，rPearson=0.691；并不算太高，這可能由于它們之間的關系并不是線性的。 如果分別按考試成績和產(chǎn)量高低變換成等級(見上表第3、4列)，則可以計算它們之間的斯皮爾曼等級相關系數(shù)為1。計算斯皮爾曼等級相關系數(shù)可以將數(shù)據(jù)變換成等級以后用原有的相關系數(shù)公式計

7、算，也可以先算出每一對樣本的等級之差di，結合樣本量n；再用下列公式計算： 21Spearman Rank261(1)niidrn n 上例中由于等級完全一致，所有di = 0，所以r-spearman rank =1 。第13頁/共38頁Stata命令：命令：For r-spearman rank spearman var1 var2第14頁/共38頁內部一致性系數(shù)內部一致性系數(shù)折半信度折半信度()(),21hhSpearman BrownhrrrrFlanagan 內部一致性系數(shù)反映調查問卷 量表 各個問項 項目間相關的程度 這些問項應該反映同一獨立概念的不同側面。它通常采用折半信度測量。

8、具體辦法是：將問卷（量表）中所有項目分為對等的兩部分，然后計算兩部分的相關系數(shù),即折半信度 。然后，據(jù)此推算整個問卷(量表)信度： 通常地，前半部分問卷和后半部分問卷的方差不相等，將其拓2222222 1()abFlanagana baba bssrssss展為： 其中 ， ，分別為前半部分、后半部分和整個問卷 量表 的方差。第15頁/共38頁第16頁/共38頁內部一致性系數(shù)內部一致性系數(shù)Cronbach系數(shù)系數(shù)21222()Cronbach(),:11 j; kjjmXjXXXskksss 當問卷(量表)的問項 項目總數(shù)為奇數(shù)，無法分成為對等的兩部分時,則用的 系數(shù)，它表示問卷 量表 測量結

9、果總變異中由不同被試者導致的比例占多少 即 其中，為所有受訪者第 問項答案的方差為所有受訪者、所有問項答案的方差為問項題目總數(shù)。Cronbachs 系數(shù)越大表示問卷項目間相關性越好, 內部一致性信度越高。一般而言,大于0. 8 表示內部一致性極好,在0. 6 0. 8 表示較好,而低于0. 6 表示內部一致性較差。在實際應用上,Cronbachs 值至少要大于0. 5 ,最好能大于0. 7 (Nunnally ,1978) 。第17頁/共38頁Stata命令：命令：For rCronbach alpha var1 var2第18頁/共38頁評分者信度評分者信度 Kendall系數(shù)系數(shù) 當評分者

10、為兩人時，評分者信度是通過對同一組被試測評分數(shù)之間的相關系數(shù)來鑒定，可使用積差相關(rPearson,rFisher) 法或等級相關法(rspearman rank)。 當評分者為兩人以上，并用等級計分(其他形式的分數(shù)要轉化為等級)，則用肯德爾和諧系數(shù)來測量評分者信度。第19頁/共38頁2211kandall-1232211kandall-2233111()1()121()1()()12, ,nniiiiinniiiiknijijjiinrknnknrknnkttn k(1)同一評價者對各被評對象：為每個被評對象所得到的等級之和；n為被評價對象數(shù)量； 為評價者數(shù)量。(2)同一評價者對各被評對象

11、：與上無相同等級評定時有相同等級評定時jijt面相同； 為第 個評價者對第i個被評對象所評結果中的相同等級數(shù)量。Stata命令：命令：For rKendall ktau var1 var2第20頁/共38頁i2i應聘者評等級面試官一二三四五六A312546B213456C321546D412635E312645F421536198113123343616412196152911566621122211kandall-12323126;319211()319212660.8711()6 (66)1212iiiinniiiinrknn根據(jù)右表可知：n=6,k=6例題： 6名面試考官對6名應聘者的綜

12、合素質進行了測評，評分經(jīng)等級轉換如下表所示，試分析評分者信度。第21頁/共38頁i2i應聘者評等級面試官ABCDEF甲142.5562.5乙231564丙1.531.545.55.54.51051417.51220.2510025196306.2514462112211kandall-22331122333363;791.51()1()()121791.5636 0.8513(66) 3(22) (22) (22)12niiiinniiiiknijijjinrk nnktt 根據(jù)右表可知：n=6,k=3例題： 3名面試考官對6名應聘者的綜合素質進行了測評，評分經(jīng)等級轉換如下表所示，試分析評分者

13、信度。第22頁/共38頁效度分類及計算效度分類及計算 信度主要分為三大類：信度主要分為三大類： 內容效度內容效度(Content Validity) 抽樣效度(Sampling Validity) 表面效度(Face Validity) 效標關聯(lián)效度效標關聯(lián)效度(Criterion-Related Validity) 同時效度(Concurrent Validity) 預測效度(Predictive Validity) 構思效度構思效度(Construct Validity) 收斂效度(Convergent Validity) 區(qū)分效度(Discriminant Validity)第23頁/共

14、38頁內容效度內容效度 在招聘和甄選過程中，通常涉及內容效度和效標關聯(lián)效度。內容效度是指測評內容反映測量目標(如知識、技能和行為等)的程度。一個測驗要具備較好的內容效度必須滿足以下兩個條件： 一、要確定好內容范圍，并使測驗的全部項目均在此范圍內(抽樣效度)。它既可以是具體知識或技能，也可以是復雜行為。 二、測驗項目應是已界定的內容范圍的代表性樣本(表面效度)。也即選出的項目能包含所測的內容范圍的主要方面，并且使各部分項目所占比例適當。 第24頁/共38頁 確定測驗內容效度常用的方法是由專家對測驗項目與所涉及的內容范圍進行符合性判斷，這是一種定性分析的方法。 這個效度產(chǎn)生的過程是：首先進行職務分

15、析，確定完成該職位任務所需進行的工作，需具備的技能和能力；其次，確定衡量這些特征的測試題目。最后，請相關領域專家就這些測試題目是否涵蓋了有效地內容進行評估和篩選。第25頁/共38頁效標關聯(lián)效度效標關聯(lián)效度 效標關聯(lián)效度是指問卷(量表)測量結果和效度標準(被假設或定義為有效的某種外在標準)之間的一致程度。 根據(jù)效度標準獲取的時間可分為:同時效度和預測效度。同時效度和預測效度的大小直接反映了問卷(量表)效標關聯(lián)效度的高低。第26頁/共38頁同時效度同時效度 (1)同時效度(Concurrent Validity) ,即同時在研究對象中進行測評和效度標準測量得到的結果之間的相關程度,其效度系數(shù)通常較

16、低,多在0. 200. 60之間,很少超過0. 70 ,一般以0. 40. 8 之間較理想。 例如：在招聘應屆畢業(yè)生時，可將應聘大學生的面試和筆試綜合分數(shù)與其在校綜合測評成績(效標)進行相關性分析。第27頁/共38頁預測效度預測效度 (2)預測效度(Predictive Validity) ,它是指問卷(量表)測量結果經(jīng)過一段時間后與未來實際結果予以相關性分析,兩者之間的吻合程度。 例如：對于被錄用者，可以將招聘測試分數(shù)與一段時間(半年或一年)之后的工作業(yè)績考核結果進行比較。若這些人的工作績效和招聘測試分數(shù)呈現(xiàn)密切相關關系時，說明招聘方法是有效的，可以推廣到人員甄選與選拔中去。第28頁/共38

17、頁 分析效標關聯(lián)效度的通常作法是對問卷(量表)測量結果與有效標準進行相關分析,相關系數(shù)越大表示問卷(量表)的效標關聯(lián)效度越好,一般認為相關系數(shù)在0. 40. 8 比較理想。 若為連續(xù)型變量，計算Pearson 或Fisher相關系數(shù),若為分類變量，則計算Kendall 或Spearman 等級相關系數(shù)。一般而言, 相關系數(shù)在0. 40. 8 比較理想。第29頁/共38頁第30頁/共38頁構思效度構思效度(略略) 常被翻譯為：架構效度，構想效度和結構效度等等。它是指測評所能衡量到理論上期望的特征的程度,即問卷(量表)所要測量的概念能顯示出科學的意義并符合理論上的設想,它是通過與理論假設相比較來檢

18、驗的,因此也被稱為理論效度。構思效度比較復雜，超出了本科生人力資源管理專業(yè)學生的學習范圍，故省略之。第31頁/共38頁信度的影響因素信度的影響因素 被試方面 主試方面 施測情景方面 測量工具方面 兩次施測的時間間隔第32頁/共38頁提高信度的途徑提高信度的途徑 適當增加測驗的長度。 使測試題難度分布接近正態(tài)分布，并控制在中等水平。 努力提高測驗試題的區(qū)分度。 選取適當?shù)谋辉噲F體，提高測驗在同質性較強的亞團體上的信度。 主試嚴格執(zhí)行實測規(guī)程，評分者嚴格按標準給分。 實測場地按測驗手冊要求布置，減少無關因素的干擾。第33頁/共38頁效度的影響因素效度的影響因素 測驗的構成 測驗的實施過程 接受測驗的被試第34頁/共38頁提高效度的途徑提高效度的途徑 精心編制測驗量表，避免出現(xiàn)較大的系統(tǒng)誤差。 妥善組織測驗，控制隨機誤差。 創(chuàng)設標準的應試情景，讓每個被試都能充分發(fā)揮正常水平。 選擇正確的效標，定好恰當?shù)男藴y量，正確地使用有關公式。第35頁/共38頁作業(yè)作業(yè)