測驗質量效度課件

1、第五章測量效度1測驗的效度鑒定一測驗的效度概述二測驗的效度估計方法三測驗效度的有關問題2測驗的效度概述定義：效度是指一個測驗或量表能測出其所要測的心理特質的程度。效度是一個相對的概念效度是相對于一定測驗目的而言的心理特質是較隱蔽的特性，只能通過它的行為表現來進行推測效度是測量的隨機誤差和系統(tǒng)誤差的綜合反映。判斷一個測驗是否有效，要從多方面收集證據從理論上講，效度應該是測驗分數中反應被試特質的變異占測驗總變異的比例：3測驗效度的估計方法返回信度高是效度高的必要而非充分條件 當隨機誤差的變異數減小時，真實分數的變異數增加，測量信度隨之提高；然而信度的提高只給有效變異數提供了增加的可能性。測驗的效度

2、受它的信度制約 當隨機誤差的變異數減小時，真實分數的變異數增加，測量信度隨之提高；然而信度的提高只給有效變異數提供了增加的可能性。4測驗的效度估計方法一、內容效度二、效標關聯效度三、結構效度返回5內容效度及其估計方法內容效度： 就是測驗用的測題對整個測驗內容范圍的代表性程度?；蛘哒f是指所選的條目是否能代表所要測量的內容或主題。成就測驗特別注重內容效度。6內容效度的估計（1）專家評估 專家評定是一種確定內容效度的典型程序，它要求讓一組獨立的專家判斷測題對所研究的領域的取樣是否具有代表性，通過這些評定資料來確定一個測驗的內容效度。7內容效度的估計 這種確定過程是對測驗的測題與內容范圍的符合性程度的

3、判斷。沒有數量化的指標可用于描述題目與內容范圍的符合程度；并且，各專家不同的教育思想或心理學觀點，對同一內容范圍側重點的不同都會影響到對內容效度的判斷，這就涉及到評分者的信度的問題上。有時，也可以把評分者的信度作為內容效度，因此，有時也把評分者信度稱為內容效度的一個指標。8內容效度及其估計方法（2）邏輯分析法 據教育學和心理學的理論，根據教學大綱的要求，勾畫出學生應掌握知識內容的范圍和深度，提出應形成的技能名稱等。然后以邏輯分析的方法估計測驗在多大程度上代表了這些內容，在多大程度上能夠測量出所要測量的特性和功能。9（3）用測題與教材內容比較的方法 這需要先制兩個表,一個是測驗的雙向細目表。分別

4、列出所要測驗的各單元教材內容在考題中的百分比和所要求的各種行為反應在全部反應中的百分比。第二個表是測驗試題分類表，根據各單元教材內容列出試題，并注明該題所要求的行為反應及其應占的百分比。然后對照這兩個表，根據各個部分相符合的程度，判斷內容效度的高低。（雙項細目表舉例）內容效度及其評估方法續(xù)2返回10雙向細目表舉例高中化學標準測驗雙向細目表識記了解應用分析綜合評價合計第一章第二章第三章第四章8 210 6 2 10 3 6 2 4 7 2 9 12 6 5 6 10 28 22 40 合計 5 25 28 14 22 6 100返回11效標關聯效度效標關聯效度（Criteria validity

5、）又稱準則關聯效度、經驗效度或統(tǒng)計效度或實證效度。 用測驗分數和效標（準則）分數之間的相關系數ryy來表示，它實質上是指測驗對某一行為表現的預測的高低。所謂效標是指足以顯示測驗所欲測量的特性的變量，作為檢定效度的參照尺度。12效標關聯效度及其估計方法同時效度（concurrent validity）是指測驗與當前效標之間的關聯程度。預測效度 (predictive validity)是指測驗將來的效標之間的關聯程度。例如，用全國高考的成績作為效標來檢驗高中畢業(yè)會考的成績，計算兩者之間的相關系數就是會考的同時效度；而用大學一年級的成績作為效標來檢驗高考的成績，計算兩者之間的相關系數就是高考的預測

6、效度13效標關聯效度及其估計方法效標的選擇：能力傾向測驗：可以采用特殊課程或特殊訓練的成等；職業(yè)興趣測驗：可采用從業(yè)人員實際工作成績或記錄； 人 格 測 驗：很難找到，只能按編制者的主觀的標準來評 判，或以被試以后的行為或臨床資料作為效 標。效標關聯效度的計算方法： 明確觀念效標； 確定效標測量； 考察測驗分數與效標分數的關系。14效標關聯效度及其估計方法(1)相關法 積差相關、二列相關、或點二列相關、四格相關和多元相關系數等。 如張厚粲教授在主持修訂瑞文標準推理測驗(SPM)時，她報告的同時效度就是北京一所普通中學45名1215歲學生同時接受SPM和韋氏兒童智力測驗得分的相關系數，預測效度則

7、是對北京市兩所中學69名高三學生先施測SPM，再搜集這批學生3個月后的高考成績，最后計算SPM成績與高考語文、數學和總分的積差相關。15效標關聯效度及其估計方法(2) 區(qū)分法 該方法的思路是，被試接受測驗后，讓他們工作一段時間，再根據工作成績(效標測量)的好壞分成兩組。這時再回過頭來分析這兩組被試原先接受測驗的分數差異，若這兩種人的測驗分數差異顯著，則說明該測驗有較高的效度。16效標關聯效度及其估計方法(3) 命中率 當用測驗作取舍決策時，決策的正命中率和總命中率是測驗有效性的較好指標。其中，總命中率是指根據測驗選出的人當中工作合格的人數 ，以及根據測驗淘汰的人當中工作不合格的人數之和與總人數

8、之比。若總命中率高，則說明該測驗的效度高。這種測驗在區(qū)別合格與不合格方面是有效的。此外，有些測驗只關心被選者中合格者有多少，而不關心被淘汰者中是否有合格者。這時測驗的效度應該用測驗的正命中率來評價。所謂正命中率的指用測驗選出的人中合格者所占的比例。這個比例越高，測驗越有效。 返回17結構效度結構效度結構效度也稱構想效度，是指測驗分數能說明心理學上的理論結構或特質的程度，或者說，結構效度就是用心理學上某種結構或特質來解釋測驗分數的恰當程度。其中結構（construct）是指用來解釋人類行為的理論框架或心理特質，它是心理學中抽象的假設性的概念、特性或變量。用更淺顯的話說結構就是對某種心理特質的理論

9、構想。比如：智力、動機、創(chuàng)造性以及焦慮等都可稱為結構。18結構效度特點: 結構效度首先取決于事先假定的心理特質理論。人們對同一種心理特質的定義或假設不同，則關于該特質測驗的結構效度的研究結果無法比較。當實際測量的資料無法證實我們的理論假設時，并不一定就是測驗結構效度不高，也可能是因為理論不成立等其它原因。與內容效度不同，結構效度主要用于智力測驗、人格測驗等一些測驗方面。19結構效度結構效度的確定方法：確定結構效度的步驟大致如下：先建立理論框架；然后從這一理論框架出發(fā)，提出各種假設；根據這些假設編制測驗；最后，以相關測驗或因素分析方法，檢驗結果是否符合心理學的理論框架及其假設。20確定結構效度的

10、方法（1）測驗內部尋找證據法: 這種方法主要是通過研究測驗內部構造（如測驗內容、對測量反應的過程、以及項目間或分測驗間的關系）來分析測驗的結構效度。它主要包括內容效度、被試解答測題時的反應過程和測驗的同質性三個方面。21內容效度內容效度: 內容效度可以作為檢驗測驗結構效度的一個方面。舉個例子，在編制一個數學測驗時，編制者主要考慮的是計數和運算能力，那么，如果該測驗具有較高的內容效度，基本上也就可以排除測量數學推理能力這一結構的可能性。22被試解答測題時的反應過程被試解答測題時的反應過程: 一般是在施行個別測驗時，要求被試邊想邊說，從而可以分析被試解題時的心理過程，以核實測驗是否真正測到了所欲量

11、的心理結構。如有證據表明某一題目的作答除了反映著所要測的特質以外，還反映著其他因素的影響，則說明該測題沒有較好地體現理論構想，該題目的存在會降低結構效度。23測驗的同質性測驗的同質性 這種方法以測驗的內在一致性系數(比如庫德-理查德遜信度等)為指標，判斷測驗測的是單一特質還是多種特質，看它與所預期的結構的相符度，也就是測驗的同質性問題，從測驗的一致性就可以為結構效度提供證據。24確定結構效度的幾種具體方法（2）測驗間方法:這一方法的特點是同時考慮幾個測驗間的相互關系，考察這些測驗是否在測量同一心理結構。 相容效度(congrent validity) 從理論上說，測量相同結構的各測驗之間應該有

12、較高的相關。這就要求計算新編制的測驗與原有的、已知的效度有較高的測驗間的相關。會聚效度(convergent validity) 又稱為求同效度，其基本思想是，如果兩個測驗是測量同一特質的即使使用不同的方法進行測量，它們之間的相關也應該是高的。區(qū)分效度(discriminant validity) 又稱為求異效度，其基本思想是，如果兩個測驗測量 的是不同的特質，即使使用相同的方法進行測量，它們之間的相關也應該是低的。(此種方法在戴海崎等心理與教育測量中稱為多種特質多種方法矩陣法)25結構效度根據信度的特點尋找證據法 測驗可以有多種類型的信度，由于測驗所測特質或結構的不同，這些信度的取值也應表現

13、出不同的特點。如對于一個 焦慮量表來說，由于“焦慮”這一結構具有較強的情境性，所以，其重測信度值會比分半信度值低。如果測驗的不同信度類型未能表現出這種特點，即說明該測驗不能很好地測量到“焦慮”這一結構。26結構效度(4) 實證效度法 如果一個測驗有實證效度，則可以拿該測驗所預測的效標的性質與種類作為該測驗的結構效度指標，至少可以從效標的性質與種類來推論測量的結構效度。其一是根據 效標把人分成兩類，考察其得分差異。其二是根據測驗得分把人分成高分組和低分組，考察這兩組人在所測特質方面是否確有差異。若有顯著差異，則說明該測驗有效，具有較高的結構效度。此外，對于一些被認為是較穩(wěn)定的特質若在短期內兩次施

14、測的結果差異不太大，則說明該測符合理論構想。返回27多種特質多種方法矩陣法 該方法實質是相容效度法和區(qū)分效度法的綜合運用，其原理是若用多種極不相同 的方法測量同一種特持相關很高(用極為相似的方法測量不同的特質相關很低)，則說明測量效度較高。于是，若有多種特質(如A、B、C)都接受了多種方法(如1,2，3,4)的測查，就可以分別計算出任意兩種方法測量同一特質的相關和測量不同特質的相關，以及任意兩種特質接受同一方法和不冊方法的相關，并以這些相關系數為元素構成一個矩陣，如下圖所示(見下頁)28多種特質-多種方法矩陣A方 A2法 B22 C2方 A1法 B11 C1 方法1 方法2特質 A1 B1 C

15、1 A2 B2 C229多種特質-多種方法矩陣說明在上表中，位于主對角線上的數值，是用同樣的方法測相同 特質所得的相關，是信度指標；在實三角形內的數值，是用同樣方法測不同特質所得之相關。此相關若高，則說明方法間共同點較多；在虛線三角形內的數值，是用不同方法測量不同特質所得的相關，它一般較低，是特質與方法間交互影響反映；在虛線三角形之間的兩條對角線上的數值，是用不同方法測相同特質所得的相關，它是測驗效度的指標。返回 30測驗效度的有關問題對內容效度，結構效度和效標關聯效度的幾點總結影響效度的因素提高效度的方法31幾點總結 1. 效度問題的研究基本上是兩個問題：測量什么東西，即測驗所欲測量的性質是

16、什么；測驗對它所測量的東西達到何種程度。 測驗效度的三種主要類型都 是圍繞這兩方面展開的。其中結構效度幫助我們運用測驗分數解釋人的心理特質，可由結構效度研究的資料來回答測驗所測量的東西或所測量的變量的性質；效標關聯效度可用來了解測驗分數能否有效地預測或估計某種行為表現，是關于測驗結果的一些實際用途的檢驗；內容效度研究的問題是變量的內容范圍；同時，它又幫助我們決定測驗分數能否代表某種學習結果的成果，也是關于測驗結果的一些實際用途的檢驗。32幾點總結2. 任何一個測驗都需要各式各樣的效度證據，關鍵在于效度是由一定的測驗目的規(guī)定的，不同測驗偏重于不同種類的測驗效度。 效度的驗證通常是測驗編制好之后進

17、行的工作，但效度的基本指導思想在測驗編制過程中始終起著主導作用。效度的觀念與測驗編制過程是緊密關聯的，它比信度更為重要，測驗的最終目的還在于效度，從一開始編制測驗就應該注重提高測驗的效度。 33幾點總結 在效度驗證的過程中，內容效度驗證的重點是確定測驗內容與某個行為領域的一一對應關系，而該行為領域往往是已經被明確界定了的；效標關聯效度著重于測驗分數是否與準則測量有高度的相關，也就是說，它注重的不是預測變量，而是準則的測量；結構效度著重點則是測驗本身、測驗賴以編制起來的心理結構理論和測驗測量到該理論結構或特質的能力。返回34影響效度的因素返回測驗本身的因素測驗的實施和計分方面被試方面效標方面35

18、測驗本身的因素1. 測題中所用詞匯和句型不能過于困難2. 試題的意思應該清楚 所編制的測量應該適合所要測量的學習結果 測量中不能提供額外線索 測量的編制要合理(先易后難) 測量數目 測題的難度要適當返回36測驗的實施過程和計分方面 測驗的情境，實施過程中是否遵照測驗使用手冊的各項規(guī)定進行標準化的施測，指導語是否已將方式說明清楚，是否按要求進行等也影響到測驗的效度，如果沒有按照標準化的程序進行施測和客觀的評分，就必然會使測驗效度降低。返回37被試方面1。被試的主觀方面：如被試的興趣、動機、情緒、態(tài)度和身體健康狀況以及是否充分合作與盡力而為等，都會影響到測驗結果的可靠性和正確性，即效度和信度。38被試方面被試樣組與實測被試的同質性： 對于在性別、年齡、受教育程度、知識經驗等方面不相同的被試團體，測驗的效度也不相同。在確定測驗效度時，樣組的代表性很重要。所以在選擇被試樣組來鑒定測驗的效度時，必須選取測驗所欲應用的范圍內的有代表性的樣組。即施測團體必須與樣組同質。我們所要測量的團體的性質與用來建立效度的樣組越接近，這個測驗的效度就越高。返回39效標方面 效標關聯效度是用測驗分數與準則間的相關表示的。