第十一章人員素質測評質量分析

第十一章人員素質測評質量分析第1頁，共36頁，2023年，2月20日，星期一目錄效度信度項目分析其他分析方法第2頁，共36頁，2023年，2月20日，星期一第一節(jié)效度測評的效度就是指測評的有效性，即能測評到所要測評目標的程度。效度是評價測評好壞、選擇測評的重要標準之一。效度的作用比信度的作用更為重要。強調測評目標、工具與測評對象的統(tǒng)一。一、人員測評的有效性效度的理論定義：與測評目標有關的真實分數(shù)方差與總分方差的比率。公式：其中，為測評效度；為有效方差；為總分方差。第3頁，共36頁，2023年，2月20日，星期一效度的性質實際上效度指的是“測評結果的效度”，是指測評結果的準確性程度，而并不是指測評本身。也反映了測評結果對測評目標的體現(xiàn)程度。二、如何評估人員測評的效度（一）內(nèi)容效度

1、內(nèi)容效度是指測評內(nèi)容取樣是否反映測評的目標，適用于測評對象。第4頁，共36頁，2023年，2月20日，星期一2．內(nèi)容效度的評估方法

·測評內(nèi)容范圍明確；

·測評內(nèi)容的取樣有代表性。采用如下步驟：

1）確定總體范圍；

2）編制雙向細目表；

3）制定評定量表。還可采用經(jīng)驗的方法、統(tǒng)計分析方法。3．內(nèi)容效度的應用內(nèi)容效度最適合于評估教育和職業(yè)成就測評。也適合于某些用于人員選拔和分類的測評。第5頁，共36頁，2023年，2月20日，星期一（二）效標關聯(lián)效度效標關聯(lián)效度，也稱效標效度，它反映的是測評分數(shù)與外在標準（效標）的相關程度，即測評分數(shù)對個體的效標行為表現(xiàn)進行預測的有效性程度。效標是考察測評效用的外在參照標準。效標關聯(lián)效度往往用于預測性測評。1．預測效度和同時效度預測效度的效標資料往往是測評結束后隔一段時間才獲得，它反映被試行為表現(xiàn)的預測程度。同時效度的效標材料可以和測評分數(shù)差不多同時搜集。第6頁，共36頁，2023年，2月20日，星期一

同時效度多用于診斷現(xiàn)在的狀態(tài)，預測效度多預測未來的結果。如：1）“某人成功了嗎？”

2）“某人會成功嗎？”2．效標和效標測評效標是衡量測評有效性的參照標準。把效標轉化為某種可以操作的測評指標，稱為效標測評。效標可以細分為觀念效標（即效標的實質概念內(nèi)容）和效標測評（即效標的具體度量方法）。例如，對于篩選銷售人員的觀念效標是“銷售工作的成功”，而效標測評是“年銷售量”。第7頁，共36頁，2023年，2月20日，星期一3．常用的效標（1）學術成就（2）特殊訓練成績（3）實際工作表現(xiàn)（4）團體對照（5）等級評定（6）先前有效的測評（三）構想效度構想效度是指測評能夠測評到理論上的構想或特質的程度。所謂構想通常指一些抽象的、假設性的概念或特質，如智力、創(chuàng)造力、言語流暢性、焦慮等。第8頁，共36頁，2023年，2月20日，星期一1．確定構想效度的步驟

·建立理論框架，以解釋被試在測評上的表現(xiàn)；

·依據(jù)理論框架，推演出各種有關測評成績的假設；

·以邏輯和實證的方法來驗證假設，根據(jù)累積材料決定這種理論是否能恰當?shù)亟忉尙F(xiàn)有材料；如果不能做出恰當解釋，則應該修正上述假設，直到能做出恰當?shù)慕忉尀橹埂Ｈ纾簞?chuàng)造力測評構想效度。以測評分數(shù)與根據(jù)創(chuàng)造力的心理學理論觀察被試行為所做出的判斷做相關分析。第9頁，共36頁，2023年，2月20日，星期一2．常見的確定構想效度的指標（1）發(fā)展變化（2）與其他測評的相關（3）因素分析因素分析是分析行為資料內(nèi)部關系、結構特性的一種統(tǒng)計技術。（4）內(nèi)部一致性如果測評的所有題目被驗證為具有很高的內(nèi)部一致性，說明它們都是關于同一內(nèi)容的，屬于同一種構想。用來考察內(nèi)部一致性的方法主要有三種：

1）考察總分數(shù)較高和較低兩類人在各第10頁，共36頁，2023年，2月20日，星期一

題目上通過率的大小，如果通過率低，應淘汰或修改。

2）計算題目與總分的相關，如未達顯著水準，應予淘汰。

3）求分測評與總分的相關。各分測評與總分有顯著相關，如果不是，則應予刪除。（5）會聚效度和區(qū)分效度會聚效度：測評與測評相同特質或構想等理論上有關的變量高相關；區(qū)分效度：測評與測評不同特質或構想等理論上無關的變量低相關。如，一個數(shù)學推理能力測評與數(shù)學課成績的相關就是會聚效度；而該測評與閱讀理解能力測評的相關顯著低，就是區(qū)分效度。第11頁，共36頁，2023年，2月20日，星期一三、影響效度的因素測評本身帶來的影響因素

1．測評題目的質量

2．實施測評時的于擾因素

3．被試的影響因素

4．測評的長度樣本團體的性質效標的性質如果其他條件相同，所測評的行為或心理特質與效標行為或特質越相似，效度系數(shù)就越高。第12頁，共36頁，2023年，2月20日，星期一第二節(jié)信度

一、信度的定義信度主要是指測評結果的可靠性或一致性。由測評工具否精確引起的誤差叫系統(tǒng)誤差。由操作是否到位引起的誤差叫隨機誤差。信度考慮兩方面的問題。一是穩(wěn)定性：不同時間、不同測評條件下所得分數(shù)之間的一致性有多大；一個人的所得分數(shù)與“真實分數(shù)”之間接近程度有多大；是否可以達到實際應用的程度等。二是影響穩(wěn)定性的原因：什么因素造成了這種差異；這些影響的相對作用有多大。第13頁，共36頁，2023年，2月20日，星期一二、信度的作用信度高低的指標通常以相關系數(shù)表示，稱為信度系數(shù)。信度系數(shù)一般是同一樣本所得的兩組資料的相關，在理論上表示為實得分數(shù)與真實分數(shù)相關的平方。信度系數(shù)公式：它是其中：真實分數(shù)標準差與實得分數(shù)標準差的比率。其中，rxr

有時也稱為信度指數(shù)，它是真實分數(shù)標準差與實得分數(shù)標準差的比率。第14頁，共36頁，2023年，2月20日，星期一

還可通過分析個人分數(shù)再測時的變化（誤差）來考察信度。兩次測評分數(shù)的差異越大，信度就越低。在人員測評中，對信度系數(shù)進行確定通常有以下兩方面的作用：

方差：即每個被測評者得分與其算術平均數(shù)差的平方和與總個數(shù)之商。公式：標準差公式：第15頁，共36頁，2023年，2月20日，星期一1．解釋真實分數(shù)與實得分數(shù)的相關性總的方差（即標準差的平方的縮略語）中有多少比例是由真實分數(shù)的方差決定的。

2．說明可以接受的信度水準一般的能力與成就測評的信度系數(shù)在0．90以上；人格、興趣等測評的信度系數(shù)通常在0．80－0.85之間。rxx＜0．70時，不能用測評對個人作評價，也不能在團體間作比較；當rxx＞0．70時，可用于團體間比較；rxx＞0．85時，可用于鑒別個人情況。三、如何評估人員測評的信度

1.重測信度又稱為穩(wěn)定性系數(shù)用同一測評，在不同時間對同一群體施測第16頁，共36頁，2023年，2月20日，星期一N為兩次測評結果數(shù)據(jù)配對總數(shù)；x被分析的測評結果；y為重復測評得到的結果。在進行重測信度的評估時，還應注意以下兩個重要問題：

1）重測信度一般只反映由隨機因素導致的變化，而不反映被試行為的長久變化。2）不同行為受隨機誤差的影響不同。兩次，這兩次測評分數(shù)的相關系數(shù)即為重測系數(shù)。一個測評的重測信度越高，說明測評的結果越一致、越可靠。積差相關公式：第17頁，共36頁，2023年，2月20日，星期一2.復本信度又稱等值性系數(shù)。它是以兩個測評復本（功能等值但題目內(nèi)容不同）來測評同一群體，然后求得應試者在這兩個測評上得分的相關系數(shù)（積差相關）。復本信度的高低反映了這兩個測評復本在內(nèi)容上的等值性程度。兩個等值的測評互為復本。3．內(nèi)部一致性信度內(nèi)部一致性信度主要反映的是測評內(nèi)部題目之間的關系，考察測評的各個題目是否測評了相同的內(nèi)容或特質。1）分半信度分半信度系數(shù)是通過將測評分成兩半，計算這兩半測評之間的相關性而獲得的信度系數(shù)。第18頁，共36頁，2023年，2月20日，星期一

分半法經(jīng)常會低估信度，必須進行修正。斯皮爾曼一布朗公式可以估計增長或縮短一個測評對其信度系數(shù)的影響，用這個公式進行修正的前提條件為：兩半測評的方差相等。分半法中的斯皮爾曼一布朗修正公式為：其中，rhh為兩半測評的相關系數(shù)，rxx為估計或修正后的信度。

當兩半測評的方差不同時，應采用盧倫公式或弗拉納根公式進行修正。第19頁，共36頁，2023年，2月20日，星期一

盧倫公式只要求將被試在兩半測評的分數(shù)之差的方差（Sd2）和測評總分的方差(Sx2)代入如下公式即可直接計算分半信度：

其中Sd2為兩測評分數(shù)之差的方差；Sx2為測評總分的方差。也可以采用弗拉納根公式直接計算分半信度：

Sa2與Sb2為兩個分測評分數(shù)的方差；Sx2為總分方差。第20頁，共36頁，2023年，2月20日，星期一2）同質性信度同質性是指所有測評題目測評的只是單一特質或內(nèi)容，表現(xiàn)為所有測評題目得分的一致性。樂觀情緒特質和外向特質、預測和決策、監(jiān)督與控制等都是不太容易區(qū)分的。如果需要在一個測評中測評不同的內(nèi)容，就應該將測評設計為幾個分測評，每個分測評測評一種內(nèi)容。例如，16PF人格測評就是包含16個分量表的測評，每個分量表只對一種人格特質進行測評。常用的同質性信度計算方法是庫德—理查遜估計方法。計算公式有庫德—理查遜20號公式（簡稱（KR20）和21號公式（KR21）。第21頁，共36頁，2023年，2月20日，星期一下面是KR20公式：

其中n為測評題目數(shù)，

為通過題的人數(shù)比例；qi為未通過該題的人數(shù)比例；=1;為所有題目答對與答錯人數(shù)百分比乘積的總和。

第22頁，共36頁，2023年，2月20日，星期一四、評分者信度在有些測評中，評分者的評判也是誤差的來源之一。評分者信度是指不同評分者對同樣對象進行評定時的一致性。最簡單的估計方法就是隨機抽取若干份答卷，由兩個獨立的評分者打分，再求每份答卷兩個評判分數(shù)的相關系數(shù)。這種相關系數(shù)的計算可以用積差相關方法。如果評分者在三人以上，而且又采用等級記分時，就需要用肯德爾和諧系數(shù)來求評分者信度。其公式為：第23頁，共36頁，2023年，2月20日，星期一

其中，K為評分者人數(shù)，N為被評定的人數(shù)或答卷數(shù)；Ri為評分者給某人（或某一答卷）評分之和。為每一個對象被評等級。

第24頁，共36頁，2023年，2月20日，星期一評分者答卷編號一二三四五六甲431256乙532146丙412356丁641235Ri1911681723例如，有4名評分者，對6份答卷進行評分，所評等級如下：第25頁，共36頁，2023年，2月20日，星期一五、影響信度的因素1．樣本團體的性質1)樣本團體的分數(shù)分布分數(shù)分布越廣，信度系數(shù)就相對越高，分數(shù)分布越窄，信度系數(shù)就會越低。第26頁，共36頁，2023年，2月20日，星期一2)樣本團體的異質性一般來說，取樣團體的異質性越大，信度系數(shù)就相對越高。但是在測評中,往往會因為團體過于同質或過于異質而出現(xiàn)信度被低估或高估的情況。這種情況下，可以采用下面的公式對求出的信度進行修正：其中,為估計的信度；為取樣的信度；SX為取樣團體的標準差；為估計團體（取樣的總體）的標準差。

第27頁，共36頁，2023年，2月20日，星期一3)不同團體間能力水平的差異2.測評的長度信度還會受測評長度（即題目的多少）的影響。一般來說，測評越長，信度值越高。3.測評的難度測評的難度也會對信度產(chǎn)生影響。如果一個測評的難度太低，出現(xiàn)天花板效應；如果難度太大，出現(xiàn)地板效應，第28頁，共36頁，2023年，2月20日，星期一第三節(jié)項目分析項目適合度在素質測評中，項目不僅僅是試題，更多的是一些咨詢問題或觀察評定點（指標），它們無難易之分，適合度指的是被測者行為符合項目測評標準的程度。當項目為試題時，適合度即難度；當項目是問卷中的問題時，適合度即所有選對的被測者人數(shù)與總人數(shù)之比；當項目為觀察評定量表中的指標時，適合度即所有被測得分平均值與指標滿分值之比。第29頁，共36頁，2023年，2月20日，星期一項目區(qū)分度

又稱鑒別力，指項目得分對被試實際能力或心理特質水平的區(qū)分能力或鑒別力，也即項目得分的高低與被試實際能力或心理特質水平高低的一致性程度。項目區(qū)分度的計算方法主要有相關分析法（包括積差相關法、二列相關法和點二列相關法）、極端組法（鑒別度指數(shù)、臨界比）和因素分析法第30頁，共36頁，2023年，2月20日，星期一項目獨立性

在能力測評中，常常需要項目之間有一定的獨立性。所謂獨立性即非相關性或低相關性。獨立性的分析一般采用項目間分數(shù)的相關系數(shù)揭示，根據(jù)實際得分分布是否均勻，可以分別采用rφ系數(shù)法和列聯(lián)表χ2檢驗法。第31頁，共36頁，2023年，2月20日，星期一第四節(jié)其他指標的分析客觀性測評的客觀性由測評方法的客觀性與測評者的客觀性兩方面構成總體分布與水平總體分布指測評結果在各水平層次上的分布情況，總體水平一般指對測評結果集中量的分析。第32頁，共36頁，2023年，2月20日，星期一區(qū)分性與差異性

測評工具的