人員素質(zhì)與能力測評工具

1、人員素質(zhì)與能力測評工具第1頁，共81頁，2022年，5月20日，10點45分，星期日了解構(gòu)想和基于構(gòu)想的解釋內(nèi)容掌握信度、效度、常模的概念掌握人員測評工具組合的內(nèi)容、設(shè)計內(nèi)容熟悉人員測評工具的組合原理能進行簡單的信度和效度檢驗第2頁，共81頁，2022年，5月20日，10點45分，星期日案例分析請同學(xué)們閱讀教材P60 的案例“國內(nèi)某保健公司中高層營銷管理人員的考核與評估”，思考以下幾個問題： 1、回顧人員測評的作用與意義，此次測評主要起到什么作用？ 2、該公司主要運用哪種方法進行測評要素的設(shè)計的？怎樣進行數(shù)據(jù)收集？ 3、你認為該公司的測評有效嗎？為什么？第3頁，共81頁，2022年，5月20日

2、，10點45分，星期日第4頁，共81頁，2022年，5月20日，10點45分，星期日為什么需要測量工具？你知道foot（英尺）的來歷嗎？第5頁，共81頁，2022年，5月20日，10點45分，星期日請列舉一些你所使用過或接觸過的量表思考: 量表的作用是什么？第6頁，共81頁，2022年，5月20日，10點45分，星期日你如何解釋下述現(xiàn)象？一個很聰明的孩子，測得智商是80分一個學(xué)習(xí)很好的學(xué)生，考試成績?yōu)?0分一個人緣很好的人，人際關(guān)系測量低于常模值第7頁，共81頁，2022年，5月20日，10點45分，星期日量表幫助我們了解心理現(xiàn)象（心理特質(zhì)），就像尺子幫助我們測量身高。 思考:我們?nèi)绾沃牢覀?/p>

3、有多高？有兩個工具：尺子 / 秤 第8頁，共81頁，2022年，5月20日，10點45分，星期日尺子的數(shù)據(jù)與我們的目測更一致，而秤盤的數(shù)據(jù)則與我們的目測不一致。因此，尺子是測量身高的有效工具效度。什么材料的尺子？鋼鐵（熱脹冷縮）涉及到一致性的問題。信度第9頁，共81頁，2022年，5月20日，10點45分，星期日1.70與1.7的關(guān)系量表是我們用來了解心理特質(zhì)等方面的工具，但這個工具是有誤差的。誤差要控制在一個許可的范圍內(nèi)。第10頁，共81頁，2022年，5月20日，10點45分，星期日什么是誤差?誤差的種類?誤差是在測量中與目的無關(guān)的變因所產(chǎn)生的不準確或不一致的效應(yīng)。第11頁，共81頁，20

4、22年，5月20日，10點45分，星期日何謂隨機誤差？隨機誤差（random error）由于在測定過程中一系列有關(guān)因素微小的隨機波動而形成的具有相互抵償性的誤差。 熱起伏 磁場的變化第12頁，共81頁，2022年，5月20日，10點45分，星期日一、測評的信度（一）信度的概念 是一種測驗手段不被隨機誤差干擾的程度，也就是測量數(shù)據(jù)和結(jié)論的可靠性程度。信度的意義1信度指實測值和真值相差的程度2信度指統(tǒng)計量與參數(shù)之間的接近程度3信度是指一種測驗對相同的應(yīng)試者再次測驗時引起同樣反應(yīng)的程度第13頁，共81頁，2022年，5月20日，10點45分，星期日信 度 穩(wěn)定性 可靠性 一致性信度乃是一個被測團體

5、真分數(shù)的變異數(shù)與實得分數(shù)的變異數(shù)之比。rXX=ST2/SX2第14頁，共81頁，2022年，5月20日，10點45分，星期日第15頁，共81頁，2022年，5月20日，10點45分，星期日第16頁，共81頁，2022年，5月20日，10點45分，星期日（二）測量表的信度參考依據(jù)：信度r評價r0.30不可信0.30r0.40勉強可信0.40r0.50稍微可信0.50r0.70可信0.700.90十分可信第17頁，共81頁，2022年，5月20日，10點45分，星期日她朝那邊轉(zhuǎn)？第18頁，共81頁，2022年，5月20日，10點45分，星期日看到幾張臉？第19頁，共81頁，2022年，5月20日，

6、10點45分，星期日這是什么？第20頁，共81頁，2022年，5月20日，10點45分，星期日（三）信度的估計方法1、重測信度（Test-Retest Reliability）定義：同一量表，同一被試群體，在不同時間，兩次施測，求其相關(guān)。實質(zhì)：表示測驗結(jié)果的穩(wěn)定性。故稱之為穩(wěn)定性系數(shù)（Coefficient of Stability） 形式：施測適當時間再施測第21頁，共81頁，2022年，5月20日，10點45分，星期日一般采用計算兩次評價結(jié)果的積差的相關(guān)系數(shù)的方法，計算公式如下： n是兩次測評結(jié)果的配對數(shù)據(jù)總數(shù)；X是第一次測評的測評結(jié)果（分數(shù)）；Y是重復(fù)測評的測評結(jié)果（分數(shù)）r 越接近1，

7、則表示測評結(jié)果的穩(wěn)定性越高，測評結(jié)果越準確、可信；如果r的數(shù)值越低，表示測評結(jié)果穩(wěn)定性越低，測評結(jié)果越不準確、不可信。第22頁，共81頁，2022年，5月20日，10點45分，星期日任務(wù)一：計算下列測試的重測信度（獨立完成） 從某組織一次員工能力測驗中，隨機抽取了10個被測評者，記錄他們所得的分數(shù)如下： 77 81 69 91 88 84 76 70 86 79 半個月后，在相同的條件對相同的被測評者群體再次進行同樣的測評，按照被測評者先后兩次測評的成績兩兩對應(yīng)，記錄他們的此次的所得測評分數(shù)如下： 78 83 74 92 91 85 78 75 88 80第23頁，共81頁，2022年，5月2

8、0日，10點45分，星期日完成得怎么樣？第24頁，共81頁，2022年，5月20日，10點45分，星期日時間間隔的把握間隔時間越長，穩(wěn)定性系數(shù)越低。適宜時間間隔依照測驗?zāi)康?、性質(zhì)及被試特點而定。幾分鐘至幾年。年幼兒童，間隔要??；年長群體，間隔可大。智力測驗的間隔不能太短，成就測驗的間隔不能太長。 一般間隔時間不超過六個月。（即不能讓被試記住上一次測驗的內(nèi)容，又不能讓其特質(zhì)發(fā)生變化，或?qū)λ鶎W(xué)知識產(chǎn)生遺忘）第25頁，共81頁，2022年，5月20日，10點45分，星期日2、復(fù)本信度（Alternate-form raliability）因為任何測驗只是所有可能題目中的一份取樣（行為樣本），所以可編

9、制許多平行的等值測驗，叫做復(fù)本。復(fù)本信度的計算方法有兩種，一種如果測評的結(jié)果為分數(shù)，就按積差相關(guān)法計算，另一種方法，如果測評結(jié)果為等級或名次，就使用等級相關(guān)法計算。 第26頁，共81頁，2022年，5月20日，10點45分，星期日 式中，n是測評結(jié)果的總個數(shù)（被測評者數(shù)量），D是同一個被測評者在兩次測評結(jié)果中排列等級或者名次的差；r的數(shù)值越接近1，表示復(fù)本信度越高。第27頁，共81頁，2022年，5月20日，10點45分，星期日A卷：你是一個喜歡熱鬧的人嗎？1=絕對是 2=是 3=不一定 4=不是 5=絕對不是第28頁，共81頁，2022年，5月20日，10點45分，星期日B卷：你是一個喜歡安

10、靜的人嗎？1=絕對是 2=是 3=不一定 4=不是 5=絕對不是第29頁，共81頁，2022年，5月20日，10點45分，星期日任務(wù)二：計算下列測驗的復(fù)本信度（獨立完成）從某公司的一次創(chuàng)造力測評中隨機抽取的10個被測評者，使用某種測量工具，這10個人按照名次排列如下： A B C D E F G H I J為了檢驗上述測評工具的可靠性，組織又進行了一次類似的創(chuàng)造力測評，同樣10個被測者此次結(jié)果按名次排列如下： B A C F E E G I J H第30頁，共81頁，2022年，5月20日，10點45分，星期日對我們來說，這很簡單！ 放松一下，繼續(xù) 前進！ 第31頁，共81頁，2022年，5月

11、20日，10點45分，星期日復(fù)本等值要符合下列條件：各份測驗測量的是同一種心理特性。 各份測驗具有相同的內(nèi)容和形式。 各份測驗的題目不應(yīng)重復(fù)。 各份測驗題目數(shù)量相等，難度和區(qū)分度大體相同。 各份測驗的分數(shù)分布（平均數(shù)和標準差）大致相等。復(fù)本編好后，應(yīng)再測一次，以確保各份測驗的等值。第32頁，共81頁，2022年，5月20日，10點45分，星期日定義：兩個復(fù)本施測同一被試群體，求其相關(guān)。等值性系數(shù)：同時連續(xù)施測，反映內(nèi)容變異。形式：復(fù)本A最短時間復(fù)本B穩(wěn)定性與等值性系數(shù)：時間間隔施測，內(nèi)容變異重測信度誤差形式：復(fù)本A適當時間復(fù)本B 第33頁，共81頁，2022年，5月20日，10點45分，星期日

12、3、內(nèi)部一致性信度（Homogeneity Reliability）內(nèi)部一致性（同質(zhì)性)指測驗的所有題目測量的是同一種心理特質(zhì)，表現(xiàn)為各個題目得分之間有較高的相關(guān)，相關(guān)越高則同質(zhì)性越強。 第34頁，共81頁，2022年，5月20日，10點45分，星期日內(nèi)部一致性信度一般用 系數(shù)法式中，k是測評項目數(shù)量， 是測評結(jié)果的方差， 是第i個項目上得分的方差， 是測評總分的方差。 第35頁，共81頁，2022年，5月20日，10點45分，星期日任務(wù)三：計算下列測驗的內(nèi)部一致性信度（獨立完成）在一次關(guān)于學(xué)習(xí)能力的人力資源測評中，被測評者為100名員工，測試題目為7道，統(tǒng)計各個題目上被測評者的方差分別為 0

13、.81, 0.82, 0.9, 0.83, 0.85， 0.76, 0.77 測評總分的方差為14，則此次測評的信度為多少？第36頁，共81頁，2022年，5月20日，10點45分，星期日獎勵： 胡蘿卜一個！第37頁，共81頁，2022年，5月20日，10點45分，星期日 評分者信度（Scorer Reliability）評分者信度是指不同評分者之間在測驗結(jié)果計分上的一致性。在心理測驗中,評分者信度的計算,通常是隨機抽取若干份試卷,由至少兩位受過訓(xùn)練的評分者按計分規(guī)則分別判分,然后計算它們的相關(guān)。幾個評分者的評分越一致,評分者信度越高。第38頁，共81頁，2022年，5月20日，10點45分，

14、星期日4、評分者間信度（Scorer Reliability）最簡單的估計方法就是隨機抽取若干份答卷，由兩個獨立的評分者打分，再求每份答卷兩個評判分數(shù)的相關(guān)系數(shù)。這種相關(guān)系數(shù)的計算可以用積差相關(guān)方法，也可以采用斯皮爾曼等級相關(guān)方法。如果評分者在三人以上，而且又采用等級記分時，就需要用肯德爾和諧系數(shù)來求評分者信度。第39頁，共81頁，2022年，5月20日，10點45分，星期日其中，K是測評者人數(shù)，n是被測評的數(shù)量，第i個被測評者被測等級之和。 第40頁，共81頁，2022年，5月20日，10點45分，星期日任務(wù)四：計算下列測驗的評分者間信度（獨立完成）在一次關(guān)于溝通能力的測驗中，共有四個測評者

15、，被測評者有5個員工，測評結(jié)果按照等級排列，整理出的結(jié)果如表所示：員工甲員工乙員工丙員工丁員工戊A12345B23154C12543D3142578131517第41頁，共81頁，2022年，5月20日，10點45分，星期日為我們自己鼓鼓掌第42頁，共81頁，2022年，5月20日，10點45分，星期日 估計信度的方法與測驗復(fù)本的數(shù)目以及施測次數(shù)的關(guān)系所需要施測的次數(shù)所需要副本的數(shù)目一二一同質(zhì)性信度評分者信度復(fù)本信度（連續(xù)施測）二再測信度復(fù)本信度（間隔施測）第43頁，共81頁，2022年，5月20日，10點45分，星期日在一般情況下，間隔施測的副本信度最低，因為很多因素有機會影響到分數(shù)。相反，

16、校正過的分半相關(guān)，因為影響的因素少，所得的信度估計為最高。第44頁，共81頁，2022年，5月20日，10點45分，星期日各種信度系數(shù)相應(yīng)誤差變異的來源信度系數(shù)的類型誤差變異的來源再測信度復(fù)本信度（連續(xù)施測）復(fù)本信度（間隔施測）同質(zhì)性信度評分者信度時間取樣內(nèi)容取樣時間與內(nèi)容取樣內(nèi)容的異質(zhì)性評分者間的差異第45頁，共81頁，2022年，5月20日，10點45分，星期日實際上，有多少種誤差來源，便有多少種估計信度的方法。一個測驗?zāi)姆N誤差大，便應(yīng)該用哪種誤差估計。有時一個測驗需要有幾種信度系數(shù)，這樣我們就把總分數(shù)的變異數(shù)分成不同的分支。第46頁，共81頁，2022年，5月20日，10點45分，星期日

17、二、人員測評的效度（一）效度的一般定義及其內(nèi)涵 效度是指測驗的準確性，即測驗?zāi)軌?測出他們所預(yù)測的特質(zhì)的程度。 （二）效度的分類 1966年美國心理學(xué)會在教育心理測驗 值標準中將效度分為三大類 內(nèi)容效度 構(gòu)想效度 準則效度第47頁，共81頁，2022年，5月20日，10點45分，星期日1內(nèi)容效度（Content Validity）內(nèi)容效度指測驗實際測到的內(nèi)容與所要測量的內(nèi)容之間的吻合程度。2結(jié)構(gòu)效度(Construct Validity)結(jié)構(gòu)效度是指測驗對于被稱作構(gòu)想的某一理論概念或特質(zhì)測量的程度。3實證效度(Criterion related Validity)實證效度是指一個測驗對處于特定

18、情景中的個體的行為進行估計的有效性。（三）效度與信度的關(guān)系信度是效度的必要條件效度是信度的充分條件第48頁，共81頁，2022年，5月20日，10點45分，星期日（四）提高測量效度的方法1、控制系統(tǒng)誤差2、精心編制量表3、妥善組織測驗4、擴充樣本容量5、適當增加測驗的長度第49頁，共81頁，2022年，5月20日，10點45分，星期日三、測驗的項目分析 項目分析包括定性分析和定量分析。定性分析包括考慮內(nèi)容效度、題目編寫的恰當性和有效性等；定量分析主要是指題目難度和區(qū)分度的測量。 對項目進行篩選和修訂，可以提高測驗的信度和效度。（一）難度（difficulty）的意義 難度，指項目的難易程度。

19、在最高作為測驗中，稱為“難度”，而在典型作為測驗中，則指“通俗性”。兩者都是指在總體中，能夠正確或確切回答某項目的人數(shù)。第50頁，共81頁，2022年，5月20日，10點45分，星期日（二）難度的計算1、二分法記分項目的難度（1）通過率 P=R/N（2）極端分組法（上下27%） P=（PH+PL）/22、非二分法記分項目的難度 P=X / XmaxX為所有被試在該項目上的平均得分， Xmax為該項目的滿分。第51頁，共81頁，2022年，5月20日，10點45分，星期日（三）測驗難度水平的確定 效標參照測驗、掌握測驗：不考慮難度； 選拔測驗：難度=錄取率； 對于選擇題來說，難度一般應(yīng)大于猜測概

20、率； 無論是速度測驗，還是難度測驗，一般都應(yīng)防止被試得滿分，因為滿分的意義是不明確的。 第52頁，共81頁，2022年，5月20日，10點45分，星期日 難度對測驗的影響測驗難度影響測驗分數(shù)的分布形態(tài) 難度大，正偏態(tài) 難度低，負偏態(tài)第53頁，共81頁，2022年，5月20日，10點45分，星期日測驗難度影響測驗分數(shù)的離散程度測驗過難或過易，分數(shù)全距縮小，信度降低。P=0.50時最佳大體而言，難度為0.50時最理想，此時項目具有最大的鑒別力。但在實際操作中，讓所有項目難度都到達0.50困難很大，而且也不必要，一般只需使項目的平均難度接近0.50，而各個項目的難度在0.50 0.20之間變化。第5

21、4頁，共81頁，2022年，5月20日，10點45分，星期日（四） 測驗的區(qū)分度1、區(qū)分度的意義區(qū)分度（discrimination）是指測驗項目對被試心理品質(zhì)水平差異的區(qū)分能力或鑒別能力。項目的區(qū)分度是測驗是否有效的“指示器”。2、區(qū)分度的計算（1）項目鑒別指數(shù)法1鑒別指數(shù)（index of discrimination，D）的計算：D = PH - PL取值范圍：-1 +1第55頁，共81頁，2022年，5月20日，10點45分，星期日鑒別指數(shù)題目評價0.40以上很好0.300.39良好，修改會更好0.200.29尚可，仍需修改0.19以下差，必須淘汰第56頁，共81頁，2022年，5月2

22、0日，10點45分，星期日 極端組的劃分27%規(guī)則一般情況下，取上下25%33%均可。樣本少時，可以取50%注意：由于計算機的方便使用，可以上下50%作為劃分高低組的標準，或者多分幾組，對區(qū)分度和難度作詳細分析。因為只取上下兩端，只利用了一部分資料，浪費了很多信息，有可能得出錯誤結(jié)論。第57頁，共81頁，2022年，5月20日，10點45分，星期日（2）相關(guān)法（項目-總分相關(guān)）點二列相關(guān) Xp-Xq rpb= pq St第58頁，共81頁，2022年，5月20日，10點45分，星期日（五）區(qū)分度與難度的關(guān)系難度（）區(qū)分度（）1.0000.900.200.800.400.700.600.600.

23、800.5010.400.800.300.600.200.400.100.200.000第59頁，共81頁，2022年，5月20日，10點45分，星期日難度和區(qū)分度都是針對一定團體而言的。一般來說，較難的項目對高水平被試區(qū)分度高，較易的項目對低水平被試的區(qū)分度高。第60頁，共81頁，2022年，5月20日，10點45分，星期日四、標準化與常模（一）標準化 人員素質(zhì)與能力測評工具的編制、實施、計分以及測驗分數(shù)、解釋程序都依據(jù)一套系統(tǒng)的程序。 內(nèi)容標準化 實施標準化 客觀計分 分數(shù)解釋標準化第61頁，共81頁，2022年，5月20日，10點45分，星期日（二）常模 又稱測驗常模，指某一標準化樣組在

24、某一測評上的結(jié)果或平均數(shù)。標準化樣組：能夠很好地代表被測評者全域的一個樣本。它的產(chǎn)生與抽樣的方法有關(guān)。第62頁，共81頁，2022年，5月20日，10點45分，星期日現(xiàn)實的問題小明的期中考試，語文考了84分，數(shù)學(xué)考了96分，他的父母想知道他的學(xué)習(xí)究竟怎么樣？你怎么解釋？張苗今年六歲，他做智力量表測驗，得分148分，他的家長想讓他跳級，你將給出什么建議？ 我們總是與很多數(shù)字打交道，但很多人困惑是因為不知道這些數(shù)字的意義。第63頁，共81頁，2022年，5月20日，10點45分，星期日常模即解釋分數(shù)的標準。測驗常模是指某個標準樣本或有代表性團體的測驗的分數(shù)，如平均數(shù)、四分位。常模的主要用途是對測驗

25、的分數(shù)做出解釋。 只有比較才有鑒別； 解決兩個問題：發(fā)展水平和相對位置第64頁，共81頁，2022年，5月20日，10點45分，星期日總體與樣本總體樣本抽樣第65頁，共81頁，2022年，5月20日，10點45分，星期日常模團體的特征群體的構(gòu)成必須有明確的界限常模團體必須是所測群體的代表性樣本樣本的大小要適當標準化樣組是一定時空的產(chǎn)物第66頁，共81頁，2022年，5月20日，10點45分，星期日同學(xué)們來回顧一下統(tǒng)計學(xué)基礎(chǔ)的知識，常用的取樣方法有哪幾種，分別是什么意思？簡單隨機抽樣系統(tǒng)抽樣分組抽樣分層抽樣第67頁，共81頁，2022年，5月20日，10點45分，星期日（三）常模的類型：發(fā)展常模百分位常模標準分數(shù)常模第68頁，共81頁，2022年，5月20日，10點45分，星期日發(fā)展常模（Development Norm）某一年齡或某一年級心理發(fā)展的平均水平。導(dǎo)出分數(shù)：已經(jīng)達到的發(fā)展水平。如：年齡當量、年紀當量、順序量表、比率智商、教育商數(shù)等。第69頁，共81頁，2022年，5月20日，10點45分，星期日第70頁，共81頁，2022年，5月20日，10點45分，星期日第71頁，共81頁，2022年，5月20日，10點45分，星期日組內(nèi)常模（WithinGroup Norm）具有同一身份的人的平均水平。導(dǎo)出分數(shù)：在某一特殊團隊中的相對位置。如：百分位常模、標準分