人員素質(zhì)測評質(zhì)量分析

人員素質(zhì)測評質(zhì)量分析第1頁，共30頁，2023年，2月20日，星期三本講內(nèi)容效度的概念及其分析方法信度的概念及其分析方法區(qū)分度的概念及其分析方法選題質(zhì)量分析及其分析方法第2頁，共30頁，2023年，2月20日，星期三效度效度的概念效度是指測評結(jié)果對所測評素質(zhì)反映的真實程度。對這種真實性的考評，常見的方法有三種：從內(nèi)容性質(zhì)方面分析其內(nèi)容效度從效標相關(guān)性方面分析其關(guān)聯(lián)效度從實證方面分析其結(jié)構(gòu)效度內(nèi)容效度是指實際測評到的內(nèi)容與期望測評的內(nèi)容的一致性程度。當實際測評到的內(nèi)容與我們事先所想測評到的內(nèi)容越一致時，則說明測評結(jié)果的內(nèi)容效度越高，測評結(jié)果就越有效。內(nèi)容效度在實際操作中的鑒定主要采用定性分析的方法,有藍圖對照分析法與專家比較判斷法。第3頁，共30頁，2023年，2月20日，星期三結(jié)構(gòu)效度結(jié)構(gòu)效度又稱作構(gòu)想效度、構(gòu)思效度、構(gòu)念效度、構(gòu)建效度等。結(jié)構(gòu)效度是指實際所測評的結(jié)果與想測評素質(zhì)的同構(gòu)程度。它表明了在多大程度上，實際測評結(jié)果能夠被看作是索要測評的素質(zhì)在結(jié)構(gòu)上的替代物。在素質(zhì)測評中，它是人們最關(guān)心的一種效度。這是由素質(zhì)測評的間接性所決定的。人們總是通過選取一些具體的行為測評來判斷實際的素質(zhì)水平。結(jié)構(gòu)效度與檢驗效度的人對素質(zhì)結(jié)構(gòu)的理解有直接關(guān)系。如果李某認為忠誠這一素質(zhì)即對本企業(yè)的忠誠，張某認為忠誠這一素質(zhì)表現(xiàn)為實事求是的態(tài)度，那么對于向其他企業(yè)說明本企業(yè)產(chǎn)品所存在的問題這一行為，顯然李某與張某會把它歸類到不同的素質(zhì)成分中給與不同的素質(zhì)成分中并給與不同的評價。因此結(jié)構(gòu)效度的檢驗分析也是一種定性的主觀判斷。在分析考評過程中，要采取有力措施把主觀影響控制在最低點上。第4頁，共30頁，2023年，2月20日，星期三結(jié)構(gòu)效度結(jié)構(gòu)效度的分析可按一下幾步進行：1.給所要測評的素質(zhì)的結(jié)構(gòu)模式下一個操作化的定義

“我們所要測評的素質(zhì)是對xx的態(tài)度、有關(guān)xx的品質(zhì)、有關(guān)xx的技能。”像這樣一些表述所測評素質(zhì)的具體形象是什么，結(jié)構(gòu)是什么，我們并不清楚，它仍然是從具體行為概括出某種意識或觀念，因此對結(jié)構(gòu)效度的分析沒有多大意義。這里的構(gòu)建不是從行為向觀念構(gòu)建，而是相反，由觀念向具體行為的構(gòu)建。不是簡單還原，而是在更高的水平上抓住所測素質(zhì)的本質(zhì)特征，確定一個可感覺可操作的結(jié)構(gòu)模式，由這種具體的結(jié)構(gòu)模式作為抽象觀念建構(gòu)的替代物。這種替代物的成分顯然應該是我們世紀能夠看到的、聽到的、感覺到的東西。例如：外顯行為、客觀性生理反應等。素質(zhì)測評的目標體系實際上就是所測素質(zhì)的一個行為構(gòu)建模型，這種結(jié)構(gòu)模型分別由項目、指標、權(quán)重、標度等組成。這種模型的建構(gòu)，在很大程度上取決于所測素質(zhì)本身的特征及其抽象程度等組成。第5頁，共30頁，2023年，2月20日，星期三要定義或建構(gòu)一個素質(zhì)的結(jié)構(gòu)模型，可以從以下幾方面著手：首先，采取工作分析方法，對所想測評的素質(zhì)進行結(jié)構(gòu)分析與行為分析，確定各種素質(zhì)結(jié)構(gòu)及其代表的行為。其次，用圖表的形式逐一列出工作分析得到的素質(zhì)因素及其特征行為。除此之外，還可以通過查找歷史上或現(xiàn)在人們對所測評素質(zhì)的模型的現(xiàn)成資料，豐富已有分析的結(jié)果。再次，還要另外準備一份與已經(jīng)建構(gòu)的模型可能混淆的但關(guān)系密切的其他模型圖表。要反問自己并向人說明為什么所測素質(zhì)是你所定義的結(jié)構(gòu)模型而不是其他別的結(jié)構(gòu)模型。第6頁，共30頁，2023年，2月20日，星期三2.收集事實資料，評判結(jié)構(gòu)效度，具體方法有：排除法如果測評結(jié)果能明確的排除它所對應素質(zhì)結(jié)構(gòu)模型的其他解釋，那就表明所獲得的測評結(jié)果具有較好的結(jié)構(gòu)效度。咨詢法可以請一些有經(jīng)驗的專家就你所獲得的測評結(jié)果、所對應的素質(zhì)結(jié)構(gòu)進行判斷或推斷，問他們該測評結(jié)果實際測評的素質(zhì)是什么。如果大家的回答與你所想測評的素質(zhì)結(jié)構(gòu)幾乎一致，那么說明你的測評有較好的結(jié)構(gòu)效度。相關(guān)法找一個具有較高結(jié)構(gòu)效度的測評工具或結(jié)果，與你所獲得的測評結(jié)果進行相關(guān)性分析，如果相關(guān)性很高，說明你的測評結(jié)果具有較高的結(jié)構(gòu)效度。例如：某一個具有“自尊”結(jié)構(gòu)效度的測評量表，它的測評結(jié)果就應該與自信、社交能力及領(lǐng)導作用等測評量表的測評結(jié)果成正比，而與諸如內(nèi)向性、自卑、孤獨等測評量表測評的結(jié)果成反比。第7頁，共30頁，2023年，2月20日，星期三邏輯分析法當大家對所測素質(zhì)的結(jié)構(gòu)模型具有比較一致的認識時，只要能判定測評內(nèi)容（工具）選擇正確，且整個測評過程除了一切外來干擾因素，就可以說測評結(jié)果具有較好的結(jié)構(gòu)效度。例如：測評時間足以保證被測評者完成所有的工作，被測評者沒有受到催促因素的影響；測評工具的指導十分明確，被測操作準確。多元分析多元分析就是采取聚類分析與主成分分析等數(shù)學手段，對測評結(jié)果進行分析，看分析的結(jié)果。例如：所找出的主要因素與分類結(jié)果與所想測評素質(zhì)的結(jié)構(gòu)是否一致，如果一致，則說明所獲得的測評記過具有較好的結(jié)構(gòu)效度。第8頁，共30頁，2023年，2月20日，星期三關(guān)聯(lián)效度又稱實證效度、效標效度、效標關(guān)聯(lián)效度，是指測評結(jié)果與效標的一致性程度。效標是一種用來衡測評有效性的外在參照標準,它可以是一種測評的結(jié)果,也可以是標準測評分數(shù)。根據(jù)效標是否可以同時獲得,可將關(guān)聯(lián)效度分為同時效度與預測效度。作為效標的結(jié)果與預測結(jié)果同時獲得,這種效度稱之為同時效度。當作為效標的結(jié)果是后來測評中獲得,這種效度稱為預測效度。它反映了現(xiàn)在的測評結(jié)果對未來素質(zhì)發(fā)展的預測程度。例如：兩個人同時采用觀察評定與問卷測驗測評同一個人的工作態(tài)度，兩個測評結(jié)果相關(guān)系數(shù)很高，例如0.80，那么以后在類似的情況下，可以用問卷測驗代替花時太多的行為觀察法。第9頁，共30頁，2023年，2月20日，星期三關(guān)聯(lián)效度例如想檢測一下自編品德測評的效度，決定采用效標關(guān)聯(lián)中的同時效度分析方法，故讓被測者同時接受自編品德測驗與卡特爾16因素問卷測驗。

關(guān)聯(lián)效標的分析關(guān)鍵在于效標的選擇。效標作為衡量測評結(jié)果有效性的參照標準，應該是可以測評到且獨立于所分析的測評結(jié)果的行為結(jié)果。效標可以分為行為效標與觀念效標。行為效標的選擇以客觀性為依據(jù)。常見的行為效標有以下幾種：學術(shù)成就特殊訓練成績實際工作表現(xiàn)與成績團體特征等級評定結(jié)果先前被證明是有效的測評結(jié)果第10頁，共30頁，2023年，2月20日，星期三效度分析中的幾個理論問題關(guān)于效度概念的研究1921年美國教育研究指導協(xié)會提出,效度是“測驗在多大程度上測到所要測的東西”。同時被提出的還有“預測效度”和“共時效度”,后來被統(tǒng)稱為“效標效度”。19世紀30年代,人們將更多的注意力放在測驗對于具體目標課程的代表性高低上。于是引入“課程效度”,后更名為“內(nèi)容效度”。1954年美國心理學會出版了《關(guān)于心里測驗和診斷的技術(shù)建議書》，明確列舉了四種類型的效度：預測效度、同時效度、構(gòu)想效度、內(nèi)容效度。美國心理學會、美國教育研究學會和國家教育測量委員會1966年聯(lián)合出版的《教育與心理測驗的標準和指南》中，將效度類型進一步簡化為效標關(guān)聯(lián)效度、構(gòu)想效度和內(nèi)容效度三種。Ｃｒｏｎｂａｃｈ和Ｍｅｅｈｌ又進一步把前兩類歸結(jié)為準則關(guān)聯(lián)效度。這是一種三位一體的分類法觀點。Ｃｒｏｎｂａｃｈ指出,延續(xù)了30年的舊觀念(即把效度分為相互分離且并列的三類)已經(jīng)過時,取而代之的是一元論的產(chǎn)生。第11頁，共30頁，2023年，2月20日，星期三Ｍｅｓｓｉｃｋ以建構(gòu)效度概念為中心,提出了檢驗測驗效度的四個層面(漸進矩陣)。

測試解釋測驗使用證據(jù)基礎(chǔ)結(jié)構(gòu)效度結(jié)構(gòu)效度+適切性和實用性后果基礎(chǔ)結(jié)構(gòu)效度+隱含的價值結(jié)構(gòu)效度+適切性和實用性+社會效果關(guān)于效度概念的研究第12頁，共30頁，2023年，2月20日，星期三結(jié)構(gòu)效度概念產(chǎn)生后第二年,Ｌ.Ｊ.Ｃｒｏｎｂａｃｈ和Ｐ.Ｅ.Ｍｅｅｈｌ提出了5種驗證方法,即分組區(qū)分法、相關(guān)矩陣與因素分析法、內(nèi)部結(jié)構(gòu)研究、不同場合下的變化研究、過程研究。DeborahLee提到,效度指的是一個測驗準確測量它所要測的東西的能力,包括內(nèi)容效度、效標關(guān)聯(lián)效度和結(jié)構(gòu)效度。張厚粲、孫曉敏、王晶、葉映華、鄭全全對效度概念演進及其新發(fā)展進行了研究。張厚粲、孫曉敏（孫曉敏、張厚粲，2004）回顧了心理測量學中效度概念發(fā)展的三個階段,早期效度概念關(guān)注的是兩個變量之間的相關(guān).隨后重點轉(zhuǎn)向效度的多種類型,現(xiàn)階段則注重考察測驗的構(gòu)想效度。總之,效度確證成為一個持續(xù)不斷的動態(tài)過程;在這個過程中,運用各種技術(shù)不斷地評價、質(zhì)疑和檢查由測驗分數(shù)所作推論和解釋的有效性成為心理與教育測量研究中不可或缺的組成部分。關(guān)于效度概念的研究第13頁，共30頁，2023年，2月20日，星期三關(guān)于結(jié)構(gòu)效度的研究肯貝爾和菲斯克（D.W.Fiske）對構(gòu)想效度的考驗辦法進行了研究（肯貝爾和菲斯克，1959），1960年肯貝爾指出，要確定一個測驗的構(gòu)想效度，則該測驗不僅應與測量相同特質(zhì)或構(gòu)想等理論上有關(guān)的變量有高的相關(guān)，也應與測量不同特質(zhì)或構(gòu)想等理論上有關(guān)的變量有低的相關(guān)，前者稱為會聚效度，后者稱為區(qū)分效度。聶建中、湯曉媚（聶建中、湯曉媚，2006年5月）對結(jié)構(gòu)效度的發(fā)展演變進行了綜述，文章分析了結(jié)構(gòu)效度在內(nèi)容、驗證方式和威脅因素這三方面所發(fā)生的變化,指出結(jié)構(gòu)效度從概念、內(nèi)容到與其他效度的關(guān)系上都發(fā)生了微妙的變化,其概念內(nèi)涵更加清晰,涵蓋內(nèi)容更加廣泛,在整個效度概念中占據(jù)了更加重要的位置。同時,還指出了以往常用的結(jié)構(gòu)效度驗證方法的不足,提出要對結(jié)構(gòu)效度進行試前和實施階段的理論驗證。第14頁，共30頁，2023年，2月20日，星期三效度應用內(nèi)容效度分析適用于某些對員工進行選拔和分類的職業(yè)測驗，舍恩菲爾特、阿克、柏爾森（Schoenfeldt，Acker&Perlson,1976）清楚而詳細的說明了編織工業(yè)閱讀測驗是怎樣應用各種內(nèi)容效度分析法。在編制聯(lián)邦政府和州政府公務員測驗時，這種方法得到了廣泛的采用。郭慶科（郭慶科，2002）對各種效度的應用進行了分析，他指出效標關(guān)聯(lián)資料可以應用于對個人分數(shù)的預測（包括簡單回歸法、多種測驗信息的綜合）、人員的分類與安置（人員分類的性質(zhì)、人員分類的優(yōu)點、差異效度）。

第15頁，共30頁，2023年，2月20日，星期三信度信度的概念信度是指測評結(jié)果所反映素質(zhì)的準確性。對于這種準確性的考評目前大致有穩(wěn)定系數(shù)、等值系數(shù)、分半系數(shù)、內(nèi)部一致系數(shù)、評分一致性系數(shù)等。以上幾種信度都是針對常模參照測驗而言的，標準參照測驗中的信度計算通常使用分類一致性信度，這種信度的的常用估計方法是考察同一批被測者在兩次是冊或者復本測驗中的分類是否一致。標準參照測驗中的信度也可以使用K系數(shù)計算，較分類一致性信度在統(tǒng)計上更合理（Cohen,1968;Aiken,1988）。第16頁，共30頁，2023年，2月20日，星期三再測信度指以同樣的測評與選拔工具,按照同樣的方法,對于相同的對象再次進行測評與選拔,所得先后結(jié)果的一致性程度。再測信度的計算一般采用皮爾遜積差相關(guān)系數(shù)。個體的素質(zhì)測評在測評過程中會涉及許多因素的影響，素質(zhì)本身有時也無法精確定義。我們常常把對個體測評結(jié)果的準確性檢驗，置于群體測評結(jié)果的相互關(guān)系中，轉(zhuǎn)化為兩次位置關(guān)系的一致性分析。當同一對象的測評結(jié)果以同樣的測評方式再次獲得后，其順序位置關(guān)系變異很小時，則說明測評結(jié)果比較準確。例如：在技能測評中李某的分數(shù)是８８，在全體被測者中排名第一，這到底準不準呢？我們再重復測評一次，結(jié)果李某的分數(shù)是９５，還是排名第一，而且其他被測的位置順序變化很小，我們就可以說第一次的技能測評結(jié)果很可靠。第17頁，共30頁，2023年，2月20日，星期三復本信度復本信度測評結(jié)果相對另一個非常相同的測評結(jié)果的變異程度?！胺浅Ｏ嗤币话阋缘戎到忉尅Ｋ^等值,是指在測評內(nèi)容、效度、要求、形式上都與原測評一樣,其中一個測評可以看作是另一個測評的近似復寫,即復本?！白儺惓潭取币话阋运姆戳x詞“一致性”解釋。因此復本信度實際上是一種用等值系數(shù)揭示的信度。等值系數(shù)即為兩組測評結(jié)果的相關(guān)系數(shù)。第18頁，共30頁，2023年，2月20日，星期三一致性信度一致性信度又稱同質(zhì)性信度，是一種常用的估計信度的方法，反映了測驗題目與所測量內(nèi)容的一致性程度。一致性信度的計算公式主要有分半信度，主要采用斯皮爾曼-布朗修正公式計算；庫德-理查遜公式和克倫巴赫а系數(shù)。

如果被測在第一個項目上比其他人分數(shù)高，在第二個項目上又比其他人高，在第三個項目上也比其他人高．．．．．．相反另一個人在第一個項目上比其他人分數(shù)低，在第二個項目上又比其他人低，在第三個項目上也比其他人低．．．．．．那么毫無疑問，我們會認為測評結(jié)果比較可靠。第19頁，共30頁，2023年，2月20日，星期三評分者信度評分者信度指多個測評者給同一組被測樣組進行評分的一致性程度。測評與選拔結(jié)果的差異程度來自兩方面一是被測評者自身,二是被測評者及其測評。信度主要是對后者的度,測評者及其測評的無關(guān)差異越小,測評與選拔結(jié)果就越可靠。測評者的評分是引起主觀性測評結(jié)果差異的主要原因。客觀性測評是利用計算機評分,不受主觀因素影響,不存在評分誤差。評分者信度主要采用肯德爾和諧系數(shù)計算。第20頁，共30頁，2023年，2月20日，星期三速度測驗的信度速度測驗是指那種由于時限很緊或題目很多使被試不可能全部完成的測驗。以上介紹的幾種信度都是針對常模參照測驗而言的，速度測驗中的信度通常采用做答速度的一致性為依據(jù)?？梢允褂弥販y法和復本法，根據(jù)被試兩次回答題目數(shù)量的變化對速度的一致性作出估計。第21頁，共30頁，2023年，2月20日，星期三信度多高才算可靠

對人事測評中信度系數(shù)與測評質(zhì)量的關(guān)系，以下給出了幾種心理測驗的信度系數(shù)：測驗類型信度低中高成套成就測驗0．660．920．98學術(shù)能力測驗0．560．900．97成套傾向測驗0．260．880．96客觀人格測驗0．460．850．97興趣問卷0．420．840．93態(tài)度量表0．470．790．98第22頁，共30頁，2023年，2月20日，星期三各種信度系數(shù)應用

信度系數(shù)類型估計方法應用穩(wěn)定性系數(shù)重測法（積差相關(guān)）人格、速度測驗等值性系數(shù)復本法（積差相關(guān)）智力、學績、速度測驗等值穩(wěn)定性系數(shù)復本法（積差相關(guān)）智力、學績、人格測驗內(nèi)部一致性系數(shù)分半法（積差相關(guān)，用斯-布公式校正）庫德爾-理查森公式法α系數(shù)法智力、學績、選拔測驗評分信度系數(shù)斯皮爾曼等級相關(guān)法肯德爾和諧系數(shù)法作文、創(chuàng)造力、投射、道德判斷測驗第23頁，共30頁，2023年，2月20日，星期三項目分析適合度

在素質(zhì)測評中，項目不僅僅是試題，更多的是一些咨詢問題或觀察評定點（指標），它們無難易之分，適合度指的是被測者行為符合項目測評標準的程度。當項目為試題時，適合度即難度；當項目是問卷中的問題時，符合度即所有選對的被測者人數(shù)與總?cè)藬?shù)之比；當項目為觀察評定量表中的指標時，符合程度即所有被測得分平均值與指標滿分值之比。區(qū)分度

又稱鑒別力，指項目得分對被試實際能力或心理特質(zhì)水平的區(qū)分能力或鑒別力，也即項目得分的高低與被試實際能力或心理特質(zhì)水平高低的一致性程度。項目區(qū)分度的計算方法主要有相關(guān)分析法（包括積差相關(guān)法、二列相關(guān)法和點二列相關(guān)法）、極端組法（鑒別度指數(shù)、臨界比）和因素分析法獨立性

在能力測評中，常常需要項目之間有一定的獨立性。所謂獨立性即非相關(guān)性或低相關(guān)性。獨立性的分析一般采用項目間分數(shù)的相關(guān)系數(shù)揭示，根據(jù)實際得分分布是否均勻，可以分別采用rφ系數(shù)法和列聯(lián)表χ2檢驗法。

第24頁，共30頁，2023年，2月20日，星期三項目分析選項質(zhì)量對于誘答或正答質(zhì)量的分析方法有兩種：誘惑力分析法這種方法是采用表格形式，分別統(tǒng)計高分組與低分組中的被測者對同一項目各選項的選擇次數(shù)?！鞍字恰痹嚋y法這種方法是找一些對測驗內(nèi)容一無所知或十分陌生的人作為被測者進行測試，通過分析這些人對每個誘答選擇的人次來分析選項的質(zhì)量。第25頁，共30頁，2023年，2月20日，星期三其他指標的分析客觀性測評的客觀性由測評方法的客觀性與測評者的客觀性兩方面構(gòu)成總體分布與水平總體分布指測評結(jié)果在各水平層次上的分布情況，總體水平一般指對測評結(jié)果集中量的分析。區(qū)分性與差異性

測評工具的區(qū)分性是指把不同水平的被測者區(qū)分開來的程度，測評區(qū)分性一般通過測評結(jié)果差異性的分析來揭示。誤差誤差是指通過測評結(jié)果的定性定量分析，判斷測評結(jié)果是否受到心理效應的嚴重影響。分析的主要內(nèi)容是心理誤差、標準誤差以及單個測評結(jié)果的致信區(qū)間。第26頁，共30頁，2023年，2月20日，星期三