人員素質測評的質量

素質測評的質量分析Hr-pku本講內容效度的概念及其分析方法信度的概念及其分析方法區(qū)分度的概念及其分析方法選題質量分析及其分析方法效度效度的概念效度是指測評結果對所測評素質反映的真實程度。對這種真實性的考評，常見的方法有三種：從內容性質方面分析其內容效度從效標相關性方面分析其關聯(lián)效度從實證方面分析其結構效度內容效度是指實際測評到的內容與期望測評的內容的一致性程度。當實際測評到的內容與我們事先所想測評到的內容越一致時，則說明測評結果的內容效度越高，測評結果就越有效。內容效度在實際操作中的鑒定主要采用定性分析的方法,有藍圖對照分析法與專家比較判斷法。結構效度結構效度又稱作構想效度、構思效度、構念效度、構建效度等。結構效度是指實際所測評的結果與想測評素質的同構程度。它表明了在多大程度上，實際測評結果能夠被看作是索要測評的素質在結構上的替代物。在素質測評中，它是人們最關心的一種效度。這是由素質測評的間接性所決定的。人們總是通過選取一些具體的行為測評來判斷實際的素質水平。結構效度與檢驗效度的人對素質結構的理解有直接關系。如果李某認為忠誠這一素質即對本企業(yè)的忠誠，張某認為忠誠這一素質表現為實事求是的態(tài)度，那么對于向其他企業(yè)說明本企業(yè)產品所存在的問題這一行為，顯然李某與張某會把它歸類到不同的素質成分中給與不同的素質成分中并給與不同的評價。因此結構效度的檢驗分析也是一種定性的主觀判斷。在分析考評過程中，要采取有力措施把主觀影響控制在最低點上。結構效度結構效度的分析可按一下幾步進行：1.給所要測評的素質的結構模式下一個操作化的定義“我們所要測評的素質是對xx的態(tài)度、有關xx的品質、有關xx的技能?！毕襁@樣一些表述所測評素質的具體形象是什么，結構是什么，我們并不清楚，它仍然是從具體行為概括出某種意識或觀念，因此對結構效度的分析沒有多大意義。這里的構建不是從行為向觀念構建，而是相反，由觀念向具體行為的構建。不是簡單還原，而是在更高的水平上抓住所測素質的本質特征，確定一個可感覺可操作的結構模式，由這種具體的結構模式作為抽象觀念建構的替代物。這種替代物的成分顯然應該是我們世紀能夠看到的、聽到的、感覺到的東西。例如：外顯行為、客觀性生理反應等。素質測評的目標體系實際上就是所測素質的一個行為構建模型，這種結構模型分別由項目、指標、權重、標度等組成。這種模型的建構，在很大程度上取決于所測素質本身的特征及其抽象程度等組成。要定義或建構一個素質的結構模型，可以從以下幾方面著手：首先，采取工作分析方法，對所想測評的素質進行結構分析與行為分析，確定各種素質結構及其代表的行為。其次，用圖表的形式逐一列出工作分析得到的素質因素及其特征行為。除此之外，還可以通過查找歷史上或現在人們對所測評素質的模型的現成資料，豐富已有分析的結果。再次，還要另外準備一份與已經建構的模型可能混淆的但關系密切的其他模型圖表。要反問自己并向人說明為什么所測素質是你所定義的結構模型而不是其他別的結構模型。2.收集事實資料，評判結構效度，具體方法有：排除法如果測評結果能明確的排除它所對應素質結構模型的其他解釋，那就表明所獲得的測評結果具有較好的結構效度。咨詢法可以請一些有經驗的專家就你所獲得的測評結果、所對應的素質結構進行判斷或推斷，問他們該測評結果實際測評的素質是什么。如果大家的回答與你所想測評的素質結構幾乎一致，那么說明你的測評有較好的結構效度。相關法找一個具有較高結構效度的測評工具或結果，與你所獲得的測評結果進行相關性分析，如果相關性很高，說明你的測評結果具有較高的結構效度。例如：某一個具有“自尊”結構效度的測評量表，它的測評結果就應該與自信、社交能力及領導作用等測評量表的測評結果成正比，而與諸如內向性、自卑、孤獨等測評量表測評的結果成反比。邏輯分析法當大家對所測素質的結構模型具有比較一致的認識時，只要能判定測評內容（工具）選擇正確，且整個測評過程除了一切外來干擾因素，就可以說測評結果具有較好的結構效度。例如：測評時間足以保證被測評者完成所有的工作，被測評者沒有受到催促因素的影響；測評工具的指導十分明確，被測操作準確。多元分析多元分析就是采取聚類分析與主成分分析等數學手段，對測評結果進行分析，看分析的結果。例如：所找出的主要因素與分類結果與所想測評素質的結構是否一致，如果一致，則說明所獲得的測評記過具有較好的結構效度。關聯(lián)效度又稱實證效度、效標效度、效標關聯(lián)效度，是指測評結果與效標的一致性程度。效標是一種用來衡測評有效性的外在參照標準,它可以是一種測評的結果,也可以是標準測評分數。根據效標是否可以同時獲得,可將關聯(lián)效度分為同時效度與預測效度。作為效標的結果與預測結果同時獲得,這種效度稱之為同時效度。當作為效標的結果是后來測評中獲得,這種效度稱為預測效度。它反映了現在的測評結果對未來素質發(fā)展的預測程度。例如：兩個人同時采用觀察評定與問卷測驗測評同一個人的工作態(tài)度，兩個測評結果相關系數很高，例如0.80，那么以后在類似的情況下，可以用問卷測驗代替花時太多的行為觀察法。關聯(lián)效度例如想檢測一下自編品德測評的效度，決定采用效標關聯(lián)中的同時效度分析方法，故讓被測者同時接受自編品德測驗與卡特爾16因素問卷測驗。

關聯(lián)效標的分析關鍵在于效標的選擇。效標作為衡量測評結果有效性的參照標準，應該是可以測評到且獨立于所分析的測評結果的行為結果。效標可以分為行為效標與觀念效標。行為效標的選擇以客觀性為依據。常見的行為效標有以下幾種：學術成就特殊訓練成績實際工作表現與成績團體特征等級評定結果先前被證明是有效的測評結果效度分析中中的幾個理理論問題關于效度概概念的研究究1921年年美國教育育研究指導導協(xié)會提出出,效度是是“測驗在在多大程度度上測到所所要測的東東西”。同同時被提出出的還有““預測效度度”和“共共時效度””,后來被被統(tǒng)稱為““效標效度度”。19世紀30年代,人們將更更多的注意意力放在測測驗對于具具體目標課課程的代表表性高低上上。于是引引入“課程程效度”,后更名為為“內容效效度”。1954年年美國心理理學會出版版了《關于于心里測驗驗和診斷的的技術建議議書》，明明確列舉了了四種類型型的效度：：預測效度度、同時效效度、構想想效度、內內容效度。。美國心理理學會、美美國教育研研究學會和和國家教育育測量委員員會1966年聯(lián)合合出版的《《教育與心心理測驗的的標準和指指南》中，，將效度類類型進一步步簡化為效效標關聯(lián)效效度、構想想效度和內內容效度三三種。Ｃｒｏｎｂｂａｃｈ和和Ｍｅｅｈｈｌ又進一一步把前兩兩類歸結為為準則關聯(lián)聯(lián)效度。這這是一種三三位一體的的分類法觀觀點。Ｃｒｒｏｎｂａａｃｈ指出出,延續(xù)了了30年的的舊觀念(即把效度度分為相互互分離且并并列的三類類)已經過過時,取而而代之的是是一元論的的產生。Ｍｅｓｓｉｉｃｋ以建建構效度概概念為中心心,提出了了檢驗測驗驗效度的四四個層面(漸進矩陣陣)。

測試解釋測驗使用證據基礎結構效度結構效度+適切性和實用性后果基礎結構效度+隱含的價值結構效度+適切性和實用性+社會效果關于效度概概念的研究究結構效度概概念產生后后第二年,Ｌ.Ｊ.Ｃｒｏｎｎｂａｃｈｈ和Ｐ.ＥＥ.Ｍｅｅｅｈｌ提出出了5種驗驗證方法,即分組區(qū)區(qū)分法、相相關矩陣與與因素分析析法、內部部結構研究究、不同場場合下的變變化研究、、過程研究究。DeborahLee提到,效度指的的是一個測測驗準確測測量它所要要測的東西西的能力,包括內容容效度、效效標關聯(lián)效效度和結構構效度。張厚粲、孫孫曉敏、王王晶、葉映映華、鄭全全全對效度度概念演進進及其新發(fā)發(fā)展進行了了研究。張張厚粲、孫孫曉敏（孫孫曉敏、張張厚粲，2004））回顧了心心理測量學學中效度概概念發(fā)展的的三個階段段,早期效效度概念關關注的是兩兩個變量之之間的相關關.隨后重重點轉向效效度的多種種類型,現現階段則注注重考察測測驗的構想想效度?？偪傊?效度度確證成為為一個持續(xù)續(xù)不斷的動動態(tài)過程;在這個過過程中,運運用各種技技術不斷地地評價、質質疑和檢查查由測驗分分數所作推推論和解釋釋的有效性性成為心理理與教育測測量研究中中不可或缺缺的組成部部分。關于效度概概念的研究究關于結構效效度的研究究肯貝爾和菲菲斯克（D.W.Fiske）對構想想效度的考考驗辦法進進行了研究究（肯貝爾爾和菲斯克克，1959），1960年年肯貝爾指指出，要確確定一個測測驗的構想想效度，則則該測驗不不僅應與測測量相同特特質或構想想等理論上上有關的變變量有高的的相關，也也應與測量量不同特質質或構想等等理論上有有關的變量量有低的相相關，前者者稱為會聚聚效度，后后者稱為區(qū)區(qū)分效度。。聶建中、湯湯曉媚（聶聶建中、湯湯曉媚，2006年年5月）對對結構效度度的發(fā)展演演變進行了了綜述，文文章分析了了結構效度度在內容、、驗證方式式和威脅因因素這三方方面所發(fā)生生的變化,指出結構構效度從概概念、內容容到與其他他效度的關關系上都發(fā)發(fā)生了微妙妙的變化,其概念內內涵更加清清晰,涵蓋蓋內容更加加廣泛,在在整個效度度概念中占占據了更加加重要的位位置。同時時,還指出出了以往常常用的結構構效度驗證證方法的不不足,提出出要對結構構效度進行行試前和實實施階段的的理論驗證證。效度應用用內容效度度分析適適用于某某些對員員工進行行選拔和和分類的的職業(yè)測測驗，舍舍恩菲爾爾特、阿阿克、柏柏爾森（（Schoenfeldt，，Acker&Perlson,1976）清楚楚而詳細細的說明明了編織織工業(yè)閱閱讀測驗驗是怎樣樣應用各各種內容容效度分分析法。。在編制制聯(lián)邦政政府和州州政府公公務員測測驗時，，這種方方法得到到了廣泛泛的采用用。郭慶科（（郭慶科科，2002））對各種種效度的的應用進進行了分分析，他他指出效效標關聯(lián)聯(lián)資料可可以應用用于對個個人分數數的預測測（包括括簡單回回歸法、、多種測測驗信息息的綜合合）、人人員的分分類與安安置（人人員分類類的性質質、人員員分類的的優(yōu)點、、差異效效度）。信度信度的概概念信度是指指測評結結果所反反映素質質的準確確性。對對于這種種準確性性的考評評目前大大致有穩(wěn)穩(wěn)定系數數、等值值系數、、分半系系數、內內部一致致系數、、評分一一致性系系數等。。以上幾種種信度都都是針對對常模參參照測驗驗而言的的，標準準參照測測驗中的的信度計計算通常常使用分分類一致致性信度度，這種種信度的的的常用用估計方方法是考考察同一一批被測測者在兩兩次是冊冊或者復復本測驗驗中的分分類是否否一致。。標準參參照測驗驗中的信信度也可可以使用用K系數數計算，，較分類類一致性性信度在在統(tǒng)計上上更合理理（Cohen,1968;Aiken,1988）。。再測信度度指以同樣樣的測評評與選拔拔工具,按照照同樣的的方法,對于于相同的的對象再再次進行行測評與與選拔,所得得先后結結果的一一致性程程度。再再測信度度的計算算一般采采用皮爾爾遜積差差相關系系數。個體的素素質測評評在測評評過程中中會涉及及許多因因素的影影響，素素質本身身有時也也無法精精確定義義。我們們常常把把對個體體測評結結果的準準確性檢檢驗，置置于群體體測評結結果的相相互關系系中，轉轉化為兩兩次位置置關系的的一致性性分析。。當同一一對象的的測評結結果以同同樣的測測評方式式再次獲獲得后，，其順序序位置關關系變異異很小時時，則說說明測評評結果比比較準確確。例如：在在技能測測評中李李某的分分數是８８８，在在全體被被測者中中排名第第一，這這到底準準不準呢呢？我們們再重復復測評一一次，結結果李某某的分數數是９５５，還是是排名第第一，而而且其他他被測的的位置順順序變化化很小，，我們就就可以說說第一次次的技能能測評結結果很可可靠。復本信度度復本信度度測評結結果相對對另一個個非常相相同的測測評結果果的變異異程度。?！胺浅Ｏ嘞嗤币灰话阋缘鹊戎到忉屷尅Ｋ^謂等值,是指指在測評評內容、、效度、、要求、、形式上上都與原原測評一一樣,其其中一一個測評評可以看看作是另另一個測測評的近近似復寫寫,即即復本。?！白儺惓坛潭取币灰话阋运姆戳x義詞“一一致性””解釋。。因此復本本信度實實際上是是一種用用等值系系數揭示示的信度度。等值值系數即即為兩組組測評結結果的相相關系數數。一致性信信度一致性信信度又稱稱同質性性信度，，是一種種常用的的估計信信度的方方法，反反映了測測驗題目目與所測測量內容容的一致致性程度度。一致性信信度的計計算公式式主要有有分半信信度，主主要采用用斯皮爾爾曼-布布朗修正正公式計計算；庫庫德-理理查遜公公式和克克倫巴赫赫а系數數。如果被測測在第一一個項目目上比其其他人分分數高，，在第二二個項目目上又比比其他人人高，在在第三個個項目上上也比其其他人高高．．．．．．．．相反另另一個人人在第一一個項目目上比其其他人分分數低，，在第二二個項目目上又比比其他人人低，在在第三個個項目上上也比其其他人低低．．．．．．．．那么毫毫無疑問問，我們們會認為為測評結結果比較較可靠。。評分者信信度評分者信信度指多多個測評評者給同同一組被被測樣組組進行評評分的一一致性程程度。測評與選選拔結果果的差異異程度來來自兩方方面一是是被測評評者自身身,二二是被測測評者及及其測評評。信度度主要是是對后者者的度,測評評者及其其測評的的無關差差異越小小,測測評與選選拔結果果就越可可靠。測評者的的評分是是引起主主觀性測測評結果果差異的的主要原原因。客客觀性測測評是利利用計算算機評分分,不不受主觀觀因素影影響,不不存在在評分誤誤差。評評分者信信度主要要采用肯肯德爾和和諧系數數計算。。速度測驗驗的信度度速度測驗驗是指那那種由于于時限很很緊或題題目很多多使被試試不可能能全部完完成的測測驗。以上介紹紹的幾種種信度都都是針對對常模參參照測驗驗而言的的，速度度測驗中中的信度度通常采采用做答答速度的的一致性性為依據據?？梢砸允褂弥刂販y法和和復本法法，根據據被試兩兩次回答答題目數數量的變變化對速速度的一一致性作作出估計計。信度多高高才算可可靠對人事測測評中信信度系數數與測評評質量的的關系，，以下給給出了幾幾種心理理測驗的的信度系系數：測驗類型信度低中高成套成就測驗0．660．920．98學術能力測驗0．560．900．97成套傾向測驗0．260．880．96客觀人格測驗0．460．850．97興趣問卷0．420．840．93態(tài)度量表0．470．790．98各種信度度系數應應用信度系數類型估計方法應用穩(wěn)定性系數重測法（積差相關）人格、速度測驗等值性系數復本法（積差相關）智力、學績、速度測驗等值穩(wěn)定性系數復本法（積差相關）智力、學績、人格測驗內部一致性系數分半法（積差相關，用斯-布公式校正）庫德爾-理查森公式法α系數法智力、學績、選拔測驗評分信度系數斯皮爾曼等級相關法肯德爾和諧系數法作文、創(chuàng)造力、投射、道德判斷測驗項目分析析適合度在素質測測評中，，項目不不僅僅是是試題，，更多的的是一些些咨詢問問題或觀觀察評定定點（指指標），，它們無無難易之之分，適適合度指指的是被被測者行行為符合合項目測測評標準準的程度度。當項項目為試試題時，，適合度度即難度度；當項項目是問問卷中的的問題時時，符合合度即所所有選對對的被測測者人數數與總人人數之比比；當項項目為觀觀察評定定量表中中的指標標時，符符合程度度即所有有被測得得分平均均值與指指標滿分分值之比比。區(qū)分度又稱鑒別別力，指指項目得得分對被被試實際際能力或或心理特特質水平平的區(qū)分分能力或或鑒別力力，也即即項目得得分的高高低與被被試實際際能力或或心理特特質水平平高低的的一致性性程度。。項目區(qū)區(qū)分度的的計算方方法主要要有相關關分析法法（包括括積差相相關法、、二列相相關法和和點二列列相關法法）、極極端組法法（鑒別別度指數數、臨界界比）和和因素分分析法獨立性在能力測測評中，，常常需需要項目目之間有有一定的的獨立性性。所謂謂獨立性性即非相相關性或或低相關關性。獨獨立性的的分析一一般采用用項目間間分數的的相關系系數揭示示，根據據實際得得分分布布是否均均勻，可可以分別別采用rφ系數數法和列列聯(lián)表χχ2檢驗驗法。項目分析析選項質量量對于誘答答或正答答質量的的分析方方法有兩兩種：誘惑力分分析法這種方法法是采用用表格形形式，分分別統(tǒng)計計高分組組與低分分組中的的被測者者對同一一項目各各選項的的選擇次次數。“白智””試測法法這種方法法是找一一些對測測驗內容容一無所所知或十十分陌生生的人作作為被測測者進行行測試，，通過分分析這些些人對每每個誘答答選擇的的人次來來分析選選項的質質量。其他指標標的分析析客觀性測評的客客觀性由由測評方方法的客客觀性與與測評者者的客觀觀性兩方方面構成成總體分布布與水平平總體分布布指測評評結果在在各水平平層次上上的分布布情況，，總體水水平一般般指對測測評結果果集中量量的分析析。區(qū)分性與與差異性性測評工具具的區(qū)分分性是指指把不同同水平的的被測者者區(qū)分開開來的程程度，測測評區(qū)分分性一般般通過測測評結果果差異性性的分析析來揭示示。誤差誤差是指指通過測測評結果果的定性性定量分分析，判判斷測評評結果是是否受到到心理效效應的嚴嚴重影響響。分析析的主要要內容是是心理誤誤差、標標準誤差差以及單單個測評評結果的的致信區(qū)區(qū)間。其他指標標的分析析誤差心理誤差差哈羅效應應誤差哈羅效應應又稱暈暈輪效應應，是指指測評者者往往會會因為對對被測評評者整體體印象的的好壞從從而影響響他對每每個素質質的測評評。例如如因看到到一個人人相貌端端莊、嚴嚴肅，就就容易產產生此人人責任感感很強的的看法。。由哈羅羅效應引引起的誤誤差叫哈哈羅效應應誤差。。哈羅羅效效應應還還表表現現為為因因對對某某個個重重要要因因素素的的印印象象好好壞壞而而對對整整體體評評價價產產生生影影響響，，所所謂謂一一好好百百好好，，一一丑丑白白丑丑。。雖雖然然這這是是一一種種泛泛化化影影響響，，而而前前者者是是一一種種演演繹繹影影響響。。趨中中心心理理誤誤差差趨中中心心理理誤誤差差是是指指因因為為測測評評者者既既不不愿愿把把被被測測評評的的過過好好，，也也不不愿愿把把被被測測評評的的過過差差而而過過于于集集中中在在中中間間段段而而產產生生的的誤誤差差。。這這種種誤誤差差使使有有差差異異的的被被測測得得到到相相同同或或相相近近的的分分數數，，缺缺乏乏區(qū)區(qū)分分性性。?？煽梢砸酝ㄍㄟ^過測測量量結結果果的的分分布布及及差差異異量量分分析析來來揭揭示示這這種種誤誤差差的的情情況況。。寬大大心心理理誤誤差差寬大大心心理理誤誤差差指指因因測測評評者者不不堅堅持持測測評評的的標標準準要要求求就就高高不不就就低低的的測測評評而而產產生生的的誤誤差差。。這這種種誤誤差差表表現現為為皆皆大大歡歡喜喜，，高高分分低低能能。。另另一一種種負負向向寬寬大大心心理理誤誤差差，，則則是是過過于于嚴嚴格格，，以以一一些些脫脫離離實實際際的的高高標標準準去去測測評評人人的的素素質質，，測測評評結結果果普普遍遍較較低低。。邏輯