第八章 測評質(zhì)量檢驗

第八章

測評質(zhì)量檢驗本講內(nèi)容效度01信度02項目分析03其他指標(biāo)的檢測041效度第一節(jié)效度

效度是指測評結(jié)果對所測評素質(zhì)反映的真實(shí)程度。對這種真實(shí)性的考評，常見的方法有四種：從內(nèi)容性質(zhì)方面分析其內(nèi)容效度從效標(biāo)相關(guān)性方面分析其關(guān)聯(lián)效度從實(shí)證方面分析其結(jié)構(gòu)效度從其項目方面分析其元素效度，即項目效度效度的概念第一節(jié)效度內(nèi)容效度：

是指實(shí)際測評到的內(nèi)容與期望測評的內(nèi)容的一致性程度。當(dāng)實(shí)際測評到的內(nèi)容與我們事先所想測評到的內(nèi)容越一致時，則說明測評結(jié)果的內(nèi)容效度越高，測評結(jié)果就越有效。內(nèi)容效度具體從以下兩個方面測評:(１)是否包括了想測評素質(zhì)中的各種成分；(２)包括在測評范圍內(nèi)的行為樣本的比例結(jié)構(gòu)是否與工作分析的結(jié)果相一致內(nèi)容效度在實(shí)際操作中的鑒定主要采用定性分析的方法,有藍(lán)圖對照分析法與專家比較判斷法。第一節(jié)效度結(jié)構(gòu)效度：結(jié)構(gòu)效度又稱作構(gòu)想效度、構(gòu)思效度、構(gòu)念效度、構(gòu)建效度等。結(jié)構(gòu)效度是指實(shí)際所測評的結(jié)果與想測評素質(zhì)的同構(gòu)程度。它表明了在多大程度上，實(shí)際測評結(jié)果能夠被看作是所要測評的素質(zhì)在結(jié)構(gòu)上的替代物。在素質(zhì)測評中，它是人們最關(guān)心的一種效度。這是由素質(zhì)測評的間接性所決定的。人們總是通過選取一些具體的行為測評來判斷實(shí)際的素質(zhì)水平。結(jié)構(gòu)效度與檢驗效度的人對素質(zhì)結(jié)構(gòu)的理解有直接關(guān)系。例如李某認(rèn)為忠誠這一素質(zhì)即是對本企業(yè)的忠誠而張某認(rèn)為忠誠這一素質(zhì)主要表現(xiàn)為實(shí)事求是的態(tài)度那么對于某人向其他企業(yè)泄露本企業(yè)產(chǎn)品存在的問題這一行為李某和張某顯然會將其歸類到不同的素質(zhì)成分中并給予不同的評價。因此，結(jié)構(gòu)效度的檢驗分析也是一種定性的主觀判斷。在分析考評過程中，要采取有力措施把主觀影響控制在最低點(diǎn)上。第一節(jié)效度結(jié)構(gòu)效度的分析可按一下幾步進(jìn)行：1.給所要測評的素質(zhì)的結(jié)構(gòu)模式下一個操作化的定義“我們所要測評的素質(zhì)是對xx的態(tài)度、有關(guān)xx的品質(zhì)、有關(guān)xx的技能。”像這樣一些表述所測評素質(zhì)的具體形象是什么，結(jié)構(gòu)如何，我們并不清楚，它仍然是從具體行為概括抽象出的某種意識或觀念，因此對結(jié)構(gòu)效度的分析沒有多大作用。我們必須再次把這些“態(tài)度”“品質(zhì)”“技能”進(jìn)行建構(gòu)。這里的構(gòu)建不是從行為到觀念構(gòu)建，相反，是由觀念向具體行為的構(gòu)建。不是簡單還原，而是在更高的水平上抓住所測素質(zhì)的本質(zhì)特征，確定一個可感覺、可操作的結(jié)構(gòu)模式，由這種具體的結(jié)構(gòu)模式作為抽象觀念建構(gòu)的替代物。這種替代物的成分顯然應(yīng)該是我們實(shí)際能夠看到的、聽到的、感覺到的東西。例如：外顯行為、客觀性生理反應(yīng)等。素質(zhì)測評的目標(biāo)體系實(shí)際上就是所測素質(zhì)的一個行為構(gòu)建模型，這種結(jié)構(gòu)模型分別由項目、指標(biāo)、權(quán)重、標(biāo)度等組成。這種模型的建構(gòu)，在很大程度上取決于所測素質(zhì)本身的特征及其抽象程度等組成。第一節(jié)效度要定義或建構(gòu)一個素質(zhì)的結(jié)構(gòu)模型，可以從以下幾方面著手：首先，采取工作分析方法，對所想測評的素質(zhì)進(jìn)行結(jié)構(gòu)分析與行為分析，確定各種素質(zhì)結(jié)構(gòu)及其代表的行為。其次，用圖表的形式逐一列出工作分析得到的素質(zhì)因素及其特征行為。除此之外，還可以通過查找歷史上或現(xiàn)在人們對所測評素質(zhì)的模型的現(xiàn)成資料，豐富已有分析的結(jié)果。圖表中要表明結(jié)構(gòu)模型中的全部成分及其相互關(guān)系還要包括具備這種模型中大部分成分或僅具備其中一點(diǎn)成分的人的行為描述圖表的描述既可以是圖形的面積比例也可以是數(shù)字比例，最后，還要另外準(zhǔn)備一份與已經(jīng)建構(gòu)的模型可能混淆的但關(guān)系密切的其他模型圖表。要反問自己并向人說明為什么所測素質(zhì)是你所定義的結(jié)構(gòu)模型而不是其他別的結(jié)構(gòu)模型。第一節(jié)效度2.收集事實(shí)資料，評判結(jié)構(gòu)效度具體方法有：排除法如果測評結(jié)果能明確的排除它所對應(yīng)素質(zhì)結(jié)構(gòu)模型的其他解釋，那就表明所獲得的測評結(jié)果具有較好的結(jié)構(gòu)效度。咨詢法可以請一些有經(jīng)驗的專家對獲得的測評結(jié)果所對應(yīng)的素質(zhì)結(jié)構(gòu)進(jìn)行判斷，詢問他們該測評結(jié)果實(shí)際測評的素質(zhì)是什么。如果專家們的回答與所想測評的素質(zhì)結(jié)構(gòu)幾乎一致，那么說明測評結(jié)果具有較好的結(jié)構(gòu)效度。相關(guān)法找一個具有較高結(jié)構(gòu)效度的測評工具或結(jié)果，與你所獲得的測評結(jié)果進(jìn)行相關(guān)性分析，如果相關(guān)性很高，說明你的測評結(jié)果具有較高的結(jié)構(gòu)效度。例如：某一個具有“自尊”結(jié)構(gòu)效度的測評量表，它的測評結(jié)果就應(yīng)該與自信、社交能力及領(lǐng)導(dǎo)作用等測評量表的測評結(jié)果成正比，而與諸如內(nèi)向性、自卑、孤獨(dú)等測評量表測評的結(jié)果成反比。第一節(jié)效度2.收集事實(shí)資料，評判結(jié)構(gòu)效度具體方法有：邏輯分析法

當(dāng)大家對所測素質(zhì)的結(jié)構(gòu)模型具有比較一致的認(rèn)識時，只要能判定測評內(nèi)容（工具）選擇正確，且整個測評過程排除了一切外來干擾因素，就可以說測評結(jié)果具有較好的結(jié)構(gòu)效度。例如：測評時間足以保證被測評者完成所有的工作，被測評者沒有受到催促因素的影響；測評工具的指導(dǎo)十分明確，并操作準(zhǔn)確。多元分析多元分析就是采取聚類分析與主成分分析等數(shù)學(xué)手段，對測評結(jié)果進(jìn)行分析。例如：所找出的主要因素與分類結(jié)果與所想測評素質(zhì)的結(jié)構(gòu)是否一致，如果一致，則說明所獲得的測評結(jié)果具有較好的結(jié)構(gòu)效度。第一節(jié)效度關(guān)聯(lián)效度：關(guān)聯(lián)效標(biāo)的分析關(guān)鍵在于效標(biāo)的選擇。效標(biāo)作為衡量測評結(jié)果有效性的參照標(biāo)準(zhǔn)，應(yīng)該是可以直接測評到到獨(dú)立于所分析的測評結(jié)果的行為結(jié)果。效標(biāo)可以分為行為效標(biāo)與觀念效標(biāo)。行為效標(biāo)的選擇以客觀性為基準(zhǔn)。常見的行為效標(biāo)有以下六類：學(xué)術(shù)成就特殊訓(xùn)練成績實(shí)際工作表現(xiàn)與成績團(tuán)體特征等級評定結(jié)果先前被證明是有效的測評結(jié)果第一節(jié)效度項目分?jǐn)?shù)效度：項目在這里是指測驗中的試題、量表中的指標(biāo)、面試中的問題或評定要素。每名被測評者在同一項目上會有一個得分。這些得分與外部的某組效標(biāo)分?jǐn)?shù)的相關(guān)性即為項目的效度。相關(guān)系數(shù)越高則項目效度越高。第一節(jié)效度項目分?jǐn)?shù)效度：項目在這里是指測驗中的試題、量表中的指標(biāo)、面試中的問題或評定要素。每名被測評者在同一項目上會有一個得分。這些得分與外部的某組效標(biāo)分?jǐn)?shù)的相關(guān)性即為項目的效度。相關(guān)系數(shù)越高則項目效度越高。第一節(jié)效度效度分析中的幾個理論問題：效度評價問題任何一種素質(zhì)測評的結(jié)果，其效度不是“全有”或“全無”，而只是程度上的差別而已，因此其效度系數(shù)一般介于０與１之間。評價時我們不能說某一素質(zhì)測評的結(jié)果無效或有效，只能說“較高”或“較低”。一般來說，效度高低標(biāo)準(zhǔn)要視測評的性質(zhì)和所采取的分析方法而定。例如，能力測評常采用預(yù)測效度、同時效度與內(nèi)容效度分析法，而品德測評多采用結(jié)構(gòu)效度，且預(yù)測與同時效度應(yīng)保證在0.30以上。我們認(rèn)為效度評價可考慮以下方案：高：效度系數(shù)在0.70以上或α＝0.01及以上；中：效度系數(shù)在0.30~0.70或α＝0.01~0.10；低：效度系數(shù)低于0.30或α>0.10。第一節(jié)效度效度分析中的幾個理論問題：效度的相對性問題效度是針對某種特殊測評目的而言的，并不具有普遍意義。如對技能測評有效度的結(jié)果相對品德測評就不一定有效度了。效度分析的多方面性問題效度是一個復(fù)雜的對象，采取單一的分析方法有時是不夠的，需要同時分析各種類型的效度，綜合起來才能把握測評結(jié)果的有效性第一節(jié)效度效度分析中的幾個理論問題：效度概念的特定性問題效度這一概念一般是相對測評總分來說的。換句話說，效度分析的數(shù)據(jù)是每名被測評者的總分?jǐn)?shù)，但是相對于每個素質(zhì)測評的子分?jǐn)?shù)與每個測評項目(試題、行為指標(biāo))來說，也同樣有效度問題。當(dāng)一個測驗同時測評了幾種素質(zhì)時，針對每種素質(zhì)的數(shù)個試題組合，實(shí)際上就是一個分測驗，被測評者在這些分測驗上的總分即為子分?jǐn)?shù)。當(dāng)針對一種素質(zhì)測評的子分?jǐn)?shù)或一個項目上的得分與某個外在參照效標(biāo)分?jǐn)?shù)作相關(guān)分析時，所揭示的就是子分?jǐn)?shù)或項目得分的關(guān)聯(lián)效度。第一節(jié)效度效度分析中的幾個理論問題：效度的定義問題一般認(rèn)為效度是測評結(jié)果反映所測評素質(zhì)的正確性或真實(shí)性的程度。實(shí)際上，素質(zhì)本身是模糊不清的，測評結(jié)果究竟是否反映了素質(zhì)根本無法對證。如果把效度定義為測評結(jié)果反映被測評者個體間素質(zhì)差異的真實(shí)性程度，卻是比較可行的，因為差異可以測評到也可以感覺到。對效度的這一定義對于區(qū)分性與選拔性的測評來說是可行的，然而對診斷性、目標(biāo)管理性、總結(jié)評價性的素質(zhì)測評來說，不如原先的定義好。2信度第二節(jié)信度信度的概念

信度是指測評結(jié)果反映所測評素質(zhì)的準(zhǔn)確性、可靠性和一致性。對于信度的考評目前大致有穩(wěn)定系數(shù)分析、等值系數(shù)分析、分半系數(shù)分析、內(nèi)部一致系數(shù)分析、評分一致性系數(shù)分析等。

以上幾種信度都是針對常模參照測驗而言的，標(biāo)準(zhǔn)參照測驗中的信度計算通常使用分類一致性信度，這種信度的的常用估計方法是考察同一批被測者在兩次是冊或者復(fù)本測驗中的分類是否一致。標(biāo)準(zhǔn)參照測驗中的信度也可以使用K系數(shù)計算，較分類一致性信度在統(tǒng)計上更合理（Cohen，1968；Aiken，1988）。第二節(jié)信度指以測評結(jié)果以同樣的測評工具、測評方式與測評對象再次獲得測量結(jié)果的變異程度。再測信度的計算一般采用皮爾遜積差相關(guān)系數(shù)。

個體的素質(zhì)測評在測評過程中會涉及許多因素的影響，素質(zhì)本身有時也無法精確定義。我們常常把對個體測評結(jié)果的準(zhǔn)確性檢驗置于群體測評結(jié)果的相互關(guān)系之中，轉(zhuǎn)化為兩次位置關(guān)系的一致性分析。當(dāng)同一對象的測評結(jié)果以同樣的測評方式再次獲得后，其順序位置關(guān)系變異很小時，則說明測評結(jié)果比較準(zhǔn)確。

例如：在技能測評中，李某的分?jǐn)?shù)是８８，在全體被測者中排名第一，這到底準(zhǔn)不準(zhǔn)呢？我們再重復(fù)測評一次，結(jié)果李某的分?jǐn)?shù)是9５，還是排名第一，而且其他被測的位置順序變化很小，我們就可以說第一次的技能測評結(jié)果很可靠。再測信度第二節(jié)信度指測評結(jié)果相對另一個非常相同的測評結(jié)果的變異程度?！胺浅Ｏ嗤币话阋浴暗戎怠苯忉?。所謂等值，是指在測評內(nèi)容、效度、要求、形式上都與原測評一樣，其中一個測評可以看作是另一個測評的近似的復(fù)寫或重復(fù)，即復(fù)本?！白儺惓潭取币话阌盟姆戳x詞“一致性”解釋。因此復(fù)本信度實(shí)際上是一種用等值系數(shù)揭示的信度，等值系數(shù)即為兩組測評結(jié)果的相關(guān)系數(shù)。復(fù)本信度第二節(jié)信度又稱同質(zhì)性信度，指相同素質(zhì)測評項目分?jǐn)?shù)間的一致性程度。一致性信度的分析又兩種常用方法：一種是項目折半分析，主要采用斯皮爾曼-布朗修正公式計算；另一種是α系數(shù)分析，主要采用庫德-理查遜公式和克朗巴哈а系數(shù)。如果被測在第一個項目上比其他人分?jǐn)?shù)高，在第二個項目上又比其他人高，在第三個項目上也比其他人高……相反另一個人在第一個項目上比其他人分?jǐn)?shù)低，在第二個項目上又比其他人低，在第三個項目上也比其他人低……那么毫無疑問，我們會認(rèn)為測評結(jié)果比較可靠。一致性信度第二節(jié)信度評分者信度指多個測評者給同一組被測樣組進(jìn)行評分的一致性程度。測評結(jié)果的差異程度來自兩方面：一是被測評者自身，二是被測評者及其測評。信度的度量以后者作為依據(jù)，測評者及其測評的無關(guān)差異越小，說明測評結(jié)果就越可靠。測評者的評分是引起主觀性測評結(jié)果差異的主要原因?？陀^性測評是利用計算機(jī)評分，不受主觀因素影響，不存在評分誤差。評分者信度分析主要采用肯德爾和諧系數(shù)公式計算信度系數(shù)。評分者信度第二節(jié)信度測評方法在這里包括測評工具、測評過程及其組織，它與評分者的評分信度共同決定著測評結(jié)果的可靠性。它們之間具有以下四種關(guān)系：(１)高信度的評分者用高信度的測評方法獲得高信度的測評結(jié)果。(２)高信度的測評者用低信度的測評方法難以獲得高信度的測評結(jié)。(３)低信度的測評者用高信度的測評方法難以獲得高信度的測評結(jié)果。(４)低信度的評分者用低信度的測評方法則測評結(jié)果必然不可靠。因此要提高測評結(jié)果的可靠性，一要選擇高質(zhì)量的測評工具，二要控制測評過程及其組織的誤差，三要訓(xùn)練與提高測評者的操作水平。培訓(xùn)與提高測評者的測評能力，關(guān)鍵在于對測評標(biāo)準(zhǔn)的理解與把握，在于對測評信息的收集、分析與判斷，在于對各種心理效應(yīng)、趨中心理及反差效應(yīng)等誤差的控制技巧。評分者信度與測評方法信度對測評結(jié)果的影響3項目分析項目分析適合度

在人員素質(zhì)測評中，項目不僅僅是試題，更多的是一些咨詢問題或觀察評定點(diǎn)（指標(biāo)），它們無難易之分，只有是否之別。適合度指的是被測者行為（包括回答與實(shí)際表現(xiàn)）符合項目測評標(biāo)準(zhǔn)的程度。當(dāng)項目為試題時，適合度即難度；當(dāng)項目是問卷中的問題時，符合度即所有選對的被測者人數(shù)與總?cè)藬?shù)之比；當(dāng)項目為觀察評定量表中的指標(biāo)時，符合程度即所有被測得分平均值與指標(biāo)滿分值之比。

區(qū)分度

又稱鑒別力，指項目把具有不同素質(zhì)水平的被測評者適當(dāng)區(qū)分開來的鑒別能力。項目區(qū)分度的計算方法主要有相關(guān)分析法（包括積差相關(guān)法、二列相關(guān)法和點(diǎn)二列相關(guān)法）、兩端分組法（鑒別度指數(shù)、臨界比）和因素分析法

獨(dú)立性

在能力測評中，常常需要項目之間有一定的獨(dú)立性。所謂獨(dú)立性即非相關(guān)性或低相關(guān)性。項目的獨(dú)立性的分析一般采用項目間分?jǐn)?shù)的相關(guān)系數(shù)揭示，相關(guān)系數(shù)越大說明獨(dú)立性越小。根據(jù)實(shí)際得分分布是否均勻，可以分別采用rφ系數(shù)法和列聯(lián)表χ2（卡方）檢驗法。第三節(jié)項目分析項目分析選項質(zhì)量對于誘答或正答質(zhì)量的分析方法有兩種：誘惑力分析法這種方法是采用表格形式，分別統(tǒng)計高分組與低分組中的被測評者對同一項目各選項的選擇次數(shù)。“白智”試測法這種方法是找一些對測驗內(nèi)容一無所知或十分陌生的人作為被測者進(jìn)行測試，通過分析這些人對每個誘答選擇的人次來分析選項的質(zhì)量。第三節(jié)項目分析4其他指標(biāo)檢測第四節(jié)其他指標(biāo)的檢測客觀性

測評的客觀性由測評方法的客觀性與測評者的客觀性兩方面構(gòu)成總體分布與水平總體分布指測評結(jié)果在各水平層次上的分布情況，總體水平一般指對測評結(jié)果集中量的分析。區(qū)分性與差異性測評工具的區(qū)分性是指把不同水平的被測者區(qū)分開來的程度，測評區(qū)分性一般通過測評結(jié)果差異性的分析來揭示。誤差誤差是指通過測評結(jié)果進(jìn)行定性定量分析，判斷測評結(jié)果是否受到心理效應(yīng)的嚴(yán)重影響。分析的主要內(nèi)容是心理誤差、標(biāo)準(zhǔn)誤差以及單個測評結(jié)果的致信區(qū)間。第四節(jié)其他指標(biāo)的檢測誤差心理誤差

哈羅效應(yīng)誤差

哈羅效應(yīng)又稱暈輪效應(yīng)，是指測評者往往會因為對被測評者整體印象的好壞從而影響對其每個素質(zhì)的測評。例如因看到一個人相貌端莊、嚴(yán)肅，就容易產(chǎn)生此人責(zé)任感很強(qiáng)的看法，這是一種演繹影響。由哈羅效應(yīng)引起的誤差叫哈羅效應(yīng)誤差。