評委打分的真實有效性問題的統(tǒng)計檢驗

1、評委打分，在社會實踐中是經(jīng)常遇到的，比如組織投票鑒定、人員考核測評、各種競賽評比等。在形式上，是組成一個評委群體，由各個評委根據(jù)評分標準和程序，對測評對象逐一評定，給出相應分數(shù)，然后在統(tǒng)計處理的基礎(chǔ)上，確定每一測評對象的最終成績。影響評分結(jié)果有多方面的因素，主要有測評對象的實際情況和應試行為反應，考評環(huán)境的影響，考評程序、標準、方法等技術(shù)性因素，評委方面的因素。在評分體系規(guī)則（如評分項目和要素、標準、程序、方法等）確定之后，影響評分主要是評委的因素。評委的知識能力水平的高低、動機態(tài)度是否端正公平、有無心理偏見、身心狀態(tài)是否疲勞等等，都會十分微妙而頑強地影響著評分結(jié)果。概要地說，評委打分主要受自

2、己的能力和動機的影響，也就是“德”和“才”的影響，因此，評委打分有很強的主觀性，特別是測評指標本身具有很強的模糊性和主觀性更是如此。常常因為評委的不公正性，引起測評對象的不滿，也損害了考評的嚴肅性和權(quán)威性。為了抑制評委打分的消極影響，一般的處理方式是：1）增加評委的人數(shù)，擴大評委群體，用一個民主化的群體結(jié)構(gòu)，形成評分的隨機分布，抵消或淡化評分的誤差。2）實行回避原則，測評對象認為評委可能有失公正的，可以按照規(guī)定程序，申請回避。3）確立“獨立評委制”，選擇具備評委資格、與測評對象無任何可能影響公正評價之關(guān)系、不帶有個人傾向性的人選擔任評委。實行“雙盲測驗”，評委之間、評委與測評對象之間“背靠背”

3、，如采用通訊評審、空間隔離方式，評分中互不干擾，各自獨立評分。4）限制評分區(qū)間，確定評分的上限和下限，規(guī)定超過評分區(qū)間的評分視為無效，以便限制極大值或極小值對平均數(shù)的影響。5）計算簡單算術(shù)平均數(shù)，對評委群體打出的分數(shù)予以統(tǒng)計處理，采取去掉最高分和最低分，然后將剩余分數(shù)累加求和，計算平均數(shù)，以此為評委群體確定的最終分數(shù)，計算公式為：Xi/N（式中，Xi為去掉最高分和最低分后的全部分數(shù)之和，N為去掉最高分和最低分后的剩余評委人數(shù)。6）計算加權(quán)平均數(shù)，根據(jù)客觀公正和知情懂行的“德”“才”標準，對評委群體中的不同成員評分乘以不同的權(quán)重，突出更加具有公正性、權(quán)威性的評委的作用，計算公式為：XiPi（式中

4、，Xi為各個評委給出的具體分數(shù)，Pi是各個評委的評分權(quán)重，權(quán)重累加之和為100%）。但是，需要進一步解決的問題是：如何發(fā)現(xiàn)評分結(jié)果有較大的偏誤，如何發(fā)現(xiàn)評委的失職作弊行為？通常的做法是在對考評對象事先有所了解的情況下，根據(jù)以往經(jīng)驗和已知事實，發(fā)現(xiàn)評分結(jié)果有失偏頗的跡象，進一步追查個別評委的不公正問題（如對“明星”的評比）。但是，如果事先對考評對象并不了解（比如用人單位招聘測試新人），就無從發(fā)現(xiàn)問題。筆者考慮：能否運用統(tǒng)計學的基本知識，對評分結(jié)果進行多層次、多側(cè)面的考察，從中找出發(fā)現(xiàn)問題的幾個關(guān)鍵因素。首先，選擇和設(shè)計有關(guān)統(tǒng)計指標，從評分結(jié)果中尋找值得研究的問題。1 選擇標準差系數(shù)考察樣本平均數(shù)

5、的代表性。標準差是反映一組數(shù)據(jù)分布的離散程度的統(tǒng)計指標，以絕對值表示?？紤]到多組數(shù)據(jù)的可比性，采用標準差系數(shù)，用相對值表示。標準差系數(shù)是標準差與平均數(shù)的比值，用百分比表示。標準差系數(shù)與樣本數(shù)據(jù)的離散程度成正相關(guān)，與樣本數(shù)據(jù)的集中趨勢成負相關(guān)。也就是說，標準差系數(shù)越大，說明樣本分布的離散程度越大，平均數(shù)反映樣本的集中趨勢則越不明顯。具體來說，當一組評委給兩個測評對象的平均分相同時，但是，二者的標準差系數(shù)不同，評委對標準差系數(shù)大的測評對象的看法差異更大。運用標準差系數(shù)，可以分別從兩個角度考查評分結(jié)果：1） 比較每個測評對象的標準差系數(shù)。即以全體評委對每一個測評對象給出的分數(shù)為基礎(chǔ)，計算每一個測評對

6、象的平均數(shù)和標準差，再據(jù)以計算標準差系數(shù)。這里，每個測評對象的平均數(shù)，實際上已經(jīng)是評委們確定的“最后得分”。如果測評對象A比測評對象B的標準差系數(shù)大，說明評委對測評對象A的意見差異更大，即使測評對象A和B的平均分相同，測評對象A的評分問題上存在較大爭議，應當慎重考慮，再做研究。比如，測評對象A和B的最后得分（根據(jù)評委評分計算的平均數(shù)）都是85分，但A的標準差系數(shù)為0.3，B的標準差為0.1，說明評委對B的看法比較一致，在對A的看法上有較大的分歧，A就是有爭議的測評對象，對A評價應當慎重，需要進一步考察。2） 比較每個評委打分的標準差系數(shù)。即以每個評委對全部測評對象給出的分數(shù)為基礎(chǔ)，分別計算每個

7、評委的平均數(shù)和標準差，再據(jù)以計算標準差系數(shù)。這里每個評委的平均數(shù)，說明每個評委對全體測評對象的整體水平的評價，標準差，則是每個評委對全體測評對象的整體水平是否整齊接近的評價，而使用標準差系數(shù)，就更能準確比較各個評委的評價意見。如果評委C比評委D的標準差系數(shù)大，即使兩人認為這一批測評對象的整體水平都在80分（平均數(shù)），評委C的標準差系數(shù)為0.4,評委D的標準差系數(shù)為0.2, 說明評委C更加傾向于認為，測評對象的整體水平很不整齊，相互之間的差異更明顯。3） 在上述基礎(chǔ)上，可以進一步分別計算上述兩種標準差系數(shù)的平均值，也就是測評對象的標準差系數(shù)平均值和評委的標準差系數(shù)平均值，作為相對衡量標準，進而發(fā)

8、現(xiàn)爭議較大的測評對象和評分不穩(wěn)定的評委。比如，高于測評對象的標準差系數(shù)平均值的測評對象，評委對其的評價意見有較大分歧；而高于評委的標準差系數(shù)平均值的某一評委，他的評分更加不夠穩(wěn)定。2 評委的離差絕對值之和將各個評委對每一測評對象的評分，分別減去該對象的平均分，即得到該評委對該測評對象的離差，將全部離差的絕對值累加求和，得出該評委的離差絕對值之和，離差絕對值之和的大小反映各個評委對測評對象整體水平的看法，離差絕對值之和與測評對象整體水平成負相關(guān)，離差絕對值之和越大，測評對象整體水平越不整齊，內(nèi)部差異即離散程度則越大。3 評委的離差代數(shù)和將各個評委對每一測評對象的評分，分別減去該對象的平均分，即得

9、到該評委對該測評對象的離差，將全部離差累加求和，即得到該評委的離差代數(shù)和，離差代數(shù)和沒有直接意義，必須與離差絕對值之和結(jié)合起來考察，才有實際意義。4 離差絕對值之和與離差代數(shù)和之比將每個評委的離差絕對值之和與其離差代數(shù)和進行比較，可以計算二者的比值，簡稱為“絕代比”。絕代比的比值，有以下幾種情況。一種情況是“絕代比”等于1，這是因為每一離差均取正值或負值，其代數(shù)和不存在正負抵消現(xiàn)象，正好與離差絕對值之和一致，這種情況只有該評委的評分全部低于或高于平均分時才出現(xiàn)。另一種情況則是“絕代比”的比值很高，也就是說，離差絕對值之和遠遠大于離差代數(shù)和的絕對值，這種情況，往往因為該評委的評分往往遠離總體平均

10、分，同時，具體評分由圍繞平均分上下波動，因此，離差正負相抵后所得的代數(shù)和，其數(shù)值較小，兩相比較，“絕代比”的數(shù)值較大?！敖^代比”到底在多大區(qū)間內(nèi)比較合理？是否可以假定“絕代比”越大，其中值得研究的問題或疑點就越多，在實踐中尚且有待進一步的研究。由于離差代數(shù)和可以去正值或負值，所以，“絕代比”也有正負之分。取負值的“絕代比”，是該評委對測評對象全體的評價低于全體評委的總體評價（平均分），是比較“苛刻”的評委，反之，取正值的“絕代比”，該評委是比較“寬松”的評委。其次，從直觀的角度，觀察和比較評委評分線與總體平均分線的形態(tài)及其關(guān)系，進一步研究評委的評分行為規(guī)律。將所有測評對象的平均分自高而低排列，

11、形成測評對象的平均分線，各個評委所給出的測評對象的成績也可排出若干條評分線，將平均分線與各個評委的評分線繪制成直角坐標圖，就可以進行相應的直觀比較。如果某評委始終按照自己穩(wěn)定的主觀傾向標準打分，即使所給分數(shù)始終高于或低于平均分，也能夠反映其評分規(guī)律。這時，該評委的離差絕對值和等于離差代數(shù)和，二者之比值為1。這反映其始終按照自己的主觀傾向掌握評分標準，從嚴評價者，所給的分數(shù)，始終低于平均分，寬宏大度者，始終以高于平均分線的水平給分。但是，當評委的給分圍繞平均分線起伏波動時，就會形成時而高于時而低于平均分線的評分線。這時，離差絕對值之和將大于離差代數(shù)和，二者之間的比值將大于1，甚至比值相當大。比值

12、的大小，取決于評委評分線圍繞平均分線的波動幅度。如果進一步計算“絕代比”的平均值，再考查每一個評委的“絕代比”與“絕代比”平均值的大小，凡是“絕代比”大于“絕代比”平均值的評委，應當是重點研究和考察的對象。從經(jīng)驗角度看，觀察評委的評分線與平均分線的關(guān)系，實際上有這樣幾種評委的評分傾向：第一，評委的評分線始終低于或高于全體評委打分確定的平均分線，與平均分線呈近似平行的關(guān)系。這種評委是一種帶有主觀色彩的“公正”評委，有一個穩(wěn)定的主觀傾向在理解和掌握評分標準，堅持按從嚴或偏松的傾向打分，其離差絕對值之和等于離差代數(shù)和的絕對值，“絕代比”比值為1，而且，離差絕對值之和越大，偏離平均分線的平均距離則越大

13、，反之，則越小。如果測評結(jié)果按照分數(shù)高低進行比較確定人選或排序的話，評委的主觀傾向?qū)⒂绊懺u分結(jié)果的客觀性。比如，當“公正”而又“嚴格”的評委在評委群體中占多數(shù)并起主導作用時，按照平均分的絕對標準來進行評價比較，可能“合格者”為數(shù)了了，反之，良好和優(yōu)秀者將大量產(chǎn)生。第二，評委的評分線圍繞平均分線做小幅波動，沒有明顯的規(guī)律，呈“擰麻花”形態(tài)。這種評委試圖按照客觀標準掌握評分標準，保持客觀公允態(tài)度，謹慎小心，離差絕對值較小，即使在平均分線上下波動，但起伏不大，其離差絕對值之和與離差代數(shù)和的比值雖大與1，但比較接近1，或者比值在12之間。從經(jīng)驗角度看，這類評委的評分水平比較高，主觀傾向與客觀實際相接近

14、，是比較理想的評委。所以，在評委中間，習慣于將自己的分數(shù)與當場公布的平均分進行比較，來檢查自己評分的主觀傾向與客觀結(jié)果的一致性和相似性。第三，評委的評分線始終在一個極小的極差范圍內(nèi)波動，始終保持水平狀態(tài)，最為典型的是處在中等分數(shù)水平，但又不同于第一、第二種情況，與平均分線沒有規(guī)律性的關(guān)系。這種評委主要是缺乏知識能力，或抱以馬虎敷衍的態(tài)度，不能如實比較鑒別測評對象的實際差別，評分結(jié)果缺乏區(qū)分度。最典型的是“老好人”式的評委，本著“你好我好大家好”“誰也不得罪”的心理，其評分線呈現(xiàn)“中等”或“良好”層次的水平狀態(tài)。第四，評委的評分線與平均分線的關(guān)系有明顯的不規(guī)則性形態(tài)。這里最常見的情況是，該評委給出的大多數(shù)對象的分數(shù)與平均分線呈一有規(guī)律的吻合，但是在少數(shù)個別分數(shù)上出現(xiàn)明顯的跳躍，遠離平均分線。似乎在有意壓低其他大多數(shù)測評對象的分數(shù)，而故意抬高自己看好或是有特殊關(guān)系的個別測評對象的分數(shù)。該評委給出的分數(shù)往往是該測評對象的最高分，在統(tǒng)計處理時很容易被“去掉”，但是，如果這一類評委事先有“合謀”且“人