民主測評效度分析的方法

民主測評效度分析的方法

對干部進(jìn)行了主觀評價(jià)，這是在20世紀(jì)80年代定性調(diào)查的基礎(chǔ)上形成的。這是干部考察方法的一項(xiàng)重要改革,推行后產(chǎn)生了積極意義。長期以來,民主測評一直作為群眾評價(jià)機(jī)關(guān)工作人員的杠桿,是選拔任用干部的重要依據(jù),也是考核干部政績的主要形式。加緊探索建立一種科學(xué)、簡便、適用的民主測評結(jié)構(gòu)模式,是當(dāng)前領(lǐng)導(dǎo)干部考察考核和干部選拔工作中急需解決的問題。本文通過民主測評表的設(shè)計(jì)和賦予測評項(xiàng)目等次相應(yīng)的權(quán)重系數(shù),運(yùn)用數(shù)理統(tǒng)計(jì)方法和設(shè)定有關(guān)民意評價(jià)指標(biāo)進(jìn)行量化記分,對領(lǐng)導(dǎo)干部民主測評情況作出定性分析判斷。一、結(jié)果的評價(jià)機(jī)制深化干部工作中的民主是干部人事制度改革的方向,而民主測評是實(shí)現(xiàn)多方位征求、反映群眾民意和客觀、公正、準(zhǔn)確評價(jià)干部的有效形式,是貫徹群眾公認(rèn)原則和公開、平等、競爭、擇優(yōu)原則的具體體現(xiàn)。隨著干部人事制度改革的深化,它已經(jīng)被應(yīng)用到干部的選拔、評價(jià)、任用和管理的全過程,成為推進(jìn)干部工作民主化進(jìn)程中備受關(guān)注和重要環(huán)節(jié)。民主測評工作的目的就是全面真實(shí)地反映民意,準(zhǔn)確無誤地展現(xiàn)被測評者的客觀情況。但由于民主測評是個(gè)人的主觀評判的集中體現(xiàn),因而它往往受到眾多因素的制衡,導(dǎo)致“測評結(jié)果失真”和“了解不到真實(shí)情況”。從目前民主測評的實(shí)際情況看,主要有以下幾種制衡因素:一是情感因素。民主測評作為參與測評人對被測評對象的能動反映,不可避免地受到測評人情感因素的影響,因而對被測評人產(chǎn)生不同的情感評判效應(yīng)。如評判者往往從自己的政治觀點(diǎn)出發(fā),作出對被測評對象的評判,當(dāng)二人的觀點(diǎn)一致或者基本一致時(shí),對被測評對象鑒定就是好的,反之,鑒定往往是差的。此外,經(jīng)歷軌跡、性格愛好、工作恩怨、老鄉(xiāng)校友等都會影響測評者的評判標(biāo)準(zhǔn),往往出現(xiàn)打人情票、報(bào)復(fù)票的現(xiàn)象。二是職位因素。機(jī)關(guān)的每一個(gè)職位均有不同的分工職能,由于涉及的職責(zé)范圍、服務(wù)對象、交往人員等的不一致性,也會影響民主測評的公證性。如由于機(jī)關(guān)的各個(gè)職位在整個(gè)機(jī)關(guān)運(yùn)轉(zhuǎn)過程中的角色作用是不同的,有的強(qiáng)或有的弱。民主測評中,辦公室、人事、財(cái)務(wù)等宏觀調(diào)控力度大的部門,較之其他業(yè)務(wù)部門的得票就會高一些。業(yè)務(wù)較強(qiáng)的部門在外部的測評中又會處于相對優(yōu)勢的地位。結(jié)果,導(dǎo)致出現(xiàn)盲目票、人緣票的現(xiàn)象。三是責(zé)任因素。一些參與測評的人,認(rèn)為民主測評是走形式,自己的意見不會受到領(lǐng)導(dǎo)的重視,對這項(xiàng)工作缺乏應(yīng)有的熱情和責(zé)任感,不是托故放棄,就是不負(fù)責(zé)地劃票,甚至交空白票。有的被測評對象還搞非組織活動,搞“拉票賄選”,講“哥們義氣”等,嚴(yán)重影響了民主測評的真實(shí)性。四是本位因素。民主測評中,有的人怕影響團(tuán)結(jié),對被測評對象采取“睜一只眼閉一只眼”、“事不關(guān)己,高高掛起”的態(tài)度,提高評價(jià)檔次。有的人從自身利益出發(fā),抱著送走一個(gè)提拔一串,好處人人有份的心理,對被測評對象作出了較好的評價(jià)。五是標(biāo)準(zhǔn)因素。在民主測評中,往往是一張表格,標(biāo)明“優(yōu)秀、稱職、不稱職”或“優(yōu)秀、良好、一般、差”等分類檔次,測評對象根據(jù)自己心目中的標(biāo)準(zhǔn),作出評判。從內(nèi)容和形式上看,測評表中沒有對被測評對象的德、能、勤、廉作出科學(xué)分析,卻可無根據(jù)、隨意、無記名的劃票。這樣做,是違背民主測評工作初衷的,體現(xiàn)不出對被測評對象的定量和定性分析,不能真正的反映民意,成為一種不負(fù)責(zé)的簡單化測評形式。由于民主測評受到上述因素的制衡,因此我們在分析測評結(jié)果時(shí),就不能簡單地以票取人,以票定“音”,而是需要對測評結(jié)果的加以定量分析,并與定性判斷相結(jié)合后,再對干部作出評價(jià)。效度是檢驗(yàn)測評結(jié)果的一個(gè)概念。它指測評的有效性,即運(yùn)用量表或其他測驗(yàn)手段所獲得的結(jié)果達(dá)到期望目標(biāo)的程度。干部考察中民主測評的效度①,是指通過民主測評手段所獲得的結(jié)果接近于干部現(xiàn)實(shí)表現(xiàn)的程度,用于衡量民主測評是否如實(shí)地反映干部的情況,是否對干部德、能、勤、績、廉做出正確的定位。隨著現(xiàn)代評價(jià)科學(xué)成果的推廣和信息數(shù)據(jù)處理手段的現(xiàn)代化,改革傳統(tǒng)測評方式勢在必行,刻不容緩。二、建立以績效為主要內(nèi)容的測評標(biāo)準(zhǔn),把民主測評人打造成社會管理基礎(chǔ)。根據(jù)對于社會科學(xué)設(shè)計(jì)民主測評的指標(biāo)體系和評價(jià)標(biāo)準(zhǔn)是搞好干部考察工作,提高民主測評效度,確?？己私Y(jié)果準(zhǔn)確的基礎(chǔ)和前提。制定干部考核中民主測評的指標(biāo)體系和評價(jià)標(biāo)準(zhǔn)要堅(jiān)持以下三個(gè)原則:一是重點(diǎn)與全面相結(jié)合的原則。全面是指民主測評要完全反映干部的德能勤績廉,既要有德才素質(zhì)指標(biāo),又要有實(shí)績考核目標(biāo)。突出重點(diǎn)是指測評指標(biāo)要體現(xiàn)注重實(shí)績的原則,重點(diǎn)研究確定實(shí)績的指標(biāo)。同時(shí)要注意把定期考核與平時(shí)考核結(jié)合起來進(jìn)行客觀評價(jià)。二是分類原則。不同崗位、不同層次領(lǐng)導(dǎo)干部的能力素質(zhì)要求和他所承擔(dān)的崗位職責(zé)是不一樣的。要根據(jù)不同領(lǐng)導(dǎo)職務(wù)的不同特點(diǎn),制定科學(xué)的民主測評體系和標(biāo)準(zhǔn)。著重建立以實(shí)績?yōu)橹饕獌?nèi)容的民主測評指標(biāo)體系,細(xì)化不同類型、不同層次領(lǐng)導(dǎo)干部民主測評的評價(jià)標(biāo)準(zhǔn),切實(shí)做到民主測評指標(biāo)符合實(shí)際,能夠準(zhǔn)確的反映干部的品行、才能和工作能力,既有定性分析,又有定量比較;既科學(xué)合理,又便于操作。三是廣泛性原則。在參與測評人員的結(jié)構(gòu)和層次上,既要注重參被測評人所在系統(tǒng)、單位的人員為主,又要兼顧與其工作有聯(lián)系的相關(guān)單位和人員參加;既要有基層單位領(lǐng)導(dǎo)和群眾參與測評,又要有上級管理部門的相關(guān)領(lǐng)導(dǎo)和同志的測評,要特別注意根據(jù)被測評人的不同崗位職責(zé)特點(diǎn),盡量選擇與其工作聯(lián)系較多、了解較深的人員參與測評,避免盲目選定。根據(jù)上述原則,我們把干部的測評內(nèi)容分為“思想政治素質(zhì)、組織領(lǐng)導(dǎo)能力、工作作風(fēng)、工作實(shí)績、廉潔自律、總體評價(jià)”六大類。前五類素質(zhì)子項(xiàng)為“好、中、差”三個(gè)評價(jià)等次,任職評價(jià)為“優(yōu)秀、稱職、基本稱職、不稱職”四個(gè)等次。1、要有好的80票,有2.2.2原始測評數(shù)據(jù)匯總后,經(jīng)統(tǒng)一處理,計(jì)算出各測評項(xiàng)目等次的比值。如某領(lǐng)導(dǎo)干部的素質(zhì)子項(xiàng)得“好”80票,“中”18票,“差”2票,則該干部素質(zhì)子項(xiàng)得“好”的百分率R好=80÷(80+18+2)=0.80,同理R中=0.08,R差=0.02。其他測評項(xiàng)目等級的得票比值可照此一一算出來。(對任職評價(jià)的等次可用R優(yōu)、R稱、R基、R不分別表示)2、用條件限定權(quán)重系數(shù)設(shè)定設(shè)定素質(zhì)子項(xiàng)評價(jià)等次“好”、“中”、“差”和任職評價(jià)等次“優(yōu)秀”、“稱職”、“基本稱職”、“不稱職”的權(quán)重系數(shù)分別為P好=1.0,P中=0.6,P差=-1.0,P優(yōu)=1.0,P稱=0.6,P基=-0.2,P不=-0.6。這套權(quán)重系數(shù)設(shè)定的基本考慮是:取P好=1.0,P中=0.6,P優(yōu)=1.0,P稱=0.6,便于運(yùn)算分析,又符合通常的“中等”、“一般”對應(yīng)于百分率中60%-70%的數(shù)值概念。對于“差”、“基本稱職”、“不稱職”,由于反映的是對干部的一種負(fù)面評價(jià),故用負(fù)值表示。這樣也可以拉大對領(lǐng)導(dǎo)干部評價(jià)等次之間的距離、增大領(lǐng)導(dǎo)干部民主測評的反差程度。3、計(jì)算素質(zhì)子項(xiàng)及任職評價(jià)分值通過上述計(jì)算方法,可以得出各類測評等次的百分率和所設(shè)定的權(quán)重系數(shù)。通過公式1與公式2,可以計(jì)算出其素質(zhì)子項(xiàng)和任職評價(jià)分值。其素質(zhì)子項(xiàng)分值S子=P好×R好+P中×R中+P差×R差(公式1)任職評價(jià)分值S總=P優(yōu)×R優(yōu)+P稱×R稱+P基×R基+P不×R不(公式2)4、職高生工作有效程度和測評對象的被了解程度的計(jì)算一般而言,測評人員對同一領(lǐng)導(dǎo)干部的評價(jià)總是有差異的,我們把這種差異的程度定義為爭議度。任職評價(jià)透明度是判斷和評價(jià)工作有效程度和被測評對象的被了解程度的指標(biāo)。二者的計(jì)算公式為:任職評價(jià)爭議度T總=[R優(yōu)×(S總-P優(yōu))2+R稱×(S總-P稱)2+R基×(S總-P基)2+R不×(S總-P不)2]1/2任職評價(jià)透明度D總=收回有效任職評價(jià)總票數(shù)÷發(fā)出測評表總數(shù)。影響任職評價(jià)透明度的因素主要有未收回測評表數(shù)、空白測評表數(shù)和未對干部作出任職評價(jià)的表數(shù)。三、民主測評價(jià)結(jié)果的有效性的分析根據(jù)對干部民主測評的要求,結(jié)合數(shù)理統(tǒng)計(jì)的經(jīng)驗(yàn)做法和干部考核中的實(shí)際情況,我們可以確定對干部評價(jià)的標(biāo)準(zhǔn)規(guī)定。1.等式中的等分限制取P優(yōu)與P稱的中間值,即S優(yōu)=1/2×(P優(yōu)+P稱)=1/2×(1.0+0.6)=0.82.干部個(gè)人是職務(wù)工作中,一般為優(yōu)秀和稱職票數(shù)超過總票數(shù)的三分之二以上的便認(rèn)為是稱職的干部。即S稱=2/3×[1/2×(P優(yōu)+P稱)]+1/3×[1/2×(P基+P不)]=2/3×[1/2×(1.0+0.6)]+1/3×[1/2×(-0.2-0.6)]=0.43.對某領(lǐng)導(dǎo)干部任職評價(jià)標(biāo)準(zhǔn)的描述工作中一般為基本稱職和不稱職票數(shù)超過總票數(shù)的三分之二以上的便認(rèn)為是不稱職的干部。這也是不稱職等次的分值的上限。即S基=1/3×[1/2×(P優(yōu)+P稱)]+2/3×[1/2×(P基+P不)]=1/3×[1/2×(1.0+0.6)]+2/3×[1/2×(-0.2-0.6)]=0綜合上述情況,根據(jù)對某領(lǐng)導(dǎo)干部任職評價(jià)記分S總,對其任職評價(jià)作出的定性判斷標(biāo)準(zhǔn)為:S總≥0.8者為優(yōu)秀,0.4≤S總≤0.8者為稱職,0≤S總≤0.4者為基本稱職,S總≤0者為不稱職。同理,我們還可以計(jì)算出某領(lǐng)導(dǎo)干部任職評價(jià)爭議度的判斷標(biāo)準(zhǔn):T總≤0.25者表示評價(jià)一致,0.25≤S總≤0.35表示評價(jià)比較一致,而0.35≤T總≤0.45表示評價(jià)有爭議,T總≥0.45表示評價(jià)爭議較大。任職評價(jià)透明度的判斷標(biāo)準(zhǔn)為:D總≥90%表示評價(jià)透明度很高,80%≤S總≤90%表示評價(jià)透明度較高,T總≤80%時(shí)表示評價(jià)透明度不高。這樣,就可以對民主測評的結(jié)果進(jìn)行科學(xué)的量化分析,從而進(jìn)一步提高測評的效度,客觀公正的反映測評人員的情況。四、及時(shí)公開測評結(jié)果,增強(qiáng)民主意識通過民主測評考察領(lǐng)導(dǎo)干部是一項(xiàng)復(fù)雜的評判工作。實(shí)踐證明,要提高測評結(jié)果的效度,必須進(jìn)一步擴(kuò)大對干部活動的知情權(quán),只有對干部有較為全面的了解,才能做出較公正的評價(jià)。一是要強(qiáng)化對干部述職真實(shí)性的管理力度,認(rèn)真做好干部公開述職工作,增強(qiáng)透明度和群眾的了解程度。對領(lǐng)導(dǎo)干部履行崗位職責(zé)和素質(zhì)表現(xiàn)情況通過適當(dāng)方式予以公開。通過建立崗位目標(biāo)責(zé)任制度、工作記實(shí)制度、政績公示制度、領(lǐng)導(dǎo)干部述職述廉制度、家庭財(cái)產(chǎn)報(bào)告制度等,把領(lǐng)導(dǎo)行為適時(shí)、適當(dāng)?shù)叵蛏鐣?使群眾對干部的德、能、勤、績、廉方面情況有一個(gè)全面的了解。在干部考察前,提前公布被測評人的履歷、獎懲、表現(xiàn)情況,給參與測評人充分的思考、醞釀時(shí)間。二是辯證運(yùn)用測評結(jié)果。檢驗(yàn)一項(xiàng)制度生命力的大小,主要取決于工作成果的運(yùn)用程度和使用方式。要把測評結(jié)果與其他形式考核掌握的情況結(jié)合起來,互為補(bǔ)充,綜合分析,由表及里,去偽存真,不搞簡單地“以票取人,以票定人”,防止“公論不公”的現(xiàn)象發(fā)生。如果發(fā)現(xiàn)被測評人的得票與平時(shí)掌握的情況出入很大,或者發(fā)現(xiàn)有拉票賄選、受他人操縱等不正當(dāng)行為,組織部門就要及時(shí)介入,查清情況,絕不能把這種情況下的得票作為使用干部的“重要依據(jù)”。三是要公開測評結(jié)果。干部測評工作中的民主程度,往往與領(lǐng)導(dǎo)干部的民主思想和群眾的參與意識密不可分。因此,一方面要引導(dǎo)群眾以對黨和社會事業(yè)高度負(fù)責(zé)的態(tài)度,客觀公正、實(shí)事求是地評價(jià)干部。另一方面要強(qiáng)化領(lǐng)導(dǎo)干部的民主意識和民主作風(fēng)。群眾是實(shí)踐的主體,每個(gè)干部都是置身入群眾中開展工作的。對領(lǐng)導(dǎo)干部的政治立場、思想品德、才能素質(zhì),群眾作為干部從政行為的對象和政績的最終承受者,感受最直接,體會最深刻。因此,群眾在民主測評中是最有發(fā)言權(quán)的。因此,對群眾民主測評的結(jié)果要進(jìn)行公布,并正確運(yùn)用測評結(jié)果,建立正向激