財政支出績效評價與項目管理

七、績效評價指標體系的篩選第一頁，共四十一頁。1、選擇財政支出績效評價指標應(yīng)遵循的基本原則

（1）代表性所選定的指標應(yīng)能在某一個方面準確地刻畫出評價對象的績效。（4）重要性

所選擇的指標應(yīng)能刻畫出評價對象財政支出績效的重要特征。（2）特異性或獨立性

所選取的指標應(yīng)能從一定角度反映某一方面的的信息，且不能被其它指標所代替。第二頁，共四十一頁。七、績效評價指標體系的篩選第三頁，共四十一頁。1、選擇財政支出績效評價指標應(yīng)遵循的基本原則

（1）代表性所選定的指標應(yīng)能在某一個方面準確地刻畫出評價對象的績效。（4）重要性

所選擇的指標應(yīng)能刻畫出評價對象財政支出績效的重要特征。（2）特異性或獨立性

所選取的指標應(yīng)能從一定角度反映某一方面的的信息，且不能被其它指標所代替。第四頁，共四十一頁。

（3）敏感性

所選取的指標應(yīng)該區(qū)別力強，能較好地反映不同評價對象在財政支出績效方面的差異。（4）可靠性

所選指標真實、可靠，能準確反映實際情況。

（5）可獲得性

所選指標為常規(guī)資料，容易得到。第五頁，共四十一頁。1、選擇財政支出績效評價指標應(yīng)遵循的基本原則

（1）代表性所選定的指標應(yīng)能在某一個方面準確地刻畫出評價對象的績效。（4）重要性

所選擇的指標應(yīng)能刻畫出評價對象財政支出績效的重要特征。（2）特異性或獨立性

所選取的指標應(yīng)能從一定角度反映某一方面的的信息，且不能被其它指標所代替。第六頁，共四十一頁。

（3）敏感性

所選取的指標應(yīng)該區(qū)別力強，能較好地反映不同評價對象在財政支出績效方面的差異。（4）可靠性

所選指標真實、可靠，能準確反映實際情況。

（5）可獲得性

所選指標為常規(guī)資料，容易得到。第七頁，共四十一頁。七、績效評價指標體系的篩選第八頁，共四十一頁。1、選擇財政支出績效評價指標應(yīng)遵循的基本原則

（1）代表性所選定的指標應(yīng)能在某一個方面準確地刻畫出評價對象的績效。（2）重要性

所選擇的指標應(yīng)能刻畫出評價對象財政支出績效的重要特征。（3）特異性或獨立性

所選取的指標應(yīng)能從一定角度反映某一方面的的信息，且不能被其它指標所代替。第九頁，共四十一頁。

（4）敏感性

所選取的指標應(yīng)該區(qū)別力強，能較好地反映不同評價對象在財政支出績效方面的差異。（5）可靠性

所選指標真實、可靠，能準確反映實際情況。

（6）可獲得性

所選指標為常規(guī)資料，容易得到。第十頁，共四十一頁。2、當(dāng)前財政支出績效評價指標體系構(gòu)建實踐中存在的問題

（1）不能很好地解決指標的全面性、代表性、精煉性之間的矛盾指標體系的構(gòu)建者往往希望指標體系能涵蓋績效評價應(yīng)涉及的方方面面,這就很容易導(dǎo)致指標的數(shù)目過多,出現(xiàn)相關(guān)指標、冗余指標、重疊指標。第十一頁，共四十一頁。

（2）對指標體系的有效性重視不足不同的評價者基于不同的知識、經(jīng)驗、思維,會構(gòu)建不一樣的指標體系,究竟哪個指標體系更科學(xué),得到的評價結(jié)論更有效,沒有客觀的標準來衡量。

（3）不重視指標體系的可靠性和穩(wěn)定性即使采用相同的指標體系，不同的評價專家由于對指標的理解不同,特別是某些定性指標易受主觀因素的影響,致使評價結(jié)果差異較大。第十二頁，共四十一頁。針對第一個問題,需要對指標進行適當(dāng)?shù)募s簡，以恰當(dāng)處理指標體系的全面性與精煉性的問題。

針對第二個問題，需要對指標體系的有效性實施科學(xué)的測度，以便形成能夠充分體現(xiàn)績效評價目的的指標體系。

針對第三個問題，需要對不同專家的評價數(shù)據(jù)進行差異度分析,以提高績效評價結(jié)果的穩(wěn)定性和可靠性。第十三頁，共四十一頁。3、指標體系的約簡

(1)有統(tǒng)計數(shù)據(jù)的可量化指標體系的約簡

約簡的目的就是剔除區(qū)分能力弱、相關(guān)性強的指標。對于量化的、有統(tǒng)計數(shù)據(jù)的指標體系,可采用一些常規(guī)統(tǒng)計方法實施簡約。例如,條件廣義方差極小法、極大不相關(guān)法、選取典型指標法等。第十四頁，共四十一頁。用條件廣義方差極小法進行指標約簡,就是用廣義方差來反映指標內(nèi)部的相關(guān)性。例如，假定有p個指標，n個評價對象，各評價對象的指標值如下所示：第十五頁，共四十一頁。計算每一個指標的均值：計算每一個指標的方差：第十六頁，共四十一頁。計算每兩個指標間的協(xié)方差：進而得到方差-協(xié)方差矩陣：第十七頁，共四十一頁。上述方差-協(xié)方差矩陣的行列式，就是所謂的廣義方差?？梢宰C明：當(dāng)廣義方差達到極大值的時候，說明p個指標相互獨立；而當(dāng)廣義方差等于零的時候，說明p個指標完全線性相關(guān)。因此，廣義方差的大小可以反映指標間的相關(guān)性。我們可以剔除廣義方差較小的指標。第十八頁，共四十一頁。具體方法是：將矩陣X劃分成兩部分：其前p-1列記為X1，最后一列記為X2，并用S11、S22、S12表示二者的方差及協(xié)方差，則在滿足正態(tài)分布的假定下，有X2的條件廣義方差式：若上式的值小于一個預(yù)定的水平，就刪除指標p。依此類推，逐步刪除與其他指標相關(guān)度較高的指標。第十九頁，共四十一頁。用極大不相關(guān)法進行指標約簡,就是計算每一個指標與其它指標之間的線性相關(guān)程度,當(dāng)大于某臨界值時,可以去掉該指標。用典型指標法進行指標約簡,就是先對指標進行聚類，然后計算每一個類中每一指標與其它指標的相關(guān)系數(shù)，最后選擇其中相關(guān)系數(shù)最大的指標作為該類指標中的典型指標。第二十頁，共四十一頁。(2)針對定量指標和定性指標并存的指標體系的約簡

當(dāng)指標體系中既存在定量指標,也存在定性指標時,定量指標的評價可以依據(jù)統(tǒng)計數(shù)據(jù),而定性指標的評價則由專家根據(jù)知識、經(jīng)驗來主觀評價。針對這種類型的指標體系，可采用粗糙集方法進行指標約簡。

第二十一頁，共四十一頁。運用粗糙集進行指標篩選和約簡,有多種思路。對于指標數(shù)量不太多的情形，可以快速約簡，從空集開始，一個個地增加指標的個數(shù)，每一次選擇增加最大分類質(zhì)量γ(X)的指標加入當(dāng)前的指標子集。重復(fù)這一過程直到分類質(zhì)量γ(X)達到1或等于整個指標集的分類質(zhì)量。

第二十二頁，共四十一頁。(3)無統(tǒng)計數(shù)據(jù)或統(tǒng)計數(shù)據(jù)非常有限的指標體系的約簡

當(dāng)指標體系不能獲得統(tǒng)計數(shù)據(jù),如對于新建系統(tǒng)的評價,或者所能獲得的統(tǒng)計數(shù)據(jù)非常有限,需要依靠專家知識來進行指標的篩選和約簡,可以采用Vague集方法。Vague集方法充分利用專家知識,表示專家支持、反對和棄權(quán)的情況,且方法簡單易行。

第二十三頁，共四十一頁。(4)復(fù)雜非線性系統(tǒng)的指標體系的約簡

當(dāng)評價對象為復(fù)雜非線性系統(tǒng)時，難以通過統(tǒng)計數(shù)據(jù)找出指標間存在的相關(guān)性，可以利用神經(jīng)網(wǎng)絡(luò)的映射和泛化能力，基于神經(jīng)網(wǎng)絡(luò)的權(quán)值譜分析方法，將指標值作為神經(jīng)網(wǎng)絡(luò)的輸入，指標到各個隱層神經(jīng)元的平均權(quán)值即為指標的譜值，反映指標對輸出結(jié)果的影響，最后選取對輸出結(jié)果的相對貢獻率大的指標，相對貢獻率小的指標略去。

第二十四頁，共四十一頁。4、評價指標的鑒別力分析所謂評價指標的鑒別力指的是評價指標區(qū)分評價對象特征差異的能力。如果所有的評價對象在某個評價指標上的取值高度地近似，則說明該評價指標鑒別評價對象業(yè)績差異的能力很差，則從績效評價的目的角度考慮，這些指標應(yīng)被剔除：

①最小均方差法首先計算各評價對象在每一個指標上取值的均方差。然后剔除其中樣本均方差近似為零的指標。②極小極大離差法首先在每一個指標下計算各評價對象的最大取值與最小取值之差。然后剔除其中離差過小的指標。第二十五頁，共四十一頁。(4)復(fù)雜非線性系統(tǒng)的指標體系的約簡

當(dāng)評價對象為復(fù)雜非線性系統(tǒng)時，難以通過統(tǒng)計數(shù)據(jù)找出指標間存在的相關(guān)性，可以利用神經(jīng)網(wǎng)絡(luò)的映射和泛化能力，基于神經(jīng)網(wǎng)絡(luò)的權(quán)值譜分析方法，將指標值作為神經(jīng)網(wǎng)絡(luò)的輸入，指標到各個隱層神經(jīng)元的平均權(quán)值即為指標的譜值，反映指標對輸出結(jié)果的影響，最后選取對輸出結(jié)果的相對貢獻率大的指標，相對貢獻率小的指標略去。

第二十六頁，共四十一頁。4、評價指標的鑒別力分析所謂評價指標的鑒別力指的是評價指標區(qū)分評價對象特征差異的能力。如果所有的評價對象在某個評價指標上的取值高度地近似，則說明該評價指標鑒別評價對象業(yè)績差異的能力很差，則從績效評價的目的角度考慮，這些指標應(yīng)被剔除：

①最小均方差法首先計算各評價對象在每一個指標上取值的均方差。然后剔除其中樣本均方差近似為零的指標。②極小極大離差法首先在每一個指標下計算各評價對象的最大取值與最小取值之差。然后剔除其中離差過小的指標。第二十七頁，共四十一頁。③變差系數(shù)法我們把所有評價對象在某個指標上的取值的標準差與相應(yīng)的均值之比，稱為變差系數(shù)。則變差系數(shù)越大，說明該指標的鑒別力越強。我們可以把變差系數(shù)小于特定值的指標剔除。第二十八頁，共四十一頁。5、指標體系有效性的測度

在多個評價者采用同一指標體系對評價對象進行評價時，認識的偏離程度越小,得出的評價結(jié)果差異越小，說明對該指標體系所具備的評價作用的認識越一致,該指標體系的有效性越強。

如果多組專家采用同一組指標的評估結(jié)果差異太大，我們就認為該指標體系不能有效實現(xiàn)評價的目標，就應(yīng)該拋棄之。第二十九頁，共四十一頁。(1)采用效度系數(shù)法測度指標體系的有效性

效度系數(shù)法反映了在用同一指標體系進行評價時不同專家認識的偏離程度,效度系數(shù)值越小,則指標體系的有效性越高。當(dāng)指標體系的效度系數(shù)小于0.1時,則該指標體系的有效性較高。這一方法可從多個評價者所建立的指標體系中選取最有效的。

第三十頁，共四十一頁。(2)采用結(jié)構(gòu)方程模型方法測度指標體系有效性

當(dāng)有條件進行抽樣問卷調(diào)查時,可采用結(jié)構(gòu)方程模型來測度指標體系有效性。結(jié)構(gòu)方程模型是一種實證分析模型方法,通過尋找變量間內(nèi)在的結(jié)構(gòu)關(guān)系,以驗證某種結(jié)構(gòu)關(guān)系或者模型。第三十一頁，共四十一頁。6、指標體系穩(wěn)定性和可靠性的檢驗

指標體系的穩(wěn)定可靠性檢驗，重在考察對某一指標體系的多次評價結(jié)果之間的“差異度”或評價結(jié)果與理想值的“貼近度”。如采用某指標體系得到的評價數(shù)據(jù)與“理想數(shù)據(jù)”越接近,則該指標體系反映評價對象的能力就越強,該指標體系的穩(wěn)定可靠性就更高。

第三十二頁，共四十一頁。

(1)通過穩(wěn)定性系數(shù)檢驗指標體系的穩(wěn)定性和可靠性

計算s次專家評價數(shù)據(jù)與其平均值的差異程度,從而反映出對同一指標體系s次評價數(shù)據(jù)的差異性,差異越小,則該指標體系穩(wěn)定性越高。

第三十三頁，共四十一頁。(2)通過貼近度檢驗指標體系的穩(wěn)定性和可靠性

由多位專家用某個指標體系對評價對象進行評價,用貼近度反映評價數(shù)據(jù)與“理想數(shù)據(jù)”之間的接近程度,接近程度越高,貼近度越大。如果依據(jù)指標體系所得到的評價數(shù)據(jù)與“理想數(shù)據(jù)”的貼近度大于設(shè)定的閾值,則該指標體系具有較好的穩(wěn)定性和可靠性。

第三十四頁，共四十一頁。確定出合適的指標體系，并得到相應(yīng)的評價值之后，數(shù)據(jù)的預(yù)處理就成為最終得出評價結(jié)果之前的最后一道工序。7、數(shù)據(jù)預(yù)處理(又稱規(guī)范化)的原因（1）有些指標的值越大越好，如科研成果數(shù)、科研經(jīng)費等是效益型。有些指標的值越小越好，稱作成本型。另有一些指標值的屬性既非效益型又非成本型。例如高校的生師比值過高，學(xué)生的培養(yǎng)質(zhì)量難以保證；比值過低；教師的工作量不飽滿。這幾類指標放在同一表中不便于直接從數(shù)值大小來判斷優(yōu)劣，因此需要對指標數(shù)據(jù)進行預(yù)處理，使所有指標的取值與其優(yōu)劣的對應(yīng)關(guān)系相同。第三十五頁，共四十一頁。(2)通過貼近度檢驗指標體系的穩(wěn)定性和可靠性

由多位專家用某個指標體系對評價對象進行評價,用貼近度反映評價數(shù)據(jù)與“理想數(shù)據(jù)”之間的接近程度,接近程度越高,貼近度越大。如果依據(jù)指標體系所得到的評價數(shù)據(jù)與“理想數(shù)據(jù)”的貼近度大于設(shè)定的閾值,則該指標體系具有較好的穩(wěn)定性和可靠性。

第三十六頁，共四十一頁。確定出合適的指標體系，并得到相應(yīng)的評價值之后，數(shù)據(jù)的預(yù)處理就成為最終得出評價結(jié)果之前的最后一道工序。7、數(shù)據(jù)預(yù)處理(又稱規(guī)范化)的原因（1）有些指標的值越大越好，如科研成果數(shù)、科研經(jīng)費等是效益型。有些指標的值越小越好，稱作成本型。另有一些指標值的屬性既非效益型又非成本型。例如高校的生師比值過高，學(xué)生的培養(yǎng)質(zhì)量難以保證；比值過低；教師的工作量不飽滿。這幾類指標放在同一表中不便于直接從數(shù)值大小來判斷優(yōu)劣，因此需要對指標數(shù)據(jù)進行預(yù)處理，使所有指標的取值與其優(yōu)劣的對應(yīng)關(guān)系相同。第三十七頁，共四十一頁。(2)非量綱化。由于不同指標所使用的計量單位不同，因此指標間經(jīng)常不可公度。這就需要排除量綱的選用對評估結(jié)果的影響，這就是非量綱化，亦即設(shè)法消去(而不是簡單刪去)量綱，僅用數(shù)值的大小來反映屬性值的優(yōu)劣。第三十八頁，共四十一頁。（3）歸一化。不同指標屬性值的大小差別很大，有的指標取值動輒千萬，而有的指標取值不可能超過1。