基于結(jié)果一致度的學術(shù)期刊組合評價研究

基于結(jié)果一致度的學術(shù)期刊組合評價研究

1引言期刊評價乃是通過對學術(shù)期刊的發(fā)展規(guī)律和增長趨勢進行量化分析，揭示學科文獻數(shù)量在期刊中的分布規(guī)律，為優(yōu)化學術(shù)期刊的使用提供重要參考，同時可以提高學術(shù)期刊的內(nèi)在質(zhì)量，促進學術(shù)期刊的健康成長和發(fā)展，因此具有十分重要的意義。期刊定量評價最早局限于用單一指標評價，傳統(tǒng)的評價指標如影響因子、引用半衰期、即年指標等。后來發(fā)展到用一些復合指標，包含的信息量較大，典型的有RCR（相對引用率）[1]、RI（相對引用指標）、PW（相對學科影響因子）[2]、NMCR（標準平均引用率）[3]、FCS[,m]（學科論文平均被引用次數(shù)）[4]、H指數(shù)[5]、ACIF（論文計數(shù)影響因子）[6]等。由于單一指標提供的信息量畢竟有限，因此多屬性評價在學術(shù)期刊評價中得到了廣泛的應用。多屬性評價乃是采用一定的技術(shù)將反映學術(shù)期刊不同側(cè)面的指標進行綜合后的評價，它包含的信息量更大。WeipingYue等[7]利用結(jié)構(gòu)方程的原理建立了一個期刊影響力的分析框架。俞立平等[8]充分考慮到評價指標之間的關(guān)系并且采用結(jié)構(gòu)方程進行期刊評價。王小唯等[9]將期刊以往狀態(tài)的評價結(jié)果作為各期刊基礎(chǔ)條件的一種度量，再運用數(shù)據(jù)包絡(luò)分析方法測算出它們的二次相對評價值。蘇新寧[10]采用指標體系賦權(quán)進行中國人文社會科學期刊的評價。邱均平等[11]提出了期刊評價指標體系的三維層次結(jié)構(gòu)圖，并利用灰色關(guān)聯(lián)法進行評價。王玖等[12]運用秩和比法進行醫(yī)學學術(shù)期刊學術(shù)質(zhì)量綜合評價。李修杰等[13]運用判別分析法建立期刊評估指標體系。龐景安等[14]及李凱揚等[15]利用層次分析法對期刊進行評價。陳漢忠[16]應用主成分分析對學術(shù)期刊進行評價。李繼曉等[17]對各種核心期刊的評價方法進行了介紹和分析，認為選擇核心期刊的評價方法并不是一件一勞永逸的事，只能通過不斷實踐、比較、分析，才能使核心期刊的評價日臻完善。迄今為止，已經(jīng)有數(shù)十種多屬性評價方法在學術(shù)期刊評價中得到了應用。多屬性評價方法存在的主要問題是，針對同一評價對象，選取相同的指標，采取同樣的數(shù)據(jù)，不同評價方法得出的評價結(jié)果不盡相同，結(jié)果難以得到公認，因此學術(shù)界提出了“組合評價”的思想，即將各種評價方法的不同結(jié)果進行組合，從而給出唯一的評價結(jié)果。傳統(tǒng)的組合方法有Borda法[18]、Copeland法[19]等。俞立平[20]將幾種多屬性評價方法集中在一起，發(fā)揮各種方法的長處，提出了基于排序選擇模型的學術(shù)期刊組合評價方法。康楠等[21]采用平均值法、Borda法、Copeland法及模糊Borda法這四種組合評價的方法對區(qū)域科技資源配置效率進行評價。唐俊等[22]在給出有效性定義的基礎(chǔ)上，提出了一種比較平均值法、Borda法、Copeland法等3種組合評價方法有效性的思路。毛定祥[23]提出了一種最小二乘意義下的組合方法，即最佳權(quán)重必須與各種主客觀賦權(quán)評價所得權(quán)重的偏差平方和最小，用線性規(guī)劃求解。徐澤水等[24]提出的組合方法最終評價結(jié)果與各種評價方法差距最小。彭猛業(yè)等[25]提出了加權(quán)平均組合方法，權(quán)重采取各評價結(jié)果與平均評價值的相關(guān)系數(shù)確定，最后計算組合評價結(jié)果。劉麗等[26]利用遺傳算法確定各評價方法的權(quán)重，然后計算組合評價結(jié)果。馬溪駿等[27]提出了一種權(quán)重偏差平方和最小的組合方法。陳衍泰等[28]提出了一種兩階段復合的組合評價方法。郭亞軍等[29]提出了一種基于整體差異的客觀組合評價法，即存在一種評價結(jié)果（最佳組合），各評價方法投影到該評價結(jié)果后方差最大，體現(xiàn)了少數(shù)服從多數(shù)的思想。將不同評價方法的評價結(jié)果加以組合，互相取長補短，是一種較好的解決方法，但是存在以下問題：第一，一些多屬性決策的組合決策方法并不適合進行期刊評價，比如利潤最大化的組合方法在期刊評價中并不適用，期刊評價的一個重要目的就是根據(jù)學術(shù)質(zhì)量或影響力等因素對不同期刊加以區(qū)分，并不需要評價值最大。第二，目前幾乎所有的組合評價方法都是一種類似的“平均”方法，要么是權(quán)重平均，要么是評價結(jié)果平均。然而平均方法一般比單一方法好，但肯定不是最優(yōu)的方法。第三，一些基于排序的評價方法，并不適合進行組合評價。如秩和比法、BORDA法等，因為該類方法的評價結(jié)果是排序，并不能衡量期刊之間的真實差距。第四，一些組合評價方法根據(jù)某方法與平均值的相關(guān)系數(shù)確定權(quán)重，但這存在重復計算，因為計算平均值時該方法的結(jié)果也在其中。為了盡可能解決上述問題，本文首先構(gòu)建組合評價的分類體系，然后以《中國科技期刊引證報告》提供的農(nóng)業(yè)學術(shù)期刊評價指標為例，分別采用熵權(quán)法、CRITIC、主成分分析、因子分析、TOPSIS進行評價，再根據(jù)某種評價方法評價結(jié)果與其他評價方法評價結(jié)果的相似度賦權(quán)，最后進行加權(quán)匯總，提出了一種新的組合評價方法——基于方法一致度的組合評價。2研究方法2.1分析框架為了構(gòu)建本文的分析框架，首先將期刊評價方法體系進行分類。如圖1所示，期刊評價方法包括四大類：單指標評價包括簡單指標和復合指標。所謂復合指標，就是內(nèi)涵更為豐富的指標，如論文作者的H指數(shù)就是如此。多屬性評價如主成分分析、層次分析、灰色關(guān)聯(lián)、DEA分析、ELECTRE、TOPSIS、概率權(quán)、證據(jù)理論等等，這是目前主流的學術(shù)期刊評價方法。復合評價其特點是將幾種多屬性評價方法綜合運用進行評價，得到唯一的評價結(jié)果（這是它與組合評價方法的最大區(qū)別。組合評價是將幾種評價結(jié)果采取一定的方法變成唯一評價結(jié)果，而復合評價只有唯一評價結(jié)果）。根據(jù)其原理不同，復合評價又分為方法復合和權(quán)重復合。所謂方法復合，就是將兩種以上的多屬性評價方法聯(lián)合運用，比如采用層次分析法AHP計算權(quán)重，然后采取加權(quán)TOPSIS進行評價。所謂權(quán)重復合，就是將幾種賦權(quán)型的多屬性評價方法的權(quán)重進行復合，得到一致公認的權(quán)重，然后進行加權(quán)匯總，如將熵權(quán)法、AHP法、概率權(quán)三種方法的權(quán)重進行平均，然后再進行加權(quán)匯總評價。組合評價其特點是將幾種多屬性評價方法的評價結(jié)果進行組合，得到唯一評價結(jié)果。根據(jù)原理不同，又可以分為評價值組合與排序組合。所謂評價值組合，就是各種評價方法的評價結(jié)果有相對意義，能反映期刊間的真實差距。所謂排序組合，就是評價結(jié)果只有排序意義，不能反映相對差距，如ELECTRE法、秩和比法。當然，也可以將有相對意義的評價值進行排序，然后再進行排序組合，但是這樣必然會丟失評價值中包含的大量信息，顯然是不可取的。比如采用方法A評價，兩種期刊的排序分別為第三、第五名，評價值差距是5.5分；而如果將其只取排序值，期刊間差距到底多大就不得而知了。根據(jù)本文的分類體系，一些文獻中的組合評價實際上就是復合評價。由于排序組合的弊病，一般情況下往往只能用于選優(yōu)，其應用范圍受到限制，因此本文重點討論有評價值的多屬性評價方法的組合問題。在進行組合評價選取單個評價方法時，有一個潛在的大前提，那就是評價方法最好各有特點，比如熵權(quán)法和變異系數(shù)法的原理就比較接近，此時兩種評價方法只能選一種。還需要說明的是，有些評價方法提供了自身是否適用的檢驗方法。如主成分分析的KMO檢驗，AHP的CR一致性系數(shù)等，當然這是起碼的條件。在多屬性評價中，各種評價方法各有特點，因此很難說哪種評價方法好，哪種評價方法不好。本文提出了結(jié)果一致度的概念，在此基礎(chǔ)上討論組合評價方法。所謂結(jié)果一致度，就是指某種評價方法評價結(jié)果與其他所有評價方法評價結(jié)果的相似程度，如果一種評價方法的結(jié)果一致程度較高，說明它和其他幾種方法的結(jié)果比較接近，此時應該賦予該方法以較高的權(quán)重；反之如果一種方法的結(jié)果一致度較低，說明它的結(jié)果與其他方法的結(jié)果相差較大，比較“另類”，此時理應給予該方法以較小的權(quán)重。在現(xiàn)實生活中，雖然存在著少數(shù)人正確的特殊情況，也就是說，少數(shù)人的觀點與大多數(shù)人的觀點可能相反，但實際上他們是正確的。但在期刊評價中，由于不同評價方法評價結(jié)果之間的相關(guān)程度往往都在0.7以上，并不像現(xiàn)實生活中不同觀點相差那么大，因此在組合評價中，給予結(jié)果一致度較低的評價方法以較低的權(quán)重是合理的。基于結(jié)果一致度的組合評價實際上是一種“民主”的組合方法。在現(xiàn)實生活中，公民在行使民主權(quán)利時，只要他贊成意愿超過50％，肯定就會投贊成票，但贊成票客觀上給人們的感覺就是100％贊成，其實現(xiàn)實情況并非如此。如果在現(xiàn)實生活中，可以進行贊成度和反對度的投票，最科學的應該進行加權(quán)匯總，即將贊成的投票相加，其分值可能為0.6、0.75、0.8等等，反對的投票也進行相加，分值可能是0.9、0.85、0.55等，最后進行決策?；诮Y(jié)果一致度的組合評價實際上度量了某種評價方法對其他評價方法的這種“贊成度”，因此比一般的基于平均原理的組合評價方法要科學。在具體進行回歸時，由于各種評價方法評價結(jié)果的高度相關(guān)性，可能存在多重共線性問題，會導致回歸系數(shù)的符號有誤或者統(tǒng)計檢驗不顯著，但本文重點測度的是擬合優(yōu)度，因此多重共線性對其影響是有限的。2.2評價方法（1）熵權(quán)法熵概念源于熱力學，后由Shannon引入信息論。（2）CRITIC（3）主成分分析主成分分析（PrincipleComponentsAnalysis）通過線性變換，將原來的多個指標組合成相互獨立的少數(shù)幾個能充分反映總體信息的指標。主成分分析常被用來作為尋找判斷某種事物或現(xiàn)象的綜合指標，并且給綜合指標所包含的信息以合適的解釋，從而更加深刻的揭示事物的內(nèi)在規(guī)律。（4）因子分析因子分析（FactorAnalysis）可以看成是主成分分析的一種推廣，因子分析的基本目的是用少數(shù)幾個變量去描述多個變量間的協(xié)方差關(guān)系。其思路是將觀測變量分類，將相關(guān)性較高即聯(lián)系比較緊密的變量分在同一類中，每一類的變量實際上就代表了一個本質(zhì)因子，從而可將原觀測變量表示為新因子的線性組合。（5）TOPSIS法HuangC.L等[29]提出了TOPSIS法，其全稱是逼近理想解的排序法（TechniqueforOrderPreferencebySimilaritytoIdealSolution），它是多目標決策分析中常用的一種方法。該方法的思路是根據(jù)各被評估對象與理想解和負理想解之間的距離來排列對象的優(yōu)劣次序。所謂理想解是設(shè)想的最好對象，它的各屬性值達到所有被評對象中的最優(yōu)值；而負理想解則是所設(shè)想的最差對象，它的各屬性值都是所有被評對象中的最差值。用歐幾里德范數(shù)作為距離測度，計算各被評對象到理想解及到負理想解的距離，距理想解愈近且距負理想解愈遠的對象越優(yōu)。以上介紹的各種評價方法各有千秋，表1是五種典型評價方法的特點。是否線性匯總是指評價結(jié)果是否進行加權(quán)匯總，是否依賴數(shù)據(jù)是指評價方法與數(shù)據(jù)是否直接有關(guān)，對指標相關(guān)性要求是指對指標之間相關(guān)性程度高低的要求。3實證結(jié)果本文選取中國科學技術(shù)信息研究所《中國科技期刊引證報告》2006年的農(nóng)業(yè)科學類數(shù)據(jù)（刪除了部分新期刊和數(shù)據(jù)缺失期刊，以90種農(nóng)業(yè)期刊為例）進行分析，這些期刊絕大多數(shù)是中文期刊。選取的指標有：總被引頻次、影響因子、即年指標、被引半衰期、引用半衰期和基金論文比共6個指標進行評價。3.1五種方法的評價首先采用熵權(quán)法、CRITIC、主成分分析、因子分析、TOPSIS進行評價，其中主成分分析和因子分析要進行KMO檢驗與Bartlett檢驗，這是主成分分析法的適用條件。KMO是對樣本充分度進行檢驗的指標，一般要大于0.5。本文采用SPSS進行數(shù)據(jù)處理，KMO值為0.691＞0.5，通過了統(tǒng)計檢驗；Bartlett值為158.449，P＜0.000，也通過了統(tǒng)計檢驗。換句話說，期刊評價采用主成分分析和因子分析的條件全部具備。前兩個主成分的累計貢獻率為68.3％，因此采用前兩個主成分進行評價。為了對評價結(jié)果進行組合，需要將評價結(jié)果值進行標準化，熵權(quán)法、CRITIC、TOPSIS的評價結(jié)果全部為正值，只要將每個評價結(jié)果除以最大值再乘以100就可以了。主成分分析和因子分析的評價結(jié)果有負值，進行標準之前，首先將評價值加上極差轉(zhuǎn)換為正值，然后再做標準化。表2是按TOPSIS評價排序的前30種期刊的各種評價方法的評價結(jié)果及排序。顯然各種評價方法評價結(jié)果相差較大。3.2組合評價依次將某評價方法作為因變量，其他所有評價方法作為自變量進行回歸，得到回歸擬合優(yōu)度，然后將其進行歸一化處理得到權(quán)重，結(jié)果如表3所示。將五種評價方法的評價結(jié)果標準化后進行加權(quán)匯總，得到組合后的評價結(jié)果。為了便于比較，同時給出了平均組合的結(jié)果。表4給出了平均組合與結(jié)果一致度組合排序不一致的期刊，共12種，占整個期刊數(shù)的13.33％，應該說比例不高。從排序的差距看，平均組合與一致度組合的差距并不太大，一般也就相差1～2位，但是其他評價方法與組合評價的排序相差較大。4結(jié)論與討論4.1期刊評價方法正走向復合化、組合化學術(shù)期刊評價方法由原來的單一的多屬性評價方法正走向幾種多屬性評價方法的復合或組合。復合評價中使用得較多的是權(quán)重復合，由于復合評價是在評價的不同階段采用不同的評價方法，因此復合評價能夠采用的多屬性評價方法的種類總體上要少于組合評價。很難說復合評價與組合評價的優(yōu)劣，但是它們肯定比單一的多屬性評價方法更為全面。在復合評價和組合評價中，應注意選取評價原理不同的多屬性評價方法，從而可以