基于指標(biāo)賦權(quán)的大學(xué)排名方法比較研究世界大學(xué)排名方法解構(gòu)與比較研究基于THE與QS的分析

基于指標(biāo)賦權(quán)的大學(xué)排名方法比較研究世界大學(xué)排名方法解構(gòu)與比較研究基于THE與QS的分析

隨著國家科技、人才和教育的制定和傳播，中國對教育資源的需求尤其是優(yōu)質(zhì)教育資源的需求已經(jīng)達(dá)到了前所未有的水平。目前，許多大學(xué)的名稱在一定程度上起到了識別和評估高等教育資源的作用。大學(xué)排名主要是通過加工處理各大學(xué)間可比信息,以簡單直觀的結(jié)果反映高校的辦學(xué)質(zhì)量和影響力,逐步成為大學(xué)評價的重要形式與主要手段之一。目前大學(xué)排名已經(jīng)受到世界各國的關(guān)注,成為一種全球性現(xiàn)象,產(chǎn)生了巨大影響,正如Hazelkorn所言“從全球高等教育系統(tǒng)來說,大學(xué)排名是高等教育全球化競爭的象征之一”。但同時,大學(xué)排名也是當(dāng)前高等教育領(lǐng)域內(nèi)見得最多卻被認(rèn)識最少的高等教育衍生品,THE高等教育增刊副主編菲爾·巴蒂認(rèn)為“大學(xué)排名可以服務(wù)于一國的評審系統(tǒng),促進教育機構(gòu)從內(nèi)部對話走向國際討論與合作,加速校際與國際之間的科研合作、師資交流及學(xué)生交換”。排名方法是排名的核心組分,涵蓋了指標(biāo)及指標(biāo)權(quán)重。因此,大學(xué)排名的有效性與科學(xué)性很大程度上取決于排名方法的合理性與科學(xué)性。據(jù)不完全統(tǒng)計,目前僅國內(nèi)就存在武書連中國大學(xué)評價課題組、網(wǎng)大論壇、中國校友會網(wǎng)、上海交通大學(xué)世界一流大學(xué)研究中心、武漢大學(xué)中國科學(xué)評價研究中心等10多個機構(gòu)、30多個不同類型的大學(xué)排行榜,并且不同版本之間互相“掐架”、莫衷一是。深入分析“掐架”的根源不外乎排名方法,即指標(biāo)及其權(quán)重的選擇,而這也正是當(dāng)前大學(xué)排名公信力受質(zhì)疑的主要原因。目前大學(xué)排名方法的科學(xué)性、合理性、透明性均受到社會各界的質(zhì)疑。如中國科學(xué)技術(shù)大學(xué)大學(xué)評價課題組根據(jù)《2010中國大學(xué)評價》方法與指標(biāo)體系對若干公認(rèn)國際一流高校人才培養(yǎng)得分進行測算發(fā)現(xiàn)“劍橋大學(xué)列中國大學(xué)20~30名、麻省理工學(xué)院列60名左右”等與實際認(rèn)知不符的結(jié)論。著名教育評論人熊丙奇指出,我國大學(xué)排行榜采用的數(shù)據(jù)不僅往往經(jīng)不起推敲,甚至存在“虛假數(shù)據(jù)”———各高校公布的院士數(shù)之和超過兩院公布的院士數(shù);人民日報針對大學(xué)排名刊登系列文章,并指出“國內(nèi)多數(shù)大學(xué)排行榜都不公布其數(shù)據(jù)如何采集及研究方法等信息,有的只公布指標(biāo)大類,有的甚至連指標(biāo)體系都沒有”中青報指出武書連領(lǐng)導(dǎo)的中國大學(xué)評價課題組《2010中國大學(xué)評價》算法中存在的“大學(xué)參與軍事科研”數(shù)據(jù)獲取難度系數(shù)非常大,因為一般而言軍工項目均是保密的。本文針對大學(xué)排名方法,擬選取在國際及同行間擁有較高聲譽與權(quán)威的“QS2011世界大學(xué)排名方法”與“THE2011世界大學(xué)排名方法”進行研究。通過梳理大學(xué)排名方法,一方面展示、刻畫排名方法的最新發(fā)展動態(tài),另一方面比較各排名方法間的差異,同時嘗試給出差異產(chǎn)生的原因與影響,預(yù)判大學(xué)排名方法的發(fā)展趨勢與動向。一、般資料反饋率低QS與THE在2004至2009年間一直是聯(lián)合發(fā)布大學(xué)排名,直到2010年終止合作。兩者分道的主要原因是THE認(rèn)為“在2004年至2009年間QS的‘同行評議’反饋率非常低,基本不能真實反映高校的聲望與口碑;引文統(tǒng)計法不考慮學(xué)科之間引用頻率的顯著差異,導(dǎo)致評價結(jié)果的準(zhǔn)確性大打折扣,并且這兩項指標(biāo)受到了空前的質(zhì)疑”。在兩者合作終止之后的第一年,QS和THE均對各自的排名方法進行了大幅調(diào)整與完善。(一)基于廣義領(lǐng)域分布的測量國際高等教育研究機構(gòu)QS(QuacquarelliSymonds)自2004年開始發(fā)布世界大學(xué)排行,至今已持續(xù)9年。QS2011世界大學(xué)排名方法主要從研究質(zhì)量、教學(xué)質(zhì)量、畢業(yè)生質(zhì)量及國際化四個維度,同行評議(學(xué)術(shù)聲譽)、師均引用、生師比、雇主聲譽、國際教師與學(xué)生數(shù)量六個方面展開(具體見表1),試圖在展示大學(xué)最近1年各項指標(biāo)表現(xiàn)的同時反映其在過去幾年、幾十年甚至幾個世紀(jì)的聲譽、努力及成就。研究質(zhì)量中同行評議(學(xué)術(shù)聲譽)是基于同行評議人對某大學(xué)在“藝術(shù)和人文、生命科學(xué)和生物制藥、自然科學(xué)、社會科學(xué)、工程和信息技術(shù)”五個廣義領(lǐng)域的平均得分,每個領(lǐng)域的同行評議人比例分別為20.8%、17.9%、23.9%、30.9%及27.3%。在評議的過程中,同行評議人必須首先確認(rèn)自己熟悉的區(qū)域,如美國、歐洲、亞太等(同行評議人所占比例前五名區(qū)域:美國10.2%、巴西7.7%、英國7.1%、意大利5.1%及澳大利亞4%),然后列出自己國家在上述領(lǐng)域的最多10個最佳大學(xué)及除自己國家之外的其他最多30個最佳大學(xué)。研究質(zhì)量中“師均引用”是利用愛思維爾Scopus數(shù)據(jù)庫各機構(gòu)最近五年論文引用次數(shù)除以各自教師數(shù)量得到。教學(xué)質(zhì)量采用的“生師比”度量方法存在較大爭議,但卻是最接近的指標(biāo)———因為它是最廣泛的可得到的用于表征各機構(gòu)致力于教學(xué)的關(guān)鍵指標(biāo)之一。盡管技術(shù)在進步,但仍沒有可以替代傳統(tǒng)的面對面交流模式;QS認(rèn)為生師比可以充分刻畫每個學(xué)生可得到的教師資源與咨詢導(dǎo)師的機會,小教學(xué)團體中的學(xué)生會得到更多的重視與關(guān)注。畢業(yè)生質(zhì)量(雇主聲譽)調(diào)查參與者考慮了商業(yè)范圍、行業(yè)、規(guī)模及性質(zhì),基本覆蓋了所有商業(yè)領(lǐng)域,盡管參與者大都來自QS綜合數(shù)據(jù)庫及其它組織與合作者。其中,2011年參與者超過16700名,主要分布在印度(13.1%)、美國(6.4%)、英國(5.1%)、中國(4.5%)及澳大利亞(3.4%)等50多個國家和地區(qū)。QS認(rèn)為國際化必須在考慮其他質(zhì)量指標(biāo)與語言因素的前提下度量,因為一個質(zhì)量差的大學(xué)會很難吸引自己國內(nèi)的教師與學(xué)生,從而放眼國際造成國際教師與學(xué)生較多的表象。語言因素主要指兩國授課語言一樣的話則會導(dǎo)致教師與學(xué)生的頻繁流動。為了反映大學(xué)在全球化進程中表現(xiàn),QS將國際學(xué)生和師資選作評價大學(xué)的普適指標(biāo),但賦予較低權(quán)重,從而降低它們在整個指標(biāo)體系中的份量。(二)調(diào)查者的特征盡管THE發(fā)布大學(xué)排名的時間超過了8年,但仍然在2010年做出了重大調(diào)整,新設(shè)置的標(biāo)準(zhǔn)和方法注重審視現(xiàn)代大學(xué)的核心任務(wù)———科學(xué)研究、教學(xué)、知識轉(zhuǎn)移及國際活動等,基于新標(biāo)準(zhǔn)和方法的排行榜在發(fā)布之后得到了廣泛認(rèn)同和支持,充分展現(xiàn)了該榜的先進性和實用性。THE2011世界大學(xué)排名方法主要包括教學(xué)環(huán)境、科研能力、科研質(zhì)量、產(chǎn)業(yè)收入及國際化五個方面。其中,教學(xué)環(huán)境用“與教學(xué)相關(guān)的聲譽調(diào)查、博士學(xué)位授予數(shù)、師均在冊本科生數(shù)、師均收入、博士與學(xué)士學(xué)位收入比”五項指標(biāo)表征;科研能力用“與科研有關(guān)的聲譽調(diào)查、科研收入、師均學(xué)術(shù)論文量、公共來源研究收入與總研究收入比”四項指標(biāo)表征;科研質(zhì)量用“篇均論文引用量”指標(biāo)表征;產(chǎn)業(yè)收入用“師均工業(yè)來源研究收入”指標(biāo)表征;國際化用“國際國內(nèi)師資比、學(xué)生比”等指標(biāo)表征,具體見表2。與教學(xué)、科研有關(guān)的聲譽調(diào)查是THE發(fā)布大學(xué)排行榜以來的最大一次,共有兩個方面的特征:(1)受調(diào)查者大幅增加。此次調(diào)查共計17554名受調(diào)查者,比2010年增加30%多,并且均是全球范圍內(nèi)最有經(jīng)驗的學(xué)者。(2)受調(diào)查者具有典型代表性。調(diào)查實施過程中受調(diào)查者的選擇充分考慮了高等教育地域與學(xué)科組合因素。這兩項特征可以最大程度上客觀、有效審視各大學(xué)在教學(xué)和科研上的表現(xiàn)。THE同樣采用生師比作為衡量教學(xué)質(zhì)量的簡單指標(biāo),認(rèn)為:較低的生師比意味著學(xué)生可以得到更多的培養(yǎng)與關(guān)注。同時改進了生師比的測算方法———學(xué)生數(shù)量由之前僅統(tǒng)計一年級學(xué)生數(shù)量改為全部學(xué)生數(shù)量。雖然指標(biāo)得到了優(yōu)化,但考慮到學(xué)生培養(yǎng)數(shù)量的多少并不意味著學(xué)生培養(yǎng)質(zhì)量的高低,所以該指標(biāo)被賦予了較低權(quán)重,僅為4.5%。教學(xué)環(huán)境同時考察了博士學(xué)位授予數(shù)、博士與學(xué)士學(xué)位授予比及師均收入。其中,博士學(xué)位授予數(shù)是在以往指標(biāo)基礎(chǔ)的上的一個重大改進,考慮各個大學(xué)學(xué)科組合,將博士學(xué)位授予數(shù)納入學(xué)科視角進行歸一化處理;博士與學(xué)士學(xué)位授予比的高低一方面反映了各高校培育未來學(xué)者的能力,另一方面展現(xiàn)知識的密集程度;師均收入是大學(xué)總收入與教師數(shù)量之比,并進行了歸一化,試圖在同一平臺上比較各大學(xué)的吸引力、競爭力與生均可用基礎(chǔ)設(shè)施?？蒲心芰Τ丝蒲新曌u調(diào)查外,還包括科研收入與師均學(xué)術(shù)論文量。其中,(1)科研收入是一個爭議與有效兼具的指標(biāo)?？蒲惺杖朐谝欢ǔ潭壬鲜艿絿艺吆徒?jīng)濟的影響,但同時它也是關(guān)系一流研究能否形成的關(guān)鍵要素與主導(dǎo)因素。同時剔除學(xué)科差異導(dǎo)致的經(jīng)費量級影響,因為自然科學(xué)領(lǐng)域的經(jīng)費往往會大于社科、藝術(shù)和人文學(xué)科的經(jīng)費。(2)師均學(xué)術(shù)論文量被用來衡量教師科研生產(chǎn)力。為了突出了科研生產(chǎn)力的重要性,該指標(biāo)的權(quán)重從上年度的4.5%增加到6%,增幅超過33%。用于計算師均學(xué)術(shù)論文量的論文數(shù)據(jù)源自湯森路透收錄的反映各大學(xué)在同行評議期刊上發(fā)表的論文數(shù)量?？蒲匈|(zhì)量主要通過各高校篇均引用次數(shù)來反映,雖然利用論文引用來表征科研質(zhì)量還存在較大爭議,但有研究表明引用次數(shù)和科研質(zhì)量之間存在強關(guān)聯(lián)。該數(shù)據(jù)源自湯森路透WebofScience(WoS)數(shù)據(jù)庫中收錄的各高校在12000個同行評議學(xué)術(shù)期刊上發(fā)表的論文近6年的總被引次數(shù);同時對篇均被引用次數(shù)按照學(xué)科組合歸一化,考慮到這種方法可能會過高的評價擁有高引用論文但論文總量較低的高校,故納入評價的高校年度論文發(fā)表量必須大于等于200篇。產(chǎn)業(yè)收入是通過師均工業(yè)來源研究收入來應(yīng)表征高校的社會服務(wù)能力的一項重要指標(biāo)。該數(shù)據(jù)由各高校根據(jù)當(dāng)年科研收入中工業(yè)來源的實際情況填報,數(shù)據(jù)的高低在一定程度上反映了各校知識轉(zhuǎn)移與轉(zhuǎn)化能力。為增強該指標(biāo)的可比性,對其按照師資規(guī)模進行了歸一化處理。目前收集所有被評價高校的該項數(shù)據(jù)存在較大難度,因此,該指標(biāo)僅賦予了2.5%的權(quán)重,避免該項得分造成高校總得分發(fā)生劇烈變動。國際化的度量,從上年度的兩項指標(biāo)“各大學(xué)各領(lǐng)域國際教職工、學(xué)生比例”增加到三項指標(biāo),新增指標(biāo)為“大學(xué)的總的科研論文和至少有一個國際合作者的論文數(shù)量的比例”。THE認(rèn)為一流的大學(xué)對國際師資和學(xué)生的吸引力是其在全球平臺上的競爭力的重要展現(xiàn),國際合作論文比例表現(xiàn)了大學(xué)的開放、合作與引智的程度。二、比較世界大學(xué)的命名方法(一)蘇氏指數(shù)和sts-sy相結(jié)合的調(diào)查評價指標(biāo)排名方法中存在共性指標(biāo)。如THE與QS的一級指標(biāo)中共性指標(biāo)有教學(xué)、國際化等,二級特征指標(biāo)中共性指標(biāo)有國際師資、國際學(xué)生,學(xué)術(shù)聲譽、科研質(zhì)量等。存在共性指標(biāo)的原因是兩者均以全球大學(xué)為排名對象,而在如此大的范圍內(nèi)可用于全球比較的指標(biāo)數(shù)較少造成兩者在指標(biāo)選取上存在一定程度的相似性。在整個排名方法中,注重軟硬指標(biāo)的結(jié)合,且軟指標(biāo)數(shù)遠(yuǎn)低于硬指標(biāo)數(shù)。QS與THE世界大學(xué)排名中用來反映大學(xué)社會影響力的“學(xué)術(shù)聲譽”與“雇主聲譽”等均是調(diào)查指標(biāo)。從軟硬指標(biāo)分布比例上看,QS與THE世界大學(xué)排名中硬指標(biāo)數(shù)比例分別為66.67%與84.62%,軟指標(biāo)僅為33.33%與15.38%。目前來看,調(diào)查指標(biāo)在實際操作過程中存在不足,如QS發(fā)現(xiàn)存在“盡管隨著目前參與問卷調(diào)查的人數(shù)逐年顯著上升,但仍然存在‘名氣大的大學(xué)與處在世界級大城市中的大學(xué)的調(diào)查結(jié)果可能會超過預(yù)想及部分在某些學(xué)科較強的學(xué)校沒有被列舉出來’”的情況。(二)對測量模型的權(quán)重賦值對比雖然QS與THE兩者之間存在較多共性指標(biāo),但兩者對共性指標(biāo)的賦權(quán)存在較大差異。這表明雖然指標(biāo)選擇一樣,但在不同排名方法中表征的涵義與重要性大不一樣,同時也進一步解釋、揭示了不同排名關(guān)注的重點與焦點不一,需要理性看待。如生師比指標(biāo),QS與THE賦予的權(quán)重為分別為20%與4.5%,因為QS認(rèn)為生師比是衡量教學(xué)質(zhì)量誤差最小的指標(biāo)而THE認(rèn)為生師比只能作為衡量教學(xué)質(zhì)量的簡單指標(biāo)(THE認(rèn)為數(shù)量與質(zhì)量不能嚴(yán)格劃等號)。同樣地,兩者排名方法中對軟、硬指標(biāo)的權(quán)重賦值也存在較大差異。如對于表征科研質(zhì)量的“篇均論文引用(THE)”與“師均引用(QS)”硬指標(biāo),兩者的賦權(quán)分別為30%與20%,相差多達(dá)10%。對于表征“學(xué)術(shù)聲譽”的軟指標(biāo),QS賦予的權(quán)重為40%而THE為18%,前者超過后者的2倍,出現(xiàn)這種差異的原因是QS認(rèn)為“在沒有更精確的數(shù)據(jù)統(tǒng)計及更及時的研究比較情況下,評判那所大學(xué)更好,咨詢那些對大學(xué)比較了解的人是上策”、THE的解釋是“降低主觀評價的影響”。(三)數(shù)據(jù)來源及處理從QS和THE可以看出數(shù)據(jù)收集是大學(xué)排名的必經(jīng)步驟。數(shù)據(jù)收集主要有3種渠道與途徑———社會公眾調(diào)查數(shù)據(jù)、第三方數(shù)據(jù)源及源自高校填報的數(shù)據(jù)。QS與THE2011世界大學(xué)排名均采取了以上三種方式來獲取排名的原始數(shù)據(jù),并且由高校提供數(shù)據(jù)的指標(biāo)個數(shù)占整個指標(biāo)體系總數(shù)的比重均大于等于50%,這表明對高校辦學(xué)實力進行梳理時源自高校自身提供的數(shù)據(jù)是必不可少的,因為只有高校對自身各方面發(fā)展情況比較了解與熟悉。QS與THE2011世界大學(xué)排名指標(biāo)值獲取方式見表3。對于社會公眾調(diào)查數(shù)據(jù),兩者均詳細(xì)公布了受調(diào)查選取辦法,以保障受調(diào)查來源、地域、領(lǐng)域、職業(yè)等因素全部覆蓋,即使這樣做也存在缺陷———QS雇主聲譽調(diào)查范圍及采樣逐年顯著提高,但2011年的反饋與結(jié)果仍然顯示英語語言國家占有先天優(yōu)勢。如何提高調(diào)查結(jié)果的反饋率、準(zhǔn)確性、有效性、針對性及權(quán)威性是當(dāng)前調(diào)查亟待解決的關(guān)鍵命題。如THE排名中的“同行評議”指標(biāo)由民意調(diào)查公司IpsosMori負(fù)責(zé)實施,采用非常謹(jǐn)慎的抽樣調(diào)查方式,以期提高調(diào)查結(jié)果的公信力。對于第三方數(shù)據(jù)源,不論是愛思維爾的Scopus數(shù)據(jù)庫還是湯森路透的WebofScience數(shù)據(jù)庫均被用來表征大學(xué)的科研質(zhì)量與競爭力,并給出了選取該第三方數(shù)據(jù)源的原因。如QS認(rèn)為愛思維爾Scopus數(shù)據(jù)庫的期刊覆蓋率比較廣泛同時對非英語行文文章敏感,為區(qū)分高校的科研產(chǎn)量和質(zhì)量奠定了厚實的基礎(chǔ)。(四)研究數(shù)據(jù)的歸一化數(shù)據(jù)處理過程中注重審視各高校的學(xué)科特征與學(xué)科差異。THE2011世界大學(xué)排名方法考慮了兩方面的差異:(1)學(xué)科科研經(jīng)費差異———人文學(xué)科領(lǐng)域遠(yuǎn)不如自然科學(xué)領(lǐng)域;(2)學(xué)科論文發(fā)表量差異———生命科學(xué)或醫(yī)學(xué)領(lǐng)域科研人員通常每年發(fā)表的文章量在兩至三篇之間,而藝術(shù)、人文及社科領(lǐng)域科研人員每年平均發(fā)表數(shù)量小于0.5篇,這種變化與處理很好地解釋了倫敦經(jīng)濟學(xué)院在其排名中顯著上升的原因。計算全過程強調(diào)歸一化,以增強指標(biāo)的可比性與普適性。THE2011世界大學(xué)排名方法中“科研收入、科研產(chǎn)出按教師數(shù)量歸一化”、