ISI Report-負責(zé)任的科研社會影響力評估框架 2024

InstituteforscientiCInformationDmytroFilchenko,DavidPendlebury,NanditaQuaderi,JonathanAdams加入科睿唯安，任科學(xué)信息研究所TM研究與分析高級總監(jiān)。他在烏克蘭取得了數(shù)學(xué)建模與計算博士學(xué)位，在學(xué)術(shù)界和企業(yè)界積累了超過15年的工作經(jīng)驗。他有著豐富的領(lǐng)導(dǎo)經(jīng)歷，曾任蘇梅國立大學(xué)他還曾是一位企業(yè)創(chuàng)始人。加入科睿唯安之前，他曾在QSQuacquarelli學(xué)排名以及一系列其他教育技術(shù)和究所的研究分析主管。自1983年以來，他一直致力于使用WebofScience?數(shù)據(jù)來探尋科學(xué)研究的結(jié)構(gòu)和動態(tài)。他與ISI創(chuàng)始人Eugene共同開發(fā)了WebofScienceEssentialNanditaQuaderi博士是科究與分析副總裁兼WebofScience部、科學(xué)信息研究所以及Research編輯策略、WebofScience內(nèi)容選擇以及期刊引證報告?（JCR?)的Nandita在加入科睿唯安時已經(jīng)是一位科研背景深厚的出版業(yè)務(wù)資深高管。此前，她曾在BMC和Springer王學(xué)院的首席研究員。Nandita擁有牛津大學(xué)化學(xué)學(xué)士學(xué)位和帝國理工學(xué)院分子遺傳學(xué)博士學(xué)位。Webof院政策研究所的客座教授。由于在高等教育和政策研究領(lǐng)域的卓越貢獻，JonathanAdams在2017年被?？巳卮髮W(xué)授予榮譽理學(xué)博士學(xué)位。ORCiD：0000-0002-0325-4431。Web半個多世紀以來一直引領(lǐng)著全球科研信息的收集和整理。如今，ISI積極ISI當下依然致力于推動科研誠信，同時改善科學(xué)信息的檢索、解釋和ISI負責(zé)維護公司知識庫，這是WebofScience?引文數(shù)據(jù)庫及其相關(guān)信發(fā)表的分析和報告，請訪問https://12345673本報告概述了科研社會影響力評估框架的開發(fā)工作，我們會將該框架整合到即將推出的WebofScience科研資訊（WebofScienceResearchIntelligence?)平臺中。研究與實驗發(fā)展（簡稱“研發(fā)”）活動能夠促進創(chuàng)新、提高生產(chǎn)力、解決社會挑戰(zhàn)，因而是推動經(jīng)濟增長的關(guān)鍵力量。隨著全球研發(fā)支出不斷增長，如何證實科研確實為社會帶來基金資助機構(gòu)、政府和科研機構(gòu)當前面臨的一大挑戰(zhàn)就是如何確保研發(fā)投資能夠在衛(wèi)生、氣候變化和技術(shù)進步等眾多領(lǐng)域產(chǎn)生可被衡量的效益。然而，全世界都一直缺少一個科研社會需求的多樣性、平衡定量和定性方法以及科研成果產(chǎn)生真正社會影響力所需要的漫長我們創(chuàng)建的評估框架衍生于一種增強的PESTLE模型，其有效的社會影響力評估需要基于更廣泛的信息源，既要囊括傳統(tǒng)學(xué)術(shù)研究產(chǎn)出，又要考慮開展一項科研活動，到其結(jié)果能夠產(chǎn)生明顯的社會效益，往往要經(jīng)過非常長的一段時間。為此，我們在評估框架中設(shè)置了滯后指標和先導(dǎo)指標（表3和表4）。滯后指標主要針對過去的研究成果和活動進行回顧性分析，這些成果和活動已有充足的時間發(fā)揮影響；而先導(dǎo)指標則更加“向前看”，通過分析近期相關(guān)信號來預(yù)判研究成果和活動未來產(chǎn)生社會影該評估框架中的每組指標都包含多個單獨指標。我們將以推動負責(zé)任的評估的形式提供數(shù)每個社會層面的總體表現(xiàn)將在社會影響力全貌（SocietalImpactPro?le?)中呈現(xiàn)，并由底研發(fā)活動是經(jīng)濟增長的催化劑—此類活動能促進創(chuàng)新、提高生產(chǎn)力、創(chuàng)造新的產(chǎn)業(yè)和就業(yè)機會。通過開發(fā)新技術(shù)、新工藝和新產(chǎn)品，研發(fā)活動推動著經(jīng)濟活力和競爭力的提升，使各個國家能夠應(yīng)對復(fù)雜挑戰(zhàn)并保持全球競聯(lián)合國（UN）1表示，大幅增加研發(fā)開支和全球研發(fā)隊伍是一項要在2030年前實現(xiàn)的戰(zhàn)略目標。隨著科研人員（當前為880萬人）3和學(xué)術(shù)機構(gòu)的數(shù)量不斷增加，全球研發(fā)支出預(yù)計將達到1.7萬億美元2。研發(fā)資源盡管一直增長但數(shù)量終究有限，因此合理有效的資源分配就成為政府、高等教育和科研機構(gòu)、商業(yè)公司及私有非營利盡管企業(yè)研發(fā)投入在大多數(shù)發(fā)達經(jīng)濟體都是研發(fā)支出中占比最大的一項（有些情況下高達5但政府仍然是資助基礎(chǔ)研究或“藍天”研究的關(guān)鍵力量。企業(yè)通常更重視能夠產(chǎn)生直接商業(yè)效益的研究，而更廣泛的科研社會影響力可能并不是他們關(guān)注的重點。因此，政府投資在私人研發(fā)投資較為匱乏的產(chǎn)業(yè)部門和地區(qū)顯得尤為重要，對于應(yīng)對一些未必能益增加，公眾越發(fā)期望科研影響力能夠以可衡量、易理解的方式得到體現(xiàn)和傳播。全球基金資助機構(gòu)也由此產(chǎn)生了更高的期望：他們希望能從多個角度，負責(zé)任地評估其科研投資盡管質(zhì)量低劣的研究在任何情況下都沒有什么價值，但科研評估的著眼點已然轉(zhuǎn)變—從5英國發(fā)起了世界上第一個國家級科研影響力評估行動。2014年，基于RAE，經(jīng)過進一步），用以評量更廣泛的科研影響。REF要求研究人員提交陳述材料或“影響力案例研究”來說明其研究工作的廣泛影響6。這套評估方法自此在國際上推廣開來，例如，澳大利亞將稱ERA）7，香港大學(xué)教育資助委員會也將影響力案例研究納入其2020年研究評審工作德國也是以“整體資金撥付”的模式向科研機構(gòu)提供資助，但并未實行常態(tài)化的全國性評在美國，國家科學(xué)基金會（NSF）和國立衛(wèi)生院（NIH）之類的機構(gòu)通過影響力案例研究來定性評估科研活動的社會效益。此類評估往往突出強調(diào)對政策、產(chǎn)業(yè)界或公共福利具有盡管科研評估方法不盡相同、體制之間差異甚多，但上文提及的國家以及ISI報告《科研他國家在過去四十年都實現(xiàn)了相對科研績效的不斷提升—至少從文獻計量指標來看的確如此。然而，目前卻沒有一套成熟的框架來綜合判斷科研學(xué)術(shù)影響力的提升是否同時伴科學(xué)信息研究所開發(fā)了一套評估框架，用于衡量科研成果的社會影響力。我們長期支持全球各類科研評估框架的開發(fā)，對這些框架的完善貢獻頗多，從中積累的經(jīng)驗也為我們開6評估科研活動的社會影響力并不是什么新想法，但如何定義和體現(xiàn)這種影響卻一直較為困難。如今，有效評估科研社會影響力已成為日益增長的全球普遍需求。那么，我們?nèi)绾尾派鐣枨笫菑?fù)雜的，涵蓋廣泛多樣的領(lǐng)域，例如：改善健康狀況、加強疾病控制、實施更有效的自然資源分配戰(zhàn)略、更高效的工業(yè)過程、實現(xiàn)更安全且更清潔的能源生產(chǎn)，以及促進歷史、文學(xué)和音樂等文化領(lǐng)域的繁榮發(fā)展。滿足這些需求所帶來的益處是共同提高生活質(zhì)量—但捕捉并量化如此紛繁多樣的影響卻是一大挑戰(zhàn)。大相徑庭。因此，全面反映并傳播科研社會影響力的工作便難上加難。例如，反映技術(shù)影要想全面評估社會影響力，就必須考慮這些差異并靈活調(diào)整適應(yīng)，以體現(xiàn)科研活動在各領(lǐng)過去人們以為，一項研究如果學(xué)術(shù)影響力高（以引文衡量其社會影響力必然也高。這傳統(tǒng)文獻計量分析在這方面有其局限性，難以提供明確代表社會影響力的信號。因此，任何一種科研社會影響力評估框架都必須引入附加指標來反映更加多樣的產(chǎn)出和活動，而不尋找恰當?shù)脑u估方法還面臨一項挑戰(zhàn)。總體上，評估方法可以分為定性和定量兩大量方法（比如傳統(tǒng)的科學(xué)計量法）是很有價值的，因為它們能提供客觀的評估視角。然而，對社會影響評估而言，這種方法缺乏深度，難以具體反映社會影響的各個側(cè)面。例如，成熟有效的傳統(tǒng)引文指標只能衡量論文產(chǎn)出，而無法反映觀點（正7科學(xué)發(fā)現(xiàn)的步伐以及科學(xué)知識轉(zhuǎn)化為實際應(yīng)用的漫長過程往往與基金資助機構(gòu)的期望相去甚遠。一個江河日下的行業(yè)或許能通過技術(shù)投資重獲新生，但這種影響可終止很久之后才能顯現(xiàn)。20世紀80年代的相關(guān)研究顯示，科學(xué)發(fā)現(xiàn)與商業(yè)應(yīng)用之間的時盡管存在上述重大挑戰(zhàn)，我們?nèi)孕枵业揭?guī)范的結(jié)構(gòu)化方法來評估社會影響力，以強化科研“……平衡定量和定性方法對于實現(xiàn)負責(zé)且全面的科研社會影響力評估具有至關(guān)重要的意義?！?分類法入手。為開展更全面的分析，我們對這一現(xiàn)有分類法做出改進，將“社會”因素劃政治與政策對于有效政治體系和決策機構(gòu)的需求。法律與治理對于有效解釋政治和政策決定并將其轉(zhuǎn)化為立法的需求。經(jīng)濟對于改善或加快經(jīng)濟發(fā)展和財富創(chuàng)造的需求。人力資本對于持續(xù)發(fā)展人力資本的需求，發(fā)展途徑包括從學(xué)前教育到在職專業(yè)培訓(xùn)對人口健康的需求。社會與文化對于多元、平等、包容（DEI）以及安全、文化和精神建設(shè)的需求。技術(shù)對于借助技術(shù)進步為醫(yī)療衛(wèi)生、能源消費及信息獲取等各個領(lǐng)域帶來切實環(huán)境對于應(yīng)對氣候變化以及保護和修復(fù)環(huán)境的需求。），部分，因為只要觀察一下高影響力研究就能立即發(fā)現(xiàn)，許多研究項目都影響到多如前文所述，有效的社會影響力評估需要基于更廣泛的信息源，既要囊括傳出，又要考慮其他的有形產(chǎn)出和活動。我們的評估框架中使用了科睿唯安擁有的豐—除了期刊、專著、會議論文和預(yù)印本，我們還將在必要時使用外部數(shù)據(jù)源，包括以下9表2研究專業(yè)出版物包括非同行評議材料，例如主要針對專業(yè)受眾而非學(xué)術(shù)受眾的雜志、博客和網(wǎng)絡(luò)媒體。這些材料是將科研信息傳遞給廣大受眾的重要媒介；在某些領(lǐng)域，它們有時甚至可以替代傳統(tǒng)的學(xué)術(shù)產(chǎn)出。數(shù)據(jù)集包括存放在世界各地存儲庫中的研究數(shù)據(jù)、軟件或代碼片段、文件和圖像。藝術(shù)與文化產(chǎn)出包括視覺藝術(shù)、表演、設(shè)計和建筑方案。教育教材包括講座、演示、線上課程以及其他學(xué)習(xí)對象，如創(chuàng)新的虛擬現(xiàn)實或增強現(xiàn)實學(xué)位論文和畢業(yè)論文作為研究生學(xué)習(xí)的主要產(chǎn)出，這兩類論文是研發(fā)與教育之間的又一重要紐帶。知識轉(zhuǎn)移*專利與專利申請專利申請和專利授權(quán)是知識產(chǎn)權(quán)的成果。對政策文件的貢獻研發(fā)人員還可以通過作為共同作者直接參與政策文件的編寫或者政府、非政府組織以及智庫機構(gòu)編制或使用的文件中引用其成果做出間接貢獻來體現(xiàn)其科研醫(yī)療衛(wèi)生文件包括來自制藥公司和醫(yī)療衛(wèi)生研究機構(gòu)的醫(yī)學(xué)指南、臨床試驗和新聞聲明。*知識轉(zhuǎn)移常被稱為科研機構(gòu)除研發(fā)和知識傳播（教學(xué)）之外的“第三除了體現(xiàn)為有形成果，研發(fā)、教育和知識轉(zhuǎn)移還可以是各種形式的活動。例如，對學(xué)生的指導(dǎo)或輔導(dǎo)就是一種超越傳統(tǒng)學(xué)術(shù)產(chǎn)出范疇的個人或機構(gòu)活動，這些學(xué)生畢業(yè)后將在相關(guān)滯后指標主要針對過去的研究成果和活動進行回顧性分析，這些成果和活動已有充足的時間發(fā)揮影響。此類指標能夠揭示既往研究工作如何助推了社會成果先導(dǎo)指標則更加注重“向前看”，通過分析近期相關(guān)信號來預(yù)判研究成果和活動未判斷團隊構(gòu)成是否合適、是否正在從事最具前景的研究，可能有助于修正研究方向或調(diào)整以下是我們初步列舉的滯后和先導(dǎo)指標組，這生的影響。鑒于社會需求的多樣性，每個指標組中的具體量化指標在各個社會層面之間必表3在學(xué)術(shù)界以外的研發(fā)活動中的利用情況該指標顯示了學(xué)術(shù)界以外的利益相關(guān)方如何使用、引入或依托科研機構(gòu)的產(chǎn)出或活動來開展自己的研發(fā)工作。通過解構(gòu)傳統(tǒng)文獻計量方法并分析引用作者的所屬單位，我們可以就科研活動的廣泛影響得出寶貴洞見。例如，基于制藥公司合著研究的引用指標能夠反映科研活動在醫(yī)療層面的影響。在非研發(fā)活動中的利用情況該指標顯示了利益相關(guān)方如何在諸如專利、政策文件、行業(yè)標準、臨床試驗以及其他非研發(fā)活動中對科研機構(gòu)產(chǎn)出的應(yīng)用。例如，專利對科研文獻的引用能夠有力表明科研成果如何從實驗室轉(zhuǎn)移到現(xiàn)實應(yīng)用中。媒體報道研究成果及其作者和作者所屬單位在知名媒體上的非正式提及表明了該研究得到的社會認可。盡管媒體平臺可以提供補充性信息來源，但對這些來源要慎重考量，因為它們?nèi)狈W(xué)術(shù)出版物那樣的致謝慣例，可能并不可靠。表彰通過高關(guān)注度的表彰機制認可個人和/或組織開展的活動，此類機制包括獨立市場報告（如“社會影響力”排名）和調(diào)查，這種認可也反映了科研活動在學(xué)術(shù)界以外產(chǎn)生的影響。例如，當某個科研人員或科研團體憑借其對人權(quán)的貢獻獲得國際知名獎項時，這表明他們的科研活動得到了更廣泛的社會認可。培養(yǎng)個人或組織對其他個人給予培訓(xùn)、支持和指導(dǎo)，使接受培養(yǎng)的個人日后得以貢因為很少有其他來源能培養(yǎng)出可服務(wù)于社會各層面的具備解決問題和風(fēng)險管理技能的人力資本。表4實用性機構(gòu)產(chǎn)出或活動對于具體社會需求的適用性是科研工作展現(xiàn)出未來社會影響力的前提條件。全球社會需求在聯(lián)合國“可持續(xù)發(fā)展目標”中得到定義，而區(qū)域、國家或社區(qū)層面的需求則可通過其他框架和來源（包括定性研究）來確定。參與交流學(xué)術(shù)人員與其他利益相關(guān)方（包括非政府組織、政府組織和企業(yè)）的交流是了合作研究人員與其他利益相關(guān)方的合作，從而促成正式的伙伴關(guān)系（如合著關(guān)系）。對合著作者所屬單位—包括政府機構(gòu)、企業(yè)、醫(yī)療衛(wèi)生組織和非營利組織—的分析可作為識別科研可能影響的社會層面的一項指標基礎(chǔ)。傳播通過有效渠道傳播科研成果對于科研至關(guān)重要，這關(guān)乎科研能否觸及更廣大的受眾并在未來得到實際應(yīng)用。科研成果的有效傳播可以通過各種貼近廣大受眾的學(xué)術(shù)渠道（如開放獲取期刊）或者知名媒體、講座和會議報告來實現(xiàn)?？赊D(zhuǎn)移性旨在解決具體社會問題的機構(gòu)科研產(chǎn)出或活動的可轉(zhuǎn)移性可以通過學(xué)術(shù)界以外的知識轉(zhuǎn)移成果來衡量，如專利申請、政策文件、行業(yè)標準和臨床試驗。關(guān)注度近期發(fā)表的研究論文獲得了多少關(guān)注也能表明它的未來社會影響力。關(guān)注度信尤其是從具體受眾的視角進行分析時。例如，在醫(yī)療衛(wèi)生組織使用的某個參考文獻管理應(yīng)用程序中，論文被收藏的頻率可能預(yù)示著它在“醫(yī)療”社會層面的我們評估框架中的每組指標都包含多個單獨指標，但使用者可能希望按指標組或社會層面來考察整體表現(xiàn)。這實現(xiàn)起來往往頗有難度，因為以有意義的方式將各個指標組合或聚合到一起并不簡單?？祁Ｎò惨呀?jīng)提供了一系列旨在促進全局決策方式的工具，采用的數(shù)據(jù)我們在此基礎(chǔ)上更進一步，讓單項指標能夠在一個給定的社會層面中聚合起來。我們會將這一框架納入即將推出的全新WebofScience科研資訊平臺。該平臺將支持用的方式聚合各項指標，從而配合使用者的評估需求。我們將針對各個社會層面為用戶提供總體表現(xiàn)將以“社會影響力全貌”的形式呈現(xiàn)。我們也可以提供全貌背后的具體指標，以這些數(shù)據(jù)必須清晰透明地反映類型多樣、程度各異的有影響力的活動，同時支持及時的決本節(jié)中，我們將通過代表性示例來總體說明社會影響力將如何顯示在即將推出的Webof某個機構(gòu)的社會影響力將用雷達圖來直觀顯示，圖中包含八個坐標軸，每個坐標軸都代表上述八個社會層面中的一個。為便于有效比較，“社會影響力全貌”上的每個點都代表一面有兩個點，其中一個點是用滯后指標組中的指標計算得出，另一個點是用先導(dǎo)指標組中圖1顯示了某綜合性機構(gòu)極為領(lǐng)先的“社會影響力全貌”。以其“影響力全貌（Impact也十分亮眼—該機構(gòu)在八個層面中有七個的表現(xiàn)都遠高于中位數(shù)水平（以內(nèi)圈線表示）。不出所料，該機構(gòu)的科研社會影響力在“醫(yī)療”層面表現(xiàn)出色，在其他層面則表現(xiàn)平平。然而，該機構(gòu)的滯后指標表明，它在醫(yī)學(xué)領(lǐng)域的跨學(xué)科研究對“技術(shù)”和“人力資本”層面產(chǎn)生了切實的外溢影響，而它在“環(huán)境”層面中的先導(dǎo)指標又顯示，該機構(gòu)有望對在某一給定層面中，如果一家機構(gòu)的“社會影響力全貌”顯示其先導(dǎo)指標與滯后指標在影如果先導(dǎo)指標的表現(xiàn)優(yōu)于滯后指標的表現(xiàn)，則表明這家機構(gòu)未來在該層面中的影響力有望如果先導(dǎo)指標的表現(xiàn)不及滯后指標的表現(xiàn)，則表明該機構(gòu)當前的能力可能不及以往，這或者是由于內(nèi)部原因—例如預(yù)算削減、某些研究計劃不受重視等等，或者是歸于外部因素—例如政治或經(jīng)濟不穩(wěn)定。要想保持以往的影響力水平，該機構(gòu)可能需要修正研究上面的雷達圖盡管是從機構(gòu)角度出發(fā)，但也能用于提供資助機構(gòu)層面的觀察視角。從資助機構(gòu)視角出發(fā)時，對滯后指標的分析將揭示資助機構(gòu)既往資助的科研活動產(chǎn)生了怎樣的社會影響力。相反，先導(dǎo)指標則預(yù)示著資助機構(gòu)近期資助的科研活動將產(chǎn)生怎樣的未來各機構(gòu)需要將自己的表現(xiàn)與其他機構(gòu)進行對標比較。了解自身相對于同行機構(gòu)的競爭優(yōu)勢-Z機構(gòu)，中東地區(qū)一所歷史較短的大學(xué)，Y機構(gòu)與該校爭奪研究生生源，特別學(xué)研究生生源。展示研究和教學(xué)成果所創(chuàng)造的現(xiàn)提升幅度最小的則是“人力資本”和“經(jīng)濟”層面，該機構(gòu)在這兩個層面滯后指標很高，總體來看，先導(dǎo)指標表明Y機構(gòu)有潛力成為世界一流大學(xué)，分析X機構(gòu)的基礎(chǔ)指標和數(shù)據(jù)點能讓我們從更細微的信號中了解X機構(gòu)的成功動因，這將有助指導(dǎo)Y機構(gòu)的長期發(fā)法律與治理法律與治理法律與治理法律與治理然而，兩家機構(gòu)在“社會與文化”和“醫(yī)療”層面卻表現(xiàn)相近，而后一層面正是雙方的關(guān)我們正在探索最適宜的數(shù)據(jù)聚合方式來創(chuàng)建雷達圖，以實現(xiàn)社會影響力可視化，并在國家我們正在開發(fā)一個新的社會影響力綜合評估框架，而本報告是一系列相關(guān)文獻中的首部作品。正如我們在引言中所述，公眾越發(fā)期待科研的社會影我們正在完善評估框架，以實現(xiàn)更多功能，如預(yù)測能力；的數(shù)據(jù)源來構(gòu)建一整套綜合全面的指標。我們承諾提供健康的指標、工具和分析我們將隨時分享工作進展，并歡迎任何與框架本身及其應(yīng)用相關(guān)的反饋意見。這見對我們構(gòu)建和完善本評估框架非常重要。我們期待打造出同時能為當下需求服1.UnitedNations(2023).Goal9.5|DepartmentofEconomicandSocialAffairs.[Online].Availableat:/goals/goal9#targets_and_indicators2.UNESCOInstitutionforStatistics(2024).HowmuchdoesyourcountryinvestinR&D?[Online].Availableat:/apps/visualisations/research-and-development-spending/3.UNESCO(2021).Statisticsandresources|2021ScienceReport.[Online].Availableat:/reports/science/2021/en/statistics4.UNESCO(2024).Glossary.[Online].Availableat:/en/glossary5.Rogers,G.(2024).G20Scorecard&ResearchPerformanceReport2024.[Online]ClAvailableat:/the-institute-for-scientific-information/2024-g20-scorecard/6.ResearchExcellenceFramework(2014).REhttps://impact.ref.ac.uk/casestudies/7.AustralianResearchCouncil(2023).EngagementandImpactAssessment|AustralianResearchCouncil.[Online]Availableat:.au/evaluating-research/ei-assessment8.UniversityGrantsCommittee(2020).ResearchAssessmentExercise2020HongKong.Avail.hk/eng/ugc/activity/research/rae/rae2020.html9.Griliches,Z.(1986).Productivity,R&D,andbasicresearchatthefirmlevelinthe1970s.AmericanEconomicReview,76,141-154.Availableat:/stable/180413210.Mansfield,E.(1990).Academicresearchandindustrialinnovation.ResearchPolicy,20,1-12.Availableat:/science/article/abs/pii/004873339190080A11.King'sCollegeLondon(2015).Thenature,scaleandbeneficiariesofresearchimp