信息資源共享系統(tǒng)績效評估指標體系的構(gòu)建.doc

信息資源共享系統(tǒng)績效評估指標體系的構(gòu)建張璇/肖希明2013-2-26 14:44:38來源：圖書情報工作(京)2009年19期【英文標題】Constructing Performance Evaluation Index System of InformationResource Sharing System【作者簡介】張璇，女，1983年生，碩士，發(fā)表論文6篇。中山大學圖書館廣州510275肖希明，男，1955年生，教授，博士生導師，發(fā)表論文110余篇。武漢大學信息管理學院武漢430072【內(nèi)容提要】 在分析現(xiàn)有的信息資源共享系統(tǒng)績效評估指標體系研究的基礎(chǔ)上，探討信息資源共享系統(tǒng)績效評估的要素、評估指標選取的原則，設計評估指標體系并明確其指標內(nèi)涵。最后通過對NSTL的實證分析，對評估指標體系的科學性和可行性進行驗證。Based on analyzing the existing research on performance evaluation index system of information resource sharing system, the paper discusses the influencing factors and the principles of selecting indicators of performance evaluation of information resource sharing system, designs the evaluation index system and analyses the connotation of each indicator. By the empirical study on performance evaluation of NSTL, the paper verifies the scientificity and feasibility of the index system. 【關(guān) 鍵 詞】信息資源共享系統(tǒng)/績效評估/指標體系Information resource sharing system/Performance evaluation/Index system1 引言信息資源共享系統(tǒng)績效評估即依照一定標準對信息資源共享系統(tǒng)在一段時期的成績和效益進行科學地分析和評價1，其核心問題是評估指標體系的構(gòu)建。國外學者很早就開始研究信息資源共享績效評估指標體系問題。1982年美國學者William B. Rouse定義了圖書館資源共享網(wǎng)絡的性能指標，提出了可靠性、彈性、可獲得性、可用性、可接受性、效率、效力及質(zhì)量控制8個評價指標2。近年來，有的國外學者進行了網(wǎng)絡服務績效評估研究，確定績效評估指標包括用戶、成本、網(wǎng)絡流量、使用、服務和支持6個方面3；國外一些專業(yè)機構(gòu)，如ARL(Association of Research Libraries)統(tǒng)計和評價委員會，對圖書館的電子資源、服務質(zhì)量和網(wǎng)絡對服務的影響等進行專門的評價，制定了一系列相關(guān)的評價指標體系，有效地推動了對信息資源共享系統(tǒng)運行、信息資源保障能力、信息資源利用情況以及用戶滿意度等要素的績效評估4。在我國，有學者對信息資源共享過程中的效率和效益進行分析，提出以資源本身結(jié)構(gòu)、信息資源傳輸和用戶可視化為要素的信息資源共享效度評價模式5；有的把信息資源共享率、信息輸出、輸入率和信息資源貢獻率作為評價和改進資源共享工作的主要評價指標6；有的從地區(qū)需求滿足狀況、技術(shù)條件和標準化評估、管理運行評估、政策法規(guī)建設評估4個方面構(gòu)建了以地區(qū)需求為導向的信息資源共享系統(tǒng)評估指標體系7。這些研究，從不同角度對信息資源共享的績效評估進行了有益的探索。但從整體上看，研究文獻數(shù)量還不多，且主要側(cè)重于對共享系統(tǒng)某一方面進行評估，整體性、綜合性比較薄弱。本文試圖從多層次對我國信息資源共享系統(tǒng)的績效評估問題進行綜合研究，并嘗試構(gòu)建一個既符合數(shù)字環(huán)境下信息資源共享規(guī)律、又切實可行的績效評估體系。2 信息資源共享系統(tǒng)績效評估的要素目前國內(nèi)外建立起來的信息資源共享系統(tǒng)盡管有不同的運行模式，但其評估都會涉及如下要素：2.1 資源因素資源因素涉及：數(shù)量因素，主要是指資源的規(guī)模效應8。衡量資源的數(shù)量，除了絕對數(shù)量之外，還有類型、品種、學科、語種等結(jié)構(gòu)數(shù)量布局。資源數(shù)量越豐富，越能促進用戶對資源的利用。質(zhì)量因素，包括所收錄資源的學術(shù)性、權(quán)威價值；對資源內(nèi)容的揭示深度和組織程度；資源內(nèi)容的時效性和資源更新周期等。從資源利用的角度分析，資源質(zhì)量涉及資源的可知曉性、可獲取性、獲取便利性3個方面，其中有關(guān)資源本身的因素包括資源的結(jié)構(gòu)分布、資源的組織和揭示、資源的存儲格式等。2.2 服務因素服務是連接資源和用戶的紐帶，也是制約績效的重要因素，它包括：量的因素，主要體現(xiàn)在服務覆蓋的范圍、服務的數(shù)量、服務響應時間等方面。一般來說，服務覆蓋范圍廣，服務量大，服務響應時間快，則績效越好。質(zhì)的因素，主要體現(xiàn)在服務的內(nèi)容和形式、網(wǎng)絡服務系統(tǒng)的質(zhì)量、服務滿意度等方面。對服務的內(nèi)容和形式而言，各種不同服務形式投入不盡相同，帶來的績效也有所不同。服務滿意度作為服務效果的直接反饋無疑是衡量共享系統(tǒng)績效的重要因子，在整個共享系統(tǒng)中都有著較高的關(guān)注度。2.3 人力因素人力因素主要是指服務人員和用戶人員兩者的專業(yè)能力和信息素質(zhì)。共享系統(tǒng)的服務人員，他們對共享系統(tǒng)資源的了解程度和信息服務能力直接影響著共享系統(tǒng)能否發(fā)揮和在多大程度上發(fā)揮其應有的效用，他們對本專業(yè)領(lǐng)域的知識水平?jīng)Q定其在提供服務的過程中能否向用戶提供最準確的信息。共享系統(tǒng)所服務的對象即最終用戶，他們的信息檢索和利用能力以及閱讀外文資料的水平和利用計算機的能力等都影響著對共享系統(tǒng)的利用程度。2.4 成本因素信息資源共享系統(tǒng)運行中的成本主要分為資源采集成本、系統(tǒng)運行成本、人力成本和用戶等待時間成本。由于信息資源共享系統(tǒng)的構(gòu)建和運作目標主要是避免和節(jié)省資源建設的重復投入，使資源配置達到最優(yōu)化，因此，在對信息資源共享系統(tǒng)進行績效評估時，不僅要考慮成本投入，更重要的是評估其成本節(jié)省程度。由于信息資源共享系統(tǒng)通常是由多個圖書情報機構(gòu)，為達到資源互補和共享的目的而形成的責任共擔的合作活動和項目，因此，不僅要對系統(tǒng)自身進行效益評價，還應對利用系統(tǒng)資源提供增值服務的機構(gòu)或個人所提供的服務及其效益進行評價，包括成員單位直接利用系統(tǒng)資源提供服務產(chǎn)生的效益；成員單位和其他機構(gòu)由于系統(tǒng)的資源或服務的支持，維持同等保障水平時減少投入帶來的效益；成員單位和其他機構(gòu)利用系統(tǒng)的資源、服務、技術(shù)所開發(fā)衍生的資源或延伸服務所產(chǎn)生的新的效益等9。3 信息資源共享系統(tǒng)績效評估指標選擇的原則3.1 操作性原則在選擇評估指標時，一方面應注意指標的實用性、操作方式的簡潔性和工作速度的高效性，另一方面要確保與指標對應的數(shù)據(jù)易于收集，其準確性、可靠性易于保證，避免過于復雜的計算10。3.2 定性與定量指標相結(jié)合原則在進行指標設定時，選擇適當?shù)亩吭u價指標，可以保證評價結(jié)果的科學準確。當然，針對不可量化和難以量化的因素進行評價，也需要設定部分定性指標。在進行定性指標評價時，可以選擇適當?shù)脑u價方法將反映基本特點的定性指標定量化、規(guī)范化?？紤]到信息資源共享系統(tǒng)績效形式的多樣性，在設計指標體系時，應采用定性與定量相結(jié)合的評估方法。3.3 籌兼顧原則原則上應將與共享系統(tǒng)自身、成員單位、用戶等相關(guān)的指標都納入進來，以保證評估的全面性和可信度。但是，也要避免指標體系過于龐雜，并統(tǒng)籌整體與個體、定性與定量的關(guān)系，最終統(tǒng)一到追求共享系統(tǒng)運作效率最優(yōu)化上。3.4 開放性原則隨著國家信息化建設的迅速發(fā)展，對信息需求的不斷變化，加之信息載體的轉(zhuǎn)變、科學技術(shù)的發(fā)展等，信息資源共享系統(tǒng)的功能定位、發(fā)展目標都將產(chǎn)生一定的變化，因而共享系統(tǒng)的績效評估指標也會隨之不斷發(fā)展。同時，不同的共享系統(tǒng)其運作方式和目標也不盡相同，因此評估指標體系的確定應考慮到指標選擇的可變通性和靈活性。4 各項評估指標及其內(nèi)涵遵循評估指標選擇的原則，選取有意義的績效評估要素，分層解析，即可構(gòu)建出一個層次清晰的三級評估指標體系，如表1所示。第一層由資源建設和資源利用效率、直接服務效益和延伸服務效益、減負效益和社會效益6個一級指標組成。第二層由18個二級指標組成。第三層由40個三級指標組成。4.1 A1資源建設4.1.1 B1資源保障率即從數(shù)量角度分析共享系統(tǒng)的資源對用戶信息需求的滿足能力?？捎脙蓚€指標來評價：C1資源覆蓋率，即共享系統(tǒng)所收錄的文獻資源數(shù)量占該領(lǐng)域文獻總數(shù)的比例；C2全文保障率，即共享系統(tǒng)所收錄的全文文獻占所有資源數(shù)量的比例。一般而言，用戶對資源的利用多傾向于全文文獻，資源總量中全文文獻比例越高，越能滿足用戶的資源利用需求。4.1.2 B2資源結(jié)構(gòu)和布局具體可以從C3學科分布、C4類型分布、C5語種分布、C6年代分布等方面來評價，分別指共享系統(tǒng)收錄的資源覆蓋的學科范圍、資源類型范圍、語種范圍和年代范圍。對學科分布進行評估，通常以現(xiàn)有的學科劃分為標準，也可以共享系統(tǒng)本身所規(guī)定的資源建設政策為標準；資源類型如學術(shù)期刊、會議論文、學位論文、專利技術(shù)、科技成果等；語種和年代也是反映資源結(jié)構(gòu)和布局的指標。4.1.3 B3資源質(zhì)量即從資源內(nèi)容的權(quán)威性、學術(shù)性等角度來反映資源的建設情況?？捎?個指標來評價：C7資料來源，指所收錄資源是否出自知名出版機構(gòu)或權(quán)威網(wǎng)站，或者資源的提供者是否是同際或國內(nèi)知名機構(gòu)；C8學術(shù)性，指從所收錄資源的影響因子或者被引用和轉(zhuǎn)載的情況等角度來判斷資源的質(zhì)量；C9同行評議，指某種資源被相關(guān)專業(yè)領(lǐng)域?qū)＜业脑u價情況，通常而言，同行專家評議較高的信息資源具有較高的權(quán)威性和質(zhì)量11。4.1.4 B4資源組織、檢索和存取對資源進行多種形式的分類和揭示，便于用戶查找和檢索，是資源有效利用的保證，也是反映資源建設質(zhì)量的重要指標。它包括4個指標：C10分類與揭示。對資源進行多層次分類，對其內(nèi)容進行標準規(guī)范的揭示，有利于用戶分類瀏覽和查找所需的資源。C11檢索功能。向用戶提供檢索平臺，運用多途徑和多形式的檢索方法，滿足不同用戶的資源檢索需求。對這一指標進行評價，主要考察其檢索平臺的友好性、易用性、智能性等方面。C12檢索效果。它反映了檢索系統(tǒng)的能力，主要從查全率和查準率這兩個數(shù)據(jù)來評價檢索效果。通常查全率與查準率是不可能達到100%的，兩者存在著一種互逆關(guān)系12。一般來說，對檢索效果采用定性評價，這兩個數(shù)據(jù)在用戶可接受范圍內(nèi)就可以認為檢索效果不錯。C13易存取性。反映數(shù)據(jù)資源系統(tǒng)輸出的方便性，即提供文獻資源的格式，如純文本或超文本格式、PDF格式或使用專用閱讀器。純文本或超文本格式一般由電腦系統(tǒng)自帶，比較方便；PDF格式符合國際標準，可閱讀各種數(shù)據(jù)庫提供的資源；而需要專用閱讀器讀取的數(shù)據(jù)格式對用戶利用會造成一定的不便。4.1.5 B5時效性任何資源都有時效性，雖然資源的質(zhì)量不完全由其新穎程度決定，但通常來說，資源更新越快，越能保證其質(zhì)量。可用C14更新頻率來衡量，即系統(tǒng)中資源的更新速度，如果所收錄的資源都是最新、最及時的資源，其數(shù)據(jù)質(zhì)量會不斷提高，資源利用率也會相應增加。4.2 A2資源利用效率4.2.1 B6資源利用情況指一定時間段內(nèi)用戶對資源利用的實際數(shù)據(jù)，這是一個定量指標。可從3個方面來評價：C15登錄次數(shù)、C16查詢檢索次數(shù)、C17全文下載次數(shù)，分別為用戶在一定時間段內(nèi)登錄資源共享系統(tǒng)、查詢和檢索以及下載資源的次數(shù)，它們在一定程度上反映了共享系統(tǒng)被關(guān)注程度和利用程度。4.2.2 B7資源輔助程度指共享系統(tǒng)自身的資源對其成員單位和用戶單位起到多大的輔助和補充作用。包括C18對成員單位的資源輔助程度、C19對用戶單位的資源輔助程度兩個指標。成員單位和用戶單位既是資源的利用者，也是提供資源的服務者，因此，利用共享系統(tǒng)的資源提供服務也體現(xiàn)了共享系統(tǒng)的資源利用效率。特別是對成員單位而言，得到共享系統(tǒng)的資源采集支持，不僅保障了部分直接需求資源的獲取，而且降低了資源建設的成本投入。4.3 A3直接服務效益指共享系統(tǒng)利用自身資源向用戶，包括成員單位、注冊用戶單位、個人用戶等提供各種信息服務的效益?？蓮?個方面的指標進行評價。4.3.1 B8服務范圍服務覆蓋的地理范圍反映了共享系統(tǒng)發(fā)揮效益的范圍，是衡量其效益的重要方面。它包括C20成員單位、鏡像站、服務站的覆蓋范圍和C21用戶群地理覆蓋范圍。兩者是服務提供者和實際享受服務者地理覆蓋的反映。4.3.2 B9服務內(nèi)容指共享系統(tǒng)直接提供服務的形式，其評價指標為C22直接服務形式和內(nèi)容。常見形式有文獻協(xié)調(diào)采購服務、聯(lián)機聯(lián)合編目、文獻檢索、館際互借和文獻傳遞服務、參考咨詢服務、電子資源導航、門戶信息服務等。評價其服務形式即考察對象是否提供了多種形式的服務，更好地滿足用戶的信息需求。4.3.3 B10直接服務量即共享系統(tǒng)在時間段內(nèi)直接提供服務的數(shù)量，包括C23文獻傳遞服務量、C24參考咨詢服務量。對這兩個指標進行定量分析，可以從共享系統(tǒng)提供的文獻傳遞服務和參考咨詢服務數(shù)量分別占用戶單位所有文獻傳遞數(shù)量和參考咨詢問題數(shù)量的比例來進行考察。4.3.4 B11服務響應時間指從提出服務請求到獲得服務所經(jīng)歷的時間，包括C25文獻傳遞服務從申請到獲得文獻時間、C26參考咨詢服務從咨詢到回復時間、C27檢索系統(tǒng)響應時間。服務響應時間本質(zhì)上是用戶所服務的時間成本，時間越短，服務效率越高，對用戶越有利。4.3.5 B12服務滿意率這里設計了三個滿意度指標：C28文獻傳遞服務滿意度，包括對文獻傳遞服務時間、價格、服務態(tài)度、服務效果的綜合滿意度；C29參考咨詢服務滿意度，包括對參考咨詢服務時間、服務態(tài)度、服務效果的綜合滿意度；C30檢索系統(tǒng)滿意度，包括對檢索系統(tǒng)的響應時間、檢索功能和效果的綜合滿意度。4.4 A4延伸服務效益指借助共享系統(tǒng)的資源、技術(shù)和服務等優(yōu)勢提高成員單位和其他單位的服務能力或拓展服務內(nèi)容而產(chǎn)生的效益。4.4.1 B13延伸服務形式指成員單位和其他單位借助共享系統(tǒng)的資源優(yōu)勢，自主開展服務的形式。通過C31成員單位利用共享系統(tǒng)的資源而延伸提供的服務形式這個指標來衡量。常見的服務形式有原文傳遞、代查代檢、決策咨詢等。4.4.2 B14延伸服務效果即成員單位和其他單位提供延伸服務的實際狀態(tài)?？捎肅32服務次數(shù)、C33服務滿意度來評價。這兩個指標將定量和定性評價相結(jié)合。4.5 A5減負效益指通過成本和投入的節(jié)省來衡量共享系統(tǒng)運行所帶來的實惠，即從經(jīng)濟角度分析共享系統(tǒng)的運作效率。4.5.1 B15采購成本降低率即資源建設費用的節(jié)省程度。從成員單位和用戶單位兩個角度分析，可分為：C34聯(lián)合采購對成員單位經(jīng)費降低率，是指共享系統(tǒng)對成員單位的資源采集經(jīng)費支持率；C35資源輔助對其他單位經(jīng)費降低率，指由于共享系統(tǒng)的資源輔助，對其他單位這部分資源采集經(jīng)費的節(jié)省程度。4.5.2 B16運營成本降低率主要是指人力運行、管理和技術(shù)支撐等方面為成員單位和其他單位費用的節(jié)省程度。從兩個指標進行評價：C36技術(shù)支持成本，有些單位利用共享系統(tǒng)的服務界面直接（鏈接或嵌入）作為自己的服務系統(tǒng)或在此基礎(chǔ)上開發(fā)服務系統(tǒng)而節(jié)省的技術(shù)方面的成本；C37人力成本，指有些單位在人力資源和管理等方面節(jié)省的成本。4.6 A6社會效益即從人文角度衡量共享系統(tǒng)對社會信息化發(fā)展的影響程度。這是很難定量評估的，因此主要采用定性指標來衡量。4.6.1 B17社會活動考核共享系統(tǒng)開展了哪些社會活動，分為兩個指標：C38與其他機構(gòu)合作活動，C39培訓活動。合作和培訓等活動可以體現(xiàn)共享系統(tǒng)在社會上的活動能力和影響力，主要從是否開展這些活動、是否定期開展等方面進行評價。4.6.2 B18社會影響即共享系統(tǒng)所產(chǎn)生的長久的社會公眾反響，可用C40對資源共享人文環(huán)境的影響來衡量。表現(xiàn)為國際和國內(nèi)社會、公眾對共享系統(tǒng)的認可程度以及共享系統(tǒng)通過制定、支持相關(guān)的信息政策和信息活動而營造和改善的信息共享環(huán)境等。由于不同的指標對共享系統(tǒng)績效的影響是不一樣的，因此，一套科學和有效的評估指標體系必須對所選指標進行權(quán)重分析，并得出權(quán)重集。筆者采用層次分析法（AHP方法），通過專家調(diào)查法向?qū)I(yè)學者、各界圖書館工作者以及在校博士生等收集數(shù)據(jù)，用定量與定性相結(jié)合的方法對指標進行打分，運用統(tǒng)計學的方法得出評價結(jié)果，最終確立了信息資源共享系統(tǒng)績效評估指標體系表。5 實證研究以NSTL為例為驗證指標體系的科學性和可行性，筆者選擇了國家科技圖書文獻中心(NSTL)進行驗證性的評估。NSTL是一個基于網(wǎng)絡環(huán)境的、公益性的、面向全國的科技文獻信息服務機構(gòu)，是目前正在運行的一個重要的信息資源共享系統(tǒng)。筆者首先針對40個三級指標設定詳細的評分規(guī)則和標準，確立指標分值計算方法。為收集NSTL績效評估所需要的數(shù)據(jù)，筆者通過實地走訪、與專家交談、電話采訪和發(fā)放成員單位調(diào)查問卷等多種形式，最終得到40個指標中28個指標的實際得分。由于種種原因，有些數(shù)據(jù)無法得到，但根據(jù)已得到的部分指標的得分情況，可以大體反映出NSTL的績效狀況。NSTL的優(yōu)勢主要體現(xiàn)在3個方面：資源組織。NSTL對資源的分類、揭示做得很好，揭示層次達到文摘級，且著錄詳細、規(guī)范，對數(shù)字資源建設起到了示范作用。對成員單位的支持力度。七個成員單位的資源采集絕大部分來自于NSTL的經(jīng)費支持，對各成員單位的館藏發(fā)展起到了關(guān)鍵性作用。文獻傳遞服務。NSTL的外文科技文獻資源優(yōu)勢明顯，為用戶提供的文獻傳遞服務主要以外文科技期刊為主，且服務量逐年增加。然而，從績效得分中也可以看出NSTL目前所存在的一些不足：資源總量和布局。NSTL的資源建設目標是建立外文文獻的全面保障，雖然NSTL外文科技期刊、會議錄、科技報告等資源的訂購數(shù)均已占國內(nèi)訂購品種數(shù)的60%以上，但相對于國外文獻資源龐大的基數(shù)，其覆蓋率還是較低；在布局方面，有些學科的資源比較薄弱，訂購率較低，語種方面也不均衡。NSTL的資源影響力。雖然NSTL目前的鏡像站、服務站覆蓋多個地方，注冊用戶也遍布全國各地，但是由于NSTL成員單位集中在北京，是一種中心模式的共享系統(tǒng)，其資源影響力分布不均；并且由于NSTL主要依靠自己的網(wǎng)站提供服務，對終極個人用戶而言，其影響力遠不及本機構(gòu)圖書館的門戶網(wǎng)站?！緟⒖嘉墨I】 1劉彥麗，梁南燕.服務績效評估促進信息資源共建共享的可持續(xù)發(fā)展.圖書情報工作.2008,52(