“CALIS_高校學(xué)位論文數(shù)據(jù)庫”可行性研究報告-CALIS工程中心-清華大學(xué)圖書館

1、匯報內(nèi)容,一、立項背景和需求 二、總體目標 三、主要建設(shè)內(nèi)容 四、實施方案(組織管理、總體框架、技術(shù)路線等) 五、實施進度,立項背景和需求, 背景 近年來，國際范圍內(nèi)學(xué)位論文的網(wǎng)上利用已成趨勢， 可歸納為兩種模式： 美國UMI公司的商業(yè)性數(shù)據(jù)庫PQDD 采用集中建庫、分級服務(wù)的模式； 由于UMI較為公平地處理學(xué)位論文的知識產(chǎn)權(quán)。該數(shù)據(jù)庫在全球范圍內(nèi)的到公認和廣泛應(yīng)用； 國內(nèi)同方光盤公司出版發(fā)行的中國優(yōu)秀博碩士學(xué)位論文全文數(shù)據(jù)庫采用了類同PQDD的集中建庫模式。,NDLTD（博碩士論文網(wǎng)絡(luò)數(shù)字圖書館） 由美國弗吉尼亞理工大學(xué)計算機學(xué)教授Edward Fox在1997年發(fā)起建立，目前有世界范圍的1

2、85個成員； 采用元數(shù)據(jù)集中建庫，學(xué)位論文全文由各學(xué)校在本地建庫的模式。通過OAI協(xié)議收集元數(shù)據(jù)，用戶檢索元數(shù)據(jù)庫，通過OPENURL技術(shù)鏈接到分布在各學(xué)校的論文全文。 這種模式符合網(wǎng)絡(luò)環(huán)境下數(shù)字資源開放建設(shè)和分布服務(wù)的發(fā)展趨勢。近幾年臺灣地區(qū)建立的eThesys系統(tǒng)也采用類同架構(gòu)。 “十五”期間，“CALIS高校學(xué)位論文數(shù)據(jù)庫”的建設(shè)參考了NDLTD模式。,立項背景和需求（續(xù)）, 需求 博碩士學(xué)位論文集中反映了學(xué)校的教學(xué)、科研成果，是廣大師生十分重視的一種學(xué)術(shù)文獻。 近十幾年來，絕大部分學(xué)位論文都采用了計算機錄入、排版和打印，由此產(chǎn)生了大量的“原生”的電子文本。 在沒有建立起電子版學(xué)位論文（

3、ETD）收藏機制之前，每年大量的電子文本隨畢業(yè)生的離校而流失，這對學(xué)位論文的電子化利用是非常遺憾的事情。 清華大學(xué)自2000年6月開始進行ETD全文的收集工作，目前已積累四年(8批)電子版博碩士學(xué)位論文1萬余篇。,立項背景和需求（續(xù)）,2001年以來，北京大學(xué)、北京農(nóng)業(yè)大學(xué)、武漢大學(xué)、吉林大學(xué)、廈門大學(xué)、西安交通大學(xué)、東南大學(xué)等10余所學(xué)校也陸續(xù)建立了本校的學(xué)位論文提交和發(fā)布服務(wù)系統(tǒng)，反映了高校普遍希望改變傳統(tǒng)紙本學(xué)位論文收藏和服務(wù)方式的需求。 在數(shù)字圖書館建設(shè)的浪潮下，國內(nèi)圖書館都在尋找自己的切入點，想做一些數(shù)字資源建設(shè)方面的事情。而電子版學(xué)位論文（ETD）正是各學(xué)校源源不斷“自產(chǎn)”的，最有

4、條件、有能力收集全、利用好的“原生”數(shù)字資源。,立項背景和需求（續(xù)）,在“九五”期間建設(shè)的博碩士學(xué)位論文文摘數(shù)據(jù)庫基礎(chǔ)上，建設(shè)一個提供集中式檢索（含前16頁全文瀏覽）、分布式全文獲取服務(wù)的CALIS高校博碩士學(xué)位論文數(shù)據(jù)庫。為高校范圍內(nèi)的讀者通過網(wǎng)絡(luò)共享學(xué)位論文信息提供途徑和保障，促進高校教學(xué)、科研水平的交流與提高。,總體目標,包括三部分： 1.分布建立本地學(xué)位論文網(wǎng)上提交與 發(fā)布系統(tǒng) 2.增加CALIS高校學(xué)位論文庫數(shù)據(jù)量 （元數(shù)據(jù)前16頁全文） 3.建立學(xué)位論文集中檢索服務(wù)平臺和 共享機制,主要建設(shè)內(nèi)容,1. 分布建立本地學(xué)位論文網(wǎng)上提交與發(fā)布系統(tǒng) 借鑒國際上學(xué)位論文網(wǎng)上提交和利用的經(jīng)驗，

5、綜合國內(nèi)高校的實際需求，接洽軟件開發(fā)商開發(fā)“學(xué)位論文網(wǎng)上提交與發(fā)布系統(tǒng)”，推薦參建學(xué)校使用。 從本地系統(tǒng)應(yīng)用出發(fā)，促進高校范圍內(nèi)普遍建立起： 新型的學(xué)位論文網(wǎng)上提交與管理機制； 本地學(xué)位論文全文網(wǎng)上檢索服務(wù)系統(tǒng)。 打破高校多年來以收藏紙本學(xué)位論文為主，學(xué)位論文文獻未能得以充分利用的局面。,主要建設(shè)內(nèi)容（續(xù)）,2. 增加CALIS高校學(xué)位論文庫數(shù)據(jù)量 “九五”期間，高校學(xué)位論文文摘庫的數(shù)據(jù)量約10萬條?！笆濉毙略鰯?shù)據(jù)量10萬條，新增數(shù)據(jù)中可提供論文前16頁瀏覽的比例不低于80%,可提供全文服務(wù)（包括直接下載或文獻傳遞）的比例不低于70%。 “九五”期間完成的10萬條數(shù)據(jù)經(jīng)轉(zhuǎn)換后與“十五”期間新

6、增的10萬條數(shù)據(jù)歸并在同一數(shù)據(jù)庫結(jié)構(gòu)中提供服務(wù)。 在“十五”經(jīng)費支持下，CALIS學(xué)位論文庫的總數(shù)據(jù)量達20萬條。,主要建設(shè)內(nèi)容（續(xù)）,3. 建立學(xué)位論文集中檢索服務(wù)平臺和共享機制 采用“OAI-PMH”和“METS”機制自動收集分布 在參建單位的元數(shù)據(jù)和前16頁全文； 集中檢索CALIS學(xué)位論文庫的元數(shù)據(jù)； 提供獲取論文全文的鏈接調(diào)度功能； 數(shù)據(jù)庫訪問、全文獲取、用戶登錄等統(tǒng)計功能； 個性化定制推送服務(wù)； 建立遵循知識產(chǎn)權(quán)公平利用學(xué)位論文的網(wǎng)上共享機制。,主要建設(shè)內(nèi)容（續(xù)）,CALIS學(xué)位論文數(shù)據(jù)庫的檢索和服務(wù): 在元數(shù)據(jù)級 公開免費提供檢索 論文前16頁 公開免費提供瀏覽 論文全文 通過認

7、證結(jié)算機制在線瀏覽 通過館際互借/文獻傳遞離線獲取 以兩套系統(tǒng)的建設(shè)牽動：網(wǎng)上提交發(fā)布系統(tǒng)（本地） 集中檢索服務(wù)系統(tǒng)（清華） 廣泛建立起新的學(xué)位論文收集和利用機制： 網(wǎng)上提交、電子版保存與服務(wù)、公平共享(互惠),主要建設(shè)內(nèi)容（續(xù)）,包括六部分： 1.現(xiàn)有基礎(chǔ) 5.技術(shù)路線 2.組織管理 6.技術(shù)難點 3.建設(shè)方式 7.互操作 4.總體框架和功能,實施方案（續(xù)）, 現(xiàn)有基礎(chǔ) “九五”期間， “CALIS高校學(xué)位論文文摘庫”數(shù)據(jù)超出10萬條，參建學(xué)校近百所。 “九五”期間，先后組織了三次全國性的建庫人員培訓(xùn)和研討會，培訓(xùn)骨干人員150多人次。 在項目組織和實施中，清華圖書館與參建單位形成了良好的合

8、作關(guān)系，積累了項目組織和協(xié)作經(jīng)驗。 清華圖書館參與了科技部我國數(shù)字圖書館標準規(guī)范建設(shè)項目，側(cè)重“專門元數(shù)據(jù)”子項目中“學(xué)位論文元數(shù)據(jù)標準規(guī)范” 的研究和制定。,實施方案（續(xù)）, 組織管理 在“CALIS工程中心管委會”領(lǐng)導(dǎo)下，成立由項目牽頭單位、項目參建單位代表組成的“項目管理小組”，負責(zé)整個項目的組織、協(xié)調(diào)等工作。 項目管理小組由8所學(xué)校圖書館的代表組成： 北京大學(xué)、中國農(nóng)業(yè)大學(xué)、吉林大學(xué)、 上海交通大學(xué)、武漢大學(xué)、中山大學(xué)、 西安交通大學(xué)、清華大學(xué) 清華大學(xué)圖書館任組長單位并成立項目實施小組。,實施方案（續(xù)）, 組織管理 出于盡量全面地收集高校范圍內(nèi)的學(xué)位論文資源的考慮，鼓勵所有“211”

9、高校申請參加本項目，也歡迎非“211”高校申請參加。 通過填寫“成員單位基本信息登記表”和簽定“CALIS高校學(xué)位論文全文數(shù)據(jù)庫建設(shè)協(xié)議書”的形式確定參建單位的義務(wù)、責(zé)任和權(quán)利。,實施方案（續(xù)）, 建設(shè)方式 “CALIS學(xué)位論文全文數(shù)據(jù)庫”采用元數(shù)據(jù)集中建庫、論文全文分散建庫的兩級保障模式。 項目主持單位（清華圖書館）負責(zé)元數(shù)據(jù)建庫并提供集中檢索和服務(wù)。 各參建單位在本地建立起本校的“學(xué)位論文網(wǎng)上提交系統(tǒng)”和“學(xué)位論文全文檢索系統(tǒng)”；遵循本項目制定的學(xué)位論文元數(shù)據(jù)標準規(guī)范提交統(tǒng)一格式的元數(shù)據(jù)，論文全文的訪問權(quán)限（知識產(chǎn)權(quán)）由各學(xué)校自主控制。,實施方案（續(xù)）, 總體框架 方案設(shè)計盡量與國際接軌，

10、采用開放、先進的主流技術(shù)。 針對分布環(huán)境下的元數(shù)據(jù)收集，采用遵循“OAI-PMH”機制的自動收割技術(shù)。 各參建單位作為OAI協(xié)議的數(shù)據(jù)提供方，負責(zé)建立本地的學(xué)位論文提交和發(fā)布系統(tǒng)。清華圖書館作為服務(wù)提供方，向分布在各參建單位的數(shù)據(jù)庫(數(shù)據(jù)提供方)發(fā)出請求，抓取元數(shù)據(jù)。 前16頁全文的收集采用METS機制（類似OAI自動收集）。 用戶通過集中的元數(shù)據(jù)庫檢索到論文信息后，通過OPENURL和CALIS-OID技術(shù)鏈接到分布在各學(xué)校的論文全文。,實施方案（續(xù)）,元數(shù)據(jù)收割器,TPI論文提交發(fā)布系統(tǒng),方正論文提交發(fā)布系統(tǒng),北大數(shù)圖所論文提交發(fā)布系統(tǒng),其它平臺,TRS論文提交發(fā)布系統(tǒng),OAI Data

11、Provider,全文鏈接（OpenURL）,索引,用戶界面,統(tǒng)計與評估模塊,資源調(diào)度模塊,與CALIS大系統(tǒng)接口,結(jié)算模塊,學(xué)位論文 元數(shù)據(jù)庫,OAI Service Provider,收割進度設(shè)置模塊,收割管理模塊,OAI HarvesterServer,數(shù)據(jù)提供方注冊管理,OAI-PMH,CALIS學(xué)位論文全文數(shù)據(jù)庫總體框架, CALIS學(xué)位論文全文數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu)與功能 OAI Data Provider：各參建單位作為OAI協(xié)議的數(shù)據(jù)提供方，本地需要建立OAI Data Provider接口并提供DC和CALIS_ETD兩種數(shù)據(jù)格式。本地系統(tǒng)的安裝和維護由參建單位負責(zé)。 OAI Har

12、vester：清華圖書館作為服務(wù)提供方負責(zé)建立OAI Harvester接口，設(shè)置數(shù)據(jù)收割進度、管理數(shù)據(jù)提供方的注冊和登記，提供日志分析功能，提供對收割不成功記錄的再次收割功能等。,實施方案（續(xù)）,OAI Service Provider：“CALIS學(xué)位論文元數(shù)據(jù)庫”作為OAI服務(wù)提供方，存放從各參建單位收割來的元數(shù)據(jù)，通過集中檢索服務(wù)平臺，對參建單位范圍內(nèi)的用戶提供免費元數(shù)據(jù)檢索服務(wù)，對參建單位外的用戶提供收費檢索服務(wù)。 該系統(tǒng)支持按學(xué)科分類瀏覽、查詢（簡單檢索、復(fù)雜檢索）等功能。提供通過OPENURL技術(shù)鏈接到分散在各參建單位的全文；提供統(tǒng)計與評估接口；提供與CALIS總體平臺的接口（認

13、證接口、日志訪問接口、統(tǒng)計接口、結(jié)算接口、資源調(diào)度接口等）。,實施方案（續(xù)）,審核和編目,學(xué)生,審核員,編目員,發(fā)布服務(wù),不合格,合格,論文編目,檢索,提交模塊,文檔標準化（全文）,原有論文數(shù)據(jù)遷移,論文審核,論文發(fā)布,提交表單,統(tǒng)計與評估,結(jié)算模塊,OAI接口,本地學(xué)位論文提交和發(fā)布系統(tǒng)結(jié)構(gòu)流程, 本地學(xué)位論文提交和發(fā)布系統(tǒng)功能 論文提交模塊: 研究生通過網(wǎng)絡(luò)提交元數(shù)據(jù)信息并上載論文全文，可以網(wǎng)上修改已提交的論文信息，網(wǎng)上查詢論文是否審核通過。 管理員審核模塊: 圖書館員從格式的正確性、內(nèi)容的完整性等方面審核驗收論文全文，也包括審核對應(yīng)的元數(shù)據(jù)信息。 編目模塊: 圖書館員對記錄做編目處理，加

14、入一些必須的館藏信息、權(quán)限控制信息等。 文檔標準化: 將word格式的文件批量轉(zhuǎn)換成PDF等格式的文件，包括對使用權(quán)限的處理。 發(fā)布服務(wù)和檢索模塊: 實現(xiàn)全文檢索、學(xué)科分類瀏覽以及論文全文瀏覽等功能。提供認證、結(jié)算、統(tǒng)計與評估模塊的接口以及OAI數(shù)據(jù)提供接口。,實施方案（續(xù)）, 技術(shù)路線 項目涉及的標準規(guī)范盡量采用國內(nèi)外已有的通用標準(如OAI-PMH、METS、OPENURL、Web Service以及我國數(shù)字圖書館標準規(guī)范等)，擴展部分遵照CALIS統(tǒng)一規(guī)定(如:ODL接口協(xié)議,CALIS-OID技術(shù)等)。 針對各單位本地學(xué)位論文提交發(fā)布系統(tǒng)的建設(shè)，項目實施組在廣泛調(diào)研的基礎(chǔ)上，已選擇有經(jīng)

15、驗和開發(fā)實力的軟件商根據(jù)項目需求進行了二次開發(fā)（增加OAI接口等），并以組團購買的方式爭取到優(yōu)惠價格。推薦各參建單位購買成熟的商業(yè)軟件，減少重復(fù)開發(fā)、成本低見效快。 針對學(xué)位論文集中檢索服務(wù)系統(tǒng)的建設(shè)，項目實施組計劃在廣泛調(diào)研的基礎(chǔ)上，綜合國內(nèi)外同類系統(tǒng)的先進技術(shù)，提出系統(tǒng)需求和設(shè)計方案，通過招標或邀標的方式選擇有經(jīng)驗、有實力的軟件商開發(fā)。,實施方案（續(xù)）, 技術(shù)難點 1）論文全文（PDF格式）的權(quán)限控制； 2）論文題目、文摘中特殊字符、各類公式的錄入和展示； 3）基于OAI協(xié)議收割數(shù)據(jù)的質(zhì)量控制； 4）兩級系統(tǒng)（分布、集中）中的認證和結(jié)算功能等。 擬采用的解決途徑： 采用(嵌入)CALIS管

16、理中心已經(jīng)開發(fā)的模塊; 開展更廣泛的調(diào)研，挖掘出已有的成熟技術(shù)； 在招標中提出需求，由軟件開發(fā)商解決； 設(shè)立項目子課題，邀請或者聯(lián)合有研究基礎(chǔ)的單位攻關(guān)。,實施方案（續(xù)）, 互操作 本項目系統(tǒng)接口涉及到三部分： 學(xué)位論文集中檢索服務(wù)系統(tǒng)與CALIS整體平臺之間； 各校學(xué)位論文提交和發(fā)布系統(tǒng)與CALIS整體平臺之間； 學(xué)位論文集中檢索服務(wù)系統(tǒng)與各校學(xué)位論文提交和 發(fā)布系統(tǒng)之間。 它們之間的關(guān)系如表1所示。,實施方案（續(xù)）,實施方案（續(xù)）,實施進度,擬采用先啟動提交、發(fā)布系統(tǒng)建設(shè)，盡快收集數(shù)據(jù)，后建立集中檢索服務(wù)平臺的步驟，分三個階段： 第一階段 調(diào)查規(guī)劃階段（2002年8月2003年4月） 調(diào)研國內(nèi)外學(xué)位論文系統(tǒng)發(fā)展狀況，確定項目實施方案和技術(shù)路線； 申請立項并籌備成立項目管理組。召開項目管理組第一次工作會議，討論通過本項目的整體規(guī)劃、實施方案和技術(shù)路線; 調(diào)研商業(yè)平臺，選擇、比較不同平臺上的有代表性的3-4個系統(tǒng)，提出“學(xué)位論文提交與發(fā)布系統(tǒng)”的用戶需求和系統(tǒng)功能，接洽軟件開發(fā)商進行技術(shù)開發(fā)。,第二階段 啟動實施階段（2003年4月2004年6月） 起草“學(xué)位論文元數(shù)據(jù)標準方案”，確定核心表單數(shù)據(jù)項； 分批召開項目啟動、培訓(xùn)會議，幫助參建單位簽定“學(xué)位論文提交與發(fā)布系統(tǒng)”的購買協(xié)議，落實系統(tǒng)安裝和開通運行； 參建單位安裝運行學(xué)位論文提交與發(fā)布