數(shù)字化圖書館解決專項方案V

數(shù)字化圖書館處理方案1圖書館信息化概述現(xiàn)在在Internet和信息技術(shù)不停發(fā)展時代，對高等院校教學(xué)和管理帶來了深遠(yuǎn)影響，網(wǎng)絡(luò)遠(yuǎn)程教學(xué)、多媒體應(yīng)用、數(shù)據(jù)查閱、信息管理等應(yīng)用已經(jīng)成為高校教學(xué)和科研關(guān)鍵一環(huán)，并逐步和學(xué)校教學(xué)、服務(wù)和科研融為一體。高校校園網(wǎng)建設(shè)、網(wǎng)絡(luò)中心規(guī)模和數(shù)字圖書館已經(jīng)成為全方面衡量高等學(xué)校信息化水平三項關(guān)鍵指標(biāo)。圖書館除向全校師生提供教學(xué)、科研和數(shù)字化信息服務(wù)外，還面向社會為眾多單位提供培訓(xùn)及咨詢服務(wù)。伴隨計算機(jī)應(yīng)用發(fā)展，圖書館服務(wù)器和數(shù)據(jù)量急速增加，管理復(fù)雜程度越來越大。數(shù)字化圖書館是一個運(yùn)行在高速寬帶網(wǎng)絡(luò)上、可跨庫檢索海量數(shù)字化信息資源庫群，對有價值圖像、文本、語音、影像、影視、軟件和科學(xué)數(shù)據(jù)等多媒體信息進(jìn)行搜集，進(jìn)行數(shù)字化加工、存放和管理，實施知識增值，并提供基于網(wǎng)絡(luò)電子存取服務(wù)。數(shù)字圖書館在本質(zhì)上就是一個集數(shù)據(jù)庫應(yīng)用平臺、信息資源電子商務(wù)平臺和資源數(shù)字化加工服務(wù)平臺于一體巨大數(shù)據(jù)倉庫，以互聯(lián)網(wǎng)為平臺，面向高校內(nèi)部廣大師生和外部互聯(lián)網(wǎng)用戶提供基于內(nèi)容服務(wù)。作為圖書館發(fā)展方向，數(shù)字圖書館應(yīng)以統(tǒng)一標(biāo)準(zhǔn)和規(guī)范為基礎(chǔ)、以數(shù)字化多種信息為底層、以分布式海量資源庫群為支撐、以智能檢索技術(shù)為手段、以電子商務(wù)為管理方法，以寬帶高速網(wǎng)絡(luò)為傳輸通道，將豐富多彩多媒體信息立即傳輸給用戶。2圖書館系統(tǒng)概述數(shù)字圖書館系統(tǒng)是一個基于Internet/Intranet分布式環(huán)境、能夠針對用戶需要提供信息服務(wù)分布式海量信息系統(tǒng)，其基礎(chǔ)功效包含：提供用戶交互式信息瀏覽、查詢，含有基于內(nèi)容和知識檢索引擎。支持連續(xù)媒體網(wǎng)絡(luò)傳輸，數(shù)字化圖書館所支持?jǐn)?shù)據(jù)類型包含含有時間基連續(xù)媒體信息；支持多媒體信息流同時和集成，建立優(yōu)異同時模型和同時機(jī)制確保靜態(tài)信息流空間同時和動態(tài)信息流間時間同時。建立通用、標(biāo)準(zhǔn)和規(guī)范數(shù)字化圖書館系統(tǒng)結(jié)構(gòu)模型，提供數(shù)字化圖書館系統(tǒng)有效資源管理和控制功效。支持動態(tài)服務(wù)質(zhì)量（QoS）管理機(jī)制，系統(tǒng)能夠依據(jù)用戶請求、系統(tǒng)檢測和資源均衡需求，動態(tài)地調(diào)整用戶端QoS參數(shù)。數(shù)字化圖書館系統(tǒng)中心服務(wù)器和媒體服務(wù)器應(yīng)該含有可伸縮體系結(jié)構(gòu)，依據(jù)資源使用情況，采取合適負(fù)載平衡策略，把信息存取和網(wǎng)絡(luò)傳輸負(fù)載均衡到對應(yīng)機(jī)群中，同時，系統(tǒng)含有信息存放和網(wǎng)絡(luò)帶寬可擴(kuò)展性。

系統(tǒng)含有透明性，信息重組在一定條件下是可見，不過對用戶是透明。系統(tǒng)含有可移植性，含有可運(yùn)行特征媒體信息在不一樣運(yùn)行環(huán)境下全部能夠再現(xiàn)圖書館關(guān)鍵組成部分：圖書館管理系統(tǒng)數(shù)據(jù)庫電子期刊庫電子圖書庫碩博論文庫自建數(shù)據(jù)庫：論文、期刊、圖書、聲像、教參等等音視頻資源管理系統(tǒng)網(wǎng)絡(luò)接入認(rèn)證系統(tǒng)門戶網(wǎng)站博客服務(wù)論壇服務(wù)FTP系統(tǒng)等等所以，能夠說建設(shè)數(shù)字圖書館關(guān)鍵技術(shù)在于存放系統(tǒng)，一個良好存放系統(tǒng)處理方案應(yīng)能適應(yīng)圖書數(shù)據(jù)海量存放和不停增加，同時能夠滿足當(dāng)今網(wǎng)絡(luò)環(huán)境復(fù)雜性和擴(kuò)展性不停提升。這么目標(biāo)無疑對存放系統(tǒng)要求很高，既要求高可用性、高可靠度和大容量，還需要低成本和易安裝管理。

3圖書館信息系統(tǒng)需求分析數(shù)字化圖書館就是將圖書館文件信息數(shù)字化，并利用計算機(jī)技術(shù)儲存、查詢和公布，以滿足當(dāng)?shù)鼗蜻h(yuǎn)程讀者對文本、圖像、聲音等不一樣種類信息需求。數(shù)字圖書館顯著特點就是：多種信息（文件，期刊，圖書，報紙，論文，音樂，視頻等）數(shù)字化；海量數(shù)據(jù)存放和管理；對數(shù)據(jù)有效訪問和查詢；數(shù)字化資料在網(wǎng)上公布和傳輸。數(shù)字化圖書館開發(fā)和建立是計算機(jī)、通信和網(wǎng)絡(luò)技術(shù)、海量存放技術(shù)和多媒體技術(shù)有機(jī)結(jié)合產(chǎn)物，而且還引進(jìn)了大量數(shù)據(jù)庫技術(shù)及概念。圖書館存放系統(tǒng)需要存放以下內(nèi)容數(shù)據(jù)信息：數(shù)據(jù)庫：通常采取MSSQL和Oracle數(shù)據(jù)庫，數(shù)據(jù)量不大，通常在幾GB以內(nèi)，且數(shù)據(jù)增量不大。電子圖書：以文本文件存放和讀取為主，文件大小通常為32KB--64MB視頻資料信息：包含電影資料VCD/DVD形式，MPEG2/4形式，以大文件形式存放，流媒體讀取為主.文件大小通常為80MB--5GB電子期刊：以文本文件存放和讀取為主，文件大小通常為32KB--64MB其它電子信息資料：包含音頻資料，碩博論文，自建資源庫，教參等等，以文件方法存放，以流媒體或文件方法讀取，文件大小通常為32KB--40MB在圖書館中，數(shù)據(jù)庫管理和操作是最關(guān)鍵問題，全部電子圖書、期刊和多媒體數(shù)據(jù)全部存放在大容量存放系統(tǒng)中，存放系統(tǒng)是整個數(shù)字圖書館支撐點。依據(jù)圖書館中數(shù)據(jù)特點來分析數(shù)字圖書館數(shù)據(jù)應(yīng)用特點，數(shù)字圖書館大致可劃分為以下兩種類型數(shù)據(jù)：數(shù)據(jù)庫類型數(shù)據(jù)：圖書館管理系統(tǒng)和外購商用軟件系統(tǒng)和自建系統(tǒng)數(shù)據(jù)庫。需要提供高速數(shù)據(jù)檢索和查詢服務(wù)，數(shù)據(jù)訪問速度要求高。需要提供7*二十四小時高可靠運(yùn)行文件型數(shù)據(jù)：包含電子圖書，期刊，論文，自建數(shù)據(jù)資源，影視頻資料文件等等。需要提供大容量數(shù)據(jù)存放空間。大量數(shù)據(jù)處于靜止?fàn)顟B(tài)，少部分?jǐn)?shù)據(jù)在對應(yīng)時間內(nèi)處于活躍狀態(tài)。數(shù)據(jù)訪問速度通常沒有嚴(yán)格要求。伴隨圖書館數(shù)字化進(jìn)程逐步深入，圖書館應(yīng)用系統(tǒng)越來越多，環(huán)境也變得越來越復(fù)雜，這無形中增加了圖書館管理人員管理系統(tǒng)難度。同時，伴隨應(yīng)用系統(tǒng)不停增加，數(shù)據(jù)也對應(yīng)大量增加，這就給原有存放系統(tǒng)提出了更高要求。平滑提供更大存放空間提供愈加快響應(yīng)速度提供更大數(shù)據(jù)吞吐能力總體來講，圖書館信息化關(guān)注點在于：怎樣滿足業(yè)務(wù)連續(xù)性要求關(guān)鍵系統(tǒng)高性能關(guān)鍵服務(wù)不停頓關(guān)鍵數(shù)據(jù)不丟失怎樣處理數(shù)據(jù)容量快速增加帶來成本、管理等問題

3圖書館信息系統(tǒng)推薦方案3.1設(shè)備選型標(biāo)準(zhǔn)存放系統(tǒng)是數(shù)字圖書館關(guān)鍵基礎(chǔ)，其性能優(yōu)劣，質(zhì)量好壞，對全局影響關(guān)系重大。在存放系統(tǒng)平臺選型上應(yīng)充足考慮系統(tǒng)應(yīng)用水平和數(shù)據(jù)處理數(shù)據(jù)量大小，綜合總體系統(tǒng)設(shè)計方針，給予慎重選擇。在選擇存放平臺時，要考慮原因很多，需要依據(jù)實際情況決定，通常來講，以下特征是必需要考慮：存放系統(tǒng)IO性能系統(tǒng)未來可擴(kuò)展性存放系統(tǒng)高可用性存放系統(tǒng)對多種服務(wù)器操作系統(tǒng)兼容性和標(biāo)準(zhǔn)系統(tǒng)管理員可維護(hù)性3.2方案綜述數(shù)字圖書館中需要存放數(shù)字資源大致分為以下幾類：圖書館管理系統(tǒng)數(shù)據(jù)庫圖書館購置各類商業(yè)軟件數(shù)據(jù)庫圖書館購置各類電子化圖書和期刊數(shù)據(jù)圖書館自建資源庫依據(jù)對圖書館信息化系統(tǒng)需求分析，能夠總結(jié)出圖書館關(guān)鍵應(yīng)用特點以下：數(shù)據(jù)庫：是整個圖書館業(yè)務(wù)系統(tǒng)關(guān)鍵數(shù)據(jù)類型：數(shù)據(jù)庫(SQL,Oracle等）性能要求：同時訪問人數(shù)較多，并發(fā)性能要求較高可用性要求：不能停機(jī)數(shù)據(jù)量：幾百M(fèi)B到多個GB圖書館應(yīng)用系統(tǒng)數(shù)據(jù)：數(shù)據(jù)類型：文件（文本，圖像，音視頻）性能要求：同時訪問人數(shù)較少，但傳輸數(shù)據(jù)量大，帶寬要求高可用性要求：不能停機(jī)數(shù)據(jù)量：很大且增加很快，從幾TB到幾十TB依據(jù)性能和可用性分析，能夠得出對應(yīng)推薦存放系統(tǒng)架構(gòu)以下：應(yīng)用數(shù)據(jù)類型性能容量數(shù)據(jù)保護(hù)經(jīng)典存放架構(gòu)FCSANiSCSI數(shù)字化圖書館管理系統(tǒng)（采、編、流）數(shù)據(jù)庫高低高優(yōu)選自建資源系統(tǒng)數(shù)據(jù)庫/文件中高高推薦可選碩博論文文件中高高推薦可選期刊文件中高低推薦可選電子圖書文件中高低推薦可選影視頻資料文件中高低推薦可選以下我們分別敘述DCN面向高校數(shù)字化圖書館信息基礎(chǔ)架構(gòu)：數(shù)據(jù)集中存放方案備份和恢復(fù)處理方案3.2.1數(shù)據(jù)集中存放方案針對高校圖書館信息化應(yīng)用系統(tǒng)存放需求，提議采取FCSAN+IPSAN存放架構(gòu)：將圖書館圖書館管理系統(tǒng)數(shù)據(jù)庫、各類外購商業(yè)軟件數(shù)據(jù)庫系統(tǒng)和自建資源數(shù)據(jù)庫等關(guān)鍵數(shù)據(jù)庫應(yīng)用經(jīng)過FCSAN進(jìn)行連接，實現(xiàn)高性能、高可用存放；同時將部分應(yīng)用如門戶網(wǎng)站、FTP等經(jīng)過IPSAN進(jìn)行連接，實現(xiàn)低成本、高效率存放。整體架構(gòu)從以下幾方面綜合設(shè)計，以滿足業(yè)務(wù)連續(xù)性要求：存放系統(tǒng)高可用性：經(jīng)過用戶驗證達(dá)成5個9可用存放系統(tǒng)DCNCS4系列存放網(wǎng)絡(luò)SAN高可用性：采取雙光纖交換機(jī)組成冗余SAN網(wǎng)絡(luò)，配合主機(jī)上雙HBA卡和多路徑管理軟件（DCNPowerPath），實現(xiàn)數(shù)據(jù)訪問通道高可用；圖書館信息化系統(tǒng)集中存放結(jié)構(gòu)圖：此次系統(tǒng)建設(shè)最終目標(biāo)是為高校圖書館提供一套含有國際優(yōu)異水平電子化圖書館信息平臺，提供含有全球最新科技水平SAN存放區(qū)域網(wǎng)絡(luò)存放平臺--DCNCS4，為高校圖書館未來高速發(fā)展提供堅實技術(shù)保障平臺。為確保服務(wù)器到SAN網(wǎng)絡(luò)全冗余性連接，每臺服務(wù)器均配置2塊8GbpsFC光纖通道卡，分別連接到SAN網(wǎng)絡(luò)中2臺光纖通道交換機(jī)上，即使其中一條鏈路發(fā)生故障，服務(wù)器仍然能夠經(jīng)過冗余光纖鏈路訪問磁盤陣列上數(shù)據(jù)，從而達(dá)成系統(tǒng)7*二十四小時不間斷運(yùn)行。此次存放系統(tǒng)建設(shè)采取OpenSAN體系結(jié)構(gòu)搭建高校圖書館數(shù)據(jù)存放網(wǎng)絡(luò)，在整個SAN網(wǎng)絡(luò)中，全部設(shè)備之間網(wǎng)絡(luò)鏈接均采取全冗余鏈接，確保整個存放系統(tǒng)系統(tǒng)含有良好鏈路冗余能力，為高校圖書館信息系統(tǒng)提供不間斷運(yùn)行存放網(wǎng)絡(luò)交換平臺。因為電子化圖書館中數(shù)據(jù)絕大部分全部是文本文件和圖片及音視頻資料文件，少部分?jǐn)?shù)據(jù)是數(shù)據(jù)庫數(shù)據(jù)，則在進(jìn)行圖書館存放體統(tǒng)磁盤計劃時，應(yīng)充足考慮磁盤分級存放管理，提升了磁盤利用率，同時也為圖書館節(jié)省了大量資金投入。將訪問性能要求高數(shù)據(jù)庫文件保留在FC磁盤上將訪問性能要求不高文件類型數(shù)據(jù)保留在SATA磁盤上本方案含有以下特點：DCNCS499.999%高可用性DCNCS4結(jié)構(gòu)提供最高可用性。全部組件全部實現(xiàn)全方面冗余并可熱交換。全光纖通道技術(shù)許可用戶隨時隨地擴(kuò)展其存放容量,能夠在不關(guān)閉應(yīng)用或現(xiàn)有存放能力情況下，添加其它驅(qū)動器或驅(qū)動器架（DAE，磁盤陣列機(jī)箱）。DCNCS4系統(tǒng)擁有多種優(yōu)異數(shù)據(jù)保護(hù)功效－全局熱備用、全方面冗余組件、通向光纖通道磁盤驅(qū)動器雙重冗余路徑、磁盤扇區(qū)嗅探校錯技術(shù)（Sniffer）、斷電高速緩存數(shù)據(jù)寫入硬盤、端-端數(shù)據(jù)奇偶校驗和一致性操作環(huán)境所提供其它獨特功效，全部這一切全部是DCNCS4享受盛名原因所在。這種層次數(shù)據(jù)保護(hù)應(yīng)該是全部用戶要求，也是任何其它供給商所無法滿足。中端存放配置發(fā)展很快，且變得日益復(fù)雜，這是因為較大系統(tǒng)含有更多驅(qū)動器，而且磁盤驅(qū)動器密度越來越大。UltraPoint是新一代DCNCS4技術(shù)，伴隨用戶將系統(tǒng)向新等級擴(kuò)展，它可確保CLARiiON繼續(xù)提供最高等級可靠性和可用性。UltraPoint技術(shù)將新點對點光纖通道DAE設(shè)計和FLARE操作環(huán)境中新故障檢測和隔離功效結(jié)合在一起。UltraPoint將后端故障探測和隔離正確度具體到了單個驅(qū)動器等級。這一技術(shù)將使DCNCS4系列能夠：在單個磁盤驅(qū)動器等級實施故障檢測和隔離操作，所以能夠采取糾錯方法。在驅(qū)動器進(jìn)入聯(lián)機(jī)狀態(tài)之前檢驗驅(qū)動器—在加電時，在更換驅(qū)動器時，和在增加容量時。一體式分層存放使用DCNCS4存放系統(tǒng)，高校圖書館能夠整合大量不一樣類型和業(yè)務(wù)價值等級數(shù)據(jù)，經(jīng)過選擇滿足特定需要驅(qū)動器選項，實現(xiàn)在一個系統(tǒng)中提供多個性能/成本等級靈活性。存放層次驅(qū)動器類型適用環(huán)境第1層146GB、300GB、450GB15kRPM光纖磁盤并發(fā)訪問量大圖書館管理系統(tǒng)第2層400GB10kRPM光纖磁盤檢索系統(tǒng)、常常訪問文件類型數(shù)據(jù)（如近期電子期刊等）第3層1TB7200RPMSATA磁盤圖書館文件類型數(shù)據(jù)文件（不常常訪問）第4層1TB5400RPMSATA磁盤圖書館文件類型數(shù)據(jù)文件（長久保留，歸檔）DCNPowerPath軟件DCNCS4網(wǎng)絡(luò)存放提供PowerPath軟件，它提供了連續(xù)數(shù)據(jù)可用性，并針對主機(jī)環(huán)境實現(xiàn)性能優(yōu)化。PowerPath是一個常駐服務(wù)器、性能和信息可用性增強(qiáng)路徑管了處理方案。PowerPath面向開放式服務(wù)器平臺集成了自動故障切換、動態(tài)負(fù)載均衡和信息存取優(yōu)化能力。PowerPath采取后臺工作方法，確保多種應(yīng)用保持連續(xù)可用。PowerPath自動故障切換和動態(tài)恢復(fù)特征許可在服務(wù)器和存放間數(shù)據(jù)路徑發(fā)生故障時，將數(shù)據(jù)存取分散至備用數(shù)據(jù)路徑中。這么應(yīng)用程序就絕對不會因為適配器、電纜或通道控制器單點故障而出現(xiàn)中止。PowerPath利用自動負(fù)載均衡特征，對多條I/O流開展智能化管理，并經(jīng)過在多條路徑之間自動調(diào)整工作負(fù)荷方法實現(xiàn)性能優(yōu)化。這種特征確保不會出現(xiàn)某條路徑負(fù)載過重，而其它路徑帶寬又沒有得到充足利用情形，避免I/O瓶頸出現(xiàn)。PowerPath確保圖書館關(guān)鍵業(yè)務(wù)數(shù)應(yīng)用隨時處于運(yùn)行狀態(tài)，給予它們以最高可用性和最高性能，確保它們?nèi)〉脴I(yè)界領(lǐng)先性能存放系統(tǒng)DCNCS4全部優(yōu)勢。3.2.2備份和恢復(fù)方案作為數(shù)據(jù)訪問量巨大圖書館系統(tǒng)，不管是現(xiàn)在還是未來，數(shù)據(jù)和應(yīng)用安全和可靠對于它來說全部是第一關(guān)鍵。為此，在圖書館需求中把這些應(yīng)用系統(tǒng)在提供服務(wù)方面分為三個等級：第一級：要求靠近零停機(jī)時間，如書目數(shù)據(jù)庫和多校使用網(wǎng)絡(luò)數(shù)據(jù)庫，應(yīng)采取熱備方法確保。第二級：出現(xiàn)故障，恢復(fù)期可在1天服務(wù)，如部分自建數(shù)據(jù)庫和使用量較小數(shù)據(jù)庫，數(shù)據(jù)備份應(yīng)盡可能采取在線方法，最少要近線存放。第三級：可忍受較長恢復(fù)期應(yīng)用，該類數(shù)據(jù)備份可采取近線或離線方法備份。引發(fā)數(shù)據(jù)丟失原因很多，備份系統(tǒng)處理問題關(guān)鍵在：硬件故障造成數(shù)據(jù)丟失應(yīng)用程序/數(shù)據(jù)庫損壞造成數(shù)據(jù)丟失人為錯誤造成數(shù)據(jù)丟失黑客攻擊/病毒感染造成數(shù)據(jù)丟失軟硬件系統(tǒng)升級和維護(hù)前數(shù)據(jù)備份為避免以上問題造成數(shù)據(jù)丟失，提議對圖書館關(guān)鍵應(yīng)用系統(tǒng)進(jìn)行定時備份，并定時進(jìn)行數(shù)據(jù)恢復(fù)驗證測試，確保備份數(shù)據(jù)可恢復(fù)性。需要備份系統(tǒng)以下：數(shù)字化圖書館管理系統(tǒng)自建資源系統(tǒng)數(shù)據(jù)庫及自建數(shù)據(jù)資源提議采取DCNNetworker集中備份管理軟件，實現(xiàn)關(guān)鍵應(yīng)用系統(tǒng)在線備份；采取基于磁盤介質(zhì)備份設(shè)備，如利舊原有磁盤陣列、新增一臺S