基于云計算的數(shù)字圖書館資源存儲研究

基于云計算的數(shù)字圖書館資源存儲研究

隨著計算機和網(wǎng)絡技術的快速發(fā)展，數(shù)字圖書館信息資源的出現(xiàn)了大量的數(shù)據(jù)類型和復雜的服務器類型，以及讀者的需求?，F(xiàn)代數(shù)字圖書館面對的存儲對象遠遠超出了目前傳統(tǒng)圖書館的范圍,傳統(tǒng)的存儲技術如硬盤存儲、光盤存儲等都已無法滿足數(shù)字信息迅猛增長的存儲需求,現(xiàn)有的網(wǎng)絡存儲技術如NAS、SAN等也不能有效地緩解存儲壓力。顯然,這些特點給數(shù)據(jù)存儲系統(tǒng)提出了很高的要求,而云計算存儲技術的出現(xiàn)為數(shù)字圖書館資源存儲提供了新的解決途徑。1數(shù)字圖書館數(shù)據(jù)存儲的不足與傳統(tǒng)圖書館館藏資源相比,數(shù)字圖書館資源有其自身的特點。從存儲的角度來考慮,數(shù)字圖書館資源具有以下幾個主要特點:存儲容量大;媒體形式多樣;動態(tài)性;異構性。盡管近些年來,隨著數(shù)字圖書館建設進程的加快和存儲技術的發(fā)展,已經(jīng)在資源存儲方面取得了很大的進步,在存儲容量、擴展速度、共享性等方面也得到了改善,但是仍然存在以下問題:數(shù)據(jù)擴展性不高;異構性、兼容性較差;數(shù)據(jù)的存儲速率無法滿足大數(shù)據(jù)量、大并發(fā)訪問的要求。數(shù)字圖書館資源存儲的特點使其對數(shù)據(jù)存儲有著很特殊的要求,主要為:管理和維護大量的存儲數(shù)據(jù)的同時,要求確保數(shù)據(jù)的一致性、安全性、可靠性和可擴充性;要求實現(xiàn)對物理上分布的數(shù)據(jù)資源進行統(tǒng)一的集中管理;要求實現(xiàn)數(shù)據(jù)資源的動態(tài)存儲;要求實現(xiàn)對異構的數(shù)據(jù)進行同構的訪問。目前數(shù)字圖書館應用比較廣泛的DAS、NAS、SAN和ISCSI等網(wǎng)絡存儲系統(tǒng)在一定程度上解決了數(shù)據(jù)存儲集中共享的問題,他們有各自的優(yōu)缺點,并且適用環(huán)境各不相同,表1比較了這四種存儲方案。從表中我們可以看出它們總是不能全面解決數(shù)字圖書館的存儲問題。2云存儲的定義云計算(CloudComputing)是在分布式處理,并行處理,網(wǎng)格計算等基礎上提出的一種新型商業(yè)計算模型,是一種新興的共享基礎架構的方法。它把存儲在大量分布式計算機產(chǎn)品中的大量數(shù)據(jù)和處理器資源整合在一起協(xié)同工作,是相關的計算分布在大量的分布式計算機上,而非本地計算機或遠程服務器中,從而使有關的數(shù)據(jù)中心的運行和互聯(lián)網(wǎng)相似。云計算將巨大的系統(tǒng)連接池連在一起提供各種服務,從而使有關的用戶可以很方便地將資源切換到具體的應用上,根據(jù)自己的需要訪問計算機和存儲體系。云計算環(huán)境下的存儲,這里暫且說成云存儲,它的概念與云計算類似,它是指通過集群應用、網(wǎng)格技術或分布式文件系統(tǒng)等功能,將網(wǎng)絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。當云計算系統(tǒng)運算和處理的核心是大量數(shù)據(jù)的存儲和管理時,云計算系統(tǒng)中就需要配置大量的存儲設備,那么云計算系統(tǒng)就轉變成為一個云存儲系統(tǒng),所以云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)(如圖1所示)。云存儲不是存儲,而是服務,對使用者來講,并不是指某一個具體的設備,而是指一個由許許多多個存儲設備和服務器所構成的集合體。使用者使用云存儲,是使用整個云存儲系統(tǒng)帶來的一種數(shù)據(jù)訪問服務。云存儲的核心是應用軟件與存儲設備相結合,通過應用軟件來實現(xiàn)存儲設備向存儲服務的轉變。與本文前面提到的四種存儲系統(tǒng)相比較,云存儲的優(yōu)勢主要體現(xiàn)在三個方面:首先,高可靠性,這將使云存儲系統(tǒng)使用者不用經(jīng)常更換新的硬件;其次,低成本,云存儲本質上是規(guī)?；?jīng)濟,因此在成本上進行了有效的控制;第三,自動容錯能力,因為成本低,存儲組件的損耗率相對比較高,云存儲廠商在軟件層做到了很高的自動容錯能力,而不是依賴硬件本身的容錯。概括起來講,云存儲不僅能滿足大容量、容錯性和高效性這些最基本存儲需求,還能滿足自主控制、透明訪問、異構性、動態(tài)性等特殊存儲需求。3云數(shù)據(jù)庫技術從云存儲的特性分析中我們得出云存儲技術能全面、靈活地解決數(shù)字圖書館面臨的存儲問題。云存儲提供快速簡單的對于容量、性能、服務質量和連接協(xié)議的可升級性,可對所有圖書和多媒體數(shù)據(jù)進行統(tǒng)一查看和管理,還可優(yōu)化分布式的電子圖書館遠程數(shù)據(jù)訪問的性能。云存儲架構可實現(xiàn)數(shù)據(jù)庫和圖書館之間更緊密的應用整合,提供更高的數(shù)據(jù)保護,并可以更簡單地管理數(shù)據(jù)資源,這些優(yōu)勢極大降低了數(shù)字圖書館建設在購買、擴容和管理時的費用。下面筆者針對數(shù)字圖書館資源存儲的幾個主要問題,探討云計算存儲方案在解決其問題時所涉及的關鍵技術。3.1存儲模式不合理近幾年來,數(shù)字圖書館信息資源呈幾何級數(shù)增長,其存儲的數(shù)據(jù)總量達到海量規(guī)模,在傳統(tǒng)存儲模式下不能滿足其存儲容量不斷增長需求。但在云計算環(huán)境下,利用其高性能的海量數(shù)據(jù)通道,把整個系統(tǒng)的各個主要功能模塊連成一體,不僅保證它們之間海量數(shù)據(jù)傳輸?shù)膶崟r性、可靠性和安全性,而且提供統(tǒng)一的數(shù)據(jù)交換界面,有效地支持系統(tǒng)功能的模塊化和相對獨立性。3.2基于云計算的數(shù)字圖書館系統(tǒng)模型數(shù)字圖書館系統(tǒng)在不同時刻對資源的需求是不同的,某個時間段可能因為訪問人數(shù)的激增造成對某部分的計算資源需求增加,一段時間后可能需求又有所下降,而這些都是無法預知的,所以資源需求具有很高的動態(tài)性。圖2是基于云計算的數(shù)字圖書館模型圖?；谠朴嬎愕臄?shù)字圖書館以云計算服務器為核心,動態(tài)部署虛擬的硬件服務器。用戶在使用時,通過Web云接入,實現(xiàn)“無處不在”的訪問,同時也和Web云上的用戶共享流量和計算能力,可以動態(tài)地提供請求和反饋信息。云計算服務器由用戶動態(tài)請求驅動,動態(tài)部署虛擬硬件提供存儲和計算能力。在部署的同時針對多功能負載進行優(yōu)化,同時負責數(shù)據(jù)安全性和完整性。運行在“云”中的服務器集群則根據(jù)云計算服務器的控制任務,提供用戶需要的資源。對于用戶而言,所有的數(shù)據(jù)存儲和管理都由“云”來完成,用戶不再需要關心如何獲取和管理數(shù)據(jù),只需要關心如何使用這些數(shù)據(jù)即可。同時由于云計算提供的強大的分布式計算和存儲能力,為復雜網(wǎng)絡應用提供可能,用戶體驗大大提升。3.3云計算存儲的標準化由于數(shù)字圖書館系統(tǒng)具有主機系統(tǒng)多類型、數(shù)據(jù)存儲格式復雜等特點,使得資源存儲在實現(xiàn)功能、性能和訪問接口上變化很大。但無論數(shù)據(jù)存儲接口如何變化,無論數(shù)據(jù)存儲在什么位置,用戶都要求無縫訪問所有數(shù)據(jù),而不必關心存儲設備所處的位置、采用何種存儲系統(tǒng)以及資源如何配置。云計算環(huán)境下的存儲方案就能滿足這些要求,它結合虛擬存儲技術、開放的標準規(guī)范將異構的存儲變成統(tǒng)一的虛擬存儲。(1)虛擬存儲技術。在云計算存儲環(huán)境中,可以將物理分布的各類存儲系統(tǒng)和設備虛擬成單一的存儲系統(tǒng),提供統(tǒng)一的、透明的、安全的訪問和管理機制,從而使物理上分布的存儲服務器可以自主地接入到云計算中,通過中間層的存儲虛擬化技術形成統(tǒng)一的訪問接口。虛擬化存儲系統(tǒng)在原有存儲系統(tǒng)上增加了虛擬化層,將多個存儲單元抽象成一個虛擬存儲池,存儲用戶通過虛擬化層提供的接口向虛擬存儲池提出虛擬I/O請求,虛擬化層對這些請求進行處理后將相應的請求映射到具體的存儲單元,它可以減少存儲系統(tǒng)的管理開銷,將多個獨立的存儲單元統(tǒng)一成一個邏輯的存儲系統(tǒng),有效實現(xiàn)多個存儲系統(tǒng)的數(shù)據(jù)共享。數(shù)字圖書館采用NAS/SAN的存儲模式只能實現(xiàn)存儲資源與計算資源的物理層面分離,而無法實現(xiàn)邏輯層面的分離。(2)管理云存儲的標準規(guī)范。云存儲的本質在于解決異構環(huán)境下的資源共享問題,要解決各個存儲節(jié)點的相互訪問兼容性問題,統(tǒng)一標準的建立是必要的。主流的云計算存儲標準有SNIA,DMTF、SMIS-S、OCC(OpenCloudConsortium)、OVF。4注意云計算資源存儲雖然云存儲技術能有效解決數(shù)字圖書館資源存儲問題,但是在實際的存儲技術應用和項目建設中還需要考慮一些問題。4.1數(shù)字圖書館的丟失數(shù)據(jù)安全對圖書館至關重要,任何數(shù)據(jù)的丟失對數(shù)字圖書館都是很大的損失。如何選擇有效的安全策略和安全保護機制、如何解決數(shù)據(jù)復制造成的數(shù)據(jù)需要進一步研究。4.2數(shù)據(jù)丟失、遷移、權限的改變導致結果不正確云計算環(huán)境會無可避免地在各個層次上出現(xiàn)異常和錯誤,比如數(shù)據(jù)丟失、遷移、權限的改變導致結果不正確,數(shù)據(jù)不一致等。但數(shù)字圖書館又需要365×24小時的服務,所以需要其自行解決和處理,提供正確、健康的數(shù)據(jù)服務。4.3存儲機制和存儲資源數(shù)字圖書館建設資金有限,如何充分利用現(xiàn)有的存儲設備,整合現(xiàn)有的存儲機制和存儲資源,保護現(xiàn)有投資來降低成本也是我們關心的問題;如何提高數(shù)字圖書館資源存儲性價比也是我們要注意的問題。4.4云計算機對知識產(chǎn)權的保護由于基于云計算的數(shù)字圖書館是開放式的存儲環(huán)境,著作權作為一種私權在云計算環(huán)境下的任何不當使用,都會帶來巨大的負面效果,所以云存儲環(huán)境下的知識產(chǎn)權及著作權保