存儲方案整體設(shè)計

1、目錄1. 存儲方案整體設(shè)計11. 存儲方案整體設(shè)計數(shù)據(jù)的存儲是檔案掃描系統(tǒng)的核心組成部分，肩負著中國第二歷史檔案館關(guān)鍵業(yè)務(wù)系統(tǒng)數(shù)據(jù)的存儲與保護功能。由于系統(tǒng)包含掃描、加工、應(yīng)用、數(shù)據(jù)庫等重要系統(tǒng)，我們將依據(jù)不同應(yīng)用特點進行方案設(shè)計，按應(yīng)用性能需求、訪問方式等不同的特點提供不同的存儲方式。在本項目當中，數(shù)據(jù)在進行加工系統(tǒng)中，既需要將數(shù)據(jù)傳送到相應(yīng)的服務(wù)器，也需要將數(shù)據(jù)進行本地存儲。進行本地存儲的好處是可以將得到的數(shù)據(jù)進行本地再處理，也可以作為數(shù)據(jù)的備份。整體拓撲結(jié)構(gòu)圖：數(shù)據(jù)在掃描、加工處理過程中，會從核心存儲得到一個存儲空間用于文件臨時存放，隨著業(yè)務(wù)流程推進，掃描數(shù)據(jù)最終變成了成品數(shù)據(jù)，核心存儲

2、中會劃分一定的空間用于成品數(shù)據(jù)存放。由于整個系統(tǒng)數(shù)據(jù)量比較大，因此對系統(tǒng)的存儲容量、存儲的方式、數(shù)據(jù)的安全性、數(shù)據(jù)的可用性就有較高的要求。數(shù)據(jù)存儲采用分級存放方式，分級存儲定義為三級：1.1 在線方式紙質(zhì)檔案的掃描工作是中國第二歷史檔案館的生產(chǎn)系統(tǒng)，為考慮到大量的數(shù)據(jù)的安全存放，我們建議采用EMC VNX7500統(tǒng)一存儲系統(tǒng)和EMC Isilon IQ 108NL群集存儲設(shè)備作為數(shù)字檔案的集中存儲，并且該系統(tǒng)還需要為數(shù)據(jù)庫等核心業(yè)務(wù)系統(tǒng)提供高性能的存儲環(huán)境，同時也能為加工、檢索等業(yè)務(wù)提供NAS共享存儲環(huán)境。在線方式主要為應(yīng)用系統(tǒng)和業(yè)務(wù)系統(tǒng)提供存儲空間，如數(shù)據(jù)庫、應(yīng)用服務(wù)器。以及結(jié)合后面的近線存

3、儲方式，歸檔系統(tǒng)會根據(jù)制定的策略將數(shù)據(jù)分成頻繁訪問和非頻繁訪問數(shù)據(jù)，頻繁訪問的數(shù)據(jù)會存放在在線的磁盤陣列中。因此，存儲設(shè)備需要具備穩(wěn)定、安全、高效及可擴展等諸多性能特點。結(jié)合我們的業(yè)務(wù)類型和數(shù)據(jù)文件類型，對存儲設(shè)備進行了選型和定制。1.2 近線方式1.2.1 為什么要近線存儲掃描加工后的海量數(shù)據(jù)需求的增加速度比想象中的更快。所帶來的解決起來看似不難，只要購買更多的主存儲設(shè)備即可，但因此會產(chǎn)生更多的生產(chǎn)效率和成本問題。l 新的存儲系統(tǒng)可能很快地超載-以指數(shù)級速度增長的存儲設(shè)備使對之產(chǎn)生的需求預(yù)測越來越難。新購買的存儲系統(tǒng)很快就不夠用了l 備份窗口越來越長-隨著存儲量不斷的增加，備份時間窗口不能滿

4、足，管理員可能因此無法進行完全的數(shù)據(jù)備份，只能選擇性地備份最重要的內(nèi)容。l 災(zāi)難恢復要花費更長的時間-備份的時間越長，災(zāi)難發(fā)生時恢復的時間也越長，這樣就增加了宕機的時間，降低了生產(chǎn)效率。l 磁盤空間越大，查找數(shù)據(jù)花費的時間就越長-如果用戶或是管理員不能及時獲取所需的相應(yīng)數(shù)據(jù)，那么備份系統(tǒng)還有什么價值呢？當容量增加，相應(yīng)的查找文件的時間也會增加，生產(chǎn)效率則降低。l 過度存儲不僅浪費成本，也不環(huán)保-當對存儲的需求快速增加時，與之對應(yīng)的用電量也急劇增加。除了存儲系統(tǒng)運行所消耗的電量，另外還需要更多的電量用于冷卻系統(tǒng)。此舉不僅提高了成本，也不符合大多數(shù)企業(yè)所倡導的綠色存儲的理念。1.2.2 近線存儲的

5、解決方案近線存儲是將將年度加工的合格源數(shù)據(jù)的貯存，保存在磁帶庫中。用少量東西做更多事情的事情，實現(xiàn)控制成本并減少對主存儲的存儲需求總量。解決方案就是智能歸檔系統(tǒng)。對于昂貴的存儲資源來說，在主存儲上存儲非活動數(shù)據(jù)是一個巨大的浪費。針對現(xiàn)在越來越豐富的數(shù)據(jù)來說那是非常大的。另外，主存儲主要用于快速傳輸及處理過程數(shù)據(jù)，它基本上不能支持數(shù)據(jù)恢復法規(guī)或在數(shù)據(jù)被寫入存儲若干年后，還能證實這一系列數(shù)據(jù)的完整性。這些都是歸檔存儲的重要要求。數(shù)據(jù)歸檔就是在二級存儲設(shè)備上存儲非活動數(shù)據(jù)，如磁盤、磁帶等。這些數(shù)據(jù)是在將來可能需要的信息，因此不能刪除他們?？赡苡泻戏ǖ脑騺肀４孢@些數(shù)據(jù)，也可能是機構(gòu)需要，如市場研究或

6、正當?shù)睦碛傻?。不管怎樣，最后的決定是存儲而不是將其刪除。保存數(shù)據(jù)的問題或者是由于合法原因，或者是“以防萬一”，也就是它必須保存在某個地方。為了實現(xiàn)數(shù)據(jù)智能歸檔管理，節(jié)約磁盤存儲成本，實現(xiàn)數(shù)據(jù)長期保存，通過專業(yè)歸檔軟件對采集或交換而來的文本數(shù)據(jù)、圖像數(shù)據(jù)等固定內(nèi)容進行手工拖拽式歸檔和自動歸檔管理。系統(tǒng)將原始數(shù)據(jù)處理完成后，對這些原始數(shù)據(jù)做歸檔處理，將數(shù)據(jù)自動遷移到成本更低磁帶介質(zhì)上，實現(xiàn)這部分數(shù)據(jù)的長期、自動保存管理，以便今后查詢調(diào)用。靈活的歸檔設(shè)置可以基于各種文件固有屬性，也可以通過手工添加標簽，歸檔后的數(shù)據(jù)繼續(xù)保持在線可訪問。對近線數(shù)據(jù)采用“智能歸檔軟件”+物理磁帶庫的硬件框架平臺來實現(xiàn)。智

7、能歸檔系統(tǒng)是將存儲在服務(wù)器上的數(shù)據(jù)檔案進行智能處理的專業(yè)解決方案，通過自動的、最終用戶觸發(fā)的、工作流集成的方式將數(shù)據(jù)歸檔到長期存儲平臺，并且滿足歸檔后的數(shù)據(jù)能夠?qū)崿F(xiàn)方便的應(yīng)用訪問和信息檢索。智能歸檔系統(tǒng)可將數(shù)據(jù)根據(jù)策略制定如：訪問頻繁程度、文件大小、最后修改的時間等方式進行分類進行歸檔。如認定為3個月沒有訪問的數(shù)據(jù)為非頻繁訪問數(shù)據(jù)，系統(tǒng)將3個月來沒有任何訪問的數(shù)據(jù)遷移到磁帶庫中實現(xiàn)數(shù)據(jù)的近線存儲。在這期間如果有需要訪問歸檔后的數(shù)據(jù)，歸檔系統(tǒng)能將數(shù)據(jù)從磁帶庫中遷移當磁盤中供應(yīng)用系統(tǒng)訪問。1.2.3 近線存儲的優(yōu)勢現(xiàn)有加工后的數(shù)據(jù)海量，通過智能歸檔后能大幅降低對主存儲空間的使用，并具有以下優(yōu)勢：l

8、 減少資本投入-由于節(jié)省了大量的主存儲空間，IT部門節(jié)約了硬軟件的投資，也極大地減少了能源消耗。l 縮短備份窗口-由于縮短了備份時間，IT管理員能更有效地保證所有數(shù)據(jù)都得到保護。l 加快了災(zāi)難恢復的速度-企業(yè)能大幅減少宕機時間和由意外而導致的用戶生產(chǎn)效率的損失。1.3 離線方式離線存儲：離線存儲是將數(shù)據(jù)通過光盤、移動硬盤、磁帶實現(xiàn)一份數(shù)據(jù)三份備份介質(zhì)的離線存儲。并可將數(shù)據(jù)運送到異地進行保存。 （約合計1810萬）1、光盤離線方式通過光盤刻錄系統(tǒng)直接將數(shù)據(jù)刻錄到光盤上。優(yōu)缺點對比：光盤離線方式優(yōu)點：存儲密度高；體積小、重量輕；不怕光、不怕磁、不需占用太多的物理空間；制作簡單，可通過網(wǎng)絡(luò)傳輸信息，

9、實現(xiàn)資源共享；可隨機存取，信息的載噪比高；存儲和使用的壽命較長、單盤價格適中；適于存儲數(shù)據(jù)、文字、圖形、圖象、聲音等多種媒體信息；無機械磨損和刮傷，穩(wěn)定性好；光盤中的數(shù)據(jù)不易被修改。缺點：訪問時間較長；容量相對較小，備份大容量數(shù)據(jù)時，所需數(shù)量極大；備份速度慢、實時性差；備份編集麻煩，要湊空間；受光盤文件系統(tǒng)限制較多；定位數(shù)據(jù)繁瑣；盤片較多管理不方便、容易造成盤片磨損、訪問速度慢。2、磁盤離線方式通過大容量單體硬盤，將數(shù)據(jù)直接拷貝到硬盤上。優(yōu)缺點對比：磁盤離線方式優(yōu)點：容量大、傳輸速度高；使用方便、可靠；價格適中。磁盤離線方式缺點：數(shù)據(jù)過于集中；結(jié)構(gòu)過于復雜，除了盤片外，還有大量的電氣和機械機構(gòu)

10、；在使用中容易被更改或誤刪，有一定的風險；防震抗摔性差、功耗較高、有噪音等。3、磁帶離線方式通過智能歸檔軟件將數(shù)據(jù)通過磁帶庫上進行多份備份，其中一份可以出倉進行離線保存，并可運輸?shù)疆惖剡M行異地保存。優(yōu)缺點對比：磁帶離線方式優(yōu)點是：體積小巧、攜帶方便，易于轉(zhuǎn)移，可作為遠程災(zāi)難恢復備份；容量大、成本低；耐用、壽命長，適應(yīng)各種氣候條件下存放；磁帶的無文件系統(tǒng)格式，不受病毒、黑客和自然災(zāi)難的安全威脅。缺點：屬線性記錄介質(zhì)，涉及過多機械物理操作；沒有校驗操作，可靠性較差，效率較低；需要加載或倒帶，需在磁帶卷中搜索數(shù)據(jù)文件，維護磁帶庫費人工。4、縮微膠片離線方式萎縮膠片存儲就是利用縮微復制技術(shù)將檔案原件縮小拍攝在感光膠片上，經(jīng)加工制成縮微品保存、傳播和使用。優(yōu)缺點對比：優(yōu)點：縮微技術(shù)工藝成熟，性能穩(wěn)定；存儲密度大，造價和管理費用較低；記錄效果好，速