專題18《分級存儲技術(shù)基礎(chǔ)》(V1.0)

1、分級存儲技術(shù)基礎(chǔ) 分級存儲簡介 三種存儲方式 分級存儲的實現(xiàn) 分級存儲解決方案 目 錄分級存儲簡介分級存儲出現(xiàn)（1） 分級存儲管理（Hierarchical Storage Management，HSM） 起源于1978年，首先使用于大型機系統(tǒng)。 近10年來，HSM被廣泛應(yīng)用于開放系統(tǒng)的Unix和Windows平臺。 分級存儲簡介分級存儲出現(xiàn)（2） 眾所周知，企業(yè)的應(yīng)用系統(tǒng)在線處理大量的數(shù)據(jù)，隨著數(shù)據(jù)量的不斷加大，如果都采用傳統(tǒng)的在線存儲方式，就需要大容量本地一級硬盤。 這樣一方面投資會相當較大，而且管理起來也相對較復雜；另一方面由于磁盤中存儲的大部分數(shù)據(jù)訪問率并不高，但仍然占據(jù)硬盤空間，會導

2、致存取速度下降。 分級存儲簡介分級存儲出現(xiàn)（3） 在企業(yè)中，由于存儲的數(shù)據(jù)重要性級別不一樣，關(guān)鍵數(shù)據(jù)所占比例通常不到整個存儲數(shù)據(jù)容量的一半。如果將所有的數(shù)據(jù)都用價格昂貴的磁盤陣列來進行存儲，其代價有些過高。 對于企業(yè)關(guān)鍵數(shù)據(jù)選擇高性能的存儲方案，而對于不是很重要的可以選擇一些性能和成本都相對較低的其它存儲方案。這樣就既可以使得整個存儲系統(tǒng)性能得到充分發(fā)揮，又不至于造成投資浪費。 分級存儲簡介分級存儲意義 數(shù)據(jù)分級存儲，是指數(shù)據(jù)存放在不同級別的存儲設(shè)備（磁盤、磁盤陣列、光盤庫、磁帶庫）中，通過分級存儲管理軟件實現(xiàn)數(shù)據(jù)在存儲設(shè)備之間的自動遷移。數(shù)據(jù)遷移的規(guī)則是可以人為控制的，通常是根據(jù)數(shù)據(jù)的訪問頻

3、率、保留時間、容量、性能要求等因素確定的最佳存儲策略。 在分級數(shù)據(jù)存儲結(jié)構(gòu)中，磁帶庫等成本較低的存儲資源用來存放訪問頻率較低的信息，而磁盤或磁盤陣列等成本高、速度快的設(shè)備，用來存儲經(jīng)常訪問的重要信息。 分級存儲簡介分級存儲優(yōu)勢（1）減少總體存儲成本 傳統(tǒng)的在線存儲中，數(shù)據(jù)都存儲在一線磁盤存儲設(shè)備上，而由于絕大多數(shù)數(shù)據(jù)的訪問率并不高，占用大量的磁盤空間，在一定程度上是一種浪費。如果把這些數(shù)據(jù)轉(zhuǎn)移到存儲性能稍低的磁盤（如IDE或SATA接口磁盤）或光盤存儲設(shè)備上，存儲成本可得以大幅降低。 分級存儲簡介分級存儲優(yōu)勢（2）提高整體系統(tǒng)性能 由于絕大部分數(shù)據(jù)轉(zhuǎn)移到下級存儲設(shè)備上，需要時刻保持在線的數(shù)據(jù)就

4、少了，系統(tǒng)資源的占用也就少了許多，整體系統(tǒng)性能的提高了也有幫助。 如果采用了分級存儲方式，按需求和訪問頻率數(shù)據(jù)進行存儲，一方面提高系統(tǒng)性能，同時還可確保數(shù)據(jù)的安全性 。分級存儲簡介分級存儲優(yōu)勢（3）改善數(shù)據(jù)可用性 把很少使用的歷史數(shù)據(jù)遷移到輔助存儲器中，或歸檔到離線存儲池中，這樣就無需反復保存，減少了存儲的時間；同時提高了在線數(shù)據(jù)的可用性，使磁盤的可用空間維持在系統(tǒng)要求的水平上。分級存儲簡介分級存儲目的 控制存儲成本并簡單化存儲管理，其精髓在于滿足不同類型數(shù)據(jù)的獨特需求。 節(jié)約了企業(yè)的運營成本，使我們不會因為不斷增長的數(shù)據(jù)量而不斷購買昂貴的存儲設(shè)備。 分級存儲簡介 三種存儲方式 分級存儲的實現(xiàn)

5、 分級存儲解決方案 目 錄三種存儲方式分級存儲通常分為如下三種存儲方式：在線存儲（OnStore）離線存儲（OffStore）近線存儲（NearStore)三種存儲方式在線存儲（1） 在線存儲又稱工作級的存儲，存儲設(shè)備和所存儲的數(shù)據(jù)時刻保持“在線”狀態(tài)，是可隨意讀取的，可滿足計算平臺對數(shù)據(jù)訪問的速度要求，通常使用FC或SAS磁盤。 如：PC機上數(shù)據(jù)（雖然不是FC磁盤）存取方式都是采用在線存儲。 三種存儲方式在線存儲（2） 在線存儲多采用高速磁盤陣列等存儲設(shè)備，存取速度快，價格昂貴 。 在線存儲一般采用高端存儲系統(tǒng)和技術(shù)如：SAN、點對點直連技術(shù)、S2A等。高端存儲系統(tǒng)具有一些“高端”屬性，比如

6、，高容量、高性能、高可用性、冗余性等。三種存儲方式在線存儲（3）SAN技術(shù) SAN 技術(shù)的高性能依賴于三個重要領(lǐng)域的性能支持：存儲容量、計算能力和傳輸能力。在傳統(tǒng)SAN 存儲系統(tǒng)中，存儲容量這一環(huán)節(jié)由于存儲介質(zhì)技術(shù)的快速發(fā)展已經(jīng)得到了很好的解決。存儲容量通過多磁盤容量的疊加已經(jīng)能夠達到數(shù)千TB 的水平。而在計算能力與傳輸能力兩個環(huán)節(jié)上，傳統(tǒng)SAN 卻存在很多先天的弱點。 最近在高端存儲領(lǐng)域出現(xiàn)了兩種新技術(shù)-點對點直連技術(shù)與并行存儲技術(shù)。 三種存儲方式在線存儲（4）點對點直連技術(shù) 點對點直連技術(shù)是EMC 近期推出的一種全新的點到點互聯(lián)架構(gòu)，在性能方面，由于它采用了點對點對接，消除了總線或交換機方

7、式造成的延遲，專用的數(shù)據(jù)通道意味著不會出現(xiàn)交換機競爭的情況，減少數(shù)據(jù)從存儲位置傳輸?shù)侥繕宋恢玫难舆t。它還具有32 個獨立高速緩存區(qū)，而且每個高速緩存區(qū)都具有獨立的邏輯訪問，可以為用戶提供更強大的處理和訪問能力。 三種存儲方式在線存儲（5）S2A S2A是DataDirect Networks 公司推出的并行存儲技術(shù)。S2A沒有采用傳統(tǒng)的光纖通道交換機的交叉矩陣交換機制，它所采用的高度并行端口技術(shù)消除了交換機制所帶來的不可避免的時間延遲，能夠持續(xù)不變地提供充滿端口帶寬的數(shù)據(jù)吞吐量。 S2A 控制器內(nèi)部的四個主機通道之間采用虛擬的并行體系結(jié)構(gòu)，通過提供并行處理和并行數(shù)據(jù)讀寫的途徑，使得在多主機的存

8、儲區(qū)域網(wǎng)絡(luò)環(huán)境中具有非常高的不受多主機環(huán)境影響的使用性能。 三種存儲方式在線存儲示意圖三種存儲方式離線存儲 離線存儲主要是用于對在線存儲的數(shù)據(jù)進行備份，以防范可能發(fā)生的數(shù)據(jù)災(zāi)難，因此又稱備份級的存儲。 離線海量存儲的典型產(chǎn)品就是磁帶和磁帶庫，價格相對低廉。離線存儲介質(zhì)上的數(shù)據(jù)在讀寫時是順序進行的。 當需要讀取數(shù)據(jù)時，需要把帶子卷到頭，再進行定位。當需要對已寫入的數(shù)據(jù)進行修改時，所有的數(shù)據(jù)都需要全部進行改寫。因此，離線海量存儲的訪問是低速度、低效率的。三種存儲方式近線存儲 隨著用戶需求的日益細分，人們越來越發(fā)現(xiàn)原有的兩級模式（在線與離線）已經(jīng)不能很好地滿足用戶的存儲需求，在這兩個“極端”之間有大

9、量的空白，于是就產(chǎn)生了近線存儲的概念。 近線存儲，就是指將那些并不是經(jīng)常用到，或者說數(shù)據(jù)的訪問量并不大的數(shù)據(jù)存放在性能較低的存儲設(shè)備上。 因此，近線存儲對性能要求相對來說并不高，但由于不常用的數(shù)據(jù)要占總數(shù)據(jù)量的大多數(shù)，這也就意味著近線存儲設(shè)備首先要保證的是容量。三種存儲方式近線存儲圖復制軟件（ Replication）時間點快照（TimeMark）IX1000LAN數(shù)據(jù)復制數(shù)據(jù)復制TM2TM1IX1000IX5000主數(shù)據(jù)記錄區(qū)復制軟件（ Replication）SAN Client N數(shù)據(jù)庫服務(wù)器 MN臺服務(wù)器SnapShot Agent MActive/Active副本IV5100IV51

10、00 分級存儲簡介 三種存儲方式 分級存儲的實現(xiàn) 分級存儲解決方案 目 錄分級存儲的實現(xiàn)如何進行分級存儲（1）信息生命周期管理（Information Lifecycle Management，ILM） 根據(jù)信息的不同時期將企業(yè)信息進行分層存儲，信息處于最重要時期將他放在價格昂貴的快速存儲設(shè)備上，等一段時間后信息變得不再重要就將他放在價格低廉的存儲設(shè)備上， 通過這種分層原則達到對信息的分層存儲目的。 分級存儲的實現(xiàn)如何進行分級存儲（2）信息生命周期管理（Information Lifecycle Management，ILM） 針對這種價值變化，將自動化網(wǎng)絡(luò)存儲基礎(chǔ)設(shè)施與綜合服務(wù)和解決方案結(jié)合

11、在一起，并根據(jù)信息和應(yīng)用對企業(yè)的價值對其分類，然后制定相應(yīng)的策略和技術(shù)手段對信息進行貫穿其整個生命過程的管理，從創(chuàng)建、使用到歸檔、處理，幫助企業(yè)確定最優(yōu)的服務(wù)水平和最低成本。 目的在于幫助客戶在信息生命的各個階段以最低的整體擁有成本獲得最大的價值。 分級存儲的實現(xiàn)分級存儲原理 分級存儲是從在線系統(tǒng)上遷移數(shù)據(jù)的一種方法。 文件由數(shù)據(jù)遷移（ HSM ）系統(tǒng)選擇進行遷移，然后被拷貝到 HSM 介質(zhì)上。當文件被正確拷貝后，一個和原文件相同名字的標志文件被創(chuàng)建，但它只占用比原文件小得多的磁盤空間。以后，當用戶訪問這個標志文件時， HSM 系統(tǒng)能將原始文件從正確的介質(zhì)上恢復過來。 分級存儲的實現(xiàn)分級存儲原

12、理圖 分級存儲簡介 三種存儲方式 分級存儲的實現(xiàn) 分級存儲解決方案 目 錄分級存儲解決方案部署 在分級存儲方案中我們必須要部署 HSM 管理服務(wù)器、在線數(shù)據(jù)存儲器、近線 / 二級存儲設(shè)備、離線存儲設(shè)備、 客戶端 。 分級存儲解決方案HSM 管理服務(wù)器 數(shù)據(jù)遷移服務(wù)器顧名思義就是負責整個存儲網(wǎng)絡(luò)中數(shù)據(jù)遷移的服務(wù)器。它主要擔當整個存儲網(wǎng)絡(luò)中的數(shù)據(jù)管理員身份，當數(shù)據(jù)達到某一事先規(guī)定的標準時，此服務(wù)器便將數(shù)據(jù)從一級存儲設(shè)備（磁盤陣列）向下一級存儲設(shè)備（光盤庫和磁帶庫）復制，并且釋放出一級存儲設(shè)備中的存儲空間。同時，此服務(wù)器管理所有數(shù)據(jù)遷移策略的制定和磁帶庫設(shè)備驅(qū)動和管理。 分級存儲解決方案在線數(shù)據(jù)存儲

13、管理器 一般采用速度快、存儲量大的磁盤陣列， 所謂在線存儲就是提供實時的數(shù)據(jù)存儲的設(shè)備。近線/二級存儲設(shè)備 一般采用 NAS（網(wǎng)絡(luò)附加存儲）、虛擬帶庫等設(shè)備，此類設(shè)備也是屬于在線的存儲設(shè)備，不過由于它的速度要稍慢于磁盤陣列所以它一般存放訪問頻率不是很高的數(shù)據(jù)。 分級存儲解決方案離線存儲設(shè)備 一般采用磁帶庫或者光盤庫存儲介質(zhì)。此類設(shè)備由于存儲量大所以一般被用做數(shù)據(jù)歸檔用。由于其離線的特點我們只能存放訪問頻率很低的數(shù)據(jù)?？蛻舳?其實就是在網(wǎng)絡(luò)中的一臺應(yīng)用服務(wù)器系統(tǒng)。而這臺計算機上有許多數(shù)據(jù)需要通過數(shù)據(jù)遷移服務(wù)器來完成數(shù)據(jù)從其本地磁盤復制到數(shù)據(jù)遷移服務(wù)器上，并釋放其本地磁盤空間。 分級存儲解決方案分

14、級存儲運行過程 將所有可移動的存儲設(shè)備，邏輯捆綁在一起進行管理，它將某個邏輯硬盤與磁帶庫連在一起，并對該邏輯硬盤實行分級存儲。 分級存儲解決方案分級存儲具體操作（1） 根據(jù)各種數(shù)據(jù)遷移策略進行選擇。 如上次訪問以來的最短時間、最短文件長度、文件類型、磁帶設(shè)備容量與硬盤容量的比例等。 條件可有復合的選擇，在滿足條件的前提下，系統(tǒng)會自動進行遷移操作。轉(zhuǎn)移后的文件被用很小的 “ 占位 ” 文件取代，由該占位文件指向原文件被轉(zhuǎn)移后的新位置。因此該文件對于應(yīng)用和用戶仍是可見的。 分級存儲解決方案分級存儲具體操作（2） 一旦系統(tǒng)接收到對被轉(zhuǎn)移文件的請求，它會從最快捷的途徑進行檢索，以透明的方式恢復該文件。

15、部分文件高速緩存使應(yīng)用可以立即訪問文件中的某一部分；而同時系統(tǒng)則取回整個文件。 當用戶需要訪問被遷移的文件時，系統(tǒng)會將磁帶設(shè)備上的相應(yīng)數(shù)據(jù)調(diào)回到原始位置（硬盤）供用戶訪問。 文件系統(tǒng)的備份只需寫入被轉(zhuǎn)移文件的占位文件即可。同時，也可以對系統(tǒng)進行配置，使文件在轉(zhuǎn)移時被寫入備份系統(tǒng)。這樣，所有的數(shù)據(jù)都可以隨時恢復，而且備份的速度大大提高。 分級存儲解決方案結(jié)構(gòu)圖分級存儲解決方案業(yè)內(nèi)主流分級存儲模式最低的整體擁有成本Create 生成Protect 保護Access 訪問Migrate 遷移Archive 歸檔Dispose 處理動態(tài)遷移Information Lifecycle Managemen

16、t (ILM)分級存儲解決方案原理示意圖 磁帶/光盤庫 存儲介質(zhì)復制 離線/脫機入庫 主存儲 數(shù)據(jù)鏡像、遠程復制保護 數(shù)據(jù)快照 近線存儲 數(shù)據(jù) Raid 5 保護 磁帶備份在線關(guān)鍵數(shù)據(jù)近線/歸檔數(shù)據(jù)離線/歸檔數(shù)據(jù)失效數(shù)據(jù)時間時間數(shù)據(jù)對業(yè)務(wù)影響數(shù)據(jù)對業(yè)務(wù)影響分級存儲解決方案存儲策略在線在線數(shù)據(jù)存儲數(shù)據(jù)存儲歸檔歸檔數(shù)據(jù)存儲數(shù)據(jù)存儲附加磁盤附加磁盤暫存暫存可移動可移動介質(zhì)介質(zhì)遷移遷移,歸檔歸檔減少減少歸檔存儲歸檔存儲空間空間 隨著數(shù)據(jù)價值的變化而改變存儲位置隨著數(shù)據(jù)價值的變化而改變存儲位置 自動檢索和管理數(shù)據(jù)以適應(yīng)企業(yè)的變化和業(yè)務(wù)需要自動檢索和管理數(shù)據(jù)以適應(yīng)企業(yè)的變化和業(yè)務(wù)需要減少減少歸檔存儲歸檔存

17、儲空間空間分級存儲解決方案通常方案（1） 在線業(yè)務(wù)系統(tǒng)系統(tǒng)采用一級存儲（通常采用高性能FC磁盤陣列）； 近線存儲采用二級存儲（通常采用相對便宜、性價比高的SATA磁盤陣列）用來對一級存儲中的數(shù)據(jù)進行備份，以使備份效率高，恢復速度快； 離線存儲采用三級存儲（通常采用磁帶庫）用來對二級存儲中的數(shù)據(jù)進行備份，以確保整個系統(tǒng)的數(shù)據(jù)存儲安全可靠，并降低系統(tǒng)的整體成本；分級存儲解決方案通常方案（2） 分級存儲方案，不僅僅實現(xiàn)了多業(yè)務(wù)系統(tǒng)共享存儲空間、數(shù)據(jù)的動態(tài)遷移，并為開展查詢、統(tǒng)計等增值服務(wù)提供集中統(tǒng)一的數(shù)據(jù)源。分級存儲解決方案典型案例業(yè)務(wù)系統(tǒng)-1業(yè)務(wù)系統(tǒng)-2業(yè)務(wù)系統(tǒng)-X在線存儲-FC磁盤陣列近線存儲-SATA磁盤陣列離線歸檔-磁帶庫光纖交換機-1光纖交換機-2在線備份在線備份遷移歸檔遷移歸檔某省移動公司客服系統(tǒng)分級存儲系統(tǒng)友商分級存儲管理方案 友商 HSM存儲方案體系結(jié)構(gòu) 此方案的核心設(shè)備就是友商的進線存儲設(shè)備，HS