面向大數(shù)據(jù)的歸檔解決方案

1、面向大數(shù)據(jù)的歸檔解決方案同時為在線和歸檔數(shù)據(jù)服務(wù):       通過Isilon 系列節(jié)點的集群使用，單個Isilon NAS群集可以同時被多種工作負(fù)載使用，包括目錄、虛擬化文件存儲和歸檔庫，而不用擔(dān)心對性能的影響以及對長期數(shù)據(jù)保存的特殊處理。除此之外它還有以下關(guān)鍵優(yōu)勢：·         提供在線存儲級性能的歸檔服務(wù)：對大數(shù)據(jù)歸檔，Isilon瞬時訪問速度可以擴展到超過每秒100 GB的吞吐量。· 

2、60;       自動管理和自我修復(fù)功能：單個Isilon群集可以方便地擴展至超過20 PB的容量。系統(tǒng)的自我管理和分配功能可以監(jiān)控系統(tǒng)并自我修復(fù)系統(tǒng)內(nèi)的任何故障。·         消除數(shù)據(jù)遷移風(fēng)險：當(dāng)新的存儲節(jié)點、更新或更有性價比（存儲效率）的硬盤被加入到系統(tǒng)中時，可以提供自動遷移功能。它不會有磁帶介質(zhì)退化的問題，使得長期歸檔服務(wù)成為了可能。 高可用和數(shù)據(jù)保護：    &

3、#160;  Isilon OneFS操作環(huán)境通過FlexProtect技術(shù)提供橫向擴展的數(shù)據(jù)保護。區(qū)別于傳統(tǒng)的RAID技術(shù)，F(xiàn)lexProtect采用特定于文件的方法來實現(xiàn)數(shù)據(jù)保護，為每個文件單獨存儲保護信息。這種獨立保護允許將保護數(shù)據(jù)連同文件數(shù)據(jù)一起散布在整個群集中，從而在需要時大幅提高數(shù)據(jù)訪問和重建的潛在并行度。在Isilon存儲系統(tǒng)中存在節(jié)點或驅(qū)動器故障時，F(xiàn)lexProtect能夠確定文件的哪些部分受故障的影響，并讓多個節(jié)點僅參與受影響的文件的重新構(gòu)建。      Isilon SmartLock技術(shù)添加

4、了一個安全層，保護歸檔數(shù)據(jù)不會因為意外、提前或惡意的變更而被刪除。SmartLock企業(yè)版（Enterprise Edition）符合最嚴(yán)格的SEC-17a4法規(guī)，它能和Isilon OneFS操作系統(tǒng)完整結(jié)合并無縫地與其它的OneFS應(yīng)用整合，比如SmartPools自動存儲分層、SnapshotIQ和SyncIQ本地和遠程數(shù)據(jù)復(fù)制和災(zāi)難恢復(fù)技術(shù)。關(guān)于Isilon數(shù)據(jù)保護方面的內(nèi)容可以參看論壇之前的文章：      OneFS操作系統(tǒng)軟件概述之?dāng)?shù)據(jù)保護（一）     

5、60;OneFS操作系統(tǒng)軟件概述之?dāng)?shù)據(jù)保護（二）      詳解Isilon數(shù)據(jù)保護和備份技術(shù) 減少大數(shù)據(jù)歸檔的存儲成本：       Isilon橫向擴展NAS為非結(jié)構(gòu)化數(shù)據(jù)提供了最有效的空間使用效率，提供顯著的資本和運營支出結(jié)余。它提供開放的、標(biāo)準(zhǔn)的NAS和基于RESTful對象接口協(xié)議。為您企業(yè)內(nèi)部應(yīng)用選擇合適的歸檔方案提供了便利。一旦數(shù)據(jù)從主存儲歸檔，Isilon會使用一系列功能確保歸檔文件盡可能有效率地存放：·   

6、      單文件系統(tǒng)和單存儲卷的簡化使得其存儲利率用超過80%。和傳統(tǒng)的歸檔系統(tǒng)不同，Isilon群集的存儲效率、可用性和性能會在容量提升時同步提升。·         SmartPools技術(shù)提供自動化的、基于策略的分層策略。根據(jù)相關(guān)性和權(quán)值，數(shù)據(jù)會被放入高性能的存儲池或高容量的存儲池中。·         簡單的、橫向擴展的架構(gòu)可以

7、整合文件數(shù)據(jù)，減少整個組織內(nèi)文件的存放位置。從而減少管理成本和歸檔的操作流程。OneFS操作系統(tǒng)軟件概述之?dāng)?shù)據(jù)保護電源故障 Isilon存儲系統(tǒng)在將數(shù)據(jù)寫入磁盤前，會將數(shù)據(jù)日志Journal寫入NVRAM非易失隨機存取存儲器中。數(shù)據(jù)日志Journal用于保存變更信息到文件系統(tǒng)，當(dāng)Isilon存儲系統(tǒng)遭遇電源故障時，通過數(shù)據(jù)日志Journal中保存的變更信息可以確保系統(tǒng)能夠快速的從故障中恢復(fù)。如果系統(tǒng)設(shè)計未采用Journal機制，那么文件系統(tǒng)將需要檢測所有潛在文件系統(tǒng)改變，然后才能將文件系統(tǒng)恢復(fù)正常。 OneFS是一個日志文件系統(tǒng)，每個節(jié)點都擁有單獨電池供電的NVRAM卡。在特殊情況下，NVRA

8、M卡能夠完成未提交的寫操作。在不充電的情況下，NVRAM卡的電池可以持續(xù)使用多日。當(dāng)一個節(jié)點恢復(fù)后，系統(tǒng)會檢查數(shù)據(jù)日志Journal。 OneFS操作系統(tǒng)在確保所有未處理的操作已經(jīng)被記錄的情況下，才加載文件系統(tǒng)。如果用戶沒有遵循正確的關(guān)機程序，NVRAM電池沒有充電，而且Transactions已經(jīng)丟失的情況下，節(jié)點是不會加載文件系統(tǒng)。 Quorum機制 為了確保集群能夠正常運行和數(shù)據(jù)能夠?qū)懭?，?jié)點必須符合quorum機制。Quorum機制的定義是：當(dāng)一個集群擁有N個節(jié)點，那么在（N÷2）+1個節(jié)點在線的情況下客戶端才能對集群正常寫入數(shù)據(jù)。例如：一個7節(jié)點的群集，必須有4個節(jié)點在線才

9、符合quorum機制。如果一個節(jié)點或者群集工作正常，但是群集節(jié)點都不符合quorum機制，那么這個群集將處于只讀狀態(tài)。 Isilon存儲系統(tǒng)的quorum機制是為了保護處于“split-brain”狀態(tài)群集的數(shù)據(jù)安全?！癝plit-brain”是指一個群集被臨時分割成二個小群集。符合quorum規(guī)則時，系統(tǒng)可以保證無論多少節(jié)點故障或者恢復(fù)聯(lián)機，系統(tǒng)可以確保寫操作和之前寫操作數(shù)據(jù)的一致性。 通過Quorum機制可以算出指定數(shù)據(jù)保護下需要的節(jié)點數(shù)目。對于以N+M的擦除碼為基礎(chǔ)的保護級別，群集必須包含2M+1個節(jié)點。例如：七個節(jié)點群集最少需要N+3配置，這樣可以確保在群集丟失3個節(jié)點的情況下仍然可以

10、保持正常運行。如果一個群集不符合quorum規(guī)則，那么該群集只能處于只讀狀態(tài)。節(jié)點硬件故障 OneFS操作系統(tǒng)的組管理協(xié)議用于保證集群全局性，并保證整個集群中所有節(jié)點狀態(tài)一致。當(dāng)一個或多個節(jié)點無法通過內(nèi)部連接訪問群集時，這些節(jié)點在集群中將會被刪除。當(dāng)集群被分裂成二個不同的節(jié)點群體，符合Quorum機制的節(jié)點群體將可以繼續(xù)被客戶端讀寫，不符合Quorum機制節(jié)點群體上的數(shù)據(jù)也能夠繼續(xù)為客戶端提供讀操作服務(wù)。在集群處于“分裂”狀態(tài)時，文件系統(tǒng)中的所有數(shù)據(jù)都將處于可讀狀態(tài)。 如果Isilon故障節(jié)點恢復(fù)后，這些節(jié)點將被重新添加回群集中，節(jié)點恢復(fù)過程不需要重建和重新配置。這個過程比硬件RAID陣列的故

11、障恢復(fù)更加高效，因為硬件RAID陣列的恢復(fù)需要重建磁盤陣列。在故障節(jié)點重新加入群集后，AutoBalance會對分裂過程中被覆蓋的保護區(qū)重新做條帶以提高讀寫效率。 OneFS操作系統(tǒng)的collect進程會扮演orphan數(shù)據(jù)收集者的角色。Orphan數(shù)據(jù)是在群集分裂時產(chǎn)生的數(shù)據(jù)塊。當(dāng)群集在存在寫操作時發(fā)生分裂，一些分配給文件的塊會被重新寫入符合Quorum機制的節(jié)點群體，那么在不符合Quorum機制的節(jié)點群體中就會產(chǎn)生Orphan數(shù)據(jù)。當(dāng)群集重新合并后，collect進程將標(biāo)記這些orphan數(shù)據(jù)塊，并回收它們在群集中的可用空間。 數(shù)據(jù)重建 OneFS操作系統(tǒng)不依賴RAID陣列來分配數(shù)據(jù)或者故

12、障后重建數(shù)據(jù)。在故障發(fā)生后，OneFS操作系統(tǒng)將直接管理文件數(shù)據(jù)的保護，并通過并行的方式重建數(shù)據(jù)。OneFS可以直接偵測到受故障影響的文件、讀取節(jié)點數(shù)據(jù)和關(guān)閉磁盤。通過集群節(jié)點上的Job引擎，受影響的文件將會被分配給一組對應(yīng)的線程。工作節(jié)點會通過并行的方式修復(fù)文件。這種數(shù)據(jù)重建機制意味著群集規(guī)模越大，數(shù)據(jù)重建消耗的時間將越小。 虛擬熱備份技術(shù) 在基于RAID陣列的傳統(tǒng)存儲系統(tǒng)中，熱備用驅(qū)動器被用于替代RAID硬件陣列中的故障磁盤。如果在熱備用驅(qū)動器替代RAID陣列中的故障驅(qū)動器前，系統(tǒng)出現(xiàn)其它故障驅(qū)動器，系統(tǒng)將面臨極大的數(shù)據(jù)丟失風(fēng)險。OneFS操作系統(tǒng)沒有使用熱備用驅(qū)動器技術(shù)，而是利用系統(tǒng)中可

13、用空間來進行虛擬熱備。虛擬熱備份讓系統(tǒng)具備了完全自愈，無需人工干預(yù)的恢復(fù)機制。存儲管理員可以通過創(chuàng)建一個虛擬的熱備份存儲空間，確保系統(tǒng)在用戶持續(xù)寫入時能夠自我修復(fù)。詳解Isilon數(shù)據(jù)保護和備份技術(shù)數(shù)據(jù)保護是指在不影響主要數(shù)據(jù)運行的前提下，可以實現(xiàn)持續(xù)捕捉或跟蹤目標(biāo)數(shù)據(jù)所發(fā)生的任何改變，并且能夠恢復(fù)到以前任何時間點的方法。備份則是指為防止系統(tǒng)出現(xiàn)操作失誤或系統(tǒng)故障導(dǎo)致數(shù)據(jù)丟失，而將全部或者部分?jǐn)?shù)據(jù)集合到應(yīng)用主機的硬盤或陣列復(fù)制到其它的存儲介質(zhì)的過程。 RTO和RPO是用于衡量數(shù)據(jù)保護和備份成功與否的重要指標(biāo)，RTO是指信息系統(tǒng)從災(zāi)難狀態(tài)恢復(fù)到可運行狀態(tài)所需要的時間，RPO是指業(yè)務(wù)系統(tǒng)

14、所允許的在災(zāi)難過程中的最大數(shù)據(jù)丟失量。在Isilon上主要使用以下幾種數(shù)據(jù)保護和備份技術(shù)：   FlexProtect FlexProtect數(shù)據(jù)保護技術(shù)，該技術(shù)是OneFS獨有的數(shù)據(jù)保護方式。通過自動搜索未受保護的文件并且修復(fù)這些文件，在集群上定義數(shù)據(jù)保護級別，數(shù)據(jù)保護可以應(yīng)用到單個集群、單獨的目錄、子目錄或者單個文件，靈活的數(shù)據(jù)保護級別設(shè)置讓管理員可以為重要的數(shù)據(jù)設(shè)置更高的數(shù)據(jù)保護級別，以便獲得更小的RPO。  FlexProtect數(shù)據(jù)保護技術(shù)使用Reed Solomon算法，該算法跨集群中的多個節(jié)點處理數(shù)據(jù)，使客戶在丟失多個磁

15、盤或者節(jié)點的情況下仍可以訪問所有數(shù)據(jù)。更多FlexProtect信息，請參考文檔OneFS 6.0.x User Guide和OneFS 6.5.x User Guide中的章節(jié)“OneFS data protection”和“Modify protection settings”或者文檔OneFS 5.x User Guide中的章節(jié)“Managing Protection Levels”。    SmartConnect SmartConnect應(yīng)用軟件為用戶提供了業(yè)界領(lǐng)先的高可用性和性能，來滿足永遠在線的、永不中斷的業(yè)務(wù)要求。通過使用單一

16、的主機名，SmartConnect支持客戶端連接負(fù)載平衡和客戶端連接在存儲節(jié)點上的動態(tài)NFS的故障切換和故障恢復(fù)，提供了最佳的集群資源利用率。Windows客戶端使用別的節(jié)點來加載CIFS共享也非常方便，無需安裝客戶端驅(qū)動程序，管理員就能容易地管理不斷增加的眾多客戶端，確保即使發(fā)生了一個系統(tǒng)故障，所有讀寫操作也能成功完成。  默認(rèn)情況下，OneFS包括SmartConnect基本版應(yīng)用軟件，SmartConnect高級版軟件需要付費購買。更多SmartConnect信息請參考文檔OneFS 6.5.x User Guide的“SmartConnect management”

17、和“Configure connection balancing”章節(jié)或者文檔OneFS 6.0.x User Guide的“Connection balancing with SmartConnect”章節(jié)。    SnapshotIQ SnapshotIQ快照技術(shù)是OneFS中需要license的可選功能，該功能在激活后，可以通過Isilon網(wǎng)頁管理端口或者命令行來配置。  SnapshotIQ快照技術(shù)以簡便的、可擴展和靈活的方式，為集群存儲提供企業(yè)級的保護和用戶驅(qū)動的數(shù)據(jù)恢復(fù)。SnapshotIQ支持在高度可擴展的單一

18、集群存儲池內(nèi)對數(shù)據(jù)不限量的快照，和在任何單個目錄內(nèi)對數(shù)據(jù)高達1024個的快照，顯示出SnapshotIQ在傳統(tǒng)快照技術(shù)基礎(chǔ)上的巨大進步。Isilon快照技術(shù)是對數(shù)據(jù)的瞬間只讀影像，能可靠地將不限量的快照分布到多個高度可用的Isilon IQ集群存儲節(jié)點上。  SnapshotIQ具有以下優(yōu)勢：1、SnapshotIQ創(chuàng)建在目錄層，相對傳統(tǒng)快照技術(shù)（創(chuàng)建于卷層）能提供更好的顆粒度；2、支持windows卷快照管理，windows客戶端可以恢復(fù)到之前版本；3、SnapshotIQ技術(shù)擁有更靈活的制度和定義計劃；4、新快照命名更方便管理快照；5、單目錄最多支持1024個快照，集群

19、級別無快照數(shù)限制；6、快照支持COW和pointer-based二種策略。  更多SnapshotIQ信息，請參考文檔OneFS User Guide章節(jié)“Isilon SnapshotIQ module”。    SyncIQ SyncIQ復(fù)制軟件為災(zāi)難恢復(fù)、業(yè)務(wù)連續(xù)性、磁盤到磁盤備份和遠程磁盤歸檔提供強大、靈活和易于管理的數(shù)據(jù)復(fù)制。SyncIQ具備的獨特復(fù)制性能使得Isilon群集上的每個節(jié)點都可以發(fā)送和接收數(shù)據(jù)，因此，它實際上會隨著數(shù)據(jù)存儲的增長而加快速度，并且可以對其進行配置以充分利用所有可用的網(wǎng)絡(luò)帶寬。由于源和目標(biāo)

20、都可以擴展到數(shù)PB 容量，而不需要劃分為多個卷或文件系統(tǒng)，因此數(shù)據(jù)復(fù)制在開始時很簡單，并且隨著系統(tǒng)擴展將保持簡單性，從而為災(zāi)難恢復(fù)提供堅實的基礎(chǔ)。  簡單而直觀的 Web 界面使您可以輕松組織SyncIQ 復(fù)制作業(yè)的頻率和優(yōu)先級，以符合您的業(yè)務(wù)連續(xù)性優(yōu)先級。通常，將建立 SyncIQ 重復(fù)性作業(yè)以保護公司災(zāi)難恢復(fù)計劃中的各個主要恢復(fù)點目標(biāo)需要的數(shù)據(jù) 每 6 小時同步一次客戶數(shù)據(jù)，每2 天同步一次 HR 數(shù)據(jù)等等。根據(jù)業(yè)務(wù)重要程度，配置目錄、文件系統(tǒng)甚至特定文件以進行

21、頻率較高或較低的復(fù)制。為需要保留的停用數(shù)據(jù)創(chuàng)建遠程歸檔副本，以便回收生產(chǎn)系統(tǒng)中的寶貴容量。 復(fù)制不應(yīng)引起中斷，而 SyncIQ 具有無中斷特性；恰好占用您指定的或高或低的系統(tǒng)資源和網(wǎng)絡(luò)帶寬。默認(rèn)情況下，SyncIQ 將占用所有空閑系統(tǒng)資源和網(wǎng)絡(luò)資源。為了獲得更高的靈活性，您可以限制SyncIQ 系統(tǒng)或網(wǎng)絡(luò)資源利用率，并將同步作業(yè)安排在非高峰時段進行。  更多SyncIQ信息，請參考文檔OneFS 6.x User Guide章節(jié)“The Isilon SyncIQ module”、文檔OneFS 5.5 User Guide章節(jié)“The Isilon SyncIQ v2.5 Module”和文檔OneFS 5.0 User Guide章節(jié)“The Isilon SyncIQ v2.0 Module”。    NDMP 網(wǎng)絡(luò)數(shù)據(jù)管理協(xié)議 (NDMP)