面向大數(shù)據(jù)的歸檔解決方案

1、面向大數(shù)據(jù)的歸檔解決方案同時(shí)為在線和歸檔數(shù)據(jù)服務(wù):       通過(guò)Isilon 系列節(jié)點(diǎn)的集群使用，單個(gè)Isilon NAS群集可以同時(shí)被多種工作負(fù)載使用，包括目錄、虛擬化文件存儲(chǔ)和歸檔庫(kù)，而不用擔(dān)心對(duì)性能的影響以及對(duì)長(zhǎng)期數(shù)據(jù)保存的特殊處理。除此之外它還有以下關(guān)鍵優(yōu)勢(shì)：·         提供在線存儲(chǔ)級(jí)性能的歸檔服務(wù)：對(duì)大數(shù)據(jù)歸檔，Isilon瞬時(shí)訪問(wèn)速度可以擴(kuò)展到超過(guò)每秒100 GB的吞吐量。· 

2、60;       自動(dòng)管理和自我修復(fù)功能：?jiǎn)蝹€(gè)Isilon群集可以方便地?cái)U(kuò)展至超過(guò)20 PB的容量。系統(tǒng)的自我管理和分配功能可以監(jiān)控系統(tǒng)并自我修復(fù)系統(tǒng)內(nèi)的任何故障。·         消除數(shù)據(jù)遷移風(fēng)險(xiǎn)：當(dāng)新的存儲(chǔ)節(jié)點(diǎn)、更新或更有性價(jià)比（存儲(chǔ)效率）的硬盤(pán)被加入到系統(tǒng)中時(shí)，可以提供自動(dòng)遷移功能。它不會(huì)有磁帶介質(zhì)退化的問(wèn)題，使得長(zhǎng)期歸檔服務(wù)成為了可能。 高可用和數(shù)據(jù)保護(hù)：    &

3、#160;  Isilon OneFS操作環(huán)境通過(guò)FlexProtect技術(shù)提供橫向擴(kuò)展的數(shù)據(jù)保護(hù)。區(qū)別于傳統(tǒng)的RAID技術(shù)，F(xiàn)lexProtect采用特定于文件的方法來(lái)實(shí)現(xiàn)數(shù)據(jù)保護(hù)，為每個(gè)文件單獨(dú)存儲(chǔ)保護(hù)信息。這種獨(dú)立保護(hù)允許將保護(hù)數(shù)據(jù)連同文件數(shù)據(jù)一起散布在整個(gè)群集中，從而在需要時(shí)大幅提高數(shù)據(jù)訪問(wèn)和重建的潛在并行度。在Isilon存儲(chǔ)系統(tǒng)中存在節(jié)點(diǎn)或驅(qū)動(dòng)器故障時(shí)，F(xiàn)lexProtect能夠確定文件的哪些部分受故障的影響，并讓多個(gè)節(jié)點(diǎn)僅參與受影響的文件的重新構(gòu)建。      Isilon SmartLock技術(shù)添加

4、了一個(gè)安全層，保護(hù)歸檔數(shù)據(jù)不會(huì)因?yàn)橐馔?、提前或惡意的變更而被刪除。SmartLock企業(yè)版（Enterprise Edition）符合最嚴(yán)格的SEC-17a4法規(guī)，它能和Isilon OneFS操作系統(tǒng)完整結(jié)合并無(wú)縫地與其它的OneFS應(yīng)用整合，比如SmartPools自動(dòng)存儲(chǔ)分層、SnapshotIQ和SyncIQ本地和遠(yuǎn)程數(shù)據(jù)復(fù)制和災(zāi)難恢復(fù)技術(shù)。關(guān)于Isilon數(shù)據(jù)保護(hù)方面的內(nèi)容可以參看論壇之前的文章：      OneFS操作系統(tǒng)軟件概述之?dāng)?shù)據(jù)保護(hù)（一）     

5、60;OneFS操作系統(tǒng)軟件概述之?dāng)?shù)據(jù)保護(hù)（二）      詳解Isilon數(shù)據(jù)保護(hù)和備份技術(shù) 減少大數(shù)據(jù)歸檔的存儲(chǔ)成本：       Isilon橫向擴(kuò)展NAS為非結(jié)構(gòu)化數(shù)據(jù)提供了最有效的空間使用效率，提供顯著的資本和運(yùn)營(yíng)支出結(jié)余。它提供開(kāi)放的、標(biāo)準(zhǔn)的NAS和基于RESTful對(duì)象接口協(xié)議。為您企業(yè)內(nèi)部應(yīng)用選擇合適的歸檔方案提供了便利。一旦數(shù)據(jù)從主存儲(chǔ)歸檔，Isilon會(huì)使用一系列功能確保歸檔文件盡可能有效率地存放：·   

6、      單文件系統(tǒng)和單存儲(chǔ)卷的簡(jiǎn)化使得其存儲(chǔ)利率用超過(guò)80%。和傳統(tǒng)的歸檔系統(tǒng)不同，Isilon群集的存儲(chǔ)效率、可用性和性能會(huì)在容量提升時(shí)同步提升。·         SmartPools技術(shù)提供自動(dòng)化的、基于策略的分層策略。根據(jù)相關(guān)性和權(quán)值，數(shù)據(jù)會(huì)被放入高性能的存儲(chǔ)池或高容量的存儲(chǔ)池中。·         簡(jiǎn)單的、橫向擴(kuò)展的架構(gòu)可以

7、整合文件數(shù)據(jù)，減少整個(gè)組織內(nèi)文件的存放位置。從而減少管理成本和歸檔的操作流程。OneFS操作系統(tǒng)軟件概述之?dāng)?shù)據(jù)保護(hù)電源故障 Isilon存儲(chǔ)系統(tǒng)在將數(shù)據(jù)寫(xiě)入磁盤(pán)前，會(huì)將數(shù)據(jù)日志Journal寫(xiě)入NVRAM非易失隨機(jī)存取存儲(chǔ)器中。數(shù)據(jù)日志Journal用于保存變更信息到文件系統(tǒng)，當(dāng)Isilon存儲(chǔ)系統(tǒng)遭遇電源故障時(shí)，通過(guò)數(shù)據(jù)日志Journal中保存的變更信息可以確保系統(tǒng)能夠快速的從故障中恢復(fù)。如果系統(tǒng)設(shè)計(jì)未采用Journal機(jī)制，那么文件系統(tǒng)將需要檢測(cè)所有潛在文件系統(tǒng)改變，然后才能將文件系統(tǒng)恢復(fù)正常。 OneFS是一個(gè)日志文件系統(tǒng)，每個(gè)節(jié)點(diǎn)都擁有單獨(dú)電池供電的NVRAM卡。在特殊情況下，NVRA

8、M卡能夠完成未提交的寫(xiě)操作。在不充電的情況下，NVRAM卡的電池可以持續(xù)使用多日。當(dāng)一個(gè)節(jié)點(diǎn)恢復(fù)后，系統(tǒng)會(huì)檢查數(shù)據(jù)日志Journal。 OneFS操作系統(tǒng)在確保所有未處理的操作已經(jīng)被記錄的情況下，才加載文件系統(tǒng)。如果用戶沒(méi)有遵循正確的關(guān)機(jī)程序，NVRAM電池沒(méi)有充電，而且Transactions已經(jīng)丟失的情況下，節(jié)點(diǎn)是不會(huì)加載文件系統(tǒng)。 Quorum機(jī)制 為了確保集群能夠正常運(yùn)行和數(shù)據(jù)能夠?qū)懭?，?jié)點(diǎn)必須符合quorum機(jī)制。Quorum機(jī)制的定義是：當(dāng)一個(gè)集群擁有N個(gè)節(jié)點(diǎn)，那么在（N÷2）+1個(gè)節(jié)點(diǎn)在線的情況下客戶端才能對(duì)集群正常寫(xiě)入數(shù)據(jù)。例如：一個(gè)7節(jié)點(diǎn)的群集，必須有4個(gè)節(jié)點(diǎn)在線才

9、符合quorum機(jī)制。如果一個(gè)節(jié)點(diǎn)或者群集工作正常，但是群集節(jié)點(diǎn)都不符合quorum機(jī)制，那么這個(gè)群集將處于只讀狀態(tài)。 Isilon存儲(chǔ)系統(tǒng)的quorum機(jī)制是為了保護(hù)處于“split-brain”狀態(tài)群集的數(shù)據(jù)安全?！癝plit-brain”是指一個(gè)群集被臨時(shí)分割成二個(gè)小群集。符合quorum規(guī)則時(shí)，系統(tǒng)可以保證無(wú)論多少節(jié)點(diǎn)故障或者恢復(fù)聯(lián)機(jī)，系統(tǒng)可以確保寫(xiě)操作和之前寫(xiě)操作數(shù)據(jù)的一致性。 通過(guò)Quorum機(jī)制可以算出指定數(shù)據(jù)保護(hù)下需要的節(jié)點(diǎn)數(shù)目。對(duì)于以N+M的擦除碼為基礎(chǔ)的保護(hù)級(jí)別，群集必須包含2M+1個(gè)節(jié)點(diǎn)。例如：七個(gè)節(jié)點(diǎn)群集最少需要N+3配置，這樣可以確保在群集丟失3個(gè)節(jié)點(diǎn)的情況下仍然可以

10、保持正常運(yùn)行。如果一個(gè)群集不符合quorum規(guī)則，那么該群集只能處于只讀狀態(tài)。節(jié)點(diǎn)硬件故障 OneFS操作系統(tǒng)的組管理協(xié)議用于保證集群全局性，并保證整個(gè)集群中所有節(jié)點(diǎn)狀態(tài)一致。當(dāng)一個(gè)或多個(gè)節(jié)點(diǎn)無(wú)法通過(guò)內(nèi)部連接訪問(wèn)群集時(shí)，這些節(jié)點(diǎn)在集群中將會(huì)被刪除。當(dāng)集群被分裂成二個(gè)不同的節(jié)點(diǎn)群體，符合Quorum機(jī)制的節(jié)點(diǎn)群體將可以繼續(xù)被客戶端讀寫(xiě)，不符合Quorum機(jī)制節(jié)點(diǎn)群體上的數(shù)據(jù)也能夠繼續(xù)為客戶端提供讀操作服務(wù)。在集群處于“分裂”狀態(tài)時(shí)，文件系統(tǒng)中的所有數(shù)據(jù)都將處于可讀狀態(tài)。 如果Isilon故障節(jié)點(diǎn)恢復(fù)后，這些節(jié)點(diǎn)將被重新添加回群集中，節(jié)點(diǎn)恢復(fù)過(guò)程不需要重建和重新配置。這個(gè)過(guò)程比硬件RAID陣列的故

11、障恢復(fù)更加高效，因?yàn)橛布AID陣列的恢復(fù)需要重建磁盤(pán)陣列。在故障節(jié)點(diǎn)重新加入群集后，AutoBalance會(huì)對(duì)分裂過(guò)程中被覆蓋的保護(hù)區(qū)重新做條帶以提高讀寫(xiě)效率。 OneFS操作系統(tǒng)的collect進(jìn)程會(huì)扮演orphan數(shù)據(jù)收集者的角色。Orphan數(shù)據(jù)是在群集分裂時(shí)產(chǎn)生的數(shù)據(jù)塊。當(dāng)群集在存在寫(xiě)操作時(shí)發(fā)生分裂，一些分配給文件的塊會(huì)被重新寫(xiě)入符合Quorum機(jī)制的節(jié)點(diǎn)群體，那么在不符合Quorum機(jī)制的節(jié)點(diǎn)群體中就會(huì)產(chǎn)生Orphan數(shù)據(jù)。當(dāng)群集重新合并后，collect進(jìn)程將標(biāo)記這些orphan數(shù)據(jù)塊，并回收它們?cè)谌杭械目捎每臻g。 數(shù)據(jù)重建 OneFS操作系統(tǒng)不依賴RAID陣列來(lái)分配數(shù)據(jù)或者故

12、障后重建數(shù)據(jù)。在故障發(fā)生后，OneFS操作系統(tǒng)將直接管理文件數(shù)據(jù)的保護(hù)，并通過(guò)并行的方式重建數(shù)據(jù)。OneFS可以直接偵測(cè)到受故障影響的文件、讀取節(jié)點(diǎn)數(shù)據(jù)和關(guān)閉磁盤(pán)。通過(guò)集群節(jié)點(diǎn)上的Job引擎，受影響的文件將會(huì)被分配給一組對(duì)應(yīng)的線程。工作節(jié)點(diǎn)會(huì)通過(guò)并行的方式修復(fù)文件。這種數(shù)據(jù)重建機(jī)制意味著群集規(guī)模越大，數(shù)據(jù)重建消耗的時(shí)間將越小。 虛擬熱備份技術(shù) 在基于RAID陣列的傳統(tǒng)存儲(chǔ)系統(tǒng)中，熱備用驅(qū)動(dòng)器被用于替代RAID硬件陣列中的故障磁盤(pán)。如果在熱備用驅(qū)動(dòng)器替代RAID陣列中的故障驅(qū)動(dòng)器前，系統(tǒng)出現(xiàn)其它故障驅(qū)動(dòng)器，系統(tǒng)將面臨極大的數(shù)據(jù)丟失風(fēng)險(xiǎn)。OneFS操作系統(tǒng)沒(méi)有使用熱備用驅(qū)動(dòng)器技術(shù)，而是利用系統(tǒng)中可

13、用空間來(lái)進(jìn)行虛擬熱備。虛擬熱備份讓系統(tǒng)具備了完全自愈，無(wú)需人工干預(yù)的恢復(fù)機(jī)制。存儲(chǔ)管理員可以通過(guò)創(chuàng)建一個(gè)虛擬的熱備份存儲(chǔ)空間，確保系統(tǒng)在用戶持續(xù)寫(xiě)入時(shí)能夠自我修復(fù)。詳解Isilon數(shù)據(jù)保護(hù)和備份技術(shù)數(shù)據(jù)保護(hù)是指在不影響主要數(shù)據(jù)運(yùn)行的前提下，可以實(shí)現(xiàn)持續(xù)捕捉或跟蹤目標(biāo)數(shù)據(jù)所發(fā)生的任何改變，并且能夠恢復(fù)到以前任何時(shí)間點(diǎn)的方法。備份則是指為防止系統(tǒng)出現(xiàn)操作失誤或系統(tǒng)故障導(dǎo)致數(shù)據(jù)丟失，而將全部或者部分?jǐn)?shù)據(jù)集合到應(yīng)用主機(jī)的硬盤(pán)或陣列復(fù)制到其它的存儲(chǔ)介質(zhì)的過(guò)程。 RTO和RPO是用于衡量數(shù)據(jù)保護(hù)和備份成功與否的重要指標(biāo)，RTO是指信息系統(tǒng)從災(zāi)難狀態(tài)恢復(fù)到可運(yùn)行狀態(tài)所需要的時(shí)間，RPO是指業(yè)務(wù)系統(tǒng)

14、所允許的在災(zāi)難過(guò)程中的最大數(shù)據(jù)丟失量。在Isilon上主要使用以下幾種數(shù)據(jù)保護(hù)和備份技術(shù)：   FlexProtect FlexProtect數(shù)據(jù)保護(hù)技術(shù)，該技術(shù)是OneFS獨(dú)有的數(shù)據(jù)保護(hù)方式。通過(guò)自動(dòng)搜索未受保護(hù)的文件并且修復(fù)這些文件，在集群上定義數(shù)據(jù)保護(hù)級(jí)別，數(shù)據(jù)保護(hù)可以應(yīng)用到單個(gè)集群、單獨(dú)的目錄、子目錄或者單個(gè)文件，靈活的數(shù)據(jù)保護(hù)級(jí)別設(shè)置讓管理員可以為重要的數(shù)據(jù)設(shè)置更高的數(shù)據(jù)保護(hù)級(jí)別，以便獲得更小的RPO。  FlexProtect數(shù)據(jù)保護(hù)技術(shù)使用Reed Solomon算法，該算法跨集群中的多個(gè)節(jié)點(diǎn)處理數(shù)據(jù)，使客戶在丟失多個(gè)磁

15、盤(pán)或者節(jié)點(diǎn)的情況下仍可以訪問(wèn)所有數(shù)據(jù)。更多FlexProtect信息，請(qǐng)參考文檔OneFS 6.0.x User Guide和OneFS 6.5.x User Guide中的章節(jié)“OneFS data protection”和“Modify protection settings”或者文檔OneFS 5.x User Guide中的章節(jié)“Managing Protection Levels”。    SmartConnect SmartConnect應(yīng)用軟件為用戶提供了業(yè)界領(lǐng)先的高可用性和性能，來(lái)滿足永遠(yuǎn)在線的、永不中斷的業(yè)務(wù)要求。通過(guò)使用單一

16、的主機(jī)名，SmartConnect支持客戶端連接負(fù)載平衡和客戶端連接在存儲(chǔ)節(jié)點(diǎn)上的動(dòng)態(tài)NFS的故障切換和故障恢復(fù)，提供了最佳的集群資源利用率。Windows客戶端使用別的節(jié)點(diǎn)來(lái)加載CIFS共享也非常方便，無(wú)需安裝客戶端驅(qū)動(dòng)程序，管理員就能容易地管理不斷增加的眾多客戶端，確保即使發(fā)生了一個(gè)系統(tǒng)故障，所有讀寫(xiě)操作也能成功完成。  默認(rèn)情況下，OneFS包括SmartConnect基本版應(yīng)用軟件，SmartConnect高級(jí)版軟件需要付費(fèi)購(gòu)買(mǎi)。更多SmartConnect信息請(qǐng)參考文檔OneFS 6.5.x User Guide的“SmartConnect management”

17、和“Configure connection balancing”章節(jié)或者文檔OneFS 6.0.x User Guide的“Connection balancing with SmartConnect”章節(jié)。    SnapshotIQ SnapshotIQ快照技術(shù)是OneFS中需要license的可選功能，該功能在激活后，可以通過(guò)Isilon網(wǎng)頁(yè)管理端口或者命令行來(lái)配置。  SnapshotIQ快照技術(shù)以簡(jiǎn)便的、可擴(kuò)展和靈活的方式，為集群存儲(chǔ)提供企業(yè)級(jí)的保護(hù)和用戶驅(qū)動(dòng)的數(shù)據(jù)恢復(fù)。SnapshotIQ支持在高度可擴(kuò)展的單一

18、集群存儲(chǔ)池內(nèi)對(duì)數(shù)據(jù)不限量的快照，和在任何單個(gè)目錄內(nèi)對(duì)數(shù)據(jù)高達(dá)1024個(gè)的快照，顯示出SnapshotIQ在傳統(tǒng)快照技術(shù)基礎(chǔ)上的巨大進(jìn)步。Isilon快照技術(shù)是對(duì)數(shù)據(jù)的瞬間只讀影像，能可靠地將不限量的快照分布到多個(gè)高度可用的Isilon IQ集群存儲(chǔ)節(jié)點(diǎn)上。  SnapshotIQ具有以下優(yōu)勢(shì)：1、SnapshotIQ創(chuàng)建在目錄層，相對(duì)傳統(tǒng)快照技術(shù)（創(chuàng)建于卷層）能提供更好的顆粒度；2、支持windows卷快照管理，windows客戶端可以恢復(fù)到之前版本；3、SnapshotIQ技術(shù)擁有更靈活的制度和定義計(jì)劃；4、新快照命名更方便管理快照；5、單目錄最多支持1024個(gè)快照，集群

19、級(jí)別無(wú)快照數(shù)限制；6、快照支持COW和pointer-based二種策略。  更多SnapshotIQ信息，請(qǐng)參考文檔OneFS User Guide章節(jié)“Isilon SnapshotIQ module”。    SyncIQ SyncIQ復(fù)制軟件為災(zāi)難恢復(fù)、業(yè)務(wù)連續(xù)性、磁盤(pán)到磁盤(pán)備份和遠(yuǎn)程磁盤(pán)歸檔提供強(qiáng)大、靈活和易于管理的數(shù)據(jù)復(fù)制。SyncIQ具備的獨(dú)特復(fù)制性能使得Isilon群集上的每個(gè)節(jié)點(diǎn)都可以發(fā)送和接收數(shù)據(jù)，因此，它實(shí)際上會(huì)隨著數(shù)據(jù)存儲(chǔ)的增長(zhǎng)而加快速度，并且可以對(duì)其進(jìn)行配置以充分利用所有可用的網(wǎng)絡(luò)帶寬。由于源和目標(biāo)

20、都可以擴(kuò)展到數(shù)PB 容量，而不需要?jiǎng)澐譃槎鄠€(gè)卷或文件系統(tǒng)，因此數(shù)據(jù)復(fù)制在開(kāi)始時(shí)很簡(jiǎn)單，并且隨著系統(tǒng)擴(kuò)展將保持簡(jiǎn)單性，從而為災(zāi)難恢復(fù)提供堅(jiān)實(shí)的基礎(chǔ)。  簡(jiǎn)單而直觀的 Web 界面使您可以輕松組織SyncIQ 復(fù)制作業(yè)的頻率和優(yōu)先級(jí)，以符合您的業(yè)務(wù)連續(xù)性優(yōu)先級(jí)。通常，將建立 SyncIQ 重復(fù)性作業(yè)以保護(hù)公司災(zāi)難恢復(fù)計(jì)劃中的各個(gè)主要恢復(fù)點(diǎn)目標(biāo)需要的數(shù)據(jù) 每 6 小時(shí)同步一次客戶數(shù)據(jù)，每2 天同步一次 HR 數(shù)據(jù)等等。根據(jù)業(yè)務(wù)重要程度，配置目錄、文件系統(tǒng)甚至特定文件以進(jìn)行

21、頻率較高或較低的復(fù)制。為需要保留的停用數(shù)據(jù)創(chuàng)建遠(yuǎn)程歸檔副本，以便回收生產(chǎn)系統(tǒng)中的寶貴容量。 復(fù)制不應(yīng)引起中斷，而 SyncIQ 具有無(wú)中斷特性；恰好占用您指定的或高或低的系統(tǒng)資源和網(wǎng)絡(luò)帶寬。默認(rèn)情況下，SyncIQ 將占用所有空閑系統(tǒng)資源和網(wǎng)絡(luò)資源。為了獲得更高的靈活性，您可以限制SyncIQ 系統(tǒng)或網(wǎng)絡(luò)資源利用率，并將同步作業(yè)安排在非高峰時(shí)段進(jìn)行。  更多SyncIQ信息，請(qǐng)參考文檔OneFS 6.x User Guide章節(jié)“The Isilon SyncIQ module”、文檔OneFS 5.5 User Guide章節(jié)“The Isilon SyncIQ v2.5 Module”和文檔OneFS 5.0 User Guide章節(jié)“The Isilon SyncIQ v2.0 Module”。    NDMP 網(wǎng)絡(luò)數(shù)據(jù)管理協(xié)議 (NDMP)