EMC Isilon 大數(shù)據(jù)Hadoop解決方案 NetApp

EMCISILON

SCALE-OUTNAS大數(shù)據(jù)Hadoop解決方案徐ndy.xu@?2015NetApp,Inc.。保留所有權(quán)利。NetApp專有信息—使用受限2應(yīng)用存儲基礎(chǔ)設(shè)施3EMCCONFIDENTIAL—INTERNALUSEONLY傳統(tǒng)文件應(yīng)用分析平臺移動應(yīng)用云存儲FTPCIFSNFSSyncplicityHTTPHDFSObjectREST企業(yè)級@擴(kuò)展統(tǒng)一的文件平臺–Isilon集群

單一文件系統(tǒng)/適應(yīng)“傳統(tǒng)”和“下一代”企業(yè)級應(yīng)用Hadoop+IsilonHDFSEthernet傳統(tǒng)HadoopDataNode+ComputeNodeDataNode+ComputeNodeDataNode+ComputeNodeDataNode+ComputeNodeDataNode+ComputeNodeDataNode+ComputeNodeNameNodeR(RHIPE)PIGMahoutHiveHBaseNameNodeJobTrackerTaskTrackerDataNode2ndNameNodeEthernet擁有IsilonHDFS的HadoopR(RHIPE)PIGMahoutHiveHBaseJobTrackerTaskTrackerDataNodeComputeNodeComputeNodeComputeNodeComputeNodeComputeNodeComputeNodenamenodenamenodenamenodenamenodenamenodenamenodedatanodeNameNodeIsilon傳統(tǒng)

NameNode

體系結(jié)構(gòu)NameNode當(dāng)

NameNode“地圖”丟失或損壞時，數(shù)據(jù)位置信息將不復(fù)存在NameNode

提供所有文件的位置信息備用NameNode

自動化恢復(fù)

=

宕機(jī)Hadoop

即將推出的

NameNode

故障切換，也需要手動恢復(fù)Isilon:分布式（群集化）NameNode元數(shù)據(jù)以標(biāo)準(zhǔn)文件元數(shù)據(jù)相同的方式跨系統(tǒng)存儲跨大量節(jié)點實現(xiàn)內(nèi)置的群集化冗余NameNode在

Isilon

上建立

NameNode

群集可實現(xiàn)

Isilon

提供的保護(hù)級別群集化

NameNode傳統(tǒng)的“無共享”Hadoop現(xiàn)有虛擬化數(shù)據(jù)中心無共享

Hadoop

基礎(chǔ)架構(gòu)非結(jié)構(gòu)化數(shù)據(jù)1分析終于能夠開始現(xiàn)有主存儲234234234234串聯(lián)的

Hadoop

(R=3)

意味著需要4份數(shù)據(jù)拷貝（資金）數(shù)據(jù)必須先拷貝到

Hadoop

群集，然后分析才能開始（收效時間）將您所有非結(jié)構(gòu)化數(shù)據(jù)復(fù)制到Hadoop平臺需要多長時間？當(dāng)主存儲上的文件發(fā)生變更時，如何保持?jǐn)?shù)據(jù)一致性？“共享一切”的

Isilon

Hadoop現(xiàn)有虛擬化數(shù)據(jù)中心使用本地

HDFS

協(xié)議非結(jié)構(gòu)化數(shù)據(jù)1僅需一份數(shù)據(jù)，無需復(fù)制（使用現(xiàn)有數(shù)據(jù)）只要有空閑的CPU和

RAM，可立即開始使用

Hadoop通過

NAS

和

HDFS

協(xié)議訪問同一數(shù)據(jù)使用現(xiàn)有數(shù)據(jù)即可實現(xiàn)極短的收效時間，無需使用拷貝，也不會浪費(fèi)資金，有效降低TCO分析可從第一個虛擬機(jī)開始新的

Hadoop

計算節(jié)點現(xiàn)有主存儲數(shù)據(jù)中心網(wǎng)絡(luò)收效時間數(shù)據(jù)拷貝分析就地分析現(xiàn)有主存儲串聯(lián)式

Hadoop通過

10

Gb鏈路將

100

TB

數(shù)據(jù)從一處拷貝到另一處需要花多長時間？>

24

小時數(shù)據(jù)中心網(wǎng)絡(luò)現(xiàn)有主存儲Hadoop

處理節(jié)點讀取相關(guān)數(shù)據(jù)進(jìn)行分析依賴式擴(kuò)展傳統(tǒng)

Hadoop

HDFSIsilon

HDFS存儲/計算比率固定擴(kuò)展計算意味著擴(kuò)展容量難以提供

QoS計算的升級屬于斷代升級獨立于存儲擴(kuò)展計算即使在工作負(fù)載增長時也可實現(xiàn)最佳性能平衡永遠(yuǎn)不需要遷移數(shù)據(jù)！隨著硬件發(fā)展實現(xiàn)性能增長計算存儲所需的性能/容量所需的

Hadoop

群集節(jié)點獨立式擴(kuò)展傳統(tǒng)

Hadoop

HDFSIsilon

HDFS存儲/計算比率固定擴(kuò)展計算意味著擴(kuò)展容量難以提供

QoS計算的升級屬于斷代升級獨立于存儲擴(kuò)展計算即使在工作負(fù)載增長時也可實現(xiàn)最佳性能平衡永遠(yuǎn)不需要遷移數(shù)據(jù)！隨著硬件發(fā)展實現(xiàn)性能增長計算存儲所需的性能/容量所需的

Hadoop

群集節(jié)點協(xié)議支持服務(wù)器服務(wù)器服務(wù)器之前之后HDFS

對

Windows、Unix、Linux、Apple

或任何其他本機(jī)文件系統(tǒng)不可見大數(shù)據(jù)僅用于大數(shù)據(jù)Isilon

支持多協(xié)議，允許隨時隨地訪問包括

Hadoop

在內(nèi)的所有文件大數(shù)據(jù)就是實際的數(shù)據(jù)！服務(wù)器快照/版本控制之前之后傳統(tǒng)

HDFS

沒有復(fù)制功能無法拍攝數(shù)據(jù)快照缺少版本控制與

SnapshotIQ完全集成，可識別更改多線程、多節(jié)點橫向擴(kuò)展復(fù)制跨不同地理位置復(fù)制Hadoop！ANALYTICSMOBILE關(guān)鍵能力優(yōu)勢支持Hadoop2.0支持PivotalHD同時支持HDFS1.0&2.0分布式NameNode支持開放的Hadoop應(yīng)用無單點故障無需3倍鏡像改進(jìn)TCOIsilon支持Hadoop2.0HDFSIsilon

HDFS

接口Isilon

支持從

NameNode

和

DataNode

到主機(jī)及元數(shù)據(jù)和數(shù)據(jù)的

HDFS

接口底層文件系統(tǒng)是

OneFS就像將

HDFS

客戶端指向

Isilon

群集的

DNS

名稱一樣簡單！HDFSHadoop配置文件TraditionalHadoop

IsilonHadoopSolution可靠性NameNode單點故障NameNode受到N+1到N+4的保護(hù)收效時間在分析前需大量時間用于數(shù)據(jù)遷移零數(shù)據(jù)遷移，直接開始分析企業(yè)級數(shù)據(jù)保護(hù)沒有本地數(shù)據(jù)保護(hù)或遠(yuǎn)程數(shù)據(jù)保護(hù)Snapshots,SyncIQ,NDMPtotape存儲利用率投入只能用于Hadoop3倍數(shù)據(jù)鏡像（30%存儲利用率)標(biāo)準(zhǔn)NAS，適應(yīng)多種協(xié)議80%的存儲利用率BenefitsSummary傳統(tǒng)Hadoop

VS

IsilonHadoopHadoop

成本低廉，無需3倍鏡像Hadoop

易于部署，僅需修改一個配置文件Hadoop

可使用現(xiàn)有數(shù)據(jù)，無需數(shù)據(jù)遷移Hadoop

NameNode

數(shù)據(jù)受到Isi