EMC Isilon 大數(shù)據(jù)存儲和高性能計算2

大數(shù)據(jù)存儲和高性能計算

2015.6HPC和大數(shù)據(jù)HPC應(yīng)用高性能技術(shù)計算(HPTC)高性能業(yè)務(wù)計算(HPBC)高性能計算(HPC)CAE

CFD電磁

仿真氣象、海洋、環(huán)境分析生命科學(xué)計算物理、計算化學(xué)、材料油氣、煤炭勘探蒙地卡羅財務(wù)模擬金融套利、風(fēng)險分析衛(wèi)星數(shù)據(jù)解釋現(xiàn)代天文學(xué)圖像渲染大數(shù)據(jù)對HPC的挑戰(zhàn)新的作業(yè)流程，更精密的采集方式等等，產(chǎn)生大量的原始數(shù)據(jù)地震資料處理5-7TB每天，1個人類基因組序列100GB越來越多的行業(yè)需要基于HPC的大數(shù)據(jù)分析原始數(shù)據(jù)的導(dǎo)入、過程數(shù)據(jù)的保存，數(shù)據(jù)的安全性/備份HPC架構(gòu)要求“pay-as-you-grow”HPC用戶更應(yīng)關(guān)注業(yè)務(wù)及數(shù)據(jù)，而非存儲管理HPC應(yīng)用的存儲選擇可以自己構(gòu)建低成本存儲構(gòu)建大存儲正逐漸變得容易！大、高性能、安全的HPC存儲依然是難題大、高性能、安全且管理簡單的存儲才是關(guān)鍵！面向HPC應(yīng)用的存儲——SimpleisSmart?借助HPC架構(gòu)靈感，開創(chuàng)橫向擴展架構(gòu)的存儲平臺集群中每一個節(jié)點都有CPU、內(nèi)存、磁盤、前端口、內(nèi)部互聯(lián)端口不同類型的節(jié)點可以組成一個集群，共同運行OenFS文件系統(tǒng)，數(shù)據(jù)分散于其中節(jié)點功能對等，彼此協(xié)商，無專屬元數(shù)據(jù)節(jié)點，無管理節(jié)點，用戶專注管理自己的數(shù)據(jù)，而非管理存儲HPC環(huán)境下傳統(tǒng)存儲架構(gòu)

RAIDAggregate(~16TB)VolumeFileSystem形成大量的存儲孤島

每個存儲孤島的性能是有限的，且無法擴展雙控制器架構(gòu)導(dǎo)致存儲利用率=50%-65%典型的混合型擴展存儲架構(gòu)

StoragePOD1StoragePOD2StoragePOD3StoragePOD4FibreChannelLoopVolumesGigEClientNetworkCIFS/NFSiSCSIClientsStorageNodePoolClusterNetworkGigEPrivateManagementNetworkFilesystemsStorageDiskShelvesConnectionBalancerFilesystemAFilesystemBInterfaceNodePoolGNSVirtualPresentationFilesystemBackupNodeRAIDGroups8+2存儲架構(gòu)需要簡化ClusteredStorageLayerIntra-clusterCommunicationLayerServersClient/ApplicationLayerEthernetLayer(optional2ndswitch)NFS,CIFS,iSCSI,HTTPServersServers(optional2ndswitch)

系統(tǒng)網(wǎng)I/OI/OI/OI/OI/OnodenodenodenodenodenodenodenodenodenodenodenodenodenodeSANGlobaldisk（并行文件系統(tǒng)\Lustre）MDSMDSMDSMDSI/O節(jié)點+SAN存儲+并行文件系統(tǒng)

系統(tǒng)網(wǎng)I/OI/OI/OI/OI/OnodenodenodenodenodenodenodenodenodenodenodenodenodenodeGlobaldiskMDSMDSMDSMDSEMCIsilonSANEMCIsilon存儲解決方案nodenodenodenodenodenodenodenodenodenodenodenodenodenodeEMCIsilon端到端的橫向擴展，獨立/同步擴展，真正的“pay-as-you-grow”nodenode

系統(tǒng)網(wǎng)OneFS技術(shù)特點NextGenAccess

HDFS,OpenStackMassiveScale

50PBinasingleclusterEnterpriseScaleDataLakeFoundationISILONRESTSWIFTNFSHTTPNDMPHDFSSMBFTP100PB+

BiggestSingleStoragePurchase#1MARKETLEADER

HadoopSharedStorage6,000+

CustomersWorldWideiMagtextIsilontextiMag123452logosandquotesfromGartnerandIDC(1sentenceeach)EMCIsilon—在針對橫向擴展文件存儲

的關(guān)鍵功能上唯一獲得“杰出”評級的供應(yīng)商IDCMarketScape稱EMCIsilon

是橫向擴展文件存儲市場的領(lǐng)導(dǎo)者

-橫向擴展文件系統(tǒng)存儲的關(guān)鍵功能，

2013年1月—全球基于文件的橫向擴展存儲，

2012年12月Isilon橫向擴展NAS體系結(jié)構(gòu)OneFSOperatingEnvironment群集內(nèi)通信層客戶端/應(yīng)用程序?qū)右蕴W(wǎng)層單個FS/卷CIFSNFSFTPHTTPHDFSforHadoopRESTforObject千兆位以太網(wǎng)10千兆位以太網(wǎng)網(wǎng)絡(luò)協(xié)議可預(yù)期的線性擴展SPECsfs2008?PerformanceTestResultsPredictableSLAs71428561401,800,0001,600,0001,400,0001,200,0001,000,000800,000600,000400,000200,000IOPS/secondCIFSNFS全新！EMCIsilon橫向擴展NAS產(chǎn)品系列性能和容量的線性擴展高事務(wù)性平臺高吞吐量平臺近線存儲平臺S系列X系列容量性能NL系列高密度平臺HD系列NASSANCLOUDTAPEDASOBJECT傳統(tǒng)業(yè)務(wù)模式新興業(yè)務(wù)模式高性能計算文件共享備份歸檔大數(shù)據(jù)分析云端App移動應(yīng)用NASSANTAPEOBJECTCLOUDDAS高性能計算文件共享備份歸檔大數(shù)據(jù)分析云端APP移動應(yīng)用IsilonScale-OutDataLake傳統(tǒng)業(yè)務(wù)模式新興業(yè)務(wù)模式第三平臺混合協(xié)議支持OBJECTSWIFTNFSS3NDMPHDFSFTPSMBFILE高性能計算文件共享備份歸檔FILE大數(shù)據(jù)分析云端APP移動應(yīng)用IOPSMBPS$/GBARCHIVETRANSACTIONALTHROUGHPUT企業(yè)級功能數(shù)據(jù)保護(hù)數(shù)據(jù)安全性能管理數(shù)據(jù)管理FILEFILEFILEFILEFILEFILEFILEFILE橫向擴展存儲平臺的優(yōu)勢單一文件系統(tǒng)無與倫比的效率簡單管理&簡易使用線性擴展簡便擴展高性能文件系統(tǒng)硬件更新24事務(wù)吞吐量歸檔NL系列S系列X系列事務(wù)吞吐量歸檔S系列X系列NL系列HD系列NL，帶有6TB驅(qū)動器硬件產(chǎn)品組合S210適用于IO密集型的場景2倍增長OPS/node（相對于S200）375萬OPS/clusterIntelIvyBridge6核心處理器50%減少$/OPS

和TCO靈活的配置和部署，完美兼容上一代產(chǎn)品適用于大規(guī)模IO密集型文件應(yīng)用場景IsilonS210配置可選項IsilonX200可選項配置:70%吞吐增加（相對于X400）200GBPS聚合帶寬/clusterIntelIvyBridge8核心處理器X410適用于高帶寬吞吐場景33%進(jìn)一步降低$/MBPS和

TCO帶寬吞吐與容量完美結(jié)合的產(chǎn)品適用于播出，Hadoop分析,文件共享等IsilonX410配置可選項IsilonNL400可選項配置:平臺特性群集容量提升2.5倍，達(dá)到50PB每個節(jié)點354TB，每個機架3.2PB

預(yù)架裝配置選項主要優(yōu)點為非結(jié)構(gòu)化數(shù)據(jù)整合與存儲提供大規(guī)?？蓴U展性運營支出減少50%是深層歸檔、DR和數(shù)據(jù)湖基礎(chǔ)的理想選擇新的

HD400高密度平臺HD400典型使用情形示例深層歸檔：大規(guī)模、高密度的深層歸檔存儲，通過無與倫比的效率降低成本，并配備多種可靠的數(shù)據(jù)保護(hù)與安全選項災(zāi)難恢復(fù)：高效的大容量災(zāi)難恢復(fù)目標(biāo)數(shù)據(jù)湖基礎(chǔ)：搭配IsilonS系列、X系列以及NL系列節(jié)點提供高效的大數(shù)據(jù)存儲解決方案，該解決方案通過單個Isilon群集支持多種傳統(tǒng)工作負(fù)載和新一代工作負(fù)載體系結(jié)構(gòu)特點－HD400特性描述橫向擴展分布式、全對稱群集體系結(jié)構(gòu)模塊化設(shè)計功能齊全的4U架裝式節(jié)點包括服務(wù)器、軟件和磁盤每個節(jié)點都有它自己的容量、處理能力和網(wǎng)絡(luò)預(yù)架裝配置選項9個HD400節(jié)點，并且可以選擇TitanP（標(biāo)準(zhǔn)深度40U機柜，2個36端口交換機）

或TitanD（深40U機柜）可擴展性安裝群集只需要10分鐘；添加新節(jié)點只需要大約一分鐘HD400可以從1.06PB容量的3節(jié)點群集擴展為50.9PB容量的144節(jié)點群集操作系統(tǒng)IsilonOneFS7.2或更高版本的分布式文件系統(tǒng)利用全局一致的緩存，能夠通過一個文件系統(tǒng)、

一個卷控制群集內(nèi)的所有節(jié)點客戶端支持MicrosoftWindows、Linux、UNIX、AppleMacintosh協(xié)議和數(shù)據(jù)訪問支持NFSv3\NFSv4\NFSKerberized會話（UDP或TCP）、SMB1(CIFS)、SMB2、

SMB3Multichannel、HTTP、FTP、NDMP、SNMP、LDAP、HDFS、ADS、NIS讀/寫OneFS7.2新特性206GB/s并發(fā)吞吐降低50%延遲1.2GB/s單節(jié)點EnterpriseIT性能考量隨機/IO密集型BigData

性能考量吞吐2.0MIO/sSPECsfs2008

benchmarkHPC存儲的技術(shù)關(guān)鍵點前端透明化的存儲擴展AutoBalance

節(jié)點間的自動的數(shù)據(jù)均衡，簡化管理，優(yōu)化性能AutoBalance將已有數(shù)據(jù)自動分布到新節(jié)點，同時在線提供IO服務(wù)以外部IO服務(wù)為主，同時遷移優(yōu)先級人為可控后臺自動完成數(shù)據(jù)自動分布可以消除文件系統(tǒng)熱點EMPTYEMPTYEMPTYEMPTYEMPTYFULLFULLFULLFULLBALANCEDBALANCEDBALANCEDBALANCEDBALANCED靈活的擴展方式帶來運維敏捷性HPC存儲的技術(shù)關(guān)鍵點高可用，數(shù)據(jù)完整性，能自愈的文件系統(tǒng)快速數(shù)據(jù)重構(gòu)-FlexProtect數(shù)據(jù)校驗碼及數(shù)據(jù)塊分散在所有磁盤和節(jié)點所有的磁盤和CPU均參與數(shù)據(jù)重構(gòu)Isilon數(shù)據(jù)重構(gòu)在集群空閑空間（熱備空間）整體受影響時間較短；且影響被更多磁盤和CPU分擔(dān)Onefs集群規(guī)模（單盤容量）重構(gòu)時間（小時）5*S200（600GB）4.710*S200（600GB）2.25*NL400（2TB）11.710*NL400（2TB）10測試場景：文件大小1-2MB；整個集群數(shù)據(jù)量占滿87%。OneFS的數(shù)據(jù)完整性保障機制IsilonDataIntegrity使用校驗碼驗證數(shù)據(jù)完整性，主要應(yīng)對硬件誘發(fā)的數(shù)據(jù)不一致OneFS進(jìn)程，數(shù)據(jù)初始寫入時保存一份校驗和，再次被讀取時會重新計算新校驗和，與已寫入時保存的校驗比較，以確認(rèn)數(shù)據(jù)的完整性日志文件系統(tǒng)，同時寫入NVRAMIntegrityScan（傳統(tǒng)文件系統(tǒng)，開源文件系統(tǒng)無此功能）OneFS后臺進(jìn)程，用于校驗寫入的靜態(tài)數(shù)據(jù)MediaScan/DSR（DynamicSectorRepair）OneFS后臺進(jìn)程，用于檢查和糾正磁盤扇區(qū)錯誤ProactiveDeviceFailure根據(jù)磁盤健康狀況，提前調(diào)用數(shù)據(jù)重構(gòu)機制（Flexprotect）HPC存儲的技術(shù)關(guān)鍵點簡易、集中管理而不失效率InsightIQ:洞悉性能，預(yù)測趨勢TechnicalInsights豐富的可視化管理形象的圖表工具歷史和實時的數(shù)據(jù)虛機應(yīng)用的方式部署性能分析CPU/Network利用率Cluster,Node,Interface,Client，端到端的性能數(shù)據(jù)Protocols,Operations,Disk輕易定位性能瓶頸點文件系統(tǒng)分析文件系統(tǒng)展現(xiàn)，如文件數(shù)，文件大小分布熱點文件TOP列表洞悉性能InsightIQ:洞悉性能，預(yù)測趨勢TechnicalInsights預(yù)測趨勢豐富的可視化管理形象的圖表工具歷史和實時的數(shù)據(jù)虛機應(yīng)用的方式部署性能分析CPU/Network利用率Cluster,Node,Interface,Client，端到端的性能數(shù)據(jù)Protocols,Operations,Disk輕易定位性能瓶頸點文件系統(tǒng)分析文件系統(tǒng)展現(xiàn)，如文件數(shù)，文件大小分布熱點文件TOP列表預(yù)測趨勢HPC存儲的技術(shù)關(guān)鍵點性能及數(shù)據(jù)保護(hù)的可優(yōu)化程度簡便的性能與服務(wù)質(zhì)量控制OneFS可以基于文件或目錄為單位，進(jìn)行一些列的性能調(diào)優(yōu)

保護(hù)級別在線調(diào)整鏡像N+M保護(hù)方式IO訪問類型隨機并發(fā)訪問流式訪問SmartCacheWriteCoalescingSmartPoolshigh-levelarchitectureX200:Node1X200:Node2X200:Node3DiskPool1DiskPool2NodePool1Tier1DiskpoolsincreaseclusterresilienceWithoutdiskpoolsWithoutdiskpools,aN+2:1protectionlevelappliesattheclusterlevel.3diskfailuresanywhereintheclusterwidewillmeancertaindataloss.Why!!!DiskpoolsincreaseclusterresilienceWithdiskpoolsWithdiskpools,aN+2:1protectionlevelappliesatthediskpoollevel.3diskfailureswillnotnecessarilymeandatalossorperhapsbeconstrainedtoonly1pool.Allisgood!DiskPool1DiskPool2高性能層數(shù)據(jù)歸檔層高吞吐層InfinibandCoreNetwork$$$$$PricePerTB$$$$$單一文件系統(tǒng)

簡便管理

統(tǒng)一的文件系統(tǒng)命名空間

數(shù)據(jù)均衡分布，真正的單一文件系統(tǒng)NodePools集群內(nèi)同類型節(jié)點FilePools邏輯的文件分層，優(yōu)化存儲性能和效率

同一目錄下的不同文件，可以位于不同類型的節(jié)點數(shù)據(jù)自動流動

通過內(nèi)部高速網(wǎng)絡(luò)基于策略的數(shù)據(jù)流動

按設(shè)定的策略流動到不同的性能層

可基于以下策略:filetype,size,name,location,owner,atime,mtime,etc.單一文件系統(tǒng)內(nèi)的數(shù)據(jù)分層

SMARTPOOLI/OPOLICYPROTECTIONPOLICY

GloballyCoherentCacheVMDKData

Latency

GloballyCoherentCacheS200

Random

+1

X200

Sequential+2

NL

Inherited+4HPCData

I/OpsHPCData

MB/sArchive

Select

Select

SelectS200-SSD

S200-SAS

X200

NLI/OsThroughputArchiveRandom

Sequential

Inherited+1

+2

+3

+4

2xS200-SSDRandom2xHPCData

MB/sHPCData

MB/sHPCData

MB/s單一文件系統(tǒng)內(nèi)的數(shù)據(jù)分層SSDs加速HPC應(yīng)用Tier0-PerformanceOptimizedSSDTier1-HighPerformanceSASTier2-CostOptimizedSATATier3-CapacityOptimizedSATAIDC:EMCIsilon顯著降低運維成本Source:“QuantifyingtheBusinessBenefitsofScale-OutNASSolutions,”IDCWhitePaperReduces:

CAPEXBY41%OPEXBY48%其他可選企業(yè)級功能特性SnapshotIQ文件系統(tǒng)快照，可基于目錄級別SyncIQ實時、異步的數(shù)據(jù)遠(yuǎn)程復(fù)制SmartConnect基于策略的客戶訪問負(fù)載均衡、網(wǎng)絡(luò)容錯，網(wǎng)絡(luò)分區(qū)SmartLock基于策略的WORM數(shù)據(jù)保護(hù)SED節(jié)點基于硬件級別的數(shù)據(jù)自加密節(jié)點SmartPools基于策略的數(shù)據(jù)自動分層SmartDedupe基于策略的數(shù)據(jù)消重功能，可基于目錄設(shè)置SmartQuotas文件系統(tǒng)配額管理InsightIQ性能監(jiān)控與預(yù)測數(shù)據(jù)保護(hù)數(shù)據(jù)管理某項目存儲系統(tǒng)布局示意圖存儲網(wǎng)絡(luò)交換機計算集群系統(tǒng)Isilon集群存儲在線存儲S200*11近線存儲108NL*8用戶工作站局域網(wǎng)交換機備份服務(wù)器FC光纖交換機虛擬帶庫1Gb10Gb4/8Gb適用于活動、永久和歸檔數(shù)據(jù)的單個文件系統(tǒng)、單個卷的簡潔性用于大數(shù)據(jù)的Isilon橫向擴展NAS負(fù)載平衡無縫故障切換性能分區(qū)配額管理精簡資源調(diào)配高速復(fù)制災(zāi)難恢復(fù)業(yè)務(wù)連續(xù)即時恢復(fù)數(shù)據(jù)保護(hù)WAN/LAN主存儲和

近線存儲本地/遠(yuǎn)程歸檔客戶端/應(yīng)用程序

層虛擬化服務(wù)器HPC服務(wù)器客戶端S系列網(wǎng)絡(luò)NL系列WORM數(shù)據(jù)安全性防止刪除/更改NL系列備份加速器X系列自動存儲分層CustomerNameProjectInfoConfiguration華大基因HPC，基因測序計算平臺10×IQ72000x+43×IQ36000x中科院生命科學(xué)研究所HPC，Illumina基因測序3*NL108TB,1*backupaccelerator上海生命科學(xué)院植物所HPC，基因測序3*NL40072TB+backupaccelerator上海生命科學(xué)院神經(jīng)所HPC，生命科學(xué)、Lammps、Gaussian3*X20012TB清華大學(xué)生命科學(xué)院鳳凰工程國家蛋白質(zhì)科學(xué)基礎(chǔ)設(shè)施高性能存儲型計算集群項目12*X400108TB，smartconnect,smartquotas甘肅省地圖院測繪項目HPC，數(shù)據(jù)處理，自有應(yīng)用、GIS6*X200-24TB+smartconnectAD+Smartquota江西省測繪地理信息局HPC，數(shù)據(jù)處理，自有應(yīng)用、GIS4*X200-24TB+smartconnect中國石油勘探開發(fā)研究院西北分院HPC，數(shù)據(jù)處理及解釋，GeoWest,Paradigm,CGG應(yīng)用17*IQ6000X+smartconnectAD+Smartquota新疆庫爾勒分處HPC，數(shù)據(jù)處理及解釋，GeoWest,Paradigm,CGG應(yīng)用4*IQ9000X+3*IQ12000X+smartconnectAD+Smartquota中石油北京勘探開發(fā)研究院HPC，數(shù)據(jù)處理及解釋，GeoWest,Paradigm,CGG應(yīng)用3*IQ9000I中石油東方地球物理公司（BGP）HPC，數(shù)據(jù)處理及解釋，自有勘探開發(fā)、處理軟件12*X400-72TB+28*X400-108+8*X400-144+A100+smartconnectAD中石油東方地球物理公司長慶分院HPC，數(shù)據(jù)處理及解釋，自有勘探開發(fā)、處理軟件6*IQ36000X+12*X400-108+smartconnectAD中石油東方地球物理公司新疆分院HPC，數(shù)據(jù)處理及解釋，自有勘探開發(fā)、處理軟件6*X400-36TB+smartconnectAD中石油華北油田物探研究院HPC，數(shù)據(jù)處理及解釋，GeoWest,Paradigm,CGG應(yīng)用17*IQ6000X+14*X200-12TB+5*X200-36TB+smartconnectAD中石油遼河油田勘探院HPC，數(shù)據(jù)處理及解釋，GeoWest,Paradigm,CGG應(yīng)用9*X200-12TB+smartconnectAD吉林油田分公司勘探開發(fā)研究院HPC，數(shù)據(jù)處理及解釋，GeoWest,Paradigm,CGG應(yīng)用5*IQ12000X+smartconnectAD+Smartquota中國石油冀東油田物探研究院HPC，數(shù)據(jù)處理及解釋，GeoWest,Paradigm,CGG應(yīng)用11*IQ6000X+7*X200-11TB大慶鉆探工程公司測井公司HPC，數(shù)據(jù)處理及解釋，GeoWest,Paradigm,CGG應(yīng)用4*IQ12000x+SmartconnectAD中國石化勘探開發(fā)研究院HPC，數(shù)據(jù)處理及解釋，GeoWest,Paradigm,CGG應(yīng)用17*X400-72TB+Smartconn