大數(shù)據(jù)時(shí)代存儲解決方案

1、大數(shù)據(jù)時(shí)代存放處理方案第1頁目錄大數(shù)據(jù)帶來哪些技術(shù)變革云時(shí)代大數(shù)據(jù)特點(diǎn)12大數(shù)據(jù)架構(gòu)和詳細(xì)實(shí)踐3第2頁大量用戶群體海量計(jì)算大量數(shù)據(jù)管理數(shù)據(jù)分析大數(shù)據(jù)定義-不一樣行業(yè)不一樣聲音第3頁云時(shí)代大數(shù)據(jù)特點(diǎn)Volume-巨 量Variety-多樣性 Value-價(jià)值密度數(shù)據(jù)量巨大全球在 年正式進(jìn)入ZB 時(shí)代IDC預(yù)計(jì)到 年，全球?qū)⒖偣矒碛?0ZB 數(shù)據(jù)量結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)如今數(shù)據(jù)類型早已不是單一文本形式，訂單、日志、音頻，能力提出了更高要求沙里淘金，價(jià)值密度低一部數(shù)小時(shí)視頻，可能有用數(shù)據(jù)僅僅只有一兩秒。怎樣快速“提純”是大數(shù)據(jù)亟待處理難題實(shí)時(shí)獲取需要信息大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)最顯著特征

2、。如今已是ZB時(shí)代，在如此海量數(shù)據(jù)面前，處理數(shù)據(jù)效率就是企業(yè)生命Velocity-速 度第4頁信息采集系統(tǒng)全景介紹政府機(jī)構(gòu)（醫(yī)保，社保）短信通話統(tǒng)計(jì)數(shù)據(jù)分類數(shù)據(jù)起源運(yùn)行商存放區(qū)域業(yè)務(wù)平臺匯聚、分析、入庫醫(yī)院大型企業(yè)交通信息視頻監(jiān)控 Email社保、醫(yī)保、住宿、交通視頻監(jiān)控網(wǎng)絡(luò)信息 準(zhǔn)確查詢?nèi)穗H關(guān)系、行為分析跟隨分析、人臉識別通話統(tǒng)計(jì)、住宿、交通統(tǒng)計(jì)報(bào)表短信、Email內(nèi)容過濾等其它信息統(tǒng)計(jì)分析內(nèi)容查詢數(shù)據(jù)導(dǎo)入第5頁大數(shù)據(jù)在各行業(yè)應(yīng)用社交網(wǎng)絡(luò)B 2C業(yè)務(wù)能源媒資地質(zhì)勘探科研智能電網(wǎng)非線編輯后期制作衛(wèi)星探測基因工程電子支付票據(jù)歸檔金融互聯(lián)網(wǎng)公安視頻監(jiān)控視頻分析第6頁目錄大數(shù)據(jù)各行業(yè)需求和應(yīng)用大數(shù)據(jù)

3、帶來哪些技術(shù)變革云時(shí)代大數(shù)據(jù)特點(diǎn)12大數(shù)據(jù)架構(gòu)和詳細(xì)實(shí)踐3第7頁大數(shù)據(jù)帶來技術(shù)變革大數(shù)據(jù)分析處理全球技術(shù)研究和咨詢企業(yè)Gartner將“大數(shù)據(jù)”技術(shù)列入對眾多企業(yè)和組織機(jī)構(gòu)含有戰(zhàn)略意義十大技術(shù)與趨勢之一；Gartner在其新興技術(shù)成熟度曲線中將“大數(shù)據(jù)”技術(shù)視為轉(zhuǎn)型技術(shù)；傳統(tǒng)技術(shù)升級已滿足不了大數(shù)據(jù)處理需求，“大數(shù)據(jù)” 技術(shù)將在未來35年內(nèi)進(jìn)入主流。其技術(shù)形態(tài)也會產(chǎn)生較大改變；存放瓶頸計(jì)算瓶頸網(wǎng)絡(luò)瓶頸數(shù)據(jù)庫瓶頸第8頁大數(shù)據(jù)帶來哪些技術(shù)變革單機(jī)集群虛擬化集群文件存放單機(jī)設(shè)備間連接設(shè)備內(nèi)連接關(guān)系型數(shù)據(jù)庫橫向擴(kuò)展橫向擴(kuò)展GE FC數(shù)據(jù)庫集群10GE FC IB分布式數(shù)據(jù)庫非關(guān)系型數(shù)據(jù)庫塊存放10GE

4、 SAS IB FC計(jì)算存放數(shù)據(jù)庫網(wǎng)絡(luò)橫向擴(kuò)展（硬件擴(kuò)展）塊虛擬化豐富增值軟件及對外接口橫向擴(kuò)展（硬件+文件系統(tǒng)）文件虛擬化豐富增值軟件及對外接口第9頁 大數(shù)據(jù)時(shí)代群雄逐鹿第10頁Hadoop處理方案架構(gòu)第11頁目錄什么十大數(shù)據(jù)大數(shù)據(jù)各行業(yè)需求和應(yīng)用大數(shù)據(jù)架構(gòu)和詳細(xì)實(shí)踐大數(shù)據(jù)帶來哪些技術(shù)變革云時(shí)代大數(shù)據(jù)特點(diǎn)12大數(shù)據(jù)架構(gòu)和詳細(xì)實(shí)踐3第12頁在大數(shù)據(jù)方面不但僅是平臺提供商大數(shù)據(jù)應(yīng)用開發(fā)提供商大數(shù)據(jù)系統(tǒng)集成商大數(shù)據(jù)平臺提供商大數(shù)據(jù)管理服務(wù)提供商除了含有強(qiáng)大自主研發(fā)實(shí)力外，還具備豐富集成優(yōu)化第三方平臺經(jīng)驗(yàn)，可依據(jù)用戶實(shí)際需求，打造適適用戶本身特點(diǎn)大數(shù)據(jù)服務(wù)體系；第13頁Scaleout BlockS

5、caleout FilesystemScaleout DBScaleout ObjectScaleout backup分布式存放應(yīng)用適配, Programmable接口通用服務(wù)器網(wǎng)絡(luò)（交換機(jī)，路由器）存放節(jié)點(diǎn) 分布式計(jì)算和分析批處理(Galax HD)實(shí)時(shí)處理和內(nèi)存計(jì)算近實(shí)時(shí)分析和MPP DB內(nèi)存數(shù)據(jù)庫流處理MapReduceHive,Pig,MashoutHBASEHcatalogSQLQuery PlannerMPP ExecData Bridge管控平面設(shè)備管理資源管理(YARN,多戶,Zookeeper)策略調(diào)度日志留存OLAP視頻分析數(shù)據(jù)可視化內(nèi)容檢索數(shù)據(jù)挖掘 大數(shù)據(jù)一體化平臺集成S

6、qoopData Loader 集成和優(yōu)化自研組件合作3rd PartyToolHadoop FS API, NFS/CIFS,Posix,ISCSI,S3大數(shù)據(jù)統(tǒng)一架構(gòu)FlumeLuceneCloud OS第14頁30mins/TB恢復(fù)速度安全可信彈性高效存放池內(nèi)全部硬盤參加重構(gòu)，僅重構(gòu)業(yè)務(wù)數(shù)據(jù)由傳統(tǒng)RAID多對一重構(gòu)模式轉(zhuǎn)變?yōu)镠VS多對多快速重構(gòu)模式數(shù)據(jù)恢復(fù)速度相對傳統(tǒng)RAID提升20倍降低95%多盤失效概率大幅降低重構(gòu)過程對業(yè)務(wù)影響加速數(shù)據(jù)恢復(fù)傳統(tǒng)陣列RAID 2.01TB NLSAS 磁盤重構(gòu)時(shí)間（小時(shí)）100.50246810數(shù)據(jù)重構(gòu)時(shí)間縮短20倍第15頁ApplicationsCo

7、ntrollerCPUCacheNORMALNORMALPREMIUMSSDSASSATALOWPriority nPriority 3Priority 2Priority 1Partition 1Partition 2Partition 4Partition Partition 3Partition N關(guān)鍵業(yè)務(wù)專屬保障存放系統(tǒng)自動按照優(yōu)先級不一樣調(diào)配資源，確保關(guān)鍵系統(tǒng)資源需求SmartQoS確保關(guān)鍵業(yè)務(wù)服務(wù)質(zhì)量物理緩存分區(qū)，為特定LUN設(shè)定專用緩存分區(qū)，防止關(guān)鍵業(yè)務(wù)與邊緣業(yè)務(wù)惡性緩存競爭SmartPartition 關(guān)鍵業(yè)務(wù)性能保障安全可信彈性高效第16頁Smart軟件提升客戶系統(tǒng)效率數(shù)據(jù)智

8、能流動SmartTier數(shù)據(jù)動態(tài)分級SmartVirtualization異構(gòu)數(shù)據(jù)整合SmartMotion數(shù)據(jù)動態(tài)平衡EMCHDSIBMHW 安全可信彈性高效SmartTier：精細(xì)化熱點(diǎn)統(tǒng)計(jì)與遷移，最大化性能資源利用率，性能提升3倍SmartMotion：基于場景動態(tài)布署變更，最大化自動負(fù)載均衡，硬盤利用率提升2倍，運(yùn)維成本下降60%SmartVirtualization：支持對異構(gòu)存放系統(tǒng)進(jìn)行統(tǒng)一虛擬化管理，最大化現(xiàn)有投資保護(hù)，投資回報(bào)率提升50%Smart智能軟件SSDSASNL-SAS第17頁統(tǒng)一管控，運(yùn)維一手掌握各類型存放統(tǒng)一管理，化繁為簡分層可視化，直觀監(jiān)控，高效排障智能分析提升

9、服務(wù)質(zhì)量，節(jié)約成本與移動運(yùn)維結(jié)合，管理更智能存放管理軟件統(tǒng)一監(jiān)控與管理 報(bào)警管理 拓?fù)浒踩诰€存放近線存放安全可信彈性高效第18頁亞洲最大兼容性試驗(yàn)室亞洲最大IT產(chǎn)品兼容性試驗(yàn)室，擁有國內(nèi)最全方面測試環(huán)境，產(chǎn)品兼容性得到充分認(rèn)證，客戶兼容性疑慮得到最好解答與全球400家IT廠家合作，影響全球IT生態(tài)圈，為客戶提供愈加全方面IT產(chǎn)品。超出400家兼容性測試搭檔兼容性試驗(yàn)室處理您兼容性顧慮第19頁HVS & T系列統(tǒng)一存放存放虛擬化VIS6600TN9000大數(shù)據(jù)存放面向企業(yè)級數(shù)據(jù)中心實(shí)現(xiàn)數(shù)據(jù)智能布局雙活數(shù)據(jù)中心統(tǒng)一存放資源池面向海量數(shù)據(jù)存放融合架構(gòu)簡化生命周期管理P15P22P1P8P15P22

10、P1P8P15P22P1P8P15P22P1P8P15P22P1P8Self Organized DisksDHTS3/NFS/CIFS存以智用，融以致遠(yuǎn)云化存放設(shè)計(jì)：智能融合可信賴，滿足企業(yè)需要第20頁外企當(dāng)?shù)?、自主乏力?dāng)?shù)禺a(chǎn)/OEM不等于自主可控當(dāng)?shù)禺a(chǎn)為是降低生產(chǎn)成本，OEM僅僅是包裝存放關(guān)鍵競爭力是研發(fā)、設(shè)計(jì)技術(shù)、質(zhì)量、價(jià)格均不可控當(dāng)?shù)禺a(chǎn)/OEM 自主可控IDC數(shù)據(jù)外企當(dāng)?shù)?安全威脅外企霸占國內(nèi)市場：國外存放廠商占據(jù)國內(nèi)80%以上市場份額，其中金融業(yè)占據(jù)90%，交通行業(yè)超出80%，電信行業(yè)超出90%；威脅國家安全：CNNVD（國家信息安全漏洞庫）統(tǒng)計(jì)外企在國內(nèi)重大信息安全漏洞多達(dá)6萬個(gè)第

11、21頁存放中國芯專用/通用處理器CPU 自研ARM64，融合存放特征(Raid5/6/DIF/Multicast/DMA)SHA1、Dedup加速卡 最少磁盤，最少電力，滿足海量數(shù)據(jù)備份需求 加速卡實(shí)現(xiàn)5GB/s = 18TB/Hr更低成本，更高性價(jià)比智能融合IO芯片 Hi1812 10GE,RDMA(10GE),TOE,IOE, FCoE,FC 8G/16G all in one更低成本，更高性價(jià)比PCI-E SSD控制芯片Hi1821 支持PCI-E 3.0接口 支持SAS 3.0協(xié)議 SAS SSD控制芯片 Hi1811 業(yè)界第一顆支持SAS 2.0ASIC控制器公布首款全固態(tài)存放系統(tǒng)D

12、orado 2100Red-B Prime 可編程引擎（TOE、IOE、FCoE，RDMA，vSwitch、VTEP和Openflow等協(xié)議卸載） PCI-E over Fabric，IO擴(kuò)展和共享，數(shù)據(jù)加密壓縮Red-B Prime第22頁提供最全系列全國產(chǎn)存放產(chǎn)品大數(shù)據(jù)和云存放數(shù)據(jù)保護(hù)磁盤存放存放軟件HDP3500E*VTL6900*固態(tài)存放 HyperSnap HyperClone 數(shù)據(jù)復(fù)制軟件存放管理軟件HyperCopy HyperReplicationDorado2100 G2Dorado510060萬 IOPS訪問延遲低至500s100萬 IOPS訪問延遲低至500sHVS85T

13、/HVS88TS2600T/S5500T/S5600T/S5800T216 控制器可擴(kuò)展至3TB Cache可擴(kuò)展至 3216 塊硬盤05s RPOS6800T可擴(kuò)展至384GB Cache可擴(kuò)展至1440 塊硬盤25萬SPC-1性能統(tǒng)一存放，同時(shí)支持塊和文件應(yīng)用可擴(kuò)展至192GB Cache可擴(kuò)展至1440 塊硬盤S2200T雙控制器支持4GB Cache支持204 塊硬盤SmartQoSSmartMotionSmartTier UltrPathUltraVRUltraAPMSmartCacheSmartThinSmartX InsightManagement ConsoleInfraControlCSS分布式存放系統(tǒng)N9000大數(shù)據(jù)存放系統(tǒng)支持Posix/NFS/CIFS/JDBC/ODBC接口多GE互聯(lián)UDS海量存放系統(tǒng)3288節(jié)點(diǎn)，40PB容量擴(kuò)展，500萬OPS 10GE/IB高性能互聯(lián)標(biāo)準(zhǔn)Amazon S3接口EB級容量擴(kuò)展高密設(shè)計(jì)，單柜2PB容量N8500集群NAS系統(tǒng)*全Active架構(gòu)支持文件和塊接口224節(jié)點(diǎn)，15PB容量擴(kuò)展，300萬OPS 動態(tài)分級存放一體化備份設(shè)備PB級海量備份集群架構(gòu)同時(shí)支持Inline與后端重刪VIS