大數(shù)據(jù)時(shí)代存儲(chǔ)解決方案(可編輯)

1、應(yīng)需而變 融以致遠(yuǎn) 大數(shù)據(jù)時(shí)代存儲(chǔ)之路 目錄 大數(shù)據(jù)帶來(lái)哪些技術(shù)變革 云時(shí)代大數(shù)據(jù)的特點(diǎn) 1 2 大數(shù)據(jù)架構(gòu)和具體實(shí)踐3 大量用戶 群體 海量計(jì)算 大量數(shù)據(jù)管理 數(shù)據(jù)分析 大數(shù)據(jù)定義-不同行業(yè)的不同聲音 云時(shí)代的大數(shù)據(jù)特點(diǎn) Volume-巨巨 量量 Variety-多樣性多樣性 Value-價(jià)值密度價(jià)值密度 數(shù)據(jù)量巨大 全球在2022 年正式 進(jìn)入ZB 時(shí)代 IDC預(yù)計(jì)到2022 年， 全球?qū)⒖偣矒碛?40ZB 的數(shù)據(jù)量 結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化 數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù) 如今的數(shù)據(jù)類型早已不 是單一的文本形式，訂 單、日志、音頻，能力 提出了更高的要求 沙里淘金，價(jià)值密度低 一部數(shù)小時(shí)的視頻，可 能有

2、用的數(shù)據(jù)僅僅只有 一兩秒。如何迅速“提 純”是大數(shù)據(jù)亟待解決 的難題 實(shí)時(shí)獲取需要的信息 大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù) 據(jù)最顯著的特征。如 今已是ZB時(shí)代，在 如此海量的數(shù)據(jù)面前， 處理數(shù)據(jù)的效率就是 企業(yè)的生命 Velocity-速速 度度 信息采集系統(tǒng)全景介紹 政府機(jī)構(gòu) （醫(yī)保，社保） 短信通話記錄 數(shù)據(jù)分類數(shù)據(jù)來(lái)源 運(yùn)營(yíng)商 存 儲(chǔ) 區(qū) 域 業(yè) 務(wù) 平 臺(tái) 匯聚、分析、入庫(kù) 醫(yī)院大型企業(yè)交通信息視頻監(jiān)控 Email 社保、醫(yī)保、 住宿、交通 視頻監(jiān)控網(wǎng)絡(luò)信息 精確查詢 人際關(guān)系、行為分 析 跟隨分析、人臉 識(shí)別 通話記錄、住宿、 交通統(tǒng)計(jì)報(bào)表 短信、Email內(nèi)容 過(guò)濾等其他信息 統(tǒng)計(jì)分析 內(nèi)容查詢

3、 數(shù)據(jù)導(dǎo)入 大數(shù)據(jù)在各行業(yè)的應(yīng)用 社交網(wǎng)絡(luò) B 2C業(yè)務(wù) 能源媒資 地質(zhì)勘探 科研 智能電網(wǎng)非線編輯 后期制作 衛(wèi)星探測(cè) 基因工程 電子支付票據(jù)歸檔 金融互聯(lián)網(wǎng)公安 視頻監(jiān)控視頻分析 目錄 大數(shù)據(jù)各行業(yè)需求和應(yīng)用 大數(shù)據(jù)帶來(lái)哪些技術(shù)變革 云時(shí)代大數(shù)據(jù)的特點(diǎn) 1 2 大數(shù)據(jù)架構(gòu)和具體實(shí)踐3 大數(shù)據(jù)帶來(lái)技術(shù)變革 大數(shù)據(jù)大數(shù)據(jù) 分析處理分析處理 全球技術(shù)研究和咨詢公司Gartner將“大數(shù)據(jù)”技術(shù)列入2012年對(duì)眾多公司 和組織機(jī)構(gòu)具有戰(zhàn)略意義的十大技術(shù)與趨勢(shì)之一； Gartner在其新興技術(shù)成熟度曲線中將“大數(shù)據(jù)”技術(shù)視為轉(zhuǎn)型技術(shù)； 傳統(tǒng)技術(shù)升級(jí)已滿足不了大數(shù)據(jù)處理的需求，“大數(shù)據(jù)” 技術(shù)將在未來(lái)

4、3 5年內(nèi)進(jìn)入主流。其技術(shù)形態(tài)也會(huì)產(chǎn)生較大的變化； 存儲(chǔ)瓶頸存儲(chǔ)瓶頸計(jì)算瓶頸計(jì)算瓶頸網(wǎng)絡(luò)瓶頸網(wǎng)絡(luò)瓶頸數(shù)據(jù)庫(kù)瓶頸數(shù)據(jù)庫(kù)瓶頸 大數(shù)據(jù)帶來(lái)哪些技術(shù)變革 單機(jī)單機(jī) 集群 虛擬化 集群 文件存儲(chǔ) 單機(jī) 設(shè)備間連接 設(shè)備內(nèi)連接 關(guān)系型數(shù)據(jù)庫(kù) 橫向擴(kuò)展 橫向擴(kuò)展 GE FC 數(shù)據(jù)庫(kù)集群 10GE FC IB 分布式數(shù)據(jù)庫(kù) 非關(guān)系型數(shù)據(jù)庫(kù) 塊存儲(chǔ) 10GE SAS IB FC 計(jì)算 存儲(chǔ) 數(shù)據(jù)庫(kù) 網(wǎng)絡(luò) 橫向擴(kuò)展（硬件擴(kuò)展） 塊虛擬化 豐富的增值軟件及對(duì)外接口 橫向擴(kuò)展（硬件+文件系統(tǒng)） 文件虛擬化 豐富的增值軟件及對(duì)外接口 l9、 人的價(jià)值，在招收誘惑的一瞬間被決定。人的價(jià)值，在招收誘惑的一瞬間被決定。21.

5、8.1021.8.10Tuesday, August 10, 2021 l10、低頭要有勇氣，抬頭要有低氣。、低頭要有勇氣，抬頭要有低氣。22:30:0822:30:0822:308/10/2021 10:30:08 PM l11、人總是珍惜為得到。、人總是珍惜為得到。21.8.1022:30:0822:30Aug-2110-Aug-21 l12、人亂于心，不寬余請(qǐng)。、人亂于心，不寬余請(qǐng)。22:30:0822:30:0822:30Tuesday, August 10, 2021 l13、生氣是拿別人做錯(cuò)的事來(lái)懲罰自己。、生氣是拿別人做錯(cuò)的事來(lái)懲罰自己。21.8.1021.8.1022:30:0

6、822:30:08August 10, 2021 l14、抱最大的希望，作最大的努力。、抱最大的希望，作最大的努力。2021年年8月月10日星期二日星期二下午下午10時(shí)時(shí)30分分8秒秒22:30:0821.8.10 l15、一個(gè)人炫耀什么，說(shuō)明他內(nèi)心缺少什么。、一個(gè)人炫耀什么，說(shuō)明他內(nèi)心缺少什么。2021年年8月月下午下午10時(shí)時(shí)30分分21.8.1022:30August 10, 2021 l16、業(yè)余生活要有意義，不要越軌。、業(yè)余生活要有意義，不要越軌。2021年年8月月10日星期二日星期二22時(shí)時(shí)30分分8秒秒22:30:0810 August 2021 l17、一個(gè)人即使已登上頂峰，也

7、仍要自強(qiáng)不息。、一個(gè)人即使已登上頂峰，也仍要自強(qiáng)不息。下午下午10時(shí)時(shí)30分分8秒秒下午下午10時(shí)時(shí)30分分22:30:0821.8.10 l9、 人的價(jià)值，在招收誘惑的一瞬間被決定。人的價(jià)值，在招收誘惑的一瞬間被決定。21.8.1021.8.10Tuesday, August 10, 2021 l10、低頭要有勇氣，抬頭要有低氣。、低頭要有勇氣，抬頭要有低氣。22:30:0822:30:0822:308/10/2021 10:30:08 PM l11、人總是珍惜為得到。、人總是珍惜為得到。21.8.1022:30:0822:30Aug-2110-Aug-21 l12、人亂于心，不寬余請(qǐng)。、人

8、亂于心，不寬余請(qǐng)。22:30:0822:30:0822:30Tuesday, August 10, 2021 l13、生氣是拿別人做錯(cuò)的事來(lái)懲罰自己。、生氣是拿別人做錯(cuò)的事來(lái)懲罰自己。21.8.1021.8.1022:30:0822:30:08August 10, 2021 l14、抱最大的希望，作最大的努力。、抱最大的希望，作最大的努力。2021年年8月月10日星期二日星期二下午下午10時(shí)時(shí)30分分8秒秒22:30:0821.8.10 l15、一個(gè)人炫耀什么，說(shuō)明他內(nèi)心缺少什么。、一個(gè)人炫耀什么，說(shuō)明他內(nèi)心缺少什么。2021年年8月月下午下午10時(shí)時(shí)30分分21.8.1022:30Augus

9、t 10, 2021 l16、業(yè)余生活要有意義，不要越軌。、業(yè)余生活要有意義，不要越軌。2021年年8月月10日星期二日星期二22時(shí)時(shí)30分分8秒秒22:30:0810 August 2021 l17、一個(gè)人即使已登上頂峰，也仍要自強(qiáng)不息。、一個(gè)人即使已登上頂峰，也仍要自強(qiáng)不息。下午下午10時(shí)時(shí)30分分8秒秒下午下午10時(shí)時(shí)30分分22:30:0821.8.10 Hadoop解決方案架構(gòu) 目錄 什么十大數(shù)據(jù) 大數(shù)據(jù)各行業(yè)需求和應(yīng)用 大數(shù)據(jù)架構(gòu)和具體實(shí)踐 大數(shù)據(jù)帶來(lái)哪些技術(shù)變革 云時(shí)代大數(shù)據(jù)的特點(diǎn) 1 2 大數(shù)據(jù)架構(gòu)和具體實(shí)踐3 在大數(shù)據(jù)方面不僅僅是平臺(tái)提供商 大數(shù)據(jù)應(yīng)用開發(fā)提供商 大數(shù)據(jù)系統(tǒng)集

10、成商 大數(shù)據(jù)平臺(tái)提供商 大大 數(shù)數(shù) 據(jù)據(jù) 管管 理理 服服 務(wù)務(wù) 提提 供供 商商 除了具有強(qiáng)大的自主研發(fā)實(shí)力外，還具備豐富的集成優(yōu)化第三方平臺(tái)的經(jīng)驗(yàn)，可根據(jù)用 戶的實(shí)際需求，打造適合用戶自身特點(diǎn)的大數(shù)據(jù)服務(wù)體系； Scaleout Block Scaleout Filesystem Scaleout DBScaleout Object Scaleout backup 分布式存儲(chǔ) 應(yīng)用適配, Programmable接口 通用服務(wù)器網(wǎng)絡(luò)（交換機(jī)，路由器） 存儲(chǔ)節(jié)點(diǎn) 分布式計(jì)算和分析 批處理(Galax HD) ) 實(shí)時(shí)處理和內(nèi)存計(jì)算近實(shí)時(shí)分析和MPP DB 內(nèi)存數(shù)據(jù)庫(kù) 流處理 MapReduc

11、e Hive,Pig,Mashout HBASE Hcatalog SQL Query Planner MPP Exec Data Bridge 管控平面 設(shè)備管理 資源管理 (YARN,多 戶,Zookeeper) 策略調(diào)度 日志留存OLAP視頻分析數(shù)據(jù)可視化內(nèi)容檢索數(shù)據(jù)挖掘 大數(shù)據(jù)一體化平臺(tái) 集成 Sqoop Data Loader 集成和優(yōu)化自研組件合作 3rd Party Tool Hadoop FS API, NFS/CIFS,Posix,ISCSI,S3 大數(shù)據(jù)統(tǒng)一架構(gòu) Flume Lucene Cloud OS 安全可信彈性高效 l 存儲(chǔ)池內(nèi)所有硬盤參與重構(gòu)，僅重 構(gòu)業(yè)務(wù)數(shù)據(jù) l

12、 由傳統(tǒng)RAID多對(duì)一的重構(gòu)模式轉(zhuǎn) 變?yōu)镠VS的多對(duì)多快速重構(gòu)模式 l 數(shù)據(jù)恢復(fù)速度相對(duì)傳統(tǒng)RAID提升 20倍 l 降低95%的多盤失效概率 l 大幅降低重構(gòu)過(guò)程對(duì)業(yè)務(wù)的影響 傳統(tǒng)陣列 RAID 2.0 1TB NLSAS 磁盤重構(gòu)時(shí)間（小時(shí)） 10 0.5 0 2 4 6 8 10 數(shù)據(jù)重構(gòu)時(shí)間縮短20倍 2021/5/2816 Partition 1 Partition 2 Partition 4Partition Partition 3 Partition N 核心業(yè)務(wù)專屬保障 l 存儲(chǔ)系統(tǒng)自動(dòng)按照優(yōu)先級(jí)不同調(diào)配資源， 保證核心系統(tǒng)的資源需求 l 物理緩存分區(qū)，為特定LUN設(shè)定專用的

13、緩存分區(qū)，避免核心業(yè)務(wù)與邊緣業(yè)務(wù)惡 性緩存競(jìng)爭(zhēng) 安全可信彈性高效 SmartSmart軟件提升客戶系統(tǒng)效率軟件提升客戶系統(tǒng)效率 SmartTierSmartTier 數(shù)據(jù)動(dòng)態(tài)分級(jí) SmartVirtualizationSmartVirtualization 異構(gòu)數(shù)據(jù)整合 SmartMotionSmartMotion 數(shù)據(jù)動(dòng)態(tài)平衡 EMC HDS IBM HW 安全可信彈性高效 lSmartTier：精細(xì)化熱點(diǎn)統(tǒng)計(jì)與遷 移，最大化性能資源利用率，性能 提升3倍 lSmartMotion：基于場(chǎng)景的動(dòng)態(tài) 部署變更，最大化自動(dòng)負(fù)載均衡， 硬盤利用率提升2倍，運(yùn)維成本下 降60% lSmartVirt

14、ualization：支持對(duì)異 構(gòu)存儲(chǔ)系統(tǒng)進(jìn)行統(tǒng)一虛擬化管理， 最大化既有投資保護(hù)，投資回報(bào)率 提升50% SSD SAS NL-SAS 統(tǒng)一管控，運(yùn)維一手掌握 l各類型存儲(chǔ)統(tǒng)一管理，化繁為簡(jiǎn) l分層可視化，直觀監(jiān)控，高效排障 l智能分析提升服務(wù)質(zhì)量，節(jié)約成本 l與移動(dòng)運(yùn)維結(jié)合，管理更智能 報(bào)警管理 拓?fù)浒踩?安全可信彈性高效 亞洲最大兼容性實(shí)驗(yàn)室 l亞洲最大的IT產(chǎn)品兼容性實(shí)驗(yàn)室，擁有國(guó)內(nèi)最全面的測(cè)試環(huán)境，產(chǎn)品兼容性得 到充分的認(rèn)證，客戶的兼容性疑慮得到最好的解答 l與全球400家IT廠家合作，影響全球IT生態(tài)圈，為客戶提供更加全面的IT產(chǎn)品。 兼容性實(shí)驗(yàn)室解決您的兼容性顧慮 HVS & T

15、系列統(tǒng)一存儲(chǔ)存儲(chǔ)虛擬化VIS6600TN9000大數(shù)據(jù)存儲(chǔ) 面向企業(yè)級(jí)數(shù)據(jù)中心 實(shí)現(xiàn)數(shù)據(jù)智能布局 雙活數(shù)據(jù)中心 統(tǒng)一存儲(chǔ)資源池 面向海量數(shù)據(jù)存儲(chǔ) 融合架構(gòu)簡(jiǎn)化生命周期管理 存以智用，融以致遠(yuǎn) 云化存儲(chǔ)設(shè)計(jì)：智能融合可信賴，滿足企業(yè)需要 外企當(dāng)?shù)?、自主乏?l本地產(chǎn)/OEM不等于自主可控 l本地產(chǎn)為的是降低生產(chǎn)成本，OEM僅僅是包裝 l存儲(chǔ)核心競(jìng)爭(zhēng)力是研發(fā)、設(shè)計(jì) l技術(shù)、質(zhì)量、價(jià)格均不可控 本地產(chǎn)/OEM自主可控 國(guó)內(nèi)廠商 19% IBM 26% EMC 14% HP 14% HDS 8% Dell 7% other 12% IDC2022年數(shù)據(jù) 外企當(dāng)?shù)腊踩{ l外企霸占國(guó)內(nèi)市場(chǎng)：國(guó)外存儲(chǔ)廠

16、商占據(jù)國(guó)內(nèi)80% 以上的市場(chǎng)份額，其中金融業(yè)占據(jù)90%，交通行 業(yè)超過(guò)80%，電信行業(yè)超過(guò)90%； l威脅國(guó)家安全：CNNVD（國(guó)家信息安全漏洞庫(kù)） 統(tǒng)計(jì)外企在國(guó)內(nèi)重大信息安全漏洞多達(dá)6萬(wàn)個(gè) 存儲(chǔ)的中國(guó)芯 專用/通用處理器CPU 自研ARM64，融合存儲(chǔ)特性 (Raid5/6/DIF/Multicast/DMA) SHA1、Dedup加速卡 最少磁盤，最少電力，滿足海量 數(shù)據(jù)備份需求 加速卡實(shí)現(xiàn)5GB/s = 18TB/Hr 更低成本，更高性價(jià)比 智能融合IO芯片 Hi1812 10GE,RDMA(10GE),TOE,IOE, FCoE,FC 8G/16G all in one 更低成本，更高

17、性價(jià)比 PCI-E SSD控制芯片Hi1821 支持PCI-E 3.0接口 支持SAS 3.0協(xié)議 SAS SSD控制芯片 Hi1811 業(yè)界第一顆支持SAS 2.0的ASIC控 制器 發(fā)布首款全固態(tài)存儲(chǔ)系統(tǒng)Dorado 2100 Red-B Prime 可編程引擎（TOE、IOE、FCoE， RDMA，vSwitch、VTEP和 Openflow等協(xié)議卸載） PCI-E over Fabric，IO擴(kuò)展和共享， 數(shù)據(jù)加密壓縮 Red-B Prime 提供最全系列全國(guó)產(chǎn)存儲(chǔ)產(chǎn)品 HDP3500E*VTL6900* HyperSnap HyperClone 數(shù)據(jù)復(fù)制軟件存儲(chǔ)管理軟件 HyperC

18、opy HyperReplication Dorado2100 G2Dorado5100 l60萬(wàn) IOPS l訪問(wèn)延遲低至500s l100萬(wàn) IOPS l訪問(wèn)延遲低至500s HVS85T/HVS88T S2600T/S5500T/S5600T/S5800T l216 控制器 l可擴(kuò)展至3TB Cache l可擴(kuò)展至 3216 塊硬盤 l05s RPO S6800T l可擴(kuò)展至384GB Cache l可擴(kuò)展至1440 塊硬盤 l25萬(wàn)SPC-1性能 l統(tǒng)一存儲(chǔ)，同時(shí)支持塊和文件應(yīng)用 l可擴(kuò)展至192GB Cache l可擴(kuò)展至1440 塊硬盤 S2200T l雙控制器 l支持4GB Cache l支持204 塊硬盤 SmartQoS SmartMotion