分布式存儲(chǔ)技術(shù)與應(yīng)用實(shí)踐

1、華為分布式存儲(chǔ)技術(shù)與應(yīng)用實(shí)踐Content123技術(shù)趨勢(shì)華為分布式存儲(chǔ)技術(shù)原理與優(yōu)勢(shì)華為分布式存儲(chǔ)應(yīng)用實(shí)踐1ServerServerServerServerIT 架構(gòu)演進(jìn)趨勢(shì)Externalstorage傳統(tǒng)IT架構(gòu)I/O acceleration(exclusive)CPU MemoryNetworkCPU應(yīng)用整合ApplicationdeploymenttemplateManagementPlatformPhysical and virtual resourcepool managementI/O acceleration(exclusive / shared)High-speed net

2、work虛擬化架構(gòu)I/O acceleration(exclusive)VirtualizationCPU MemoryNetworkExternalstorageNetworkStorage融合架構(gòu)Unified physicalmachine and virtualmachine managementI/O acceleration(exclusive/ shared)CPU MemoryMemory Storage系統(tǒng)性能和靈活性不斷增強(qiáng)，OPEX不斷降低IT架構(gòu)演進(jìn)方向：計(jì)算、存儲(chǔ)架構(gòu)融合；資源統(tǒng)一管理；業(yè)務(wù)按需部署23創(chuàng)新公司不斷涌現(xiàn)，傳統(tǒng)IT軟硬件廠商也紛紛加入計(jì)算存儲(chǔ)融合陣營(yíng)一體

3、機(jī)解決方案純軟件解決方案數(shù)據(jù)系統(tǒng)計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)、管理深度融合與上下游產(chǎn)品或者其他公司產(chǎn)品配套，形成完整的解決方案軟件架構(gòu)、協(xié)議和部件的實(shí)現(xiàn)CPUCPUCPUFusionStorage分布式存儲(chǔ)池4存儲(chǔ)節(jié)點(diǎn)PCI-e SSD存儲(chǔ)節(jié)點(diǎn)PCI-e SSD存儲(chǔ)節(jié)點(diǎn)PCI-e SSD存儲(chǔ)節(jié)點(diǎn)PCI-e SSD計(jì)算節(jié)點(diǎn)CPU計(jì)算節(jié)點(diǎn)CPU計(jì)算節(jié)點(diǎn)CPU56Gbps FDR InfiniBand融合架構(gòu)：計(jì)算網(wǎng)絡(luò)存儲(chǔ)融合設(shè)計(jì)，計(jì)算刀片和存儲(chǔ)刀片靈活配置，大內(nèi)存，內(nèi)置GE/10GE/IB多協(xié)議交換板FusionStorage：Scale-Out架構(gòu)，計(jì)算存儲(chǔ)深度融合，分布式存儲(chǔ)解決集中式機(jī)頭的瓶頸無(wú)阻塞IB

4、交換：高速互聯(lián)，降低時(shí)延，提高帶寬，提高數(shù)據(jù)庫(kù)多節(jié)點(diǎn)橫向擴(kuò)展能力PCI-E SSD：作為主存，提升隨機(jī)讀寫(xiě)IO能力，優(yōu)化數(shù)據(jù)讀寫(xiě)模型華為解決之道：計(jì)算存儲(chǔ)融合架構(gòu)一體機(jī)FusionCubeFusionCube解決方案5FusionCube：業(yè)界領(lǐng)先的計(jì)算、存儲(chǔ)、交換組件計(jì)算節(jié)點(diǎn)CH121計(jì)算節(jié)點(diǎn)CH221IO擴(kuò)展型計(jì)算節(jié)點(diǎn)CH222CH240CH223計(jì)算節(jié)點(diǎn)CX31110GE/FCoE/FC融合交換模塊CX91110GE/FC多平面交換模塊存儲(chǔ)擴(kuò)展型計(jì)算節(jié)點(diǎn)交換模塊CX116 CX310GE直通模塊 10GE交換模塊CX610Infiniband QDR/ FDR融合交換模塊IO擴(kuò)展型計(jì)算節(jié)

5、點(diǎn)CX110GE交換模塊CX31710GE直通模塊前視圖半寬槽位E9000后視圖交換模塊全寬單槽位電源模塊風(fēng)扇模塊管理模塊 單刀片：未來(lái)四代CPU；756G1.5T內(nèi)存；15塊硬盤(pán)；4PCIE標(biāo)準(zhǔn)擴(kuò)展卡； 網(wǎng)絡(luò)：GE/10GE/IB 40G/IB56G交換；15.6Tbps無(wú)源背板； 存儲(chǔ)： 無(wú)須外置San存儲(chǔ)；35倍 IOPS;單機(jī)框64顆cpuContent123技術(shù)趨勢(shì)華為分布式存儲(chǔ)技術(shù)原理與優(yōu)勢(shì)華為分布式存儲(chǔ)應(yīng)用實(shí)踐6JoinAvg/SumGroup讀瓶頸數(shù)據(jù)倉(cāng)庫(kù)性能瓶頸在于IO吞吐SwitchFC SwitchSAN服務(wù)器/小機(jī)傳統(tǒng)架構(gòu)限制OLAP過(guò)程讀寫(xiě)瓶頸寫(xiě) 時(shí)延瓶頸 瓶頸內(nèi)存可

6、視化圖表全表掃描，瓶頸在于磁盤(pán)IO需要從磁盤(pán)讀取大量的臨時(shí)數(shù)據(jù)， ，瓶頸在于網(wǎng)絡(luò)和磁盤(pán)IO由于內(nèi)存大小限制,需要將Group操作的臨時(shí)數(shù)據(jù)寫(xiě)入磁盤(pán)，瓶頸在于網(wǎng)絡(luò)和磁盤(pán)IO。星型/雪花型模型數(shù)據(jù)倉(cāng)庫(kù)主要的瓶頸是計(jì)算和存儲(chǔ)節(jié)點(diǎn)間的網(wǎng)絡(luò)IO和主存的磁盤(pán)IO!7AppAppAppAppAppAppServer2Server3Server1CacheSSDHDDFusionStorage分布式一體化存儲(chǔ)華為分布式存儲(chǔ)FusionStorage主要特點(diǎn)主要特點(diǎn)計(jì)算網(wǎng)絡(luò)(10GE)/IB/FOCE 水平擴(kuò)展、超大容量：分布式系統(tǒng)，無(wú)管理機(jī)頭瓶頸，容量幾乎不受限制 高IOPS：應(yīng)用大容量分布式Cache技術(shù)，

7、提升IOPS 低時(shí)延：應(yīng)用程序通過(guò)Cache/SSD直達(dá)存儲(chǔ)，時(shí)延更低 數(shù)據(jù)重建快：并行重建，重建數(shù)據(jù)量小 管理簡(jiǎn)單：結(jié)構(gòu)簡(jiǎn)單帶來(lái)管理簡(jiǎn)單FusionStorage 分布式存儲(chǔ)系統(tǒng)8CacheSSDHDDCacheSSDHDD集群故DHT數(shù)據(jù)分布并行數(shù)據(jù)重建FusionStorage 總體架構(gòu)存儲(chǔ)引擎層硬件設(shè)備層存儲(chǔ)服務(wù)層存儲(chǔ)驅(qū)動(dòng)層SCSI驅(qū)動(dòng)/iSCSI障自愈分布式鏈接克隆分布式快照分布式精簡(jiǎn)配置分布式Cache備份容災(zāi)MDC狀態(tài)控制 強(qiáng)一致性復(fù)制協(xié)議E9000計(jì)算、存儲(chǔ)融合刀片式服務(wù)器X86 CPU SAS/SATA PCI-E SSD卡IB9存儲(chǔ)接口層：通過(guò)SCSI驅(qū)動(dòng)接口向操作系統(tǒng)、數(shù)

8、據(jù)庫(kù)提供卷存儲(chǔ)服務(wù)層：提供各種存儲(chǔ)高級(jí)特性，如快照、鏈接克隆、精簡(jiǎn)配置、分布式cache、容災(zāi)備份等存儲(chǔ)引擎層：FusionStorage存儲(chǔ)基本功能，包括MDC總控集群、DHT數(shù)據(jù)路由、分布系統(tǒng)、強(qiáng)一致性復(fù)制協(xié)議；及在單節(jié)點(diǎn)故障時(shí)，集群故障自愈與并行數(shù)據(jù)重建子系統(tǒng)硬件設(shè)備層：基于E9000計(jì)算、存儲(chǔ)融合刀片式服務(wù)器，無(wú)需外置SAN，支持IB高速交換、PCI-E SSD卡Page 9存儲(chǔ)管理資源池2資源池1FusionStorage 基本原理卷映射資源池: 類(lèi)似于SAN的RAID組概念，與RAID相比，其優(yōu)點(diǎn)是：大容量： 最大96塊盤(pán)，提升超大存儲(chǔ)空間，避免高IO應(yīng)用導(dǎo)致熱點(diǎn)瓶頸動(dòng)態(tài)熱備：所有

9、硬盤(pán)都可用作資源池的熱備盤(pán)簡(jiǎn)單結(jié)構(gòu)：資源池、Volume二層結(jié)構(gòu)，沒(méi)有LUN結(jié)構(gòu)，服務(wù)器直接看到Volume10DiskP1P2P3資源池2DiskDiskDiskDiskDiskVolume1Volume2Volume3P1P2P3資源池1Volume10Volume12ServerServerServerP4P7P5P8P6P9資源池1資源池111FusionStorage 分布式軟件架構(gòu)基于PAXOS機(jī)制的高可靠、大規(guī)模存儲(chǔ)集群總控MDC集群MDCMDCLeaderMDC無(wú)狀態(tài)分布式機(jī)頭層，可水平擴(kuò)展SCSI/iSCSIVBSSCSI/iSCSIVBSSCSI/iSCSIVBS分布式存儲(chǔ)

10、引擎，可水平擴(kuò)展Disk1OSDDisk2OSDDisknOSD 全分布式架構(gòu)，水平擴(kuò)展：無(wú)狀態(tài)機(jī)頭層，每個(gè)機(jī)頭可以平滑添加與減少； 無(wú)狀態(tài)分布式存儲(chǔ)引擎： 可以水平擴(kuò)展單板、磁盤(pán) 計(jì)算、存儲(chǔ)全融合架構(gòu)，超高性能：Cache更大，不再受到傳統(tǒng)SAN機(jī)頭限制 高 吞 吐 量 ， 不 再 有 機(jī) 頭 瓶 頸 ：IB/10GE/FOCE并發(fā)支持，帶寬是傳統(tǒng)SAN的10倍以上IO路徑狀態(tài)控制路徑狀態(tài)控制路徑FusionStorage 基本原理DHT尋址與水平擴(kuò)展技術(shù)DHT（Distributed Hash Table)DHT環(huán)：232超大虛擬節(jié)點(diǎn)構(gòu)成的環(huán)形空間Partition：將DHT環(huán)空間劃分為N

11、等份，每一等份是一個(gè)分區(qū)物理節(jié)點(diǎn)：即一個(gè)DISK， 與Partition分區(qū)對(duì)應(yīng)P1P2P3P4P5P6DHT環(huán)PnDHT數(shù)據(jù)邏輯地址數(shù)據(jù)邏輯地址數(shù)據(jù)邏輯地址數(shù)據(jù)邏輯地址數(shù)據(jù)邏輯地址Key1Key2Key3Key4KeynHash分段尋址映射物理空間優(yōu)點(diǎn):水平擴(kuò)展速度快： 新物理節(jié)點(diǎn)加入時(shí)， 只需要搬移部分?jǐn)?shù)據(jù)（partition），并達(dá)到負(fù)載均衡數(shù)據(jù)可靠性高：可靈活配置的分區(qū)分配算法，避免2個(gè)副本位于同一個(gè)Disk、同一塊板、同一個(gè)機(jī)柜12物理節(jié)點(diǎn)Disk1Disk2Diskn高性能DHT并行IO讀寫(xiě)分布式存儲(chǔ)架構(gòu)（FusionStorage)及基于ETH/IB的點(diǎn)對(duì)點(diǎn)互聯(lián)網(wǎng)絡(luò)，不再有帶寬瓶

12、頸更多硬盤(pán)在扁平P2P架構(gòu)下實(shí)現(xiàn)為同一App實(shí)例或VM提供并發(fā)讀寫(xiě)服務(wù)，使得突發(fā)MBPS提升3-5倍以上；更大資源池， 負(fù)載均衡，利用率更高13VS.App1App2App3LUN內(nèi)共享IO LUN內(nèi)共享IO LUN內(nèi)共享IORAIDArray各節(jié)點(diǎn)利用率App1App2App3P2P集群級(jí)共享IO大資源池集群各節(jié)點(diǎn)利用率傳統(tǒng)SAN外置存儲(chǔ)ApplicationsFusionStorage分布式存儲(chǔ)Applications 多副本備份：根據(jù)安全級(jí)別可靈活配置1副本（相當(dāng)于RAID10）或多副本（3副本情況下，數(shù)據(jù)可用性達(dá)到7個(gè)9以上)； NVDIMM Cache技術(shù)：讀寫(xiě)速度快，掉電數(shù)據(jù)不丟失

13、； 強(qiáng)一致性復(fù)制協(xié)議：應(yīng)用程序?qū)懭胍环輸?shù)據(jù)時(shí)，如果成功，后端的一份或多份副本必然一致，再次讀時(shí)，無(wú)論從哪個(gè)副本都可讀到正確的數(shù)據(jù)； 數(shù)據(jù)高可用：可以跨服務(wù)器或跨機(jī)柜分布數(shù)據(jù)，不會(huì)因某個(gè)服務(wù)器、或者某個(gè)機(jī)柜故障導(dǎo)致數(shù)據(jù)不可訪問(wèn)；14FusionStorage分布式一體化存儲(chǔ)App1App2App3ApplicationsCacheSSDHDDCacheSSDHDDCacheSSDHDD高可靠多重?cái)?shù)據(jù)安全保障機(jī)制高可靠并行、快速數(shù)據(jù)重建Disk6Disk4Disk5Server 1Disk1Server 2Disk2Server 3Disk3P5P1P9P2P17P3P21P4P1P5P10P6P

14、13P7P22P8P2P9P6P10P14P11P18P12P7P13P19P15P23P16P3P17P15P19P24P20P4P21P8P22P16P23P20P24P11P14P12P18 數(shù)據(jù)分布可以跨服務(wù)器或跨機(jī)柜，不會(huì)因某個(gè)服務(wù)器、機(jī)柜故障導(dǎo)致數(shù)據(jù)不可訪問(wèn) 數(shù)據(jù)分片在資源池內(nèi)打散，硬盤(pán)故障后，可在全資源池范圍內(nèi)自動(dòng)并行重建，僅重建實(shí)際數(shù)據(jù)，無(wú)需熱備盤(pán)；重建1TB數(shù)據(jù)時(shí)間 180TB，業(yè)務(wù)峰值并發(fā)用戶(hù)從400擴(kuò)大到1500已采購(gòu)250存儲(chǔ)節(jié)點(diǎn)22ETL/ONEPASS/ReportExadata(16 Node RAC)ETL/ONEPASS/ReportExadata(16 No

15、de RAC)ReportsADHocFusioncube(16 Node RAC)數(shù)據(jù)同步Oracle加速數(shù)據(jù)庫(kù)整合EXA(s)FU2(s)FU2提升訂貨明細(xì)6626154%應(yīng)收回款考核調(diào)整明細(xì)4601493833%中國(guó)地區(qū)部明細(xì)40631927%經(jīng)營(yíng)概覽鉆取33360455%運(yùn)營(yíng)商服務(wù)成本明細(xì)91802940212%平均提升3.3倍環(huán)境配置壓力CPU利用率FU211個(gè)計(jì)算節(jié)點(diǎn)+16個(gè)存儲(chǔ)節(jié)點(diǎn)800OBIEE+100MCA平均30%，峰值50%EXA16個(gè)計(jì)算節(jié)點(diǎn)+28個(gè)存儲(chǔ)節(jié)點(diǎn)800OBIEE+100MCA平均30%，峰值65%FusionCube for Oracle RAC方案實(shí)施效果

16、標(biāo)準(zhǔn)報(bào)表FusionCube1柜相對(duì)Exadata2柜標(biāo)準(zhǔn)報(bào)表性能平均提升300%以上越復(fù)雜的查詢(xún)，提升越明顯23680.5 秒163.8秒FusionCubeExadataAvg. TimeOracle加速數(shù)據(jù)庫(kù)整合FusionManage統(tǒng)一管理界面案例：華為FusionCube SQL Server數(shù)據(jù)庫(kù)整合SQL 政務(wù)系統(tǒng) 業(yè)務(wù)系統(tǒng) 郵件系統(tǒng)ServerFusionSphere（虛擬化層）FusionStorage（分布式存儲(chǔ)層）（統(tǒng)一管理） 客戶(hù)概況某海關(guān)是國(guó)家海關(guān)總署直屬數(shù)據(jù)中心，承擔(dān)地區(qū)海關(guān)通關(guān)業(yè)務(wù)，其核心業(yè)務(wù)系統(tǒng)主要采用SQL Server數(shù)據(jù)庫(kù)現(xiàn)狀與挑戰(zhàn) 業(yè)務(wù)系統(tǒng)獨(dú)立； 數(shù)據(jù)

17、分散；業(yè)務(wù)、數(shù)據(jù)庫(kù)和業(yè)務(wù)垂直部署（大于100個(gè)） 風(fēng)險(xiǎn)數(shù)據(jù)庫(kù)平臺(tái)，日常查詢(xún)和報(bào)表緩慢，影響正常通關(guān) 客戶(hù)級(jí)別的實(shí)時(shí)查詢(xún)達(dá)不到要求； TB級(jí)歷史數(shù)據(jù)查詢(xún)緩慢 數(shù)據(jù)中心的利用率和運(yùn)維管理急需提高 解決方案把100+ 個(gè)數(shù)據(jù)庫(kù)和20+個(gè)左右的應(yīng)用系統(tǒng)類(lèi) (5000+公司客戶(hù)業(yè)務(wù))實(shí)施整合 配置FusionCube 數(shù)據(jù)庫(kù) 采用SSD作為主存，性能提升100+倍24方案特點(diǎn)：全部數(shù)據(jù)庫(kù)和應(yīng)用整合到2個(gè)FusionCube采用SSD作為主存，性能提升100+倍統(tǒng)一管理接口，實(shí)現(xiàn)DB全程生命周期管理Oracle加速數(shù)據(jù)庫(kù)整合02/03/2002/04/2002/04/2002/04/2002/05/200

18、2/05/2002/05/2002/06/2002/06/2002/06/2002/07/2002/07/2002/07/2002/08/2002/08/2002/08/2002/09/2002/09/2002/09/2002/10/2002/0302/0402/0402/0402/0502/0502/0502/0602/0602/0602/0702/0702/0702/0802/0802/0802/0902/0902/0902/100分析結(jié)論1：讀延遲最大12ms，平均值1ms; 讀時(shí)延性能提升67倍0.0150.010.005FusionCube讀延遲（秒）0分析結(jié)論2：寫(xiě)延遲最大2ms，平均值0.2ms; 寫(xiě)時(shí)延性能提升130倍性能測(cè)評(píng)結(jié)果：華為系統(tǒng)讀性能提升67倍；寫(xiě)性能提升130倍；業(yè)務(wù)峰值IO無(wú)任何阻塞250.00150.0010.00050.00250.002ms ussmsFusionCuble磁盤(pán)寫(xiě)響應(yīng)時(shí)間（秒）華為方案系統(tǒng)測(cè)試華為FusionCube SQL Server數(shù)據(jù)庫(kù)整合現(xiàn)業(yè)務(wù)系統(tǒng)測(cè)試Oracle加速數(shù)據(jù)庫(kù)整合26公共部門(mén)Spanish XanithospitalZimbabweRevenueAuthorityUniversityJe