FusionStorage分布式存儲(chǔ)方案建議書(shū)VIP

1、 DATE yyyy-M-d 2017-8-31華為機(jī)密，未經(jīng)許可不得擴(kuò)散第頁(yè)華為FusionStorage分布式存儲(chǔ)方案建議書(shū)目 錄 TOC o 1-3 u t 標(biāo)題 4,4 1 項(xiàng)目概述 PAGEREF _Toc491980832 h 41.1 項(xiàng)目背景 PAGEREF _Toc491980833 h 41.2 項(xiàng)目需求 PAGEREF _Toc491980834 h 41.3 功能需求 PAGEREF _Toc491980835 h 62 項(xiàng)目技術(shù)方案 PAGEREF _Toc491980836 h 72.1 FusionStorage總體架構(gòu) PAGEREF _Toc491980837

2、 h 72.2 FusionStorage產(chǎn)品特性介紹 PAGEREF _Toc491980838 h 92.2.1 精簡(jiǎn)配置 PAGEREF _Toc491980839 h 102.2.2 快照 PAGEREF _Toc491980840 h 102.2.3 鏈接克隆 PAGEREF _Toc491980841 h 112.2.4 彈性擴(kuò)展 PAGEREF _Toc491980842 h 122.2.5 高可靠 PAGEREF _Toc491980843 h 162.2.6 同步容災(zāi) PAGEREF _Toc491980844 h 212.2.7 管理簡(jiǎn)便 PAGEREF _Toc49198

3、0845 h 232.3 FusionStorage優(yōu)點(diǎn)概述 PAGEREF _Toc491980846 h 232.4 兼容性 PAGEREF _Toc491980847 h 242.4.1 硬件平臺(tái) PAGEREF _Toc491980848 h 242.4.2 虛擬化軟件 PAGEREF _Toc491980849 h 252.4.3 操作系統(tǒng) PAGEREF _Toc491980850 h 252.4.4 兼容列表 PAGEREF _Toc491980851 h 252.5 FusionStorage應(yīng)用場(chǎng)景 PAGEREF _Toc491980852 h 253 服務(wù)器數(shù)量規(guī)劃 PA

4、GEREF _Toc491980853 h 263.1 FusionStorage按容量和性能計(jì)算服務(wù)器數(shù)量 PAGEREF _Toc491980854 h 264 FusionStorage的部署方案 PAGEREF _Toc491980855 h 284.1 資源池劃分 PAGEREF _Toc491980856 h 294.2 在FusionSphere的部署方案 PAGEREF _Toc491980857 h 294.3 服務(wù)器配置建議 PAGEREF _Toc491980858 h 324.4 FusionStorage與FusionSphere融合場(chǎng)景 PAGEREF _Toc49

5、1980859 h 344.5 FusionStorage與VMware融合場(chǎng)景 PAGEREF _Toc491980860 h 354.6 FusionStorage與OpenStack融合場(chǎng)景 PAGEREF _Toc491980861 h 375 FusionStorage應(yīng)用中典型硬件平臺(tái) PAGEREF _Toc491980862 h 405.1 FusionStorage在機(jī)架式服務(wù)器上使用 PAGEREF _Toc491980863 h 415.2 FusionStorage在刀片式服務(wù)器上使用 PAGEREF _Toc491980864 h 436 FusionStorage應(yīng)

6、用中網(wǎng)絡(luò)設(shè)計(jì)方案 PAGEREF _Toc491980865 h 446.1 總體組網(wǎng)方案 PAGEREF _Toc491980866 h 446.2 在機(jī)架式服務(wù)器上使用組網(wǎng)方案 PAGEREF _Toc491980867 h 456.2.1 單柜10GE組網(wǎng) PAGEREF _Toc491980868 h 466.2.2 單柜IB存儲(chǔ)組網(wǎng) PAGEREF _Toc491980869 h 476.3 在刀片服務(wù)器上使用組網(wǎng)方案 PAGEREF _Toc491980870 h 476.3.1 虛擬化10GE 刀片服務(wù)器組網(wǎng) PAGEREF _Toc491980871 h 486.3.2 虛擬化

7、IB+SSD組網(wǎng) PAGEREF _Toc491980872 h 497 FusionStorage典型應(yīng)用案例 PAGEREF _Toc491980873 h 507.1 浙江電信選擇FusionStorage建設(shè)存儲(chǔ)資源池 PAGEREF _Toc491980874 h 507.2 華為公司計(jì)算云-單資源池5K VM PAGEREF _Toc491980875 h 527.3 FusionCube加速華為公司R&A項(xiàng)目數(shù)據(jù)倉(cāng)庫(kù)平臺(tái) PAGEREF _Toc491980876 h 537.4 FusionStorage幫助江蘇移動(dòng)CRM系統(tǒng)建設(shè)高性能數(shù)據(jù)庫(kù)平臺(tái) PAGEREF _Toc491

8、980877 h 547.5 華為攜手沃達(dá)豐打造分布式數(shù)據(jù)中心 PAGEREF _Toc491980878 h 567.6 華為FusionStorage助力深圳海關(guān)加速大數(shù)據(jù)分析 PAGEREF _Toc491980879 h 577.7 FusionStorage助力中信信托轉(zhuǎn)型互聯(lián)網(wǎng)金融 PAGEREF _Toc491980880 h 597.8 FusionStorage：匯港資訊高效證券交易數(shù)據(jù)發(fā)布云平臺(tái)建設(shè) PAGEREF _Toc491980881 h 607.9 華為FusionStorage助力BME高效交付股票交易系統(tǒng) PAGEREF _Toc491980882 h 628

9、 系統(tǒng)軟硬件配置清單及說(shuō)明 PAGEREF _Toc491980883 h 638.1 軟件配置 PAGEREF _Toc491980884 h 638.2 硬件配置 PAGEREF _Toc491980885 h 649 縮略語(yǔ)表 PAGEREF _Toc491980886 h 65項(xiàng)目概述項(xiàng)目背景XXX項(xiàng)目背景僅作參考，需要根據(jù)具體的項(xiàng)目進(jìn)行修改：XXX單位準(zhǔn)備采用虛擬化與云計(jì)算技術(shù)來(lái)構(gòu)建IT系統(tǒng)，提升IT系統(tǒng)的資源利用率，但是傳統(tǒng)SAN在企業(yè)基礎(chǔ)設(shè)施池化、云化中面臨的主要問(wèn)題：存儲(chǔ)資源彈性問(wèn)題：多業(yè)務(wù)負(fù)載、資源的動(dòng)態(tài)需求變化 存儲(chǔ)擴(kuò)展的問(wèn)題：共享、擴(kuò)展面臨了諸多的瓶頸和問(wèn)題（機(jī)頭、前后端

10、網(wǎng)絡(luò)、CPU/Cache與HDD不同步問(wèn)題） 形態(tài)和實(shí)施的成本、復(fù)雜性問(wèn)題：獨(dú)立的存儲(chǔ)網(wǎng)絡(luò)，建設(shè)成本高、實(shí)施復(fù)雜（初始實(shí)施、擴(kuò)減容等）容錯(cuò)和可靠性問(wèn)題：大規(guī)模集群中容忍的故障域問(wèn)題（跨機(jī)柜、跨機(jī)房），硬盤(pán)重建時(shí)間長(zhǎng)問(wèn)題 針對(duì)上述問(wèn)題，建議使用FusionStorage 分布式存儲(chǔ)產(chǎn)品解決上述問(wèn)題，為滿(mǎn)足業(yè)務(wù)平臺(tái)日益增長(zhǎng)的存儲(chǔ)需求，為業(yè)務(wù)平臺(tái)提供高安全性、高可靠性、高可用性和開(kāi)放性的存儲(chǔ)服務(wù)。FusionStorage分布式存儲(chǔ)系統(tǒng)基于分布式處理技術(shù)、虛擬化技術(shù)和集群技術(shù)實(shí)現(xiàn)，作為云計(jì)算資源池存儲(chǔ)資源池的一部分，為計(jì)算資源池提供高速、可靠、安全的塊存儲(chǔ)服務(wù)。項(xiàng)目需求XXX單位，對(duì)存儲(chǔ)性能、可靠性

11、、備份的需求如下，需要根據(jù)具體的項(xiàng)目進(jìn)行修改： 承載的業(yè)務(wù)類(lèi)型需求本次項(xiàng)目要求分布式存儲(chǔ)基于通用的X86服務(wù)器，將服務(wù)器上物理硬盤(pán)，通過(guò)多副本的技術(shù)組成存儲(chǔ)資源池。該資源池可以為下面兩類(lèi)計(jì)算資源池提供塊存儲(chǔ)服務(wù)XXX(Vmware)虛擬化計(jì)算資源池X86物理裸機(jī)使用，比如LINUX/windows/unix等服務(wù)器使用。支持的接口協(xié)議支持ISCSI協(xié)議，能夠通過(guò)ISCSI協(xié)議給LINUX、windows、unix等服務(wù)器提供塊存儲(chǔ)能力。支持本地SCSI協(xié)議，可以通過(guò)本地SCSI協(xié)議為融合一體機(jī)提供服務(wù)能力。存儲(chǔ)容量需求系統(tǒng)裸容量要求：XXX可用容量：按照2副本方式：=XXX TB按照3副本方式

12、：=XXX TB性能要求時(shí)延：=XXXmsIOPS:讀寫(xiě)比例：8KB隨機(jī)讀寫(xiě)，讀寫(xiě)比例其中讀占比80%,卷隊(duì)列深度為128 512KB順序讀寫(xiě)，讀寫(xiě)比例其中寫(xiě)占比80%,卷隊(duì)列深度為128存儲(chǔ)塊8KB的情況下， IOPS不小于XXX IOPS存儲(chǔ)塊512KB的情況下，IOPS不小于XXX IOPSCPU利用率：=60%內(nèi)存利用率：=60%可靠性需求副本要求：2/3副本支持服務(wù)器級(jí)安全及機(jī)柜級(jí)安全網(wǎng)絡(luò)與硬件設(shè)備需求本項(xiàng)目資源池的設(shè)備包含XXX數(shù)據(jù)備份恢復(fù)需求提供對(duì)分布式存儲(chǔ)節(jié)點(diǎn)設(shè)備內(nèi)的配置信息、管理信息、日志數(shù)據(jù)、用戶(hù)信息、設(shè)備管理信息等需要備份的數(shù)據(jù)備份。系統(tǒng)可以將卷的完整副本存儲(chǔ)在外部對(duì)象存

13、儲(chǔ)的服務(wù)。卷備份完成后，可以將備份從對(duì)象存儲(chǔ)中恢復(fù)到最初被備份的卷，或到新卷。備份和恢復(fù)只能在一個(gè)卷處于未附加和可用的狀態(tài)時(shí)進(jìn)行操作。功能需求XXX單位，對(duì)功能需求如下，需要根據(jù)具體的項(xiàng)目進(jìn)行修改：支持運(yùn)行在通用x86服務(wù)器，硬件、虛擬化平臺(tái)軟件支持采用XXX廠家；采用分布式架構(gòu)，非集中式；支持卷級(jí)精簡(jiǎn)配置；支持卷級(jí)鏈接克隆；支持卷級(jí)增量快照；數(shù)據(jù)副本支持部署在不同服務(wù)器、不同機(jī)柜，以提供當(dāng)服務(wù)器、機(jī)柜故障時(shí)不中斷存儲(chǔ)服務(wù)；系統(tǒng)單TB修復(fù)時(shí)間小于30分鐘；支持NVDIMM、PCIE SSD、SSD盤(pán)作為存儲(chǔ)cache；支持PCIE SSD、SSD盤(pán)、SAS、NL-SAS、SATA作為存儲(chǔ)介質(zhì)；

14、存儲(chǔ)支持以太、InfiniBand網(wǎng)絡(luò)互聯(lián)；支持劃分多資源池；支持底層存儲(chǔ)虛擬化；支持上層數(shù)據(jù)庫(kù)；支持在線擴(kuò)容和離線擴(kuò)容項(xiàng)目技術(shù)方案FusionStorage總體架構(gòu)分布式存儲(chǔ)FusionStorage是華為公司設(shè)計(jì),完全自主產(chǎn)權(quán)的分布式存儲(chǔ)架構(gòu).作為一種存儲(chǔ)與計(jì)算高度融合的存儲(chǔ)軟件，通過(guò)突破性的架構(gòu)和設(shè)計(jì)，達(dá)到高性能、高可靠、高性?xún)r(jià)比。它具有一致的、可預(yù)測(cè)的性能及可擴(kuò)展性，具有高彈性和自愈能力，具有計(jì)算存儲(chǔ)高度融合。FusionStorage采用分布式集群控制技術(shù)和分布式Hash數(shù)據(jù)路由技術(shù)，提供分布式存儲(chǔ)功能特性。FusionStorage功能架構(gòu)圖如下所示：FusionStorage功能

15、模塊:SAS/SATAX86 CPU硬件設(shè)備層存儲(chǔ)引擎層集群狀態(tài)控制數(shù)據(jù)一致性管理存儲(chǔ)服務(wù)層備份分布式Cache分布式鏈接克隆存儲(chǔ)驅(qū)動(dòng)層SCSI驅(qū)動(dòng)/iSCSI數(shù)據(jù)路由管理 并行數(shù)據(jù)重建集群故障自愈分布式快照分布式精簡(jiǎn)配置容災(zāi)10GE/InfiniBand計(jì)算、存儲(chǔ)融合服務(wù)器PCI-E SSD卡卷管理QOS管理存儲(chǔ)管理層存儲(chǔ)驅(qū)動(dòng)層：通過(guò)SCSI驅(qū)動(dòng)接口向操作系統(tǒng)、數(shù)據(jù)庫(kù)提供卷設(shè)備。存儲(chǔ)服務(wù)層：提供各種存儲(chǔ)高級(jí)特性，如快照、鏈接克隆、精簡(jiǎn)配置、分布式cache、容災(zāi)備份等。存儲(chǔ)引擎層：FusionStorage存儲(chǔ)基本功能，包括管理狀態(tài)控制、分布式數(shù)據(jù)路由、強(qiáng)一致性復(fù)制技術(shù)、集群故障自愈與并行數(shù)

16、據(jù)重建子系統(tǒng)等。存儲(chǔ)管理平臺(tái)：實(shí)現(xiàn)FusionStorage軟件的安裝部署、自動(dòng)化配置、在線升級(jí)、告警、監(jiān)控和日志等OM功能，同時(shí)對(duì)用戶(hù)提供Portal界面。FusionStorage系統(tǒng)軟件架構(gòu)：MDCMDCMDCOSDOSDVBSVBSOSDOSDOSDOSDOSDOSDOSDVBSVBS集群管理RSM(Replicated State Machine) data layerStateless interface layerDriver狀態(tài)視圖狀態(tài)視圖SCSI數(shù)據(jù)復(fù)制存儲(chǔ)集群無(wú)狀態(tài)機(jī)頭部件全稱(chēng)作用描述MDCMetadata Control元數(shù)據(jù)控制軟件，實(shí)現(xiàn)對(duì)分布式集群的狀態(tài)控制，以及控制

17、數(shù)據(jù)分布式規(guī)則、數(shù)據(jù)重建規(guī)則等。 MDC默認(rèn)部署在3個(gè)節(jié)點(diǎn)上，形成MDC集群。VBSVirtual Block System虛擬塊存儲(chǔ)管理組件，負(fù)責(zé)卷元數(shù)據(jù)的管理，提供分布式集群接入點(diǎn)服務(wù)，使計(jì)算資源能夠通過(guò)VBS訪問(wèn)分布式存儲(chǔ)資源。每個(gè)節(jié)點(diǎn)上默認(rèn)部署一個(gè)VBS進(jìn)程，形成VBS集群。節(jié)點(diǎn)上也可以通過(guò)部署多個(gè)VBS來(lái)提升IO性能。OSDObject Storage Device對(duì)象存儲(chǔ)設(shè)備服務(wù)，執(zhí)行具體的I/O操作。在每個(gè)服務(wù)器上部署多個(gè)OSD進(jìn)程，一塊磁盤(pán)默認(rèn)對(duì)應(yīng)部署一個(gè)OSD進(jìn)程。在SSD卡作主存時(shí)，為了充分發(fā)揮SSD卡的性能，可以在1張SSD卡上部署多個(gè)OSD進(jìn)程進(jìn)行管理，例如2.4TB的

18、SSD卡可以部署6個(gè)OSD進(jìn)程，每個(gè)OSD進(jìn)程負(fù)責(zé)管理400GB。FusionStorage通過(guò)分布式架構(gòu)把分散的、低速的SATA/SAS機(jī)械硬盤(pán)組織成一個(gè)高效的虛擬化SAN存儲(chǔ)池設(shè)備，提供比SAN設(shè)備更高的IO能力，把性能發(fā)揮到極致。FusionStorage分布式存儲(chǔ)系統(tǒng)包含三個(gè)子系統(tǒng)：無(wú)狀態(tài)機(jī)頭無(wú)狀態(tài)機(jī)頭對(duì)外提供本地SCSI接口或者ISCSI服務(wù)接口，可以部署在存儲(chǔ)節(jié)點(diǎn)，也可以靈活部署在計(jì)算節(jié)點(diǎn)。系統(tǒng)啟動(dòng)時(shí)，無(wú)狀態(tài)機(jī)頭會(huì)從元數(shù)據(jù)集群獲取最新的數(shù)據(jù)分布視圖。在IO過(guò)程中，無(wú)狀態(tài)機(jī)頭會(huì)將數(shù)據(jù)均衡的分發(fā)到各個(gè)存儲(chǔ)節(jié)點(diǎn)。無(wú)狀態(tài)機(jī)頭提供多種接口支持，其中包括本地SCSI，ISCSI。本地SCSI支

19、持主流的linux操作系統(tǒng)，其他操作系統(tǒng)可以通過(guò)ISCSI接口提供塊存儲(chǔ)服務(wù)。存儲(chǔ)集群在IO讀寫(xiě)過(guò)程中，存儲(chǔ)集群接收到無(wú)狀態(tài)機(jī)頭分發(fā)的IO請(qǐng)求，會(huì)根據(jù)副本策略，將IO分發(fā)到其他服務(wù)器或者機(jī)柜上的存儲(chǔ)節(jié)點(diǎn)；同時(shí)存儲(chǔ)節(jié)點(diǎn)會(huì)將每臺(tái)服務(wù)器上的緩存設(shè)備劃分成讀寫(xiě)緩沖區(qū)，IO直接寫(xiě)到cache中就向主節(jié)點(diǎn)返回。當(dāng)緩沖區(qū)達(dá)到一定的水位后，存儲(chǔ)節(jié)點(diǎn)會(huì)自動(dòng)將緩沖區(qū)的數(shù)據(jù)刷到主存設(shè)備（機(jī)械硬盤(pán)/SSD）上。集群管理FusionStorage分布式存儲(chǔ)軟件的元數(shù)據(jù)服務(wù)采用集群管理方式，不會(huì)出現(xiàn)單點(diǎn)故障，一個(gè)節(jié)點(diǎn)或者一塊硬盤(pán)故障自動(dòng)從集群內(nèi)隔離出來(lái)，對(duì)故障硬盤(pán)或節(jié)點(diǎn)上的數(shù)據(jù)進(jìn)行重建，不影響整個(gè)系統(tǒng)業(yè)務(wù)的使用，1T數(shù)據(jù)

20、重建時(shí)間小于30分鐘。FusionStorage產(chǎn)品特性介紹精簡(jiǎn)配置FusionStorage提供了精簡(jiǎn)配置功能，為應(yīng)用提供比實(shí)際物理存儲(chǔ)更多的虛擬存儲(chǔ)資源。相比直接分配物理存儲(chǔ)資源，可以顯著提高存儲(chǔ)空間利用率。采用DHT路由技術(shù)，系統(tǒng)無(wú)需使用專(zhuān)門(mén)的集中元數(shù)據(jù)來(lái)記錄卷的精簡(jiǎn)分配情況，和傳統(tǒng)SAN相比，不會(huì)帶來(lái)性能下降。FusionStorage 自動(dòng)精簡(jiǎn)配置快照FusionStorage提供了快照機(jī)制，將用戶(hù)的卷數(shù)據(jù)在某個(gè)時(shí)間點(diǎn)的狀態(tài)保存下來(lái)，后續(xù)可以作為導(dǎo)出數(shù)據(jù)、恢復(fù)數(shù)據(jù)之用。FusionStorage快照數(shù)據(jù)在存儲(chǔ)時(shí)采用ROW（Redirect-On-Write）機(jī)制，快照不會(huì)引起原卷性能

21、下降。FusionStorage 快照鏈接克隆FusionStorage提供鏈接克隆機(jī)制，支持基于一個(gè)卷快照創(chuàng)建出多個(gè)克隆卷，各個(gè)克隆卷剛創(chuàng)建出來(lái)時(shí)的數(shù)據(jù)內(nèi)容與卷快照中的數(shù)據(jù)內(nèi)容一致，后續(xù)對(duì)于克隆卷的修改不會(huì)影響到原始的快照和其他克隆卷。支持1:256的鏈接克隆比，提升存儲(chǔ)空間利用率?？寺【砝^承普通卷所有功能：克隆卷可支持創(chuàng)建快照、從快照恢復(fù)以及再次作為母卷進(jìn)行克隆操作。FusionStorage 鏈接克隆母卷A克隆卷B/母卷B克隆卷A快照C1快照C2克隆卷C克隆卷B1克隆卷B2克隆卷創(chuàng)建快照克隆卷作為母卷克隆卷彈性擴(kuò)展FusionStorage采用分布式架構(gòu)，支持無(wú)性能損耗的彈性擴(kuò)展。DHT

22、路由FusionStorage采用DHT（Distribute Hash Table，分布式哈希表）路由數(shù)據(jù)算法。每個(gè)存儲(chǔ)節(jié)點(diǎn)負(fù)責(zé)存儲(chǔ)一小部分?jǐn)?shù)據(jù)，基于DHT實(shí)現(xiàn)整個(gè)系統(tǒng)數(shù)據(jù)的尋址和存儲(chǔ)。相比DHT路由算法，傳統(tǒng)存儲(chǔ)一般采用集中式元數(shù)據(jù)管理方式，元數(shù)據(jù)中會(huì)記錄所有LUN中不同偏移量的數(shù)據(jù)在硬盤(pán)中的分布，例如LUN1+LBA1地址起始的4KB長(zhǎng)度的數(shù)據(jù)分布在第32塊硬盤(pán)的LBA2上。每次IO操作都需要去查詢(xún)?cè)獢?shù)據(jù)服務(wù)，隨著系統(tǒng)規(guī)模逐漸變大，元數(shù)據(jù)的容量也會(huì)越來(lái)越大，系統(tǒng)所能提供的并發(fā)操作能力將受限于元數(shù)據(jù)服務(wù)所在服務(wù)器的能力，元數(shù)據(jù)服務(wù)將會(huì)成為系統(tǒng)的性能瓶頸。不同與傳統(tǒng)的集中式元數(shù)據(jù)管理，F(xiàn)us

23、ionStorage采用DHT（分布式一致性哈希）進(jìn)行數(shù)據(jù)尋址，具體的算法如下圖：FusionStorage將哈希空間設(shè)置為232，并將該哈?？臻g劃分為N等份，每1等份是1個(gè)分區(qū)（Partition），這N等份按照硬盤(pán)數(shù)量進(jìn)行均分。例如：系統(tǒng)N默認(rèn)為3600，假設(shè)當(dāng)前系統(tǒng)有32塊硬盤(pán)，則每塊硬盤(pán)承載100個(gè)分區(qū)。上述“分區(qū)-硬盤(pán)”的映射關(guān)系在系統(tǒng)初始化時(shí)會(huì)分配好，后續(xù)會(huì)隨著系統(tǒng)中硬盤(pán)數(shù)量的變化會(huì)進(jìn)行調(diào)整。該映射表所需要的空間很小，F(xiàn)usionStorage系統(tǒng)中的節(jié)點(diǎn)會(huì)在內(nèi)存中保存該映射關(guān)系，用于進(jìn)行快速路由，可見(jiàn)，F(xiàn)usionStorge的路由機(jī)制不同于傳統(tǒng)陣列，并沒(méi)有集中的元數(shù)據(jù)管理，也就

24、不存在元數(shù)據(jù)服務(wù)成為系統(tǒng)的性能瓶頸。舉例說(shuō)明：應(yīng)用需要訪問(wèn)LUN1+LBA1地址起始的4KB長(zhǎng)度的數(shù)據(jù)，首先構(gòu)造key=LUN1+LBA1/1M，對(duì)該key進(jìn)行HASH計(jì)算得到哈希值，并對(duì)N取模，得到partition號(hào)，根據(jù)內(nèi)存中記錄的“分區(qū)-硬盤(pán)“映射表可得知數(shù)據(jù)歸屬的硬盤(pán)。同時(shí)，F(xiàn)usionStorage采用的DHT算法具有以下特點(diǎn)：均衡性：數(shù)據(jù)能夠盡可能分布到所有的節(jié)點(diǎn)中，這樣可以使得所有節(jié)點(diǎn)負(fù)載均衡。單調(diào)性：當(dāng)有新節(jié)點(diǎn)加入系統(tǒng)中，系統(tǒng)會(huì)重新做數(shù)據(jù)分配，數(shù)據(jù)遷移僅涉及新增節(jié)點(diǎn)，現(xiàn)有節(jié)點(diǎn)上的數(shù)據(jù)不需要做很大調(diào)整平滑擴(kuò)容FusionStorage的分布式架構(gòu)具有良好的可擴(kuò)展性，支持超大容量

25、的存儲(chǔ)：擴(kuò)容存儲(chǔ)節(jié)點(diǎn)后不需要做大量的數(shù)據(jù)搬遷，系統(tǒng)可以快速達(dá)到負(fù)載均衡狀態(tài)。支持靈活的擴(kuò)容方式，可以獨(dú)立擴(kuò)容計(jì)算節(jié)點(diǎn)、硬盤(pán)、存儲(chǔ)節(jié)點(diǎn)，或者同時(shí)進(jìn)行擴(kuò)容。在擴(kuò)容計(jì)算節(jié)點(diǎn)時(shí)同步擴(kuò)容存儲(chǔ)空間，擴(kuò)容后的系統(tǒng)仍舊可以是計(jì)算和存儲(chǔ)融合。機(jī)頭、存儲(chǔ)帶寬和Cache都均勻分布到各個(gè)節(jié)點(diǎn)上，系統(tǒng)IOPS、吞吐量和Cache隨著節(jié)點(diǎn)的擴(kuò)容而線性增加。FusionStorage 平滑擴(kuò)容節(jié)點(diǎn)性能卓越FusionStorage通過(guò)創(chuàng)新的架構(gòu)把分散的、低速的SATA/SAS機(jī)械硬盤(pán)組織成一個(gè)高效的類(lèi)SAN存儲(chǔ)池設(shè)備，提供比SAN設(shè)備更高的IO，把性能發(fā)揮到了極致。FusionStorage支持使用SSD替代HDD作為高

26、速存儲(chǔ)設(shè)備，支持使用Infiniband網(wǎng)絡(luò)替代GE/10GE網(wǎng)絡(luò)提供更高的帶寬，為對(duì)性能要求極高的大數(shù)據(jù)量實(shí)時(shí)處理場(chǎng)景提供完美的支持。分布式機(jī)頭FusionStorage采用無(wú)狀態(tài)的分布式軟件機(jī)頭，機(jī)頭部署在各個(gè)服務(wù)器上，無(wú)集中式機(jī)頭的性能瓶頸。單個(gè)服務(wù)器上軟件機(jī)頭只占用較少的CPU資源，提供比集中式機(jī)頭更高的IOPS和吞吐量。例如：假設(shè)系統(tǒng)中有20臺(tái)服務(wù)器需要訪問(wèn)FusionStorage提供的存儲(chǔ)資源，每臺(tái)服務(wù)器提供給存儲(chǔ)平面的帶寬為2*10Gb，我們?cè)诿颗_(tái)服務(wù)器中部署1個(gè)VBS模塊（相當(dāng)于在每臺(tái)服務(wù)器中部署1個(gè)存儲(chǔ)機(jī)頭），20臺(tái)服務(wù)器意味著可部署20個(gè)存儲(chǔ)機(jī)頭，所能獲取到的總吞吐量最高

27、可達(dá)20*2*10Gb=400Gb，隨著集群規(guī)模的不斷擴(kuò)大，可以線性增加的存儲(chǔ)機(jī)頭，突破了傳統(tǒng)的雙控或者多控存儲(chǔ)系統(tǒng)集中式機(jī)頭的性能瓶頸。分布式緩存FusionStorage實(shí)現(xiàn)了計(jì)算和存儲(chǔ)的融合，緩存和帶寬都均勻分布到各個(gè)服務(wù)器節(jié)點(diǎn)上。FusionStorage集群內(nèi)各服務(wù)器節(jié)點(diǎn)的硬盤(pán)使用獨(dú)立的I/O帶寬，不存在獨(dú)立存儲(chǔ)系統(tǒng)中大量磁盤(pán)共享計(jì)算設(shè)備和存儲(chǔ)設(shè)備之間有限帶寬的問(wèn)題。FusionStorage支持將服務(wù)器部分內(nèi)存用作讀緩存，NVDIMM和SSD用作寫(xiě)緩存，數(shù)據(jù)緩存均勻分布到各個(gè)節(jié)點(diǎn)上，所有服務(wù)器的緩存總?cè)萘窟h(yuǎn)大于采用外置獨(dú)立存儲(chǔ)的方案。即使采用大容量低成本的SATA硬盤(pán)，F(xiàn)usion

28、Storage仍然可以發(fā)揮很高的IO性能，整體性能提升13倍。FusionStorage支持SSD用作數(shù)據(jù)緩存，除具備通常的寫(xiě)緩存外，增加熱點(diǎn)數(shù)據(jù)統(tǒng)計(jì)和緩存功能，加上其大容量的優(yōu)勢(shì)，進(jìn)一步提升了系統(tǒng)性能。FusionStorage 計(jì)算和存儲(chǔ)融合全局負(fù)載均衡FusionStorage的 HYPERLINK l _彈性擴(kuò)展 DHT機(jī)制（具體請(qǐng)參加“彈性擴(kuò)展”章節(jié)描述）可以保證上層應(yīng)用對(duì)數(shù)據(jù)的IO操作會(huì)均勻分布在不同服務(wù)器的不同硬盤(pán)上，不會(huì)出現(xiàn)局部的熱點(diǎn)，實(shí)現(xiàn)全局復(fù)負(fù)載均衡。第一，系統(tǒng)自動(dòng)將每個(gè)卷的數(shù)據(jù)塊打散存儲(chǔ)在不同服務(wù)器的不同硬盤(pán)上，冷熱不均的數(shù)據(jù)會(huì)均勻分布在不同的服務(wù)器上，不會(huì)出現(xiàn)集中的熱點(diǎn)

29、。第二，數(shù)據(jù)分片分配算法保證了主用副本和備用副本在不同服務(wù)器和不同硬盤(pán)上的均勻分布，換句話說(shuō)，每塊硬盤(pán)上的主用副本和備副本數(shù)量是均勻的。第三，擴(kuò)容節(jié)點(diǎn)或者故障減容節(jié)點(diǎn)時(shí)，數(shù)據(jù)恢復(fù)重建算法保證了重建后系統(tǒng)中各節(jié)點(diǎn)負(fù)載的均衡性。分布式SSD存儲(chǔ)FusionStorage支持為高性能應(yīng)用提供分布式SSD存儲(chǔ)，提供比傳統(tǒng)的機(jī)械硬盤(pán)（SATA/SAS）更高的讀寫(xiě)性能。通過(guò)在存儲(chǔ)節(jié)點(diǎn)上配置PCI-E SSD卡，F(xiàn)usionStorge可以將存儲(chǔ)節(jié)點(diǎn)上的SSD卡組成1個(gè)虛擬存儲(chǔ)資源池，為應(yīng)用提供高性能讀寫(xiě)能力。FusionStorage可以支持華為自研SSD卡或者其他廠家主流PCI-E SSD卡。高速I(mǎi)nf

30、iniband網(wǎng)絡(luò)FusionStorage支持為高帶寬、低時(shí)延應(yīng)用提供Infiniband網(wǎng)絡(luò)，通過(guò)與Infiniband網(wǎng)絡(luò)的結(jié)合，F(xiàn)usionStorage可提供如下功能：56Gbps FDR InfiniBand，節(jié)點(diǎn)間超高速互聯(lián)。標(biāo)準(zhǔn)成熟多級(jí)胖樹(shù)組網(wǎng)，平滑容量擴(kuò)容。近似無(wú)阻塞通信網(wǎng)絡(luò)，數(shù)據(jù)交換無(wú)瓶頸。納秒級(jí)通信時(shí)延，計(jì)算存儲(chǔ)信息及時(shí)傳遞。無(wú)損網(wǎng)絡(luò)QOS，數(shù)據(jù)傳送無(wú)丟失。主備端口多平面通信，提高傳輸可靠性。高可靠集群管理FusionStorage分布式存儲(chǔ)軟件采用集群管理方式，從架構(gòu)上保證了系統(tǒng)不會(huì)出現(xiàn)單點(diǎn)故障，一個(gè)節(jié)點(diǎn)或者一塊硬盤(pán)故障自動(dòng)從集群內(nèi)隔離出來(lái)，不影響整個(gè)系統(tǒng)業(yè)務(wù)的使用。具

31、體為：MDC：集群方式，系統(tǒng)部署35個(gè)MDC模塊，MDC模塊間采用主備工作方式，當(dāng)主MDC故障時(shí)，備MDC會(huì)升為主MDC；FusionStorage Manager：主備模式，系統(tǒng)部署2個(gè)FusionStorage Manager模塊；OSD：主備模式，MDC實(shí)時(shí)監(jiān)控OSD的狀態(tài)，當(dāng)指定Partition所在的主OSD故障時(shí)，存儲(chǔ)服務(wù)會(huì)實(shí)時(shí)自動(dòng)切換到備OSD，保證了業(yè)務(wù)的連續(xù)性；多數(shù)據(jù)副本FusionStorage采用數(shù)據(jù)多副本備份機(jī)制來(lái)保證數(shù)據(jù)的可靠性，即同一份數(shù)據(jù)可以復(fù)制保存為23個(gè)副本。針對(duì)系統(tǒng)中的每1個(gè)卷，默認(rèn)按照1MB進(jìn)行分片，分片后的數(shù)據(jù)按照DHT算法保存集群節(jié)點(diǎn)上。如下圖所示，對(duì)

32、于服務(wù)器Server1的 磁盤(pán)Disk1上的數(shù)據(jù)塊P1，它的數(shù)據(jù)備份為服務(wù)器Server2的磁盤(pán)Disk2上P1，P1和P1構(gòu)成了同一個(gè)數(shù)據(jù)塊的兩個(gè)副本。例如，當(dāng)P1所在的硬盤(pán)故障時(shí)，P1可以繼續(xù)提供存儲(chǔ)服務(wù)。FusionStorage 多數(shù)據(jù)副本數(shù)據(jù)一致性數(shù)據(jù)一致性意味著當(dāng)應(yīng)用成功寫(xiě)入一份數(shù)據(jù)到存儲(chǔ)系統(tǒng)時(shí)，存儲(chǔ)系統(tǒng)的幾個(gè)數(shù)據(jù)副本必然是一致的，當(dāng)應(yīng)用再次讀時(shí)，無(wú)論在哪個(gè)副本上讀取，都是之前寫(xiě)入的數(shù)據(jù)。FusionStorage采取多種方式來(lái)保證系統(tǒng)中數(shù)據(jù)的一致性：副本同步寫(xiě)當(dāng)VBS模塊將寫(xiě)操作發(fā)送給指定主OSD時(shí)，該OSD在寫(xiě)入本節(jié)點(diǎn)硬盤(pán)時(shí)，同時(shí)將寫(xiě)操作同步到備OSD，同步過(guò)程中嚴(yán)格按照IO編

33、號(hào)進(jìn)行，保證了主OSD接收到的IO順序和同步到備OSD的IO順序一致。當(dāng)主備OSD同時(shí)完成寫(xiě)操作時(shí)，才向應(yīng)用返回操作成功。具體流程如下圖所示：讀修復(fù)（Read Repair）Read Repair機(jī)制是指在讀數(shù)據(jù)失敗時(shí)，系統(tǒng)會(huì)判斷錯(cuò)誤類(lèi)型，如果是磁盤(pán)扇區(qū)讀取錯(cuò)誤，系統(tǒng)會(huì)自動(dòng)從其他節(jié)點(diǎn)保存的副本讀取數(shù)據(jù)，然后重新寫(xiě)入該副本數(shù)據(jù)到硬盤(pán)扇區(qū)錯(cuò)誤的節(jié)點(diǎn)，從而保證數(shù)據(jù)副本總數(shù)不減少和副本間的數(shù)據(jù)一致性。快速數(shù)據(jù)重建FusionStorage中的每個(gè)硬盤(pán)都保存了多個(gè)數(shù)據(jù)塊（Partition），這些數(shù)據(jù)塊的副本按照策略分散在系統(tǒng)中的其他節(jié)點(diǎn)。當(dāng)FusionStorage檢測(cè)到硬盤(pán)或者節(jié)點(diǎn)硬件發(fā)生故障時(shí)，自

34、動(dòng)在后臺(tái)啟動(dòng)數(shù)據(jù)修復(fù)。由于數(shù)據(jù)塊的副本被分散到多個(gè)不同的存儲(chǔ)節(jié)點(diǎn)上，數(shù)據(jù)修復(fù)時(shí)，將會(huì)在不同的節(jié)點(diǎn)上同時(shí)啟動(dòng)數(shù)據(jù)重建，每個(gè)節(jié)點(diǎn)上只需重建一小部分?jǐn)?shù)據(jù)，多個(gè)節(jié)點(diǎn)并行工作，有效避免單個(gè)節(jié)點(diǎn)重建大量數(shù)據(jù)所產(chǎn)生的性能瓶頸，對(duì)上層業(yè)務(wù)的影響做到最小化。數(shù)據(jù)故障自動(dòng)重建流程如下圖所示。FusionStorage數(shù)據(jù)重建流程FusionStorage支持并行、快速故障處理和重建：數(shù)據(jù)塊（Partition）及其副本分散在整個(gè)資源池內(nèi)，硬盤(pán)故障后，可在資源池范圍內(nèi)自動(dòng)并行重建。數(shù)據(jù)分布上支持跨服務(wù)器，不會(huì)因某個(gè)服務(wù)器故障導(dǎo)致的數(shù)據(jù)不可訪問(wèn)和不可重建。故障或者擴(kuò)容時(shí)可以自動(dòng)進(jìn)行負(fù)載均衡，應(yīng)用無(wú)需調(diào)整即可獲得更大的

35、容量和性能。掉電保護(hù)系統(tǒng)運(yùn)行過(guò)程中可能會(huì)出現(xiàn)服務(wù)器突然下電的情況，F(xiàn)usionStorage使用保電介質(zhì)來(lái)保存元數(shù)據(jù)和緩存數(shù)據(jù)，以防掉電而丟失。FusionStorage支持的保電介質(zhì)為NVDIMM內(nèi)存條或SSD。程序運(yùn)行過(guò)程中會(huì)把元數(shù)據(jù)和緩存數(shù)據(jù)寫(xiě)入保電介質(zhì)中，節(jié)點(diǎn)異常掉電并重啟后，系統(tǒng)自動(dòng)恢復(fù)保電介質(zhì)中的元數(shù)據(jù)和緩存數(shù)據(jù)。FusionStorage 保電介質(zhì)（NVDIMM內(nèi)存、PCIe SSD卡和SSD硬盤(pán)） 硬盤(pán)可靠性FusionStorage支持硬盤(pán)S.M.A.R.T檢測(cè)、慢盤(pán)檢測(cè)、硬盤(pán)SCSI錯(cuò)誤處理、硬盤(pán)數(shù)據(jù)掃描等硬盤(pán)可靠性處理，通過(guò)上述檢測(cè)完成讀修復(fù)、磁盤(pán)故障移除和數(shù)據(jù)重建、壞塊

36、標(biāo)記、有效數(shù)據(jù)磁盤(pán)掃描、S.M.A.R.T超閾值和慢盤(pán)處理。有效數(shù)據(jù)硬盤(pán)掃描通過(guò)周期對(duì)硬盤(pán)有效數(shù)據(jù)進(jìn)行讀取掃描，防止靜默數(shù)據(jù)錯(cuò)誤(silent data corruption)，如果掃描發(fā)現(xiàn)壞道，則進(jìn)行“讀修復(fù)”修復(fù)故障扇區(qū)。壞塊標(biāo)記（BST）系統(tǒng)在硬盤(pán)掃描或者讀數(shù)據(jù)的過(guò)程中，如果硬盤(pán)有壞道存在，產(chǎn)生訪問(wèn)錯(cuò)誤，F(xiàn)usionStorage會(huì)先嘗試進(jìn)行“讀修復(fù)”操作，如果該數(shù)據(jù)的所有冗余副本都同時(shí)不可用，則會(huì)標(biāo)記壞扇區(qū)為BST并產(chǎn)生告警，提示系統(tǒng)在應(yīng)用層進(jìn)行數(shù)據(jù)修復(fù)。硬盤(pán)亞健康檢查系統(tǒng)通過(guò)對(duì)硬盤(pán)S.M.A.R.T信息以及IO處理能力的監(jiān)控，識(shí)別出硬盤(pán)是否處于亞健康狀態(tài)，并自動(dòng)將亞健康的硬盤(pán)進(jìn)行數(shù)據(jù)

37、重建后移除集群。硬盤(pán)錯(cuò)誤檢測(cè)系統(tǒng)在IO處理過(guò)程中主動(dòng)識(shí)別硬盤(pán)WP, ABRT, DF等錯(cuò)誤信息，當(dāng)發(fā)現(xiàn)硬盤(pán)出現(xiàn)上述故障時(shí)，自動(dòng)啟動(dòng)數(shù)據(jù)重建，并將故障硬盤(pán)移除集群。同步容災(zāi)容災(zāi)方案基于FusionStorage鏡像同步容災(zāi)方案，其原理如下 HYPERLINK l d292e110 o 圖所示，配置主備站點(diǎn)存儲(chǔ)鏡像關(guān)系，粒度為VM掛載的卷。連接鏡像關(guān)系后，主站點(diǎn)應(yīng)用下發(fā)的I/O寫(xiě)請(qǐng)求，會(huì)同步復(fù)制到容災(zāi)站點(diǎn)鏡像卷上。業(yè)務(wù)I/O流程：Primary站點(diǎn)主機(jī)下發(fā)I/O寫(xiě)請(qǐng)求。Primary站點(diǎn)將I/O寫(xiě)請(qǐng)求同步發(fā)送到Secondary站點(diǎn)。Secondary站點(diǎn)寫(xiě)成功，向Primary站點(diǎn)返回寫(xiě)完成。P

38、rimary站點(diǎn)確保Primary和Secondary站點(diǎn)均寫(xiě)成功，向主機(jī)響應(yīng)寫(xiě)請(qǐng)求完成。分布式數(shù)據(jù)同步容災(zāi)同步復(fù)制采用FusionStorage無(wú)狀態(tài)的分布式軟件機(jī)頭，如下圖所示，機(jī)頭部署在各個(gè)服務(wù)器上，無(wú)集中式機(jī)頭的性能瓶頸。隨著生產(chǎn)站點(diǎn)和容災(zāi)站點(diǎn)規(guī)模的擴(kuò)大，用戶(hù)數(shù)據(jù)復(fù)制無(wú)性能瓶頸，可以充分利用站點(diǎn)間網(wǎng)絡(luò)帶寬，降低存儲(chǔ)IO時(shí)延。Secondary SiteFusion StorageVMVMVM機(jī)頭機(jī)頭機(jī)頭ServerServerServerVMVMVMPrimary SiteFusion StorageVMVMVM機(jī)頭機(jī)頭機(jī)頭分布式數(shù)據(jù)復(fù)制ServerServerServerVMVMVM

39、災(zāi)備策略靈活配置容災(zāi)站點(diǎn)故障后，支持兩種災(zāi)備策略配置：對(duì)于容災(zāi)數(shù)據(jù)高一致性要求的站點(diǎn)，支持容災(zāi)站點(diǎn)故障后，鏡像卷業(yè)務(wù)終止提供服務(wù)，以保證鏡像卷數(shù)據(jù)的一致；對(duì)于優(yōu)先保證系統(tǒng)可用性的站點(diǎn)，支持容災(zāi)站點(diǎn)故障后，生產(chǎn)站點(diǎn)獨(dú)立運(yùn)行，待災(zāi)備站點(diǎn)恢復(fù)后，再進(jìn)行數(shù)據(jù)的增量同步。多種數(shù)據(jù)同步模式支持全量同步和增量同步兩種模式。鏡像卷初次同步時(shí)支持“瘦分配”卷，僅同步有效數(shù)據(jù)，同步速度快、效率高，節(jié)省站點(diǎn)間帶寬和災(zāi)備站點(diǎn)存儲(chǔ)容量。同步失敗后，支持?jǐn)帱c(diǎn)續(xù)傳，降低了同步期間鏈路故障帶來(lái)的影響。災(zāi)備站點(diǎn)故障恢復(fù)后，支持同步增量數(shù)據(jù)，降低了數(shù)據(jù)復(fù)制需要的時(shí)間。鏡像卷同步時(shí)不中斷業(yè)務(wù)IO。獨(dú)立復(fù)制平面支持采用獨(dú)立的復(fù)制平面

40、，同業(yè)務(wù)平面、管理平面有效隔離，通過(guò)獨(dú)享的復(fù)制平面保證數(shù)據(jù)同步的安全和QoS。容災(zāi)規(guī)格規(guī)格名稱(chēng)規(guī)格指標(biāo)RPO0RTO4Hour網(wǎng)絡(luò)時(shí)延RTT要求 站點(diǎn)業(yè)務(wù)峰值寫(xiě)I/O帶寬容災(zāi)鏡像卷最大規(guī)格8T鏡像卷最大規(guī)格4096個(gè)鏡像管理簡(jiǎn)便操作維護(hù)FusionStorage提供可視化的Portal界面，用戶(hù)從Portal界面可以查看系統(tǒng)監(jiān)控（KPI指標(biāo)）、告警事件和存儲(chǔ)池狀態(tài)等，操作維護(hù)簡(jiǎn)單。升級(jí)FusionStorage提供在線升級(jí)和離線升級(jí)兩種方式，可以根據(jù)項(xiàng)目要求進(jìn)行選擇。離線升級(jí)：升級(jí)過(guò)程中需要中斷業(yè)務(wù)，業(yè)務(wù)中斷時(shí)長(zhǎng)一般小于4小時(shí)。在線升級(jí)：升級(jí)過(guò)程中不需要中斷業(yè)務(wù)，業(yè)務(wù)升級(jí)時(shí)長(zhǎng)將和當(dāng)前系統(tǒng)節(jié)點(diǎn)數(shù)

41、相關(guān)，單個(gè)節(jié)點(diǎn)的升級(jí)時(shí)長(zhǎng)一般小于15分鐘。FusionStorage優(yōu)點(diǎn)概述高IOPS,低時(shí)延：應(yīng)用大容量Cache技術(shù)，提升IOPS；卷被切片分割打散到整個(gè)資源池所有硬盤(pán)中，條帶化寬度增加，單卷可獲得的性能大幅提升；訪問(wèn)均衡，無(wú)熱點(diǎn),資源池中各節(jié)點(diǎn)的利用率相同；無(wú)需預(yù)先設(shè)置固定RAID組，大資源池適應(yīng)應(yīng)用負(fù)載的動(dòng)態(tài)變化；無(wú)級(jí)擴(kuò)容、超大容量：分布式系統(tǒng)，無(wú)管理機(jī)頭瓶頸，容量幾乎不受限制；無(wú)級(jí)擴(kuò)容：分布式機(jī)頭(每server服務(wù)器相當(dāng)于一個(gè)機(jī)頭)，無(wú)性能瓶頸，可無(wú)級(jí)擴(kuò)容 非煙囪式擴(kuò)展：存儲(chǔ)與計(jì)算同步平滑擴(kuò)展。即插即用式擴(kuò)容：擴(kuò)容后系統(tǒng)自動(dòng)調(diào)整負(fù)載平衡，真正實(shí)現(xiàn)無(wú)級(jí)平滑擴(kuò)容。管理簡(jiǎn)單：結(jié)構(gòu)簡(jiǎn)單帶來(lái)

42、管理簡(jiǎn)單；簡(jiǎn)化底層配置管理：僅需要做應(yīng)用層面的管理，免去大量底層配置管理事務(wù)。降低運(yùn)維管理的成本：自動(dòng)負(fù)載均衡，無(wú)熱點(diǎn)，故障自愈，無(wú)需進(jìn)行人工性能優(yōu)化。數(shù)據(jù)重建快：并行重建速度快；數(shù)據(jù)分布可以跨服務(wù)器或跨機(jī)柜，不會(huì)因某個(gè)服務(wù)器、機(jī)柜故障導(dǎo)致數(shù)據(jù)不可訪問(wèn)。數(shù)據(jù)分片在資源池內(nèi)打散，硬盤(pán)故障后，可在全資源池范圍內(nèi)自動(dòng)并行重建，僅重建實(shí)際數(shù)據(jù)，無(wú)需熱備盤(pán)； 重建1TB數(shù)據(jù)時(shí)間 =100GB；部署MDC模塊的服務(wù)器的本地硬盤(pán)容量=55GB；虛擬化軟件華為ServerSAN解決方案可以兼容業(yè)務(wù)主流的虛擬化平臺(tái)，包括Huawei FusionSphere、VMWare和KVM等。操作系統(tǒng)除了給虛擬化平臺(tái)提供

43、存儲(chǔ)服務(wù)外，華為ServerSAN還支持通過(guò)在物理服務(wù)器OS中部署VBS模塊提供存儲(chǔ)服務(wù)，VBS支持部署在目前主流OS上。兼容列表具體請(qǐng)參考FusionStorage兼容性列表。FusionStorage應(yīng)用場(chǎng)景XXX項(xiàng)目的應(yīng)用場(chǎng)景如下，需要根據(jù)具體的項(xiàng)目進(jìn)行修改：適合使用FusionStorage的應(yīng)用場(chǎng)景：VDI、OA應(yīng)用。其典型特點(diǎn)是：容量共享精簡(jiǎn)分配、性能共享分時(shí)復(fù)用、計(jì)算和存儲(chǔ)配比相對(duì)均衡、成本性?xún)r(jià)比要求高。云資源池應(yīng)用：其典型特點(diǎn)是以Server SAN形態(tài)的Scale-Out能力快速建設(shè)好海量的存儲(chǔ)系統(tǒng)，縮短上線周期和降低后續(xù)運(yùn)維成本。開(kāi)發(fā)測(cè)試云應(yīng)用：其典型特點(diǎn)是為頻繁變動(dòng)的開(kāi)發(fā)

44、測(cè)試環(huán)境提供更簡(jiǎn)單快速的部署方式，并且方便進(jìn)行橫向擴(kuò)展，成本和性能可預(yù)期，管理更容易。數(shù)據(jù)庫(kù)應(yīng)用：其典型特點(diǎn)是提供百萬(wàn)級(jí)IOPS，高達(dá)120GB/s的IO吞吐和低至150s的時(shí)延，滿(mǎn)足Oracle、SAP HANA、IBM DB2等主流數(shù)據(jù)庫(kù)應(yīng)用對(duì)性能的高要求FusionStorage應(yīng)用場(chǎng)景圖：支持多種虛擬化平臺(tái) (FusionSphere/Vmware/KVM)FusionStorage分布式存儲(chǔ)資源池應(yīng)用層虛擬化層數(shù)據(jù)庫(kù)物理部署HANA服務(wù)器數(shù)量規(guī)劃FusionStorage按容量和性能計(jì)算服務(wù)器數(shù)量IOPS計(jì)算：對(duì)于小塊隨機(jī)場(chǎng)景（如VDI）?；A(chǔ)數(shù)據(jù)：業(yè)務(wù)側(cè)單盤(pán)IOPS = x ，硬盤(pán)

45、數(shù)量為n，則卷/應(yīng)用層面的有效IOPS公式為：總的有效IOPS = x* n容量計(jì)算：HDD/SSD 磁盤(pán)介質(zhì)基礎(chǔ)數(shù)據(jù)：磁盤(pán)（HDD/SSD）標(biāo)稱(chēng)容量 = z(T) ，F(xiàn)usionStorage OSD開(kāi)銷(xiāo)= r(G) ，F(xiàn)usionStorage硬盤(pán)數(shù)目=m，磁盤(pán)空間利用率=q，副本數(shù)=k，則卷/應(yīng)用層面的有效容量公式為：總的有效容量= (z/(1.0244)-r/1024)*q*m/k所需的硬盤(pán)數(shù)量=max（容量計(jì)算的硬盤(pán)數(shù)目m，IOPS計(jì)算的硬盤(pán)數(shù)目n）所需的服務(wù)器數(shù)量=roundup（所需的硬盤(pán)數(shù)量/單服務(wù)器硬盤(pán)數(shù)）備注：因磁盤(pán)介質(zhì)不同或者大小不同的情況下，所需的磁盤(pán)數(shù)目需要分開(kāi)計(jì)算。

46、如果是同一服務(wù)器共存多種介質(zhì)或者大小不同的磁盤(pán)，所需服務(wù)器的數(shù)量視具體情況調(diào)整。舉例：某項(xiàng)目要求2000IOPS，20T容量，采用600G SAS盤(pán)按IOPS計(jì)算，硬盤(pán)數(shù)y1：基礎(chǔ)數(shù)據(jù)：x = 200則利用上述公式： 2000= 200*y1 y1=10按容量計(jì)算，硬盤(pán)數(shù)y2：基礎(chǔ)數(shù)據(jù)：z = 600G=(600/1024)T q= 95% k=2 r = 21G則利用上述公式：20 = （0.6/(1.0244)-21/1024）*y2*0.95/2 y2 = 81 （向上取整） 需要的硬盤(pán)數(shù)N = max（y1,y2）=max(10,81)=81需要的服務(wù)器數(shù) = roundup（81/單

47、服務(wù)器硬盤(pán)數(shù)）SSD卡介質(zhì)：基礎(chǔ)數(shù)據(jù)：SSD卡標(biāo)稱(chēng)容量 = z(T) ，F(xiàn)usionStorage OSD開(kāi)銷(xiāo)= r(G) ，SSD卡劃分分區(qū)數(shù)目=n，F(xiàn)usionStorage硬盤(pán)數(shù)目=m，磁盤(pán)空間利用率=q，副本數(shù)=k，則卷/應(yīng)用層面的有效容量公式為：總的有效容量= (z/(1.0244)-r*n/1024)*q*m/k所需的硬盤(pán)數(shù)量=max（容量計(jì)算的硬盤(pán)數(shù)目m，IOPS計(jì)算的硬盤(pán)數(shù)目n）所需的服務(wù)器數(shù)量=roundup（所需的硬盤(pán)數(shù)量/單服務(wù)器硬盤(pán)數(shù)）備注：因服務(wù)器內(nèi)所選擇的SSD卡數(shù)目和大小不同，SSD卡可以被劃分的分區(qū)數(shù)目不同。如：2.4T的SSD卡*2的情況下，建議劃分成6個(gè)分區(qū)

48、，每個(gè)分區(qū)400G；3.2T的SSD卡*6的情況下，建議劃分4個(gè)分區(qū)，每個(gè)分區(qū)800G。舉例：某項(xiàng)目要求2000IOPS，20T容量，采用600G SAS盤(pán)按IOPS計(jì)算，硬盤(pán)數(shù)y1：基礎(chǔ)數(shù)據(jù)：x = 200則利用上述公式： 2000= 200*y1 y1=10按容量計(jì)算，硬盤(pán)數(shù)y2：基礎(chǔ)數(shù)據(jù)：z = 2.4T q= 95% k=2 r = 21G則利用上述公式：20 = （2.4/(1.0244)-21*6/1024）*y2*0.95/2 y2 = 21 （向上取整） 需要的硬盤(pán)數(shù)N = max（y1,y2）=max(10,21)=21需要的服務(wù)器數(shù) = roundup（21/單服務(wù)器硬盤(pán)數(shù)

49、）FusionStorage的部署方案資源池劃分根據(jù)服務(wù)器分析，進(jìn)行資源池劃分。具體根據(jù)項(xiàng)目的實(shí)際情況進(jìn)行調(diào)整。多資源池：1個(gè)FusionStorage 存儲(chǔ)資源池，兩副本情況下最大96塊硬盤(pán)或者32張SSD卡。三副本情況最大為2000塊磁盤(pán)或者300張SSD卡。單集群可以支持多資源池，單集群最大支持128個(gè)資源池，最大支持的硬盤(pán)數(shù)為49152。每個(gè)存儲(chǔ)節(jié)點(diǎn)的FusionStorage硬盤(pán)或者SSD卡可以按照介質(zhì)類(lèi)型和大小不同，劃分成不同的資源池。資源池劃分：根據(jù)數(shù)據(jù)冗余度，可以按照兩副本和三副本不同，各種劃分不同的資源池；根據(jù)介質(zhì)類(lèi)型和大小，可以各自劃分成不同的資源池（例如：SATA、SAS

50、、SSD等可以按介質(zhì)不同劃分成不同的資源池。同樣的SATA 2T、4T，按照大小不同劃分成不同的資源池）；超過(guò)單資源池最大硬盤(pán)數(shù)、服務(wù)器數(shù)的時(shí)候，劃分成多個(gè)資源池；根據(jù)XXX項(xiàng)目實(shí)際情況，劃分成XXX個(gè)資源池。第一個(gè)資源池，介質(zhì)類(lèi)型為XXX，節(jié)點(diǎn)數(shù)XXX，介質(zhì)容量大小XXX；第二個(gè)資源池，介質(zhì)類(lèi)型為XXX，節(jié)點(diǎn)數(shù)XXX，介質(zhì)容量大小XXX；第N個(gè)資源池，介質(zhì)類(lèi)型為XXX，節(jié)點(diǎn)數(shù)XXX，介質(zhì)容量大小XXX。在FusionSphere的部署方案總體部署邏輯圖模塊功能FusionStorage ManagerFusionStorage管理模塊，提供告警、監(jiān)控、日志、配置等操作維護(hù)功能，主備節(jié)點(diǎn)部署。

51、FusionStorage Agent代理進(jìn)程，部署在各節(jié)點(diǎn)（服務(wù)器）上，實(shí)現(xiàn)各節(jié)點(diǎn)與FusionStorage Manager通信。MDC元數(shù)據(jù)控制組件，實(shí)現(xiàn)對(duì)分布式集群的狀態(tài)控制，以及控制數(shù)據(jù)分布規(guī)則、數(shù)據(jù)重建規(guī)則等。 VBS虛擬塊存儲(chǔ)管理組件，負(fù)責(zé)卷元數(shù)據(jù)的管理，提供分布式集群接入點(diǎn)服務(wù)，使計(jì)算資源能夠通過(guò)VBS訪問(wèn)分布式存儲(chǔ)資源。每個(gè)服務(wù)器上部署一個(gè)VBS進(jìn)程，形成VBS集群。OSD對(duì)象存儲(chǔ)設(shè)備，執(zhí)行具體的I/O操作。在每個(gè)服務(wù)器上部署多個(gè)OSD進(jìn)程，一塊磁盤(pán)對(duì)應(yīng)部署一個(gè)OSD進(jìn)程。FusionStorage采用主備部署方式。Server節(jié)點(diǎn)可以部署FusionStorage Agen

52、t，MDC，ZK, OSD模塊。管理節(jié)點(diǎn)部署OS SuSe CPU 獨(dú)立管理節(jié)點(diǎn)：E5-2620 V2以上 虛擬機(jī)部署：4vCPU 內(nèi)存預(yù)留8GB內(nèi)存 存儲(chǔ)預(yù)留50GB 可靠 可部署主備兩個(gè)管理節(jié)點(diǎn) 存儲(chǔ)節(jié)點(diǎn)部署OS RedHat Enterprise Linux 6.x / Huawei FusionSphere 3.X/5.X /Vmware 5.X/RHEL 6.X KVM CPU 分離部署：Intel Xeon E5-2600/4600v2系列處理器，Intel Xeon E7-4800/8800 v2系列處理器 內(nèi)存2.5GB/SAS OSD；2.5GB/SSD OSD；3.5GB/

53、SATA OSD 存儲(chǔ)系統(tǒng)盤(pán)：無(wú)管理節(jié)點(diǎn)2個(gè) 600G SAS 盤(pán)，有管理節(jié)點(diǎn)2個(gè) 900G SAS 盤(pán) ZK盤(pán)：?jiǎn)为?dú)節(jié)點(diǎn)部署(只需在其中的三個(gè)存儲(chǔ)節(jié)點(diǎn)部署）或系統(tǒng)盤(pán)劃出分區(qū)，單獨(dú)時(shí)與資源池盤(pán)相同資源池?cái)?shù)據(jù)盤(pán)：1-24個(gè) SAS/SATA/SSD，PCIE SSD卡(6*3.2T :24個(gè)邏輯盤(pán)，2*2.4T:12個(gè)邏輯盤(pán) ) RAID卡：支持RAID0/1。要求通過(guò)華為認(rèn)證，新增型號(hào)需開(kāi)發(fā)插件（少于10工作日） 網(wǎng)絡(luò)接口全以太：每服務(wù)器41Gb端口，建議210Gb端口；以太加IB：2個(gè)1Gb+2個(gè)FDR 端口 Cache 一個(gè)SSD卡或SSD盤(pán)作為寫(xiě)cache,容量為資源盤(pán)裸容量的5%左右；

54、 業(yè)務(wù)節(jié)點(diǎn)OS 虛擬化部署：Huawei FusionSphere 3.x or 5.x/VMWare 5.x/ RHEL 6.x KVM物理部署：Red Hat Enterprise Linux 6. 2 or 6.4/SUSE Linux Enterprise Server 11 SP3/Oracle Enterprise Linux 6.2 CPU 物理部署：預(yù)留4線程 虛擬化部署：預(yù)留4vCPU 內(nèi)存物理部署：預(yù)留3GB虛擬機(jī)部署：預(yù)留預(yù)留6GB 存儲(chǔ)與具體應(yīng)用相關(guān) 網(wǎng)絡(luò) 4個(gè)GE（兩個(gè)用于存儲(chǔ)及管理，兩個(gè)用于業(yè)務(wù)）或2個(gè)10GE或2個(gè)10GE+2個(gè)IB 服務(wù)器配置建議單資源池情況下部

55、署，資源空間占用情況如下：管理節(jié)點(diǎn)虛擬部署(主備): 預(yù)留8vCPU, 32G內(nèi)存, 200G硬盤(pán)管理節(jié)點(diǎn)FusionStorage Manager主CPU: 8vCPUMEM: 32GDisk: 200GFusionStorage Manager備CPU: 8vCPUMEM: 32GDisk: 200G管理節(jié)點(diǎn)物理部署(主備): 可以單獨(dú)部署也可和存儲(chǔ)節(jié)點(diǎn)融合部署.單獨(dú)部署: CPU E5-2620v2, 32G內(nèi)存, 300G硬盤(pán)融合部署: 預(yù)留8個(gè)超線程, 32G內(nèi)存, 200G硬盤(pán)分離部署：存儲(chǔ)節(jié)點(diǎn)：在存儲(chǔ)節(jié)點(diǎn)分離部署的情況下，需要預(yù)留內(nèi)存/存儲(chǔ)空間參看下表模塊內(nèi)存占用存儲(chǔ)占用ZK/M

56、DC5GB55GB：ZK/MDC節(jié)點(diǎn)，需要占用一定的存儲(chǔ)空間用來(lái)存放控制數(shù)據(jù)，要求至少55G，一般建議獨(dú)占一塊硬盤(pán)。備注：只有MDC的節(jié)點(diǎn)，則無(wú)需占用存儲(chǔ)空間存放控制數(shù)據(jù)。OSD2.5G：硬盤(pán)=2TB，OSD的內(nèi)存占用為2.5GB。3.5G：2TB硬盤(pán)=4TB，OSD的內(nèi)存占用為3.5GB；在IB組網(wǎng)+SSD主存場(chǎng)景下，不管主存容量多大，每個(gè)OSD內(nèi)存占用為3.5GB。計(jì)算節(jié)點(diǎn)：在計(jì)算節(jié)點(diǎn)融合部署的情況下，需要預(yù)留內(nèi)存空間參看下表模塊內(nèi)存占用VBS4GB：通常場(chǎng)景下VBS 的內(nèi)存占用為4GB。6.5GB：在IB組網(wǎng)+SSD主存場(chǎng)景下，占用6.5GBVFS32G：每100萬(wàn)文件融合部署：計(jì)算存儲(chǔ)

57、融合節(jié)點(diǎn)：在計(jì)算存儲(chǔ)幾點(diǎn)融合部署的情況下，需要預(yù)留內(nèi)存/存儲(chǔ)空間參看下表：模塊內(nèi)存占用存儲(chǔ)占用VBS4GB：通常場(chǎng)景下VBS 的內(nèi)存占用為4GB。6.5GB：在IB組網(wǎng)+SSD主存場(chǎng)景下，占用6.5GBZK/MDC5GB55GB：ZK/MDC節(jié)點(diǎn)，需要占用一定的存儲(chǔ)空間用來(lái)存放控制數(shù)據(jù)，要求至少55G，一般建議獨(dú)占一塊硬盤(pán)。備注：只有MDC的節(jié)點(diǎn)，則無(wú)需占用存儲(chǔ)空間存放控制數(shù)據(jù)。OSD2.5G：硬盤(pán)=2TB，OSD的內(nèi)存占用為2.5GB。3.5G：2TB硬盤(pán)15ms減少到1ms華為FusionStorage助力深圳海關(guān)加速大數(shù)據(jù)分析海關(guān)原系統(tǒng)部署圖（新舊系統(tǒng)對(duì)比）SZZFJDDB2HP DL5

58、80G5SZDWMANDB1HP DL980G7SZDWMANDB2HP DL980G7SZFXAPP0HP 580G5SZFXDB8HP 580G5EMC CX4-120HP EVA8100EMC CX4-240HP DL580G5+DL580G7VMwareOther VMGEFC原業(yè)務(wù)系統(tǒng)部署，共7臺(tái)服務(wù)器，3臺(tái)FCSAN部署:12U機(jī)框8刀片內(nèi)置10GE/IB網(wǎng)絡(luò)+SSD卡深圳海關(guān)性能結(jié)果（新舊系統(tǒng)對(duì)比）深圳海關(guān)性能結(jié)果（新舊系統(tǒng)對(duì)比）業(yè)務(wù)挑戰(zhàn)前臺(tái)Web響應(yīng)緩慢，頁(yè)面打開(kāi)超時(shí)或分鐘級(jí) 后臺(tái)DB全量作業(yè)慢，執(zhí)行時(shí)間643小時(shí) 單條復(fù)雜SQL執(zhí)行時(shí)間長(zhǎng)，影響業(yè)務(wù)體驗(yàn) 資源利用率低(平均CP

59、U占用率10%) 解決方案（數(shù)據(jù)庫(kù)部署到高性能虛擬化平臺(tái)）數(shù)據(jù)庫(kù)（SQL SERVER）部署到FusionSphere虛擬化平臺(tái) 采用分布式存儲(chǔ)FusionStorage、PCIeSSD卡、Infiniband等多種軟硬件結(jié)合的加速技術(shù)； 客戶(hù)收益空間節(jié)省1/4功耗節(jié)省36%性能最大提升120倍 采用P2V/V2V工具平滑遷移 FusionStorage助力中信信托轉(zhuǎn)型互聯(lián)網(wǎng)金融 “這正是我理想中的IT平臺(tái)” -中信信托CIO、原證監(jiān)會(huì)信息中心技術(shù)處處長(zhǎng)初壯意對(duì)FusionCube如此評(píng)價(jià)。中信欲打造一個(gè)全新的IT系統(tǒng)，基于云架構(gòu)，用以支撐和牽引業(yè)務(wù)的發(fā)展。中信信托是中國(guó)資產(chǎn)管理規(guī)模最大的信托

60、公司。截至 2012 年年底，中信信托資產(chǎn)管理規(guī)模已突破6000億元，連續(xù)五年保持行業(yè)第一。 業(yè)務(wù)挑戰(zhàn)機(jī)房空間與供電存在較大瓶頸多種應(yīng)用(100+)，多廠家硬件(IBM、HP、CISCO)， IT運(yùn)維管理復(fù)雜 核心業(yè)務(wù)的機(jī)器在性能、數(shù)據(jù)存儲(chǔ)、帶寬、擴(kuò)展、可靠性等難以滿(mǎn)足要求 解決方案將業(yè)務(wù)所需資源統(tǒng)一池化、按業(yè)務(wù)負(fù)載靈活調(diào)度、提升資源利用率 融合計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、虛擬化于一體 采用華為FusionStorage，同時(shí)為虛擬化平臺(tái)、數(shù)據(jù)庫(kù)平臺(tái)提供存儲(chǔ)服務(wù) 客戶(hù)收益為中信信托節(jié)省了約20%初始投資，75%機(jī)房空間，67%的能源消耗節(jié)省運(yùn)維成本達(dá)30%新業(yè)務(wù)上線時(shí)間縮短80%FusionStorag