華為FusionStorage技術(shù)建議書分布式存儲

1、華為FusionStorage分布式存儲技術(shù)建議書HUAWEIHuawei Technologies Co., Ltd.華為技術(shù)有限公司All rights reserved版權(quán)所有侵權(quán)必究Revision record修訂記錄為一種存儲與計算高度融合的存儲軟件，通過突破性的架構(gòu)和設(shè)計，達到高性能、高可靠、高性價比。它具有一致的、可預(yù)測的性能及可擴展性，具有高彈性和自愈能力，具有計算存儲高度融合。FusionStorage采用分布式集群控制技術(shù)和分布式Hash數(shù)據(jù)路由技術(shù)，提供分布式存儲功能特性。FusionStorage功能架構(gòu)圖如下所示：FusionStorage 功能模塊：SCSI亞動

2、A SCSI療催乖就病分布式情報克隆占分布式快照分布式箱簡配置 容災(zāi) 分布或恥他硼牛設(shè)備層箕群狀態(tài)控制E9DOO計目、存儲融合力片五服務(wù)汽X的 CPUI5AS/SA7APCI-E 55D卡lOGE/lnlimBand存儲接口層：通過SCS驅(qū)動接口向操作系統(tǒng)、數(shù)據(jù)庫提供卷設(shè)備。存儲服務(wù)層：提供各種存儲高級特性，如快照、鏈接克隆、精簡配置、分布式 cache、容災(zāi) 備份等。存儲引擎層：FusionStorage存儲基本功能，包括管理狀態(tài)控制、分布式數(shù)據(jù)路由、強一致性復(fù)制技術(shù)、集群故障自愈與并行數(shù)據(jù)重建子系統(tǒng)等。存儲管理層：實現(xiàn)FusionStorage軟件的安裝部署、自動化配置、在線升級、告警、監(jiān)

3、控和日志等。陽能，同時用戶提供 Portal界面。FusionStorage系統(tǒng)軟件架構(gòu):無秋壽機裂FusionStorage通過分布式架構(gòu)把分散的、低速的SATA/SASL械硬盤組織成一個高效的虛擬化SAN?儲池設(shè)備，提供比 SA般備更高的IO能力，把性能發(fā)揮到極致。FusionStorage分布式存儲系統(tǒng)包含三個子系統(tǒng):無狀態(tài)機頭無狀態(tài)機頭對外提供本地 SCSI接口或者ISCSI服務(wù)接口，可以部署在存儲節(jié)點，也可以靈活部署在計算節(jié)點。系統(tǒng)啟動時，無狀態(tài)機頭會從元數(shù)據(jù)集群獲取最新的數(shù)據(jù)分布視圖。在IO過程中，無狀態(tài)機頭會將數(shù)據(jù)均衡的分發(fā)到各個存儲節(jié)點。無狀態(tài)機頭提供多種接口支持，其中包才本地

4、SCSI, ISCSI。本地SCSI支持主流的linux操作系統(tǒng)，其他操彳系統(tǒng)可以通過ISCSI接口提供塊存儲服務(wù)。存儲集群在IO讀寫過程中，存儲集群接收到無狀態(tài)機頭分發(fā)的IO請求，會根據(jù)副本策略，將 IO分發(fā)到其他服務(wù)器或者機柜上的存儲節(jié)點；同時存儲節(jié)點會將每臺服務(wù)器上的緩存設(shè)備劃分成讀寫緩沖區(qū)，IO直接寫到cache中就向主節(jié)點返回。當緩沖區(qū)達到一定的水位后，存儲節(jié) 點會自動將緩沖區(qū)的數(shù)據(jù)刷到主存設(shè)備（機械硬盤/SSD）上。分布式機頭FusionStorage 采用無狀態(tài)的分布式軟件機頭，機頭部署在各個服務(wù)器上，無集中式機頭的性能瓶頸。單個服務(wù)器上軟件機頭只占用較少的CPIM源，提供比集中

5、式機頭更高的IOPS。分布式緩存FusionStorage 實現(xiàn)了計算和存儲的融合，緩存和帶寬都均勻分布到各個服務(wù)器節(jié)點上。FusionStorage支持將服務(wù)器SSD用作讀、寫緩存，對于數(shù)據(jù)的寫操作， 系統(tǒng)數(shù)據(jù)首先寫到SSD勺寫緩存中，所有副本（三個副本）寫緩存成功后，IO立即返回。同時IO也會將數(shù)據(jù)緩存均勻分布到各個節(jié)點上，所有服務(wù)器的緩存總?cè)萘窟h大于采用外置獨立存儲的方案。即使采用大容量低成本的SAT儆盤，F(xiàn)usionStorage仍然可以發(fā)揮很高的IO性能，整體性能提升 13倍，同時提供更大的有效容量。FusionStorage支持PCIe SSDW作數(shù)據(jù)緩存，除具備通常的寫緩存外，增

6、加熱點數(shù)據(jù)統(tǒng)計和緩存功能，加上其大容量的優(yōu)勢，進一步提升了系統(tǒng)性能。由于分布式緩存帶來的性能優(yōu)勢，IO時延，IOPS都能很好的滿足數(shù)據(jù)庫的應(yīng)用，F(xiàn)usionStorage系統(tǒng)可以支持業(yè)界主流的數(shù)據(jù)庫，支持OLAPQLT等主流業(yè)務(wù)。集群元數(shù)據(jù)管理Fusionstorage分布式存儲軟件的元數(shù)據(jù)服務(wù)采用集群管理方式，不會出現(xiàn)單點故障， 一個節(jié)點或者一塊硬盤故障自動從集群內(nèi)隔離出來，不影響整個系統(tǒng)業(yè)務(wù)的使用。多數(shù)據(jù)副本Fusionstorage存儲系統(tǒng)中沒有使用傳統(tǒng)的 RAID莫式來保證數(shù)據(jù)的可靠性，而是采用了 多副本備份機制，即同一份數(shù)據(jù)可以復(fù)制保存多個副本。在數(shù)據(jù)存儲前，對數(shù)據(jù)進行分片， 分片后

7、的數(shù)據(jù)按照一定的規(guī)則保存集群節(jié)點上。如下圖所示，對于服務(wù)器 Serveri的 磁盤Diski上的數(shù)據(jù)塊P1,它的數(shù)據(jù)備份為服務(wù)器 Server2的磁盤Disk2上Pi' , P1和P1'構(gòu)成了同一個數(shù)據(jù)塊的兩個副本。1.1 Fusionstorage 優(yōu)點概述高IOPS,低時延：應(yīng)用大容量 Cache技術(shù)，提升IOPS;卷被切片分割打散到整個資源池所有硬盤中，條帶化寬度增加，單卷可獲得的性能大幅提升;訪問均衡，無熱點，資源池中各節(jié)點的利用率相同；無需預(yù)先設(shè)置固定RAID組，大資源池適應(yīng)應(yīng)用負載的動態(tài)變化；應(yīng)用程序通過Cache直達存儲，時延更低；無級擴容、超大容量：分布式系統(tǒng)，

8、無管理機頭瓶頸，容量幾乎不受限制； 無級擴容：分布式機頭（每server服務(wù)器相當于一個機頭），無性能瓶頸，可無級擴容非煙囪式擴展：存儲與計算同步平滑擴展。即插即用式擴容：擴容后系統(tǒng)自動調(diào)整負載平衡，真正實現(xiàn)無級平滑擴容。管理簡單：結(jié)構(gòu)簡單帶來管理簡單；免于低層配置管理：僅需要做應(yīng)用層面的管理，免去大量低層配置管理事務(wù)。零性能管理的成本：自動負載均衡，無熱點，故障自愈，無需進行人工性能優(yōu)化。數(shù)據(jù)重建快：并行重建速快；數(shù)據(jù)分布可以跨服務(wù)器或跨機柜，不會因某個服務(wù)器、機柜故障導(dǎo)致數(shù)據(jù)不可訪問。數(shù)據(jù)分片在資源池內(nèi)打散，硬盤故障后，可在全資源池范圍內(nèi)自動并行重建，僅重建實際數(shù)據(jù)，無需熱備盤；重建仃吸據(jù)

9、時間 30分鐘。1.2 FusionStorage 應(yīng)用場景適合使用FusionStorage的應(yīng)用場景：VDI、OA應(yīng)用。其典型特點是：容量共享精簡分配、性能共享分時復(fù)用、計算和存儲配 比相對均衡、成本性價比要求高。虛擬化環(huán)境混合應(yīng)用。其典型特點是：容量共享需求明顯、多應(yīng)用混合負載、線性擴展。OLAP應(yīng)用。其典型特點是：大并發(fā)吞吐量，計算和存儲帶寬要求高。OLTP應(yīng)用。其典型特點是：IOPS并發(fā)度高。FusionStorage應(yīng)用場景圖：用層 虛擬化層1.2.1 FusionStorage 與 FusionSphere 融合場景Fusionstorage適合計算和存儲融合的系統(tǒng)，傳統(tǒng)的虛擬化

10、方式是在相互分離的計算、 存儲和網(wǎng)絡(luò)設(shè)備上疊加了一層虛擬化軟件。這種方式雖然可以提升資源利用率，但是由于系統(tǒng)的復(fù)雜性，并不能簡化各類基礎(chǔ)設(shè)施的運維成本。Fusionstorage把計算服務(wù)器的本地硬盤組織成一個類似SA酸備的虛擬存儲池，對上層應(yīng)用提供存儲功能。華為云平臺FusionSphere主要有虛擬化基礎(chǔ)引擎 FusionCompute、云管理FusionManager 兩大組件組成；FusionStorage與FusionSphere融合使用形成華為 FusionCube解決方案應(yīng)用 場景，如下圖所示：HA蝸幡 DRSDPM計算虛擬化網(wǎng)婚虐根化存楮虛掾化FuUoti Storaq u分布

11、或存儲平臺梢鎖配置司妾網(wǎng) 快照分布式tache曜性平臺(E9U0WRH22g8H)眼爭器/刀片5SWGPU卡居D卡FuiionManacrEWmUfi自助藤磐北肉根限管理AP監(jiān)控告警況&P0砧撲1應(yīng)用自就言降.硬件自動激現(xiàn)與 91.2.2 FusionStorage 與 VMware融合場景FusionStorage與VMwar蒯合使用系統(tǒng)主要由五部分組成：硬件設(shè)備、分布式塊存儲系統(tǒng),VMwar噓擬化平臺，統(tǒng)一的云管理平臺，備份服務(wù)器。FusionManagerVMwareW FusionStorage配套使用的系統(tǒng)架構(gòu)計算節(jié)點ControllepVMESXI (HyFISCSI TA

12、RGETUser-VMUser VMUser VMVCenterFusionStorage1、系統(tǒng)初始部署時，在每臺部署VMware的服務(wù)器上部署一個控制虛擬機，該虛擬機上部署FusionStorage的無狀態(tài)機頭，每個無狀態(tài)機頭上會提供ISCSI的服務(wù)端。2、在VMwareISCSI配置信息中，優(yōu)先配置本地ISCSI接口信息。VMwareESXi會根據(jù)配置的ISCSI接口信息，掃描FusionStorage的存儲信息?？梢愿鶕?jù)掃描出來的LUNa成DataStore 。建議每個 DataStore 對應(yīng)一個 LUN)3、創(chuàng)建DataStore后，VCenter就可以通過和ESXi的私有協(xié)議，創(chuàng)

13、建虛擬機模板和應(yīng)用虛擬機。FusionStorage與VMwar醐合使用，在網(wǎng)絡(luò)部署上需要進行存儲節(jié)點和計算節(jié)點分離部署, 不能夠融合部署。1.2.3 FusionStorage 與 OpenStack 融合場景FusionSphere Platform 在OpenStack的基礎(chǔ)上擴展電信運營商和企業(yè)建設(shè)IT基礎(chǔ)設(shè)施及業(yè)務(wù)平臺所需要的特性，使用同一套架構(gòu)同時支撐公有云和私有云的管理，提供了基于 OpenStack、ICT統(tǒng)一的開放云平臺。FusionSphere Platform 保持了 OpenStack的開放與兼容性，支持第 3方廠商的計算、存 儲、網(wǎng)絡(luò)和安全物理硬件，也支持第3方的計算

14、虛擬化、存儲虛擬化、網(wǎng)絡(luò)虛擬化和安全虛擬化產(chǎn)品。在云服務(wù)層面，在 OpenStack的基礎(chǔ)上提供備份、熱遷移、親和性資源調(diào)度、電 信云定制化擴展、物理資源池等擴展服務(wù)；在運維層面，基于OpenStack提供了安裝部署、升級/補丁、管理數(shù)據(jù)備份/恢復(fù)、信息收集、健康檢查等運維服務(wù)。 基于OpenStack的FusionSphere解決方案系統(tǒng)架構(gòu)：/甕營金還./飛而八盛，t用），業(yè)應(yīng)用 V c 為應(yīng)用 V c備應(yīng)用 VFusionManager自動化資源發(fā)放自動化基礎(chǔ)設(shè)施運維管理基礎(chǔ)設(shè)施組件功能簡介OpenStack華為OpenStack是基十開源的 OpenStack軟件進,步1開發(fā)的IaaS

15、層 軟件，提供PaaS層資源和功能，包括虛擬計算服務(wù)、對象存儲服務(wù)、 虛擬網(wǎng)絡(luò)服務(wù)、鏡像管理、權(quán)限管理服務(wù)等功能。FusionManager分為本地數(shù)據(jù)中心管理和多數(shù)據(jù)中心管理模塊，是華為公司提供的面向PaaS層資源管理的軟件，主要提供物理資源、虛擬資源管理和服 務(wù)，并實現(xiàn)軟件服務(wù)自動部署等上層應(yīng)用功能。FusionStorageFusionStorage 是l種存儲與計舁局度融合的分布式存儲軟件，在通 用X86服務(wù)器上部署該軟件后，可以把所有服務(wù)器的本地硬盤組織成一個虛擬存儲資源池，提供塊存儲功能。SAN通用SAN設(shè)備，向OpenStack提供存儲資源。服務(wù)器X86服務(wù)器，向OpenStac

16、k提供物理的計算資源。與 FusionStorage 軟件結(jié)合可提供存儲資源。2 FusionStorage 應(yīng)用中典型硬件平臺Fusionstorage在通用x86服務(wù)器上部署分布式存儲軟件，把所有服務(wù)器的本地硬盤組織成一個虛擬存儲資源池，提供塊存儲接口2.1 Fusionstorage在機架式服務(wù)器上使用FusionStorage+機架式服務(wù)器，實際項目中每臺服務(wù)器的CPU1號、內(nèi)存數(shù)量，硬盤個數(shù)可根據(jù)項目需求配置。機架式服務(wù)器硬件圖如下：以華為RH228陰例，硬件外觀如下圖:硬盤位置示意圖FusionStorage+機架式服務(wù)器有四種刀片類型，MCNA LCNA SCNA CNA其中MC

17、NA于部署管理節(jié)點；LCNA SCNA CNAg于部署用戶虛擬機。幾個刀片類型說明如下：1、MCNA管理節(jié)點，必配。至少兩臺服務(wù)器，需要配置2P *6核以上CPU內(nèi)存至少64G, 默認128G。同時作為FusionStorage 存儲節(jié)點。虛擬機部署 VRM4Core/8G內(nèi)存/50G存儲）、FusionManager （4Core/16G 內(nèi)存/280G存儲）、 這些管理軟件采用虛擬機部署，管理虛擬機需要獨占本地的兩塊硬盤提供存儲。部署FusionStorage管理和控制軟件，這些軟件運行在Domain。，需要1Core CPU,至少25G內(nèi)存，F(xiàn)usionStorage管理需要獨占一塊專門

18、的硬盤。另外配置611個硬盤用于FusionStorage 業(yè)務(wù)存儲。2、LCNA計算和存儲節(jié)點，必配。同時提供計算和FusionStorage存儲能力，可部署用戶虛擬機。和SCNAJ業(yè)務(wù)功能相同，區(qū)別在于LCNAFB署了 FusionStorage的MDCC件。根據(jù)部署的用戶虛擬機規(guī)格和內(nèi)存確定CPU1號（默認2P*2640）和內(nèi)存配置（至少配置64G,默認128G）LCN町點部署FusionStorage管理和控制軟件，這些軟件運行在 Domain。，需要1Core CPU 至少25G內(nèi)存。FusionStorage管理需要獨占一塊專門的硬盤。另外配置611個硬盤用于FusionStora

19、ge 業(yè)務(wù)存儲。剩余計算資源可用于部署業(yè)務(wù)虛擬機。3、SCNA計算和存儲節(jié)點，必配。同時提供計算和FusionStorage存儲能力，可部署用戶虛擬機。根據(jù)部署的用戶虛擬機規(guī)格和內(nèi)存確定CPU1號（默認2P*2640）和內(nèi)存配置（至少配置64G默認128G）部署FusionStorage管理和控制軟件，這些軟件運行在Domain。，需要ICore CPU,至少25G內(nèi)存。另外配置611個硬盤用于FusionStorage業(yè)務(wù)存儲。剩余計算資源可用于部署業(yè)務(wù)虛擬機。4、CNA計算節(jié)點，選配。提供計算能力，部署用戶虛擬機。根據(jù)部署的用戶虛擬機規(guī)格和內(nèi)存確定 CPU1號（默認2P*2640）和內(nèi)存配

20、置（至少配置 64G,默認128G）部署業(yè)務(wù)虛擬機。1） 存儲虛擬化應(yīng)用中未使用傳統(tǒng)的 SANS備，存儲直接使用2288H服務(wù)器上的本地硬盤配合高 性能SSDM故讀寫緩存介質(zhì)。RH2288Hb的本地硬盤根據(jù)存儲位置，分為前置硬盤和后置硬盤。后置硬盤：2塊存SAS&,用于部署虛擬化 Domain。及FusionSphere （或其他虛擬化平臺）管理節(jié)點 VM根據(jù)管理節(jié)點的資源消耗，MCNA擇的是600GSAS（ FC/FM/FSMT理節(jié)點需要消耗約440G的存儲空間），LCN府DSCN的配置300GSASP可滿足要求。前置硬盤：選擇存SAT勰，物理位置可插12塊，支持1T/2T/3T/4

21、T多種配置，可根據(jù)用戶業(yè)務(wù)模型選擇 不同的配置。SSD選擇華為Tecal ES3000 PCIe SS而性能存儲卡（以下簡稱ES300Q外觀如下圖），ES3000為標準的PCIe全高半長插卡，接口類型為PCIe x8，適合安裝在機架服務(wù)器等通用服務(wù)器內(nèi)，適用于搜索引擎、Cache數(shù)據(jù)庫、視頻服務(wù)等隨機讀寫操作頻繁和IOP酸求較高的業(yè)務(wù),具有高性能、高IOPS、高可靠、易維護等優(yōu)點。ES3000夕卜觀2 ) 交換機每柜配置一對24 口 10G改換機S6724, 1個G%換機S5728,多柜間使用48 口或24口的10G或換機S67X順匯聚。匯聚交換機也可以使用局方的交換機，但網(wǎng)口和數(shù)量要求同華為

22、交換機。2.2 FusionStorage在刀片式服務(wù)器上使用FusionStorag+刀片式服務(wù)器的物理形態(tài)組成，支持計算、存儲、交換、電源模塊化設(shè)計，計算和存儲節(jié)點按需混配，支持10GM換模塊，根據(jù)業(yè)務(wù)要求靈活配置FusionStorage+刀片式服務(wù)器有四種刀片類型，MCNA LCNA SCNA CNA其中MCNA用于部署管理節(jié)點；LCNA SCNA CNAg于部署用戶虛擬機。幾個刀片類型說明如下：1、MCNA管理節(jié)點，必配。至少兩臺服務(wù)器 （目前數(shù)據(jù)庫一體機部署MCNA點只需要 一臺服務(wù)器）， 需要配置2P *6核以上CPU， 內(nèi)存至少64G， 默認 128G。 同時作為FusionS

23、torage存儲節(jié)點。虛擬機部署 VRM（4Core/8G 內(nèi)存/50G存儲）、FusionManager （4Core/16G 內(nèi)存/280G存儲）、 FusionAccess 管理軟件，這些管理軟件采用虛擬機部署，管理虛擬機需要獨占本地 的兩塊硬盤提供存儲。部署FusionStorage管理和控制軟件，這些軟件運行在Domain。，需要1Core CPU,至少25G內(nèi)存，F(xiàn)usionStorage管理需要獨占一塊專門的硬盤。另外配置612個硬盤用于FusionSorage 業(yè)務(wù)存儲。2、LCNA計算和存儲節(jié)點，必配。同時提供計算和FusionStorage存儲能力，可部署用戶虛擬機。和SC

24、NAJ業(yè)務(wù)功能相同，區(qū)別在于 LCNAFB署了 FusionStorage的MDCC件。根 據(jù)部署的用戶虛擬機規(guī)格和內(nèi)存確定CPU1號（默認2P*2640）和內(nèi)存配置（至少配置64G,默認128G）部署FusionStorage管理和控制軟件，這些軟件運行在 Domain。，需要ICore CPU,至少 25G內(nèi)存。FusionStorage管理需要獨占一塊專門的硬盤（用于部署 zookeeper進程）。另外 配置 612個硬盤用于FusionSorage 業(yè)務(wù)存儲。部署用戶虛擬機。3、SCNA計算和存儲節(jié)點，必配。同時提供計算和FusionStorage存儲能力，可部署用戶虛擬機。根據(jù)部署的

25、用戶虛擬機規(guī)格和內(nèi)存確定CPU1號（默認2P*2640）和內(nèi)存配置（至少配置64G默認128G）部署FusionStorage管理和控制軟件，這些軟件運行在Domain。，需要ICore CPU,至少25G內(nèi)存。另外配置612個硬盤用于FusionStorage業(yè)務(wù)存儲，部署用戶虛擬機。4、CNA計算節(jié)點，選配。提供計算能力，部署用戶虛擬機。根據(jù)部署的用戶虛擬機規(guī)格和內(nèi)存確定 CPU1號（默認2P*2640）和內(nèi)存配置（至少配置 64G,默認128G） 部署用戶虛擬機。3 FusionStorage 應(yīng)用中網(wǎng)絡(luò)設(shè)計方案注：后續(xù)會支持其他廠商的服務(wù)器異構(gòu)，比如 HP,DELLJBM勺服務(wù)器，本方

26、案中以RH228和 E900嚨例進行組網(wǎng)說明，其他服務(wù)器的組網(wǎng)與下面的 RH2288勺組網(wǎng)類似，請根據(jù)實際情景 進行修改。3.1 總體組網(wǎng)方案政務(wù)大廳核心交換機1、使用計算和存儲融合架構(gòu)，資源池化，統(tǒng)一運維。2、業(yè)務(wù)、存儲、管理三網(wǎng)隔離，保證安全，存儲網(wǎng)絡(luò)內(nèi)部運行，對客戶網(wǎng)絡(luò)部可見。3、虛擬化和桌面云的應(yīng)用場景使用10GEO絡(luò)，數(shù)據(jù)倉庫場景使用的情況下使用舊網(wǎng)絡(luò)。3.2 在機架式服務(wù)器上使用組網(wǎng)方案3.2.1單柜10GE組網(wǎng)4均喬 上行10GE24x1 OGE (2)24x10GE(1)IOGLMgmt機架服務(wù)器機架服務(wù)器LJLI2X1OGE2X10GEICE,已喝U：； Eth-mnk仁一；

27、垠024x1 GEL_rMgmt接入交換機采用S6724/S6324接入部署，服務(wù)器可采用華為RH5885,RH2288H;其他公司如HP,DELL,IBM的服務(wù)器。說明:1、服務(wù)器上默認配置一塊 2*10GE的網(wǎng)卡，分別與兩臺10GM換機連接，兩個網(wǎng)口做bond,缺省為負載分擔(dān)規(guī)模2、服務(wù)器的BMC網(wǎng)口與一臺G汽換機連接，G或換機上行兩個6段纜分別與兩個10G改換機連接10GE±行對接客戶網(wǎng)絡(luò)，默認提供3、10G/換機下行承擔(dān)內(nèi)部管理、存儲、業(yè)務(wù)平面,4*10GE,兩臺10G改換機堆疊4、以華為RH228陰例，2m柜可以部署16臺RH2288H或者部署RH5883艮務(wù)器6臺5、最大

28、規(guī)模16臺RH2288H/RH5885艮務(wù)器，后續(xù)擴容需要增加匯聚交換機3.2.2單柜舊存儲組網(wǎng)4用桎上行10GE24x10GE(1)24x10GE(2)HK.p24x1 GE2x56Gb36x56Gb IB(1)36K56Gb 16(2)1(.I.r IN56Gh RCEth-trunkLTLJ 2X10GELT Mgmt"&LJ2xlOGE機架服等需說明：1、服務(wù)器上默認配置一塊 2*10GE的網(wǎng)卡，分別與兩臺10GM換機連接，兩個網(wǎng)口做bond, 缺省為源目的IP和Port負荷分擔(dān)模式，對應(yīng)的交換機端口配置eth-trunk2、服務(wù)器的BMC網(wǎng)口與一臺G汽換機連接，G或

29、換機上行兩個GEE纜分別與兩個10G改 換機連接，對應(yīng)端口做 eth-trunk3、10G/換機下行承擔(dān)內(nèi)部管理、業(yè)務(wù)平面網(wǎng)絡(luò)連接，10GEk行對接客戶網(wǎng)絡(luò)，默認提供4*10GE,兩臺10G或換機堆疊4、每臺服務(wù)器上的兩個 舊網(wǎng)口分別與兩臺 舊交換機連接，兩臺 舊交換機之間6根線互連， IB網(wǎng)口承擔(dān)存儲平面的通信5、2m柜可以部署12臺RH2288H或者部署RH5883艮務(wù)器6臺6、后續(xù)擴容需要增加10GEL聚交換機和 舊主干交換機3.3 在刀片服務(wù)器上使用組網(wǎng)方案3.3.1 虛擬化10GE刀片服務(wù)器組網(wǎng)上行1OGElUt.H4xlOGE獷展框-2JdloGs擴展框/說明：1、每個刀片配置1個

30、2*10GE口的iNIC網(wǎng)卡或普通10G啊卡（MZ510 ;2、每個機框使用XCU改換板，通過基本框自級聯(lián)方式，不使用外置交換機?？蜷g使用4*10GE互聯(lián)。如果使用華為E900雙框最大支持8框，64個FusionStorage存儲節(jié)點（CH222;3、框內(nèi)兩塊交換板通過 40Gg口堆疊;3.3.2虛擬化IB+SSD組網(wǎng)上行1血Il(KEi5Hib IB二二，Eth-trunk2MCNAtlCNArS$CNAi&Sb1T1SE510GE一手一曷一宗莒EMWOCF一軟5界118KNA“，l SSCNA說明:1、中心框匯聚，10G序口舊交換板，無外置交換機，最大規(guī)模7框2、每擴展框兩塊3、每

31、擴展框兩塊10G改換板與中心框2+2 (40GE互連，內(nèi)部管理與業(yè)務(wù)舊交換板與匯聚框3+3互連，其中直連2根交叉1根舊線，內(nèi)部存儲4、中心框上行2+2 (40GE),外部業(yè)務(wù)5、刀片采用計算存儲融合方式(CH223 ,每刀片主要配置：1塊2*10GE(MZ510), 1塊2*56Gb(MZ611), 2塊 SS比存6、每擴展框存儲單面帶寬 2*56Gb=112Gbps4服務(wù)器數(shù)量規(guī)劃4.1 FusionStorage按容量和性能計算服務(wù)器數(shù)量1、1個FusionStorage 存儲資源池，兩副本情況下最大 96塊硬盤或者32張SSD。三副 本情況最大為2000塊盤或者300張SStDo2、每個

32、存儲節(jié)點的FusionStorage硬盤或者SSD的型號和數(shù)目保持相同。如果使用硬 盤作主存，則每節(jié)點配置建議最小4塊硬盤、最多12塊硬盤。如果是SSDH故主存,當前每個節(jié)點最少配置1張SSD,最多配置2張SSD。虛擬化場景下FusionStorage單盤/單卡IOPS:Cach聯(lián)型主存業(yè)務(wù)側(cè)單盤IOPS假設(shè)條件NVDIMMSAS&2002vCPU 2G存/OSDCache#中率50% 讀寫比例4:6 ,兩副本NVDIMMSAS&1102vCPU 2G存/OSDCache#中率50% 讀寫比例4:6 ,三副本800G SS酢NLSAS!1203vCPU 內(nèi)存 /OSDCache

33、#中率50% 讀寫比例4:6 ,三副本400G SS酢nlsaS!75NVDIMMSSD250006vCPU 內(nèi)存 /OSDCache#中率50% 讀寫比例4:6 ,三副本IOPS計算：對于小塊隨機場景（如 VDI）?；A(chǔ)數(shù)據(jù)：業(yè)務(wù)側(cè)單盤IOPS = x ,硬盤數(shù)量為n,則卷/應(yīng)用層面的有效IOP鈴式為:總的有效IOPS = x* n容量計算：基礎(chǔ)數(shù)據(jù)：磁盤標稱容量 =z , FusionStorage OSD開銷=r , FusionStorage硬盤數(shù)目=n磁盤空間利用率=q,副本數(shù)=k則卷 / 應(yīng)用層面的有效容量公式為：總的有效容量=（z/A3）-r）*q*m/k所需的硬盤數(shù)量=max

34、（容量計算的硬盤數(shù)目m IOPS計算的硬盤數(shù)目n）舉例：某項目要求2000IOPS, 20T容量，采用600G SASa按IOPS十算，硬盤數(shù)y1 :基礎(chǔ)數(shù)據(jù)：x = 200則利用上述公式：2000= 200*y1 y1=10按容量計算，硬盤數(shù)y2：基礎(chǔ)數(shù)據(jù)：z = 600G q= 95% k=2 r =則利用上述公式：20000 = （ 600/A3） ） *y2*2 y2 = 79 （向上取整）需要的硬盤數(shù)N = max（ y1,y2 ） =max（79,9）=795 FusionStorage 產(chǎn)品特性介紹5.1 性能卓越FusionStorage通過創(chuàng)新的架構(gòu)把分散的、低速的SATA/

35、SAS/L械硬盤組織成一個高效的類 SAN 存儲池設(shè)備，提供比SA酸備更高的IO,把性能發(fā)揮到了極致。FusionStorage支持使用SSLDT代HD階為高速存儲設(shè)備，支持使用 Infiniband 網(wǎng)絡(luò)替代GE/10GEO絡(luò)提供更高的帶寬，為對性能要求極高的大數(shù)據(jù)量實時處理場景提供完美的支持。分布式機頭FusionStorage 采用無狀態(tài)的分布式軟件機頭，機頭部署在各個服務(wù)器上，無集中式機頭的性能瓶頸。單個服務(wù)器上軟件機頭只占用較少的CP賞源，提供比集中式機頭更高的IOPS分布式緩存Fusionstorage實現(xiàn)了計算和存儲的融合，緩存和帶寬都均勻分布到各個服務(wù)器節(jié)點上。Fusionst

36、orage集群內(nèi)各服務(wù)器節(jié)點的硬盤使用獨立的I/O帶寬，不存在獨立存儲系統(tǒng)中大量磁盤共享計算設(shè)備和存儲設(shè)備之間有限帶寬的問題。Fusionstorage支持將服務(wù)器部分內(nèi)存用作讀緩存，NVDIMMR SSD用作寫緩存，數(shù)據(jù)緩存均勻分布到各個節(jié)點上，所有服務(wù)器的緩存總?cè)萘窟h大于采用外置獨立存儲的方案。即使采用大容量低成本的SAT儆盤，F(xiàn)usionstorage仍然可以發(fā)揮很高的IO性能，整體性能提升13 倍，同時提供更大的有效容量。Fusionstorage支持PCIe SSD用作數(shù)據(jù)緩存，除具備通常的寫緩存外，增加熱點數(shù)據(jù)統(tǒng)計和 緩存功能，加上其大容量的優(yōu)勢，進一步提升了系統(tǒng)性能。Fusion

37、storage計算和存儲融合L箕鬼山加嶼電全局負載均衡Fusionstorage的實現(xiàn)機制保證了上層應(yīng)用對數(shù)據(jù)的IO操作均勻分布在不同服務(wù)器的不同硬盤上，不會出現(xiàn)局部的熱點，實現(xiàn)全局復(fù)負載均衡。第一，系統(tǒng)自動將數(shù)據(jù)塊打散存儲在不同服務(wù)器的不同硬盤上，冷熱不均的數(shù)據(jù)會均勻分布在不同的服務(wù)器上，不會出現(xiàn)集中的熱點。第二，數(shù)據(jù)分片分配算法保證了主用副本和備用副本在不同服務(wù)器和不同硬盤上的均勻分布, 換句話說，每塊硬盤上的主用副本和備副本數(shù)量是均勻的。第三， 擴容節(jié)點或者故障減容節(jié)點時，數(shù)據(jù)恢復(fù)重建算法保證了重建后系統(tǒng)中各節(jié)點負載的均衡性。分布式SS席儲FusionStorage支持為高性能應(yīng)用設(shè)計的

38、分布式SS*儲系統(tǒng)，擁有比傳統(tǒng)的機械硬盤(SATA/SAS更高的讀寫性能。華為SSDMI有如下特點高帶寬：采用PCIe x8 的接口，提供高達的讀/寫帶寬。高IO: 4KB數(shù)據(jù)塊，100%隨機，提供高達 600K的持續(xù)隨機讀IOPS和220K的持續(xù)隨機寫 IOPS。FusionStorage分布式SS*儲系統(tǒng)通過以下措施增強了可靠性：內(nèi)嵌的EC%錯/糾錯引擎和RAID5引擎，數(shù)據(jù)通道間形成二維的檢錯 /糾錯機制。內(nèi)置 DATA Scrubbing 引擎定時檢測存儲數(shù)據(jù)，提前預(yù)防數(shù)據(jù)錯誤的產(chǎn)生。通道間使用Dynamic RAID 算法，實現(xiàn)通道間的資源共享，確保在芯片壞塊過多甚至是多個芯片故障的

39、情況下均能正常工作。內(nèi)部實現(xiàn)冷熱數(shù)據(jù)分類與管理，配合先進的磨損算法，最大程度上提升回收效率，降低寫磨損，從而提升SSD的使用壽命。Fusionstorage支持分布式SS的儲系統(tǒng)Fusionstorage高性能快照Fusionstorage提供了快照機制，將用戶的邏輯卷數(shù)據(jù)在某個時間點的狀態(tài)保存下來，后續(xù) 可以作為導(dǎo)出數(shù)據(jù)、恢復(fù)數(shù)據(jù)之用。Fusionstorage快照數(shù)據(jù)基于DHTL制，快照不會引起原卷性能下降。通過一次Hash查找即可判斷有沒有做過快照，以及最新快照的存儲位置，因此效率很高。Fusionstorage 快照：快照1 Deltana快照？ Deltm磁窗快照3 DSt不破通快鳴

40、1快照2快照3高性能鏈接克隆Fusionstorage基于增量快照提供了鏈接克隆機制，基于一個快照創(chuàng)建出多個克隆卷，各個后續(xù)對于克隆卷的修改不會影響克隆卷剛創(chuàng)建出來時的數(shù)據(jù)內(nèi)容與快照中的數(shù)據(jù)內(nèi)容一致,到原始的快照和其他克隆卷。FusionStorage支持1:256的鏈接克隆比，提升存儲空間利用率。FusionStorage支持批量進行虛擬機卷部署，能夠在秒級批量創(chuàng)建上百個虛擬機卷?？寺【砝^承普通卷所有功能：克隆卷可支持創(chuàng)建快照、從快照恢復(fù)以及再次作為母卷進行克 隆操作。FusionStorage鏈接克隆:克隆卷克隆卷作為用卷克隆卷創(chuàng)建快照高速Infiniband 網(wǎng)絡(luò)FusionStorag

41、e支持為高帶寬應(yīng)用設(shè)計的Infiniband 網(wǎng)絡(luò)，存儲交換無瓶頸。56Gbps FDR InfiniBand ,超高速互聯(lián)。標準成熟多級胖樹組網(wǎng)，平滑容量擴容。近似無阻塞通信網(wǎng)絡(luò)，數(shù)據(jù)交換無瓶頸。納秒級通信時延，計算存儲信息及時傳遞。無損網(wǎng)絡(luò)QOS數(shù)據(jù)傳送無丟失。主備端口多平面通信，冗余通信無憂。單口 56Gbps帶寬，完美配合極速 SSM儲吞吐，性能無限。5.2 高可靠集群管理FusionStorage分布式存儲軟件采用集群管理方式，不會出現(xiàn)單點故障，一個節(jié)點或者一塊 硬盤故障自動從集群內(nèi)隔離出來，不影響整個系統(tǒng)業(yè)務(wù)的使用。集群內(nèi)選舉進程Leader, Leader負責(zé)數(shù)據(jù)存儲邏輯的處理，

42、當Leader出現(xiàn)故障，系統(tǒng)自動選舉其他進程成為新的Leader 。多數(shù)據(jù)副本FusionStorage存儲系統(tǒng)中沒有使用傳統(tǒng)的RAID模式來保證數(shù)據(jù)的可靠性，而是采用了多副本備份機制，即同一份數(shù)據(jù)可以復(fù)制保存多個副本。在數(shù)據(jù)存儲前，對數(shù)據(jù)進行分片，分片后的數(shù)據(jù)按照一定的規(guī)則保存集群節(jié)點上。如下圖所示，對于服務(wù)器 Server1的 磁盤Disk1上的數(shù)據(jù)塊P1,它的數(shù)據(jù)備份為服務(wù)器Server2的磁盤Disk2上P1' , P1和P1'構(gòu)成了同一個數(shù)據(jù)塊的兩個副本。FusionStorage多數(shù)據(jù)副本Server 1數(shù)據(jù)一致性數(shù)據(jù)一致性的要求是：當應(yīng)用程序成功寫入一份數(shù)據(jù)時，后

43、端的幾個數(shù)據(jù)副本必然是一致的, 當應(yīng)用程序再次讀時，無論在哪個副本上讀取，都是之前寫入的數(shù)據(jù)。保證多個數(shù)據(jù)副本之間的數(shù)據(jù)一致性是FusionStorage的重要特點，F(xiàn)usionStorage采用強一致性復(fù)制技術(shù)確保各個數(shù)據(jù)副本的一致性。FusionStorage還支持Read Repair機制。Read Repair機制是指在讀數(shù)據(jù)失敗時，會判斷錯誤類型，如果是磁盤扇區(qū)讀取錯誤，可以通過從其他副本讀取數(shù)據(jù)，然后重新寫入該副本的方法進行恢復(fù)，從而保證數(shù)據(jù)副本總數(shù)不減少?？焖贁?shù)據(jù)重建FusionStorage內(nèi)部具備強大的數(shù)據(jù)保護機制。數(shù)據(jù)存儲時被分片打散到多個節(jié)點上，這些分片數(shù)據(jù)支持分布在不同

44、的存儲節(jié)點、不同的機柜之間，同時數(shù)據(jù)存儲時采用多副本技術(shù)，數(shù)據(jù)會自動保存多份，每一個分片的不同副本也被分散保存到不同的存儲節(jié)點上。在硬件發(fā)生故障導(dǎo)致數(shù)據(jù)不一致時，F(xiàn)usionStorage通過內(nèi)部的自檢機制，通過比較不同節(jié)點上的副本分片，自動發(fā)現(xiàn)數(shù)據(jù)故障。發(fā)現(xiàn)故障后啟動數(shù)據(jù)修復(fù)機制，在后臺修復(fù)數(shù)據(jù)。由于數(shù)據(jù)被分散到多個不同的存儲節(jié)點上保存，數(shù)據(jù)修復(fù)時，在不同的節(jié)點上同時啟動修復(fù)，每個節(jié)點上只需修復(fù)一小部分數(shù)據(jù)，多個節(jié)點并行工作，有效避免單個節(jié)點修復(fù)大量數(shù)據(jù)所產(chǎn)生的性能瓶頸，對上層業(yè)務(wù)的影響做到最小化。數(shù)據(jù)故障自動恢復(fù)流程如下圖所示。FusionStorage數(shù)據(jù)重建流程：FusionStora

45、ge支持并行、快速故障處理和重建：數(shù)據(jù)分片在資源池內(nèi)打散，硬盤故障后，可在資源池范圍內(nèi)自動并行重建。數(shù)據(jù)分布上支持跨服務(wù)器，不會因某個服務(wù)器故障導(dǎo)致的數(shù)據(jù)不可訪問。擴容時可以自動進行負載均衡，應(yīng)用無需調(diào)整即可獲得更大的容量和性能。掉電保護系統(tǒng)運行過程中可能會出現(xiàn)服務(wù)器突然下電的情況，F(xiàn)usionstorage使用保電介質(zhì)來保存元數(shù)據(jù)和緩存數(shù)據(jù)，以防掉電而丟失。Fusionstorage支持的保電介質(zhì)為 NVDIMM存條或PCIe SSD卡。程序運行過程中器會把元數(shù) 據(jù)和緩存數(shù)據(jù)寫入保電介質(zhì)中，上電后恢復(fù)保電介質(zhì)中的元數(shù)據(jù)和緩存數(shù)據(jù)。Fusionstorage 保電介質(zhì)（NVDIMM存和 PCI

46、e SSD）同步容災(zāi)基于Fusionstorage鏡像同步容災(zāi)方案，其原理如下所示，配置主備站點存儲鏡像關(guān)系，粒度為丫帷載的卷。連接鏡像關(guān)系后，主站點VMF發(fā)的I/O寫請求，會同步復(fù)制到容災(zāi)站點鏡像卷上。業(yè)務(wù)I/O流程：1、Primary站點主機下發(fā)I/O寫請求。2、Primary站點將I/O寫請求同步發(fā)送到 Secondary站點。3、Secondary站點寫成功，向 Primary站點返回寫完成。4、Primary站點確保 Primary和Secondary站點均寫成功，向主機響應(yīng)寫請求完成。災(zāi)規(guī)格：規(guī)格名稱規(guī)格指標RPO0RTO<4Hour網(wǎng)絡(luò)時延RTTg求<5ms備注：兩個

47、站點之間的距離小于250KM同步復(fù)制網(wǎng)絡(luò)帶寬>站點業(yè)務(wù)峰值寫I/O帶寬容災(zāi)鏡像卷最大規(guī)格8T鏡像卷最大規(guī)格4096個鏡像5.3 彈性擴展Fusionstorage采用的分布式集群架構(gòu)，天然支持無性能損耗的彈性擴展。DHT數(shù)據(jù)路由Fusionstorage 采用DHT(Distribute Hash Table ,分布式哈希表)路由數(shù)據(jù)算法。每個存儲節(jié)點負責(zé)存儲一小部分數(shù)據(jù)，基于DHT；現(xiàn)整個系統(tǒng)的尋址和存儲。DHTT法具有以下特點：均衡性(Balance):數(shù)據(jù)能夠盡可能分布到所有的節(jié)點中，這樣可以使得所有節(jié)點負載均衡。單調(diào)性(Monotonicity):當有新節(jié)點加入系統(tǒng)中時，系統(tǒng)重新

48、做數(shù)據(jù)分配，原來的數(shù)據(jù)存儲 位置不需要很大的調(diào)整。FusionStorage存儲路由采用分布式哈希算法，使得存儲系統(tǒng)具有如下特點：快速達到負載均衡：新加入節(jié)點只需要搬移很少部分數(shù)據(jù)分片即可達到負載均衡。數(shù)據(jù)高可靠：靈活配置的分區(qū)分配算法，避免多個數(shù)據(jù)副本位于同一個服務(wù)器、同一個磁盤上。FusionStorage DHT 數(shù)據(jù)路由：平滑擴容節(jié)點FusionStorage的分布式架構(gòu)具有良好的可擴展性，支持超大容量的存儲：DHT算法保證了擴容后不需要做大量的數(shù)據(jù)搬遷，可以快速達到負載均衡狀態(tài)。擴展計算節(jié)點可以同步擴容存儲空間，擴容后的系統(tǒng)仍舊是計算和存儲融合的，非煙囪式擴展。FusionStora

49、ge 分布式系統(tǒng)的帶寬和 Cache都均勻分布到各個節(jié)點上，帶寬和Cache隨著節(jié)點的擴容而線性增加。擴容時支持即插即用，擴容后系統(tǒng)自動調(diào)整負載平衡，真正實現(xiàn)無級平滑擴容。FusionStorage平滑擴容節(jié)點將擴容加入節(jié)點1資源按需使用FusionStorage提供了精簡配置機制，為用戶提供比實際物理存儲更多的虛擬存儲資源。相 比直接分配物理存儲資源，可以顯著提高存儲空間利用率。采用分布式Hash技術(shù)，天然支持分布式自動精簡配置(Thin Provisioning),無需預(yù)先分配空間。精簡配置(Thin Provisioning)無任何性能下降(IPSANB"展空間時需要耗費額外的

50、性能)。FusionStorage自動精簡配置:傳統(tǒng)配置5.4管理簡便易管理與華為硬件配合使用的 FusionStorage存儲軟件在出廠前已經(jīng)做了預(yù)安裝，在用戶機房只需要根據(jù)實際，情況調(diào)整IP配置就可以了。FusionStorage存儲軟件完成安裝部署以后可以自動運行，不需要人工干預(yù)，系統(tǒng)缺省配置 已經(jīng)做了優(yōu)化處理。FusionStorage 軟件進程包括： Manager、Agent、MDC VBSF口OSD 其中 Manager和Agent共同完成OM1能，MDC VBSF口 OS哄同完成存儲功能。在虛擬化環(huán)境下，F(xiàn)usionStorage的部署如下圖所示:FusionStorage軟件

51、部署：FusionCompiJteFysiofi ManagerFusion Storage MangrAFusionStorage昌獻MJHMDC ?。├顳 FusionStorage AgentMDC j廠即黜rmFusionStorage AgentFusion 5tB a肝AgfrttFu5.ionStDrageAgeintFusion Sroragp軟件進程功能描述Manager告警、監(jiān)控、日志、配置等 。如能，支持主備節(jié)點部署。Agent各節(jié)點的。就能代理進程，部署在各節(jié)點上，每個節(jié)點部署一個進程。MDCMD0存儲管理集群，負責(zé)集群的狀態(tài)控制。MDCT理集群部署在3個節(jié)點上，每個節(jié)

52、點一個進程。VBSVBS是無狀態(tài)機頭集群，負責(zé)卷元數(shù)據(jù)的管理。每個服務(wù)器上部署一個或者多個VBS進程。OSDOSD寸象存儲設(shè)備，執(zhí)行具體的IO操作。在每個服務(wù)器上部署多個進程，與磁鐳一對應(yīng)，一塊磁盤對應(yīng)一個OSDWeb UI界面FusionStorage提供可視化的Portal界面，用戶從Portal界面可以查看系統(tǒng)監(jiān)控 （KPI指標）、 告警事件和存儲池狀態(tài)等，操作維護簡單。卜圖顯示了 FusionStorage的存儲池管理界面。FusionStorage Web UI 界面：5.5 兼容性硬件兼容性FusionStorage 可以運行在華為自產(chǎn)的 Tecal RH2288H和Tecal E

53、9000等服務(wù)器上,FusionStorage對硬件平臺有如下基本要求:FusionStorage 運行在通用的 X86服務(wù)器平臺上。FusionStorage采用分布式集群架構(gòu)，最少需要三個服務(wù)器節(jié)點。集群內(nèi)各服務(wù)器的硬盤數(shù)量必須相同，單個節(jié)點上支持412塊硬盤。為保證服務(wù)器突然下電后，F(xiàn)usionStorage 在內(nèi)存中的元數(shù)據(jù)和緩存數(shù)據(jù)不丟失，每臺服務(wù)器都需要配置4G NVDIMM存條/或PCIe SSD卡（大小可選400G/800G/。FusionStorage正常運行需要單個占用服務(wù)器物理內(nèi)存大小為：+*N, （N是硬盤個數(shù)，取值范圍：412）,服務(wù)器的內(nèi)存配置必須高于這個數(shù)值（還需

54、要考慮分配 給操作系統(tǒng)和應(yīng)用軟件的內(nèi)存）。服務(wù)器需要兩個網(wǎng)口支持雙平面網(wǎng)絡(luò)：管理平面和存儲平面，其中存儲平面帶寬要求不低于10GbpsoTecal RH2288HV2是一款2U度2路CPU勺服務(wù)器，具有出色的擴展靈活性，更好的 計算性能，企業(yè)級可靠性，適用性廣泛。RH2288H V酒已置如下：2 * Intel? Xeon E5-2600 CPU24 個 RDIMM/LRDIMM存插槽2*' + 2* ' , or 8* ' , or 26*' SAS/SATA硬盤，支持 RAID0/1/5/10/50/6/60支持512MB/1GB Cache,電池/電容可選7個PCIe擴展插槽支持TPM內(nèi)置 U盤/USB Flash 卡2個冗余熱插拔電源RH2288V方卜