FusionCube+6.0+網(wǎng)絡架構與配置+01

FusionCube6.0

網(wǎng)絡架構與配置FusionCube作為實現(xiàn)企業(yè)信息一體化的云平臺，定位于面向中、高端企業(yè)的信息化，以“軟硬件垂直深度集成和調優(yōu)”、“快速部署”、“統(tǒng)一管理”的理念，提供基于云計算技術的“基礎架構一體機”，提升核心業(yè)務運作效率。FusionCube基礎設施，為計算、存儲和網(wǎng)絡合一的設備，基于存儲型服務器和分布式存儲FusionStorage軟件，具有性能高，擴展靈活以及交付簡單的特點。本章詳細介紹FusionCube的網(wǎng)絡組成，包括：物理組網(wǎng)，邏輯組網(wǎng)以及網(wǎng)絡配置。學完本課程后，您應該能：了解和掌握FusionCube的網(wǎng)絡組成；了解和掌握FusionCube的物理組網(wǎng)形態(tài)；了解和掌握FusionCube的邏輯網(wǎng)絡劃分；了解和掌握FusionCube的網(wǎng)絡配置；FusionCube物理組網(wǎng)FusionCube邏輯組網(wǎng)FusionCube基本網(wǎng)絡技術和應用FusionCube網(wǎng)絡配置FusionCube網(wǎng)絡設備簡介FusionCube超融合基礎設施硬件平臺分E9000V5、X6800V5、X6000V5、2288HV5、1288HV5、2488V5、TaiShan2280V2。這些平臺用到的網(wǎng)絡設備稍有不同，如下表：交換機硬件平臺網(wǎng)卡說明E900010GE網(wǎng)卡：MZ310(2*10GE)/MZ312(4*10GE)必配，默認配置MZ310/MZ312IB網(wǎng)卡：MZ620(2*100G,PCIE3.0X16)在高性能虛擬化和數(shù)據(jù)庫場景中使用

機架PCIE網(wǎng)卡：2*GE/4*GE在機架數(shù)據(jù)庫組網(wǎng)場景中使用X6800/2288H/1288H/24882*10GE/4*10GE/6*10GE10GE組網(wǎng)場景E9000/機架2*100Gbps網(wǎng)卡IB組網(wǎng)場景CE6855-48T6Q-HICX320交換板CE5855-48T4S2Q-EICE6851-48S6Q-HISB7800:36口IB交換機CX621交換板CE6881-48S6Q-HIE9000框內網(wǎng)絡物理連接示意圖(1/2)40GE10GEIBGESlotnMz620(Mezz2)BMCGESwitchMMIBFDRSwitchIB(1E)BMC10GESwitch10GE(2X)BMCGESwitchMMIBFDRSwitchIB(4E)BMC10GESwitch10GE(3X)BMCSlotn+8MZ312(Mezz1)123412MZ312(Mezz1)1234Mz620(Mezz2)12BMC18181616MGMTSTACKMGMTSTACKE9000框內網(wǎng)絡物理連接示意圖(2/2)E9000網(wǎng)絡物理上分為BMC平面、10GE網(wǎng)絡平面和IB網(wǎng)絡平面；BMC統(tǒng)一通過SMM板上的GESwitch進行交換，除對外提供接口外，還可以跟10GE網(wǎng)路互通。10GE通過2X和3X上的CX320進行交換；對應的網(wǎng)卡最大支持4*10GE接口，10GE交換板是必配的。IB通過1E和4E槽位的CX621進行交換。IB交換根據(jù)實際情況進行選配。圖中的Slotn/Slotn+8為半寬槽位，如果為全寬槽位，最大支持4個網(wǎng)卡。虛擬化物理組網(wǎng)(E9000-10GE)(1/2)E9000_2CX320CX320MM1MM2E9000_3CX320CX320MM1MM2E9000_32CX320CX320MM1MM2E9000_1CX320CX320MM1MM248x10GE-148x10GE-2堆疊Eth-trunk4x10GEEth-trunk4x10GEEth-trunk4x10GEEth-trunk4x10GE14/8x10GE/GE11111E9000_0基本框CX320CX32018x56Gb18x56GbMM1MM2單框配置場景堆疊業(yè)務上行Eth-trunk設備管理上行10GE光纖虛擬化物理組網(wǎng)(E9000-10GE)(2/2)每個E9000插框使用CX320交換板，所有機框通過外置交換機級聯(lián)?？蜷g使用4*10GE互聯(lián)。最大支持32框，框內兩塊交換板通過40G接口堆疊；外置交換機上行8/4個10GE/GE或者4*40GE，管理和業(yè)務上行；數(shù)據(jù)庫物理組網(wǎng)(E9000)(1/2)堆疊業(yè)務上行Eth-trunk100GbIB線纜設備管理上行10GE光纖E9000_0管理+4計算+3存儲CX320CX320CX621CX621MM1MM2單框配置場景28x10GEE9000_28SNACX320CX320CX621CX621MM1MM2E9000_88SNACX320CX320CX621CX621MM1MM2E9000_11管理+7DBNCX320CX320CX621CX621MM1MM248x10GE-148x10GE-2堆疊4x10GE2x10GE2x10GEIBSwitch-1IBSwitch-244222222114/8x10GE4422數(shù)據(jù)庫物理組網(wǎng)(E9000)(2/2)10GE網(wǎng)絡：每個E9000插框使用CX320交換板，每個計算框通過8*10GE與外置10GE交換機互聯(lián)，每個存儲框通過2*10GE與外置10GE交換機互聯(lián)，用于管理和業(yè)務平面通信。IB網(wǎng)絡：每個E9000機框使用CX621交換板，每個計算框通過16*IB與外置IB交換機互聯(lián)，每個存儲框通過8*IB與外置IB交換機互聯(lián)，用于存儲平面通信。（單框時兩塊IB交換板通過2*100GIB互聯(lián)）。原則上DB節(jié)點都配置在同一個E9000機框，所有機框通過外置交換機級聯(lián)，最大支持32框。外置10GE交換機上行8/4個10GE/GE或者4*40GE，管理和業(yè)務上行。數(shù)據(jù)庫物理組網(wǎng)(機架)(1/3)上行10GEBMC網(wǎng)線Eth-trunk/bond100GbIB線纜設備管理上行堆疊內部管理網(wǎng)線BMCSNA2xGE2xIBMCNA2xGEBMC2x10GEBMC2xGEDBN2xIB堆疊2x10GE/GE客戶管理匯聚客戶業(yè)務匯聚2xGE2xGE2xGE4IBSwitch-1IBSwitch-248xGE-248xGE-111111111112x10GE機架式數(shù)據(jù)庫支持的服務器：MCNA：1288HV5/2288HV5/2280V2DBN：1288HV5/2288HV5/2488HV5SNA：2288HV5/2280V2數(shù)據(jù)庫物理組網(wǎng)(機架)(2/3)組網(wǎng)說明：每節(jié)點的2個GE網(wǎng)口和BMC網(wǎng)口分別連接到2個外置GE交換機（堆疊），IB交換機的管理接口連接到GE交換機堆疊GE交換機向客戶管理網(wǎng)絡提供2xGE的上行業(yè)務默認直接上行到客戶的業(yè)務網(wǎng)絡，如果需要匯聚，則另增加1對10GE交換機連接即可。每個計算和存儲節(jié)點的IB接口分別連接到外置1對IB交換機上，2個IB交換機之間4根IB線互連（只有1對IB交換機時）每1個機柜配置1對IB交換機，當部署規(guī)模大于2機柜時，每機柜增加1臺IB匯聚交換機，支持平滑擴容數(shù)據(jù)庫物理組網(wǎng)(機架)(3/3)機柜間平滑擴容方案：每機柜配置1對IBLeaf交換機部署單機柜時，配置1對IB交換機作為Leaf交換機，IB交換機之間連接4條IB線纜，IB交換機連接SNA和計算節(jié)點單機柜擴容機柜時，每機柜增加1臺IB交換機作為Spine交換機，原1對IBLeaf交換機使用16條IB線纜連接到新增加的IBSpine交換機，并且拆除原1對IB交換機之間互連的4條IB線纜4機柜內，每IBLeaf交換機與每IBSpine交換機之間采用4根IB線纜連接，5和6柜時，每IBLeaf交換機與每IBSpine交換機之間采用3根IB線纜連接，7和8柜時，每IBLeaf交換機與每IBSpine交換機之間采用2根IB線纜連接服務器規(guī)模大于8柜時，每6個機柜1組，柜內的IBLeaf交換機與本柜及其它5個柜的IBSpine交換機用2根IB線纜連接，每個IBSpine交換機與上層每個IBSpine交換機之間用2根IB線纜連接虛擬化物理組網(wǎng)(X6800-10GE小規(guī)模)(1/2)X6800-02x10GE堆疊48x10GE-148x10GE-22x10GE2x10GE2x10GEHMMMCNA1MCNA2SCNASCNA2x10GE2x10GE2x10GEX6800-32x10GE2x10GE2x10GE2x10GEHMMSCNASCNASCNASCNA2x10GE2x10GE2x10GE2x10GE…2x10GE10GEGE上行10GE設備管理上行Eth-trunk/bond堆疊虛擬化物理組網(wǎng)(X6800-10GE小規(guī)模)(2/2)說明：小規(guī)模場景，節(jié)點數(shù)小于16臺情況下，每個節(jié)點可配置1個2*10GE端口的網(wǎng)卡；配置1對CE6851交換機（也可以使用客戶交換機），兩個交換機之間通過2*40GE堆疊；1對CE6851交換機，最大支持4框X6800虛擬化物理組網(wǎng)(X6800-10GE大規(guī)模)(1/2)X6800-04x10GE堆疊48x10GE-148x10GE-24x10GE4x10GE4x10GEHMMMCNA1MCNA2SCNASCNA2*bond2x10GE2*bond2x10GE2*bond2x10GE…2*bond2x10GEX6800-34x10GE4x10GE4x10GE4x10GEHMMSCNASCNASCNASCNA2*bond2x10GE2*bond2x10GE2*bond2x10GE2*bond2x10GE10GEGE上行10GE設備管理上行Eth-trunk/bond堆疊虛擬化物理組網(wǎng)(X6800-10GE大規(guī)模)(2/2)說明：兩塊MCNA節(jié)點部署在同一個X6800中，每個節(jié)點配置兩張2x10GE網(wǎng)卡，即每節(jié)點4*10GE。CE6851交換機使用堆疊。并對外提供4*10GE/GE接口；1對LSW支持3框X6800。多柜情況下，每4框X6800增加1對CE6851。每對LSW之間也通過8*10GE互聯(lián)。按照1柜4框X6800，最大支持10柜40框。柜間互聯(lián)(X6800-10GE)(1/2)10GEGE上行10GE設備管理上行Eth-trunk/bond堆疊機柜1機柜2機柜1648x10GE48x10GE8x10GE8x10GE4/8x10GE48x10GE48x10GEX6800(2)4x10GEHMM4x10GE4x10GE4x10GEX6800(4)4x10GEHMM4x10GE4x10GE4x10GE2x40GEX6800(1)4x10GEHMM4x10GE4x10GE4x10GE48x10GE48x10GEX6800(2)4x10GEHMM4x10GE4x10GE4x10GEX6800(4)4x10GEHMM4x10GE4x10GE4x10GE2x40GEX6800(1)4x10GEHMM4x10GE4x10GE4x10GE48x10GE48x10GEX6800(2)4x10GEHMM4x10GE4x10GE4x10GEX6800(4)4x10GEHMM4x10GE4x10GE4x10GE2x40GEX6800(1)4x10GEHMM4x10GE4x10GE4x10GE堆疊柜間互聯(lián)(X6800-10GE)(2/2)大規(guī)模組網(wǎng)使用48口10GE交換機，系統(tǒng)通過第一對LSW統(tǒng)一匯聚上行。最大支持64框X6800。10GE小規(guī)模組網(wǎng)和GE組網(wǎng)情況下，僅使用1對LSW，不涉及柜間互聯(lián)。虛擬化物理組網(wǎng)(X6000-2*10GE)(1/2)10GEGE上行10GEEth-trunk/bond堆疊堆疊48x10GE_148x10GE_2X6000-02x10GEMgmtMCNA12xGE2x10GEMgmtMCNA22xGE2x10GEMgmtSCNA2xGE2x10GEMgmtSCNA2xGEX6000-32x10GEMgmtSCNA2xGE2x10GEMgmtSCNA2xGE2x10GEMgmtCNA2xGE2x10GEMgmtCNA2xGE2x10GE2x10GE2xGE2x10GE2x10GE2x10GE2x10GE2x10GE2x10GE2xGE2xGE2xGE2xGE2xGE2xGE2xGE4*10GE/GE虛擬化物理組網(wǎng)(X6000-2*10GE)(2/2)兩塊MCNA節(jié)點部署在同一個X6000機箱中，每個節(jié)點配置2x10GE網(wǎng)卡，每個節(jié)點配置1個bond，管理平面、存儲和業(yè)務平面使用10GEbond每節(jié)點的BMC通過網(wǎng)線連接到交換機，交換機對應接口配置GE電口模塊。10GE交換機使用堆疊。并對外提供4*10GE/GE接口；1對交換機支持4框X6000。單柜最大支持16節(jié)點（4框）。虛擬化物理組網(wǎng)(X6000-4*10GE)(1/2)48x10GE_148x10GE_2X6000-04x10GEMgmtMCNA12xGE4x10GEMgmtMCNA22xGE4x10GEMgmtSCNA2xGE4x10GEMgmtSCNA2xGEX6000-34x10GEMgmtSCNA2xGE4x10GEMgmtSCNA2xGE4x10GEMgmtCNA2xGE4x10GEMgmtCNA2xGE2*2x10GE2*2x10GE2xGE2*2x10GE2*2x10GE2*2x10GE2*2x10GE2*2x10GE2*2x10GE2xGE2xGE2xGE2xGE2xGE2xGE2xGE4*10GE/GE10GEGE上行10GEEth-trunk/bond堆疊堆疊虛擬化物理組網(wǎng)(X6000-4*10GE)(2/2)兩塊MCNA節(jié)點部署在同一個X6000中，每個節(jié)點配置4x10GE網(wǎng)卡，每個節(jié)點配置2個bond，管理平面和業(yè)務平面使用1個10GEbond，存儲平面使用1個10GEbond每節(jié)點的BMC通過網(wǎng)線連接到交換機，交換機對應接口配置GE電口模塊。10GE交換機使用堆疊。并對外提供4*10GE/GE接口；1對交換機支持4框X6000。單柜最大支持16節(jié)點（4框）。虛擬化物理組網(wǎng)(機架-10GE)10GE堆疊設備管理上行2GEbond服務器BMC業(yè)務上行10GE堆疊48x10GE-148x10GE-22x10GE2x10GE1114x10GE12x10GEBMCMCNA1&22x10GE2x10GEBMCSCNA2x10GE2x10GE2x10GE1111每臺服務器配置4x10GE網(wǎng)卡，兩個主備bond；每節(jié)點的BMC通過網(wǎng)線連接到交換機，交換機對應接口配置GE電口模塊；1對10GE交換機之間通過堆疊，對外提供4x10GE/GE接口；虛擬化場景大于1柜時配置1對獨立匯聚交換機，用于匯聚所有機柜柜間組網(wǎng)(機架)(1/2)機柜1機柜2機柜1610GEGE上行10GE設備管理上行Eth-trunk/bond堆疊RackServer(16)2x10GEMgmt48x10GE48x10GERackServer(2)2x10GEMgmtRackServer(1)2x10GEMgmt2x10GE2x10GE2x10GE48x10GE48x10GE8x10GE8x10GERackServer(16)2x10GEMgmt48x10GE48x10GERackServer(2)2x10GEMgmtRackServer(1)2x10GEMgmt2x10GE2x10GE2x10GERackServer(16)2x10GEMgmt48x10GE48x10GERackServer(2)2x10GEMgmtRackServer(1)2x10GEMgmt2x10GE2x10GE2x10GE單柜RackServer(16)2x10GEMgmt48x10GE48x10GERackServer(2)2x10GEMgmtRackServer(1)2x10GEMgmt2x10GE2x10GE2x10GE堆疊柜間組網(wǎng)(機架)(2/2)單柜部署時，管理和業(yè)務平面直接對接客戶網(wǎng)絡當部署規(guī)模超過1柜時，建議配置1對10GE匯聚交換機，用來匯聚所有機柜的管理和業(yè)務上行，并對客戶提供統(tǒng)一的上行每機柜部署1對48x10GE交換機，用于機柜內部服務器的接入單獨使用1對48x10GE交換機做柜間匯聚，最大規(guī)模16柜FusionCube的網(wǎng)絡設備有哪些，分別有什么作用；E9000物理上劃分為哪幾個網(wǎng)絡；X6800物理上分為哪兩種組網(wǎng)方式；

FusionCube物理組網(wǎng)FusionCube邏輯組網(wǎng)FusionCube基本網(wǎng)絡技術和應用FusionCube網(wǎng)絡配置FusionCube網(wǎng)絡邏輯劃分(1/2)FusionCube網(wǎng)絡從邏輯上劃分，分為BMC、管理、存儲以及業(yè)務四種網(wǎng)絡平面。場景網(wǎng)絡平面對應的物理網(wǎng)絡說明虛擬化9000（10GE組網(wǎng)）BMCSMMGE網(wǎng)絡BMC平面最終通過CX320匯聚上行；每個節(jié)點配置4*10GE接口，存儲平面使用2*10GE，管理和業(yè)務共用2*10GE；管理CX32010GE網(wǎng)絡存儲CX32010GE網(wǎng)絡業(yè)務CX32010GE網(wǎng)絡數(shù)據(jù)庫E9000（10GE+IB組網(wǎng)）BMCSMMGE網(wǎng)絡BMC平面最終通過CX320匯聚上行；存儲平面單獨使用2*100GIB接口；管理平面使用2*10GE接口；管理CX32010GE網(wǎng)絡存儲CX621IB網(wǎng)絡業(yè)務CX32010GE網(wǎng)絡虛擬化X6800（10GE組網(wǎng)）BMCGE網(wǎng)絡BMC平面通過MM版匯聚上行，并在10GE交換機進行交換；每個節(jié)點配置4*10GE接口，存儲平面使用2*10GE，管理和業(yè)務共用2*10GE；管理10GE網(wǎng)絡存儲10GE網(wǎng)絡業(yè)務10GE網(wǎng)絡FusionCube網(wǎng)絡邏輯劃分(2/2)FusionCube網(wǎng)絡從邏輯上劃分，分為BMC、管理、存儲以及業(yè)務四種網(wǎng)絡平面。場景網(wǎng)絡平面對應的物理網(wǎng)絡說明數(shù)據(jù)庫場景（機架）BMCGE網(wǎng)絡BMC和管理平面通過CE5855交換機互連，并提供管理上行存儲平面單獨使用2個100GIB接口；計算節(jié)和存儲節(jié)點管理平面使用2*GE接口；業(yè)務平面使用4*10GE接口，直接上行到客戶的業(yè)務網(wǎng)絡管理存儲SB7800IB網(wǎng)絡業(yè)務10GE網(wǎng)絡虛擬化場景（機架）10GE組網(wǎng)BMC10GE網(wǎng)絡BMC、管理、存儲、業(yè)務四個平面全部連接到10GE交換機，并統(tǒng)一提供BMC、管理、業(yè)務上行接口2*10GE組網(wǎng)時，管理、存儲、業(yè)務三個平面共用一塊網(wǎng)卡，4*10GE組網(wǎng)時，管理、業(yè)務二個平面共用一塊網(wǎng)卡，存儲平面獨立占用一塊網(wǎng)卡管理存儲業(yè)務虛擬化X6000（10GE組網(wǎng)）BMC10GE網(wǎng)絡BMC、管理、存儲、業(yè)務四個平面全部連接到10GE交換機，并統(tǒng)一提供BMC、管理、業(yè)務上行接口2*10GE組網(wǎng)，管理、業(yè)務和存儲三個平面共用2*10GE網(wǎng)卡管理存儲業(yè)務虛擬化邏輯組網(wǎng)圖(FusionSphere)MMVRMVMFMVMCNAuserVMuserVM…MCNAFCM/FSMVMFSABMCCNAuserVM…SCNAFSABMCuserVMuserVMCNAuserVM…CNAFSABMCuserVMuserVM管理平面存儲平面業(yè)務平面BMC平面MGMTportStorageportServiceportMGMTportStorageportServiceportMGMTportStorageportServiceportMMDBDBNFSABMC管理平面為一體機的設備管理平面，而BMC平面為服務器硬件管理平面。管理平面和BMC平面可以共用網(wǎng)段，也可以采用不同的網(wǎng)段；存儲平面為FusionStorage內部通信平面。業(yè)務平面指的是除BMC/管理、存儲平面外的通信平面，跟業(yè)務相關，可由客戶根據(jù)業(yè)務情況劃分單個或者多個網(wǎng)絡。數(shù)據(jù)庫邏輯組網(wǎng)圖(數(shù)據(jù)庫基礎設施)管理平面為一體機的設備管理平面，而BMC平面為服務器硬件管理平面。管理平面和BMC平面可以共用網(wǎng)段，也可以采用不同的網(wǎng)段；存儲平面為FusionStorage內部通信的平面，存儲平面使用專用的IB網(wǎng)絡。業(yè)務平面指跟數(shù)據(jù)庫業(yè)務相關的通信平面，比如備份、數(shù)據(jù)加載等，可由客戶根據(jù)業(yè)務情況劃分單個或者多個網(wǎng)絡。管理平面存儲平面業(yè)務平面BMC平面MCNAFCC/FSMBMCDBDBNFSABMCDBDBNFSABMCSNAFSABMCSNAFSABMCMMMMFusionCube的網(wǎng)絡邏輯上劃為哪幾個平面？虛擬化場景，F(xiàn)usionSphere場景和Vmware場景網(wǎng)絡上有哪些差異？數(shù)據(jù)庫場景，存儲平面對應的物理網(wǎng)絡是什么？

FusionCube物理組網(wǎng)FusionCube邏輯組網(wǎng)FusionCube基本網(wǎng)絡技術和應用以太網(wǎng)基礎及應用Infiniband基礎及應用FusionCube網(wǎng)絡配置交換機堆疊(1/2)E9000_0基本框CX320CX32018x56Gb18x56GbMM1MM2E9000_1擴展框CX320CX32018x56Gb18x56GbMM1MM2E9000_2擴展框CX320CX32018x56Gb18x56GbMM1MM2堆疊的定義：通過堆疊線纜將多臺物理交換機連接，構成邏輯上的堆疊交換機系統(tǒng)。FusionCube應用：1）E9000框中的CX320交換板通過背板的40GE通道堆疊；2）跟同一臺X6800互聯(lián)的LSW通過2*40GE線纜或者專用堆疊線纜堆疊；交換機堆疊(2/2)兩臺物理交換機堆疊成一臺邏輯交換機：簡化運維：作為一臺交換機來管理；可靠性高：堆疊內的其中一臺物理交換機故障，另外一臺可以接管轉發(fā)，避免單點故障；無環(huán)網(wǎng)絡：堆疊后跨設備鏈路聚合可避免環(huán)路出現(xiàn)。鏈路均衡：跨設備的鏈路ECMP，網(wǎng)絡鏈路和帶寬利用率可達100%。鏈路聚合—交換機之間E9000_0基本框CX320CX32018x56Gb18x56GbMM1MM2E9000_1擴展框CX320CX32018x56Gb18x56GbMM1MM2E9000_2擴展框CX320CX32018x56Gb18x56GbMM1MM2Eth-Trunk鏈路聚合（

link-Aggregation）:把多條物理鏈路聚合成一條邏輯鏈路（Eth-Trunk）。目的：增加帶寬和增加可靠性場景硬件類型聚合端口數(shù)虛擬化E90004*10GE2288H4*10GEX60004*10GEX68004*10GE數(shù)據(jù)庫E90002*10GE鏈路聚合—服務器側組BOND(1/2)鏈路聚合（

link-Aggregation）在服務器側的應用，即組bond。場景硬件類型網(wǎng)卡配置BONDBOND模式網(wǎng)絡平面說明虛擬化E90002*10GEebond0(eth0,eth1)主備管理/存儲/業(yè)務1）管理平面所在的bond固定為主備模式。2）存儲平面若為2*10GE，則bond模式為主備，4*GE則bond為負荷分擔模式。3）業(yè)務平面默認為主備模式，客戶可根據(jù)實際情況調整bond模式。4）E9000實現(xiàn)跨網(wǎng)卡組bond，以提高可靠性。5）2288H/X6800/X6000按各自網(wǎng)卡組bond4*10GEebond0(eth0,eth3)ebond1(eth1,eth2)主備管理/業(yè)務(ebond0)存儲(ebond1)2*IBIbond(ib0,ib1)主備存儲X68004*10GEebond0(eth0,eth1)ebond1(eth2,eth3)主備管理/業(yè)務(ebond0)存儲(ebond1)6*GEebond0(eth0,eth1)ebond1(eth2~eth5)主備負荷分擔管理/業(yè)務(ebond0)存儲(ebond1)2288H2*10GEebond0(eth0,eth1)主備管理/存儲/業(yè)務4*10GEebond0(eth0,eth3)ebond1(eth1,eth2)主備管理/業(yè)務(ebond0)存儲(ebond1)X60002*GE+2*10GEebond0(eth0,eth3)ebond1(eth1,eth2)主備管理/業(yè)務(ebond0)存儲(ebond1)鏈路聚合—服務器側組BOND(2/2)場景硬件類型網(wǎng)卡配置BONDBOND模式網(wǎng)絡平面說明數(shù)據(jù)庫E90004*10GEebond0(eth0,eth3)ebond1(eth1,eth2)主備管理(ebond0)業(yè)務(ebond1)1）管理平面所在的bond固定為主備模式。2）存儲平面若為2*10GE，則bond模式為主備，4*GE則bond為負荷分擔模式。3）業(yè)務平面默認為主備模式，客戶可根據(jù)實際情況調整bond模式。4）E9000實現(xiàn)跨網(wǎng)卡組bond，以提高可靠性。2*10GEebond0(eth0,eth1)主備管理/業(yè)務(ebond0)Ibond(ib0,ib3)主備存儲2*IBIbond(ib0,ib1)主備存儲機架2*GE4*10GEebond0(eth0,eth1)ebond1(eth2,eth3)Ebond2(eth4,eth5)主備管理(ebond0)業(yè)務1(ebond1)業(yè)務2(ebond2)2*GEebond0(eth0,eth1)主備管理4*IBIbond(ib0,ib3)主備存儲2*IBIbond(ib0,ib1)主備存儲鏈路聚合（

link-Aggregation）在服務器側的應用，即組bond。VLAN基礎虛擬局域網(wǎng)（VLAN——VirtualLocalAreaNetwork）邏輯上把網(wǎng)絡資源和網(wǎng)絡用戶按照一定的原則進行劃分，把一個物理上實際的網(wǎng)絡劃分成多個小的邏輯的網(wǎng)絡。VLAN的作用：隔離廣播域，抑制廣播報文。減少物理網(wǎng)絡移動和改變的代價，增強通訊的安全性和健壯性。VLAN有4中劃分方式：基于端口、MAC、協(xié)議和子網(wǎng)進行劃分。交換機端口分類：Access、Trunk、Hybrid三種端口：Access端口：一般用于接用戶計算機的端口，

只能以untag方式從屬于唯一一個vlan。Trunk端口：一般用于交換機之間連接的端口，

能以tag方式屬于多個vlan，

以untag方式屬于一個vlan（PVID對應的vlan）。Hybrid端口：可以用于交換機之間連接，

也可以用于接用戶的計算機。

分別能以tag和untag方式屬于多個vlan，但PVID只有一個。VLAN-1VLAN-2VLAN-1VLAN-2SWASWBVLAN2FusionCubeVLAN應用FusionCube默認使用的VLAN為子網(wǎng)VLAN。如下表網(wǎng)絡平面默認VLAN默認IP段默認網(wǎng)關說明管理平面VLAN1/24如果要更改VLAN，需要手工配置交換機。如果BMC和管理平面合并時，BMC平面使用VLAN1，網(wǎng)段跟管理平面相同。BMC平面VLAN4030/24如果BMC和管理平面分離時，BMC平面默認為VLAN4030。安裝或者初始化時可修改。存儲平面VLAN4050/24安裝或者初始化時可修改。業(yè)務平面VLANN自定義自定義客戶自定義，需要手工配置交換機。IP地址分配FusionCube在安裝/初始化過程中默認自動分配IP地址，IP地址從小到大分配，并遵循以下原則：1）優(yōu)先分配管理VM：FusionCubeCenterFusionComputerFusionManager，優(yōu)先分配浮動IP地址，然后是主備IP。2）按照插框劃分，優(yōu)先分配Hypervisor的管理IP，然后是控制VM的管理IP，然后是BMCIP（BMC和管理平面合并情況）。3）最后分配MM版的管理IP。4）Vmware場景，存儲IP則優(yōu)先分配hypervisor的存儲IP，然后控制VM的存儲IP。FusionCube物理組網(wǎng)FusionCube邏輯組網(wǎng)FusionCube基本網(wǎng)絡技術和應用以太網(wǎng)基礎及應用Infiniband基礎及應用FusionCube網(wǎng)絡配置IB網(wǎng)絡簡介1）以太網(wǎng)的可用性問題：廣播風暴，大量的帶寬占用；2）以太網(wǎng)的效率問題：對此內存拷貝，增加時延和CPU消耗；3）多網(wǎng)融合問題：計算網(wǎng)絡(IP)無法和存儲網(wǎng)絡(FC)融合；4）新型高速網(wǎng)絡需求：小型機單機性能存在極限，而X86機群易擴展，成本低，但以太網(wǎng)無法發(fā)揮其整體性能；IB網(wǎng)絡可以很好的解決以上問題。InfiniBand技術不是用于一般網(wǎng)絡連接的，它的主要設計目的是針對服務器端的連接問題的。InfiniBand網(wǎng)絡的特點：高帶寬、低時延IB組網(wǎng)InfiniBand網(wǎng)絡典型的網(wǎng)絡拓補如下圖所示。1）主機通道適配器（HCA）：終結IB鏈路的設備，實現(xiàn)傳輸層功能；2）交換機：在一個子網(wǎng)內實現(xiàn)包轉發(fā)的設備；其中交換機分為葉子交換機（leafSwitch）和主干交換機（SpineSwitch）。IBHCALeafSwitchSpineSwitchIB子網(wǎng)管理簡介InfiniBand是一個功能完善的通信網(wǎng)絡，使用簡單。IB網(wǎng)絡可以自動發(fā)現(xiàn)網(wǎng)絡拓補、自動配置。其子網(wǎng)管理具有以下功能：1）物理子網(wǎng)建立2）子網(wǎng)發(fā)現(xiàn)3）信息收集4）LID分發(fā)5）建立通道6）端口配置7）交換機配置8）啟動子網(wǎng)OpenSM部署FusionCube系統(tǒng)中IB網(wǎng)絡的子網(wǎng)管理器使用的是OpenSM，整個系統(tǒng)最大部署4個（單框情況下部署3個），保證單個InfiniBand端口、Blade服務器，InfiniBand交換機和機框故障情況下，系統(tǒng)在還有opensm可以提供服務，保證IB網(wǎng)絡正常通信。CX621Bladesever0Bladesever1Bladesever2Bladesever…CX621E9000-0CX621Bladesever0Bladesever1Bladesever2Bladesever…CX621E9000-1opensm0opensm1opensm2opensm3IB鏈路自動遷移正常情況下Server1與Server2之間通信鏈路為A和C、B和D，而A和D、B和C之間無通信鏈路。當服務器單網(wǎng)口A故障或者相連的IB交換板故障時，A和C之間就無通信鏈路，B和D正常，而B和C之間也無通信鏈路。此時帶寬為正常時的一半。CX621CX621CX621CX621CX621CX621ABServer1CDServer2CX621CX621CX621CX621CX621CX621ABServer1CDServer2XCUD1XCUD2CX621CX621CX621CX621ABServer1CDServer2當兩服務器對角網(wǎng)口A、D故障或者相連的IB交換板故障時，才會有B和C之間建立通信鏈路。此時帶寬為正常時的一半。FusionCube的以太網(wǎng)路使用到哪些技術？交換機堆疊有哪些好處？一體機網(wǎng)絡默認的VLAN號和IP段有哪些？IB網(wǎng)絡具有什么特點？有什么優(yōu)點？舉例說明一體機單框場景IB鏈路自動遷移？

FusionCube物理組網(wǎng)FusionCube邏輯組網(wǎng)FusionCube基本網(wǎng)絡技術和應用FusionCube網(wǎng)絡配置網(wǎng)絡配置總體流程開始交換機基礎配置安裝過程中的網(wǎng)絡配置初始化過程中的網(wǎng)絡配置上行接口配置業(yè)務平面配置網(wǎng)絡規(guī)劃結束級聯(lián)網(wǎng)絡配置開局前收集網(wǎng)絡相關數(shù)據(jù)（

IP地址段和VLAN信息）并根據(jù)組網(wǎng)方案做好規(guī)劃。產(chǎn)品提供相應的集成設計工具。加載交換機初始配置腳本（出廠已經(jīng)預置）。如果是CE6851/CE6855交換機，則需要配置交換機堆疊、管理IP和存儲VLAN。安裝過程中根據(jù)網(wǎng)絡規(guī)劃輸入相關的IP地址段和VLAN信息，安裝工具即自動按照輸入的信息進行安裝和配置。初始化過程中也可以進行網(wǎng)絡配置。預裝場景，根據(jù)網(wǎng)絡規(guī)劃輸入相關的IP地址段和VLAN信息，安裝工具即自動按照輸入的信息進行安裝和配置。現(xiàn)場安裝場景，可進行IP地址修改。配置級聯(lián)（每對交換機之間）接口Eth-Trunk。上行接口配置。業(yè)務平面網(wǎng)絡相關的配置（不在一體機的交付范圍）。CE6851交換機基礎配置(1/2)<HUAWEI>system-view[~HUAWEI]stack[~HUAWEI-stack]stackmember1renumber2Warning:ThestackconfigurationofmemberID1willbeinheritedtomemberID2afterthedeviceresets.Continue?[Y/N]:y[*HUAWEI-stack]quit[*HUAWEI]commit[~HUAWEI]quit<HUAWEI>rebootfast1）設置交換機堆疊ID。注意：每對交換機中的只配置其中一個交換機堆疊ID。命令如下：3）設置堆疊交換機的管理IP地址，命令如下：<HUAWEI>system[~HUAWEI]vlanbatch4030[*HUAWEI]interfacevlanif4030[*HUAWEI-Vlanif4030]ipaddress324[*HUAWEI-Vlanif4030]quit[*HUAWEI]commit2）導入交換機堆疊配置文件，堆疊交換機。CE6851交換機基礎配置(2/2)3）配置存儲VLAN：[~HUAWEI]vlanbatch4050[*HUAWEI]interface10GE1/0/12[*HUAWEI-10GE1/0/12]portlink-typehybrid[*HUAWEI-10GE1/0/12]porthybridtaggedvlan4050[*HUAWEI-10GE1/0/12]quit[*HUAWEI]interface10GE2/0/12[*HUAWEI-10GE2/0/12]portlink-typehybrid[*HUAWEI-10GE2/0/12]porthybridtaggedvlan4050[*HUAWEI-10GE2/0/12]quit[*HUAWEI]commit[~HUAWEI]quit<HUAWEI>save軟件安裝過程中的網(wǎng)絡配置1）在FCB界面配置參數(shù)頁面中的配置網(wǎng)絡參數(shù)（下圖紅框）中輸入相應的網(wǎng)絡配置信息，主要是各網(wǎng)絡平面IP地址段信息和VLAN信息。2）FCB則自動分配IP。如果分配IP不符合規(guī)劃要求，可手工修改（下圖藍框中的相關內容）。初始化過程中的網(wǎng)絡配置安裝后若需要對網(wǎng)絡信息進行調整，可在初始化階段進行修改。在FusionCubeCenter的網(wǎng)絡配置界面輸入相關的信息。虛擬化FusionSphere場景，出廠時默認按照管理網(wǎng)段為/24設置了管理VM。如跟規(guī)劃不符則可進行修改。下圖紅框的參數(shù)（其中FusionCubeCenter的IP不能在界面中修改）。現(xiàn)場安裝場景，可進行IP地址修改。初始化成功后，IP地址將不支持自動修改。E9000框間級聯(lián)配置舉例：虛擬化場景，E9000框間通過4*10GE進行互聯(lián)，即從框E9000通過2/17/1、3/17/1、2/17/2和3/17/2與主框2/17/3、3/17/3、2/17/4和3/17/4對接。從框E9000（堆疊后交換板管理IP為0）配置如下：ssh0<HUAWEI>system[HUAWEI]interfaceeth-trunk20[HUAWEI-Eth-Trunk20]quit[HUAWEI]interface10GE2/17/1[HUAWEI-10GE2/17/1]eth-trunk20[HUAWEI-10GE2/17/1]quit[HUAWEI]interface10GE3/17/1[HUAWEI-10GE3/17/1]eth-trunk20[HUAWEI-10GE3/17/1]quit[HUAWEI]interface10GE2/17/2[HUAWEI-10GE2/17/2]eth-trunk20[HUAWEI-10GE2/17/2]quit[HUAWEI]interface10GE3/17/2[HUAWEI-10GE3/17/2]eth-trunk20[HUAWEI-10GE3/17/2]quit[HUAWEI]commit[HUAWEI]quitCE6851交換機級聯(lián)配置舉例：虛擬化場景，X6800形態(tài)交換機間通過4*10GE進行互聯(lián)。即接入交換機通過1/0/1、1/0/2、2/0/1和2/0/2與匯聚交換機1/0/35、1/0/36、2/0/35和2/0/36對接。ssh90<HUAWEI>system[~HUAWEI]interfaceeth-trunk20[*H