甘肅電信多數(shù)據(jù)中心云資源池融合+方案

甘肅電信“多站點(diǎn)數(shù)據(jù)中心融合+”解決方案劉承罡2016.3版本更新CONFIDENTIAL2V0.1根據(jù)遼寧移動(dòng)、浙江移動(dòng)三網(wǎng)的案例編寫V0.2增加遼寧移動(dòng)、浙江移動(dòng)案例V0.3增加四川移動(dòng)音樂基地和浙江電信案例V0.4增加甘肅電信的資源池融合需求Agenda1什么是“多站點(diǎn)數(shù)據(jù)中心融合+”2多數(shù)據(jù)中心融合的技術(shù)難點(diǎn)3VMware多數(shù)據(jù)中心融合+解決方案4案例分享5集團(tuán)思路分享CONFIDENTIAL3運(yùn)營商多數(shù)據(jù)中心融合+：（BSS/OSS/MSS）+VAS&NFV4BSS渠道客服營業(yè)BOSS計(jì)費(fèi)經(jīng)分CRMBASS綜合監(jiān)控話務(wù)數(shù)據(jù)4A傳輸性能OSS采購統(tǒng)一信息創(chuàng)新管理集團(tuán)ERPMSSGIS短信中心短信網(wǎng)關(guān)SCP/SDPVAS+NFV+XComputeStorageNetwork計(jì)算池存儲(chǔ)池網(wǎng)絡(luò)池ComputeStorageNetworkComputeStorageNetwork統(tǒng)一運(yùn)營業(yè)務(wù)連續(xù)性保障統(tǒng)一運(yùn)維“多數(shù)據(jù)中心資源融合+”對(duì)運(yùn)營商的優(yōu)勢(shì)基于多數(shù)據(jù)中心橫向擴(kuò)展的統(tǒng)一資源池，實(shí)現(xiàn)完全彈性的容量統(tǒng)一資源池管理，根據(jù)服務(wù)按需供給適應(yīng)長期和短期的需求變更將服務(wù)和硬件完全解耦比如：把3G服務(wù)和4G服務(wù)使用相同的物理基礎(chǔ)架構(gòu)新業(yè)務(wù)的快速部署網(wǎng)元側(cè)、IT側(cè)的基于軟件的快速部署按照項(xiàng)目和租戶的高度定制化網(wǎng)絡(luò)根據(jù)客戶或者客戶類別設(shè)計(jì)網(wǎng)絡(luò)服務(wù)和IT服務(wù)5Agenda1什么是“多站點(diǎn)數(shù)據(jù)中心融合+”2多數(shù)據(jù)中心資源融合的技術(shù)難點(diǎn)3VMware多數(shù)據(jù)中心融合+解決方案4運(yùn)營商三網(wǎng)融合案例&經(jīng)驗(yàn)教訓(xùn)CONFIDENTIAL6一、網(wǎng)絡(luò)割裂導(dǎo)致資源池利用率降低7核心交換機(jī)：三層接入交換機(jī)：三層邊界路由器、防火墻一、網(wǎng)絡(luò)割裂導(dǎo)致資源池利用率降低按照業(yè)務(wù)域進(jìn)行的網(wǎng)絡(luò)隔離（某省移動(dòng)云資源池一期）iLoKVM業(yè)務(wù)區(qū)域業(yè)務(wù)區(qū)域OSSMSS匯聚核心交換出口區(qū)周邊網(wǎng)絡(luò)接入設(shè)備管理CMNETIntranetCONFIDENTIAL10二、物理網(wǎng)絡(luò)大二層之后安全域隔離DataCenterPerimeterDataCenterPerimeter在數(shù)據(jù)中心內(nèi)部很少或沒有東西向安全控制InternetInternet安全控制不足基于IP的安全策略難以運(yùn)維核心交換機(jī)：三層接入交換機(jī)：二層邊界路由器、防火墻物理的接入交換機(jī)直接二層接入核心，所有的業(yè)務(wù)VLAN終結(jié)在核心交換機(jī)

實(shí)現(xiàn)整個(gè)數(shù)據(jù)中心的資源調(diào)度二層二層二層二層二、物理網(wǎng)絡(luò)大二層之后安全域隔離傳統(tǒng)方案1：通過VRF，將直連路由虛擬成分段路由（xx移動(dòng)IDC）通過VRF把核心交換機(jī)虛擬出很多虛擬路由器，網(wǎng)關(guān)配置在VRF上東西向隔離VRF:配置復(fù)雜，配置靜態(tài)路由，然東西向通信強(qiáng)行走虛擬防火墻問題：配置復(fù)雜，每新增一個(gè)項(xiàng)目（業(yè)務(wù)平臺(tái)），需要新虛擬一個(gè)VRF，配置東西向路由、安全域，無論是性能、效率還是維護(hù)的復(fù)雜度在大規(guī)模環(huán)境下都無法接受額外的路由迂回核心交換機(jī)：三層接入交換機(jī)：二層邊界路由器、防火墻二層二層二層二層傳統(tǒng)方案2：網(wǎng)關(guān)配置在防火墻上(xx移動(dòng)融合資源池)網(wǎng)關(guān)配置在防火墻上，性能是最大的問題額外的路由迂回三、多數(shù)據(jù)中心的橫向擴(kuò)展和無縫融合集中的資源管理、安全管理、自定義網(wǎng)絡(luò)管理和存儲(chǔ)策略管理CONFIDENTIAL14UniversalFirewallPolicy四、統(tǒng)一的存儲(chǔ)策略管理CONFIDENTIAL15面向設(shè)備的管理服務(wù)靜態(tài)分級(jí)粗略的資源分配控制的顆粒度不夠頻繁的數(shù)據(jù)遷移費(fèi)時(shí)的流程缺少自動(dòng)化響應(yīng)請(qǐng)求速度慢復(fù)雜的流程虛擬化

管理員存儲(chǔ)

管理員應(yīng)用

管理員非標(biāo)準(zhǔn)硬件利用率不高過度置備專用的高成本硬件五、業(yè)務(wù)連續(xù)性解決方案的主要問題16復(fù)雜????????應(yīng)用主機(jī)存儲(chǔ)網(wǎng)絡(luò)昂貴軟件主機(jī)存儲(chǔ)基礎(chǔ)設(shè)施每應(yīng)用成本超過1萬不可靠每年一次DR測(cè)試六、融合后的IT需要快速滿足業(yè)務(wù)新增和變化的需求項(xiàng)目管理員我想快速部署一個(gè)LAMP應(yīng)用授權(quán)隊(duì)列用戶緊湊的IT需求硬件獲取基礎(chǔ)設(shè)施部署非自動(dòng)化的計(jì)劃和部署硬件容量管理困難云管理員Agenda1什么是“多站點(diǎn)數(shù)據(jù)中心融合+”2多數(shù)據(jù)中心融合的技術(shù)難點(diǎn)3VMware多數(shù)據(jù)中心融合+解決方案4案例分享CONFIDENTIAL18計(jì)算虛擬化抽象層網(wǎng)絡(luò)虛擬化概述物理基礎(chǔ)架構(gòu)調(diào)配速度慢安置受限移動(dòng)受限依賴于硬件需要大量操作網(wǎng)絡(luò)虛擬化概述物理基礎(chǔ)架構(gòu)計(jì)算虛擬化抽象層以編程方式調(diào)配可將任意工作負(fù)載安置在任意位置可將任意工作負(fù)載移至任意位置與硬件松耦合高效操作網(wǎng)絡(luò)虛擬化抽象層軟件定義的數(shù)據(jù)中心一調(diào)配速度慢安置受限移動(dòng)受限依賴于硬件需要大量操作硬件網(wǎng)絡(luò)…InternetPhysicalNetworkTopology計(jì)算資源….InternetPhysicalNetworkTopology數(shù)據(jù)中心虛擬化層…InternetPhysicalNetworkTopology網(wǎng)絡(luò)虛擬化層Internet網(wǎng)絡(luò)虛擬化層PhysicalNetworkTopology網(wǎng)絡(luò)視角的虛擬機(jī)操作模式Internet網(wǎng)絡(luò)虛擬化層虛擬網(wǎng)絡(luò)軟件容器，如虛機(jī)虛擬網(wǎng)絡(luò)拓?fù)銹hysicalNetworkTopology基于VXLAN的邏輯交換26L2FrameL2FrameVXLAN

HDRUDP

HDROuter

IPHDROuterMACHDRL2Frame源虛擬機(jī)發(fā)送標(biāo)準(zhǔn)的二層幀1源宿主機(jī)(VTEP)

增加VXLAN,UDP&IP包頭封裝2目標(biāo)宿主機(jī)(VTEP)解封裝4物理傳輸網(wǎng)絡(luò)把虛機(jī)的幀當(dāng)作標(biāo)準(zhǔn)的IP包轉(zhuǎn)發(fā)3原始的二層幀送到目標(biāo)虛擬機(jī)5傳輸網(wǎng)CONFIDENTIALInnerDestMACInnerSourceMACOptionalEtherTypeOptionalInner802.1QOriginalEthernetPayload原始以太幀OuterDestMACOuterSourceMACOptionalVXLANTypeOptionalOuter802.1QIPHeaderDataIPProto-colHeaderCheckSumOuterSourceIPSourcePortDestPort(8472)UDPLengthUDPCheckSumVXLANFlagsRSVDVXLANNI(VNI)FCSRSVDVXLAN封裝幀OuterEthernetHeader14bytesOuterIPHeader20bytesOuterUDPHeader8bytesVXLANHeader8bytesEtherTypeOuterDestIP

VXLAN幀結(jié)構(gòu)27VTEPs*IPoverUDPencapsulationCONFIDENTIAL網(wǎng)絡(luò)虛擬化帶來的路徑優(yōu)化網(wǎng)絡(luò)虛擬化帶來的路徑優(yōu)化

－

防火墻VMwareNSX組件控制

面板NSX控制器運(yùn)行態(tài)將虛擬網(wǎng)絡(luò)與物理網(wǎng)絡(luò)解耦獨(dú)立于數(shù)據(jù)路徑高可用數(shù)據(jù)

面板NSXEdgeVDS/OVS虛擬化層擴(kuò)展模塊FirewallDistributedLogicalRouterVXLANNSXvSwitch高可用虛擬機(jī)服務(wù)于南北向流量的數(shù)據(jù)面板路由和高級(jí)服務(wù)智能網(wǎng)絡(luò)邊界線速性能管理

面板NSX管理器單點(diǎn)配置RESTAPI和用戶界面高可用CMP消費(fèi)者自服務(wù)門戶vCAC,vCD,Openstack,Cloudstack,自定義門戶CONFIDENTIAL31

ExternalNetworkVDSGuestVM

Partner

Service1VMDFWFilteringModuleSlot2Slot4TrafficRedirection

ModuleNSX的服務(wù)鏈實(shí)現(xiàn)DVSFiltercontains16slots.Slots0-3and13-16arereservedforVMwareuse.Servicesareassignedtheremainingslotsintheirregistrationorder.Trafficcomesoutofthefirstserviceandisthensenttothenextserviceintheorder.Tochangetheorderoftheservicesintheslots,goto:ServiceDefinition-><SpecificService>->Manage->EditthePropertiestochangethe“Precedence”NetworkSecurityServicesSlot5FilteringModulePartner

Service2VM網(wǎng)絡(luò)虛擬化可以做什么軟硬件分離物理的虛擬的易于復(fù)制，多租戶/多應(yīng)用自動(dòng)化部署和管理網(wǎng)絡(luò)操作云操作獨(dú)立于硬件虛擬化：運(yùn)行便捷終端用戶視角看不到網(wǎng)絡(luò)的變化虛擬的物理的Internet數(shù)據(jù)中心邊界零信任關(guān)系Micro-Segment深度邊界安全硬件網(wǎng)絡(luò)無法完成基于多廠商、多型號(hào)的硬件網(wǎng)絡(luò)設(shè)備構(gòu)建底層網(wǎng)絡(luò)，更低成本，更長生命周期?？缛龑泳W(wǎng)絡(luò)分配虛擬機(jī)資源，構(gòu)建統(tǒng)一的資源池。底層網(wǎng)絡(luò)只提供IP傳輸，相對(duì)穩(wěn)定。上層的虛擬網(wǎng)絡(luò)可以提供多租戶、多應(yīng)用之間的天然隔離，不再需要維護(hù)窗口，虛擬網(wǎng)絡(luò)變更和維護(hù)不影響其他租戶/應(yīng)用。虛擬網(wǎng)絡(luò)和虛擬機(jī)類似，以軟件方式實(shí)現(xiàn)，通過SDN控制器控制，通過云管平臺(tái)集中部署和維護(hù)，提供和虛擬機(jī)相同的交付速度。基于宿主機(jī)虛擬化層的防火墻機(jī)制可以對(duì)任意兩個(gè)虛機(jī)之間做安全防護(hù)?？梢蕴峁┮蕴摂M機(jī)為最小顆粒度的虛擬資源池劃分，以及基于虛擬化環(huán)境變量的防火墻策略?；诙鄶?shù)據(jù)中心構(gòu)建網(wǎng)絡(luò)虛擬化的建設(shè)目標(biāo)&實(shí)現(xiàn)機(jī)制

CONFIDENTIAL33建設(shè)目標(biāo)1

真正硬件無關(guān)、站點(diǎn)無關(guān)的按需小二層網(wǎng)絡(luò)！DistributedLogicalRouter多數(shù)據(jù)中心下的邏輯網(wǎng)絡(luò)(6.2)CONFIDENTIAL35vCwithNSXManagervCwithNSXManagervCwithNSXManagerLogicalSwitchLocalVCInventoryLocalVCInventoryLocalVCInventoryvCenterAvCenterBvCenterCNSXControllerClusterLogicalSwitchNSXControllerClusterNSXControllerClusterDistributedLogicalRouterLogicalSwitchNSX網(wǎng)絡(luò)域、安全域需要跨越多個(gè)站點(diǎn)DistributedLogicalRouterDistributedLogicalRouterLogicalSwitches多數(shù)據(jù)中心下的統(tǒng)一邏輯網(wǎng)絡(luò)的實(shí)現(xiàn)方式：四個(gè)統(tǒng)一（Universal）CONFIDENTIAL36LocalVCInventoryLocalVCInventoryLocalVCInventoryvCenter&NSXManagerAUniversalObjectConfiguration(NSXUI&API)UniversalConfigurationSynchronizationUniversal

ControllerClusterPrimarySecondaryvCenter&NSXManagerBvCenter&NSXManagerHSecondaryUniversalLogical

SwitchesUniversalDistributedLogicalRouterUniversal

DFW跨越多數(shù)據(jù)中心的邏輯網(wǎng)絡(luò)(NSX6.2)全局控制器集群至少三臺(tái)主機(jī)總是在單一站點(diǎn)和VC上運(yùn)行NSXControllers通過全局對(duì)象池來保證全局對(duì)象的的唯一性:保證全局邏輯交換機(jī)VNI的一致性和唯一性保證全局分布式路由器UDLRID的一致性和唯一性全局控制器除了管理全局的網(wǎng)絡(luò)，也負(fù)責(zé)管理每個(gè)數(shù)據(jù)中心內(nèi)的邏輯網(wǎng)絡(luò)和邏輯路由一個(gè)邏輯二層網(wǎng)絡(luò)到底是一個(gè)站點(diǎn)內(nèi)，還是跨越多個(gè)站點(diǎn)，是由他所在的傳輸區(qū)域決定的跨VC的vMotion可以通過全局邏輯交換機(jī)來實(shí)現(xiàn)，也可以通過L2VPN來實(shí)現(xiàn)CONFIDENTIAL37多個(gè)數(shù)據(jù)中心

一個(gè)主站點(diǎn)

和多個(gè)

從屬站點(diǎn)的NSXManagers多數(shù)據(jù)中心下的統(tǒng)一網(wǎng)絡(luò)標(biāo)簽池(VXLANID)多數(shù)據(jù)中心下的全局傳輸區(qū)域多數(shù)據(jù)中心下的統(tǒng)一邏輯交換機(jī)（二層網(wǎng)絡(luò)）多數(shù)據(jù)中心下的統(tǒng)一分布式路由器建設(shè)目標(biāo)2

在多個(gè)數(shù)據(jù)中心統(tǒng)一維護(hù)安全策略！多數(shù)據(jù)中心的分布式防火墻(NSX6.2)NSX6.2支持在主站點(diǎn)上對(duì)全局對(duì)象安全策略的集中管理：通過把防火墻規(guī)則的五元組“應(yīng)用給”一個(gè)全局對(duì)象即可實(shí)現(xiàn)全局對(duì)象的安全規(guī)則，會(huì)自動(dòng)同步給所有的從屬站點(diǎn)全局對(duì)象的配置變更只能在主站點(diǎn)操作，從屬站點(diǎn)只讀權(quán)限inventory目前全局安全策略的五元組規(guī)則，只能基于IP/MAC來編寫，無法基于安全組

資源池名等對(duì)象，因?yàn)闀簳r(shí)缺少全局的Inventory功能支持VXLAN和VLAN的部署環(huán)境跨越VC的vMotion同樣支持安全策略攜帶CONFIDENTIAL44PrimarySecondarySecondarySecondarySecondarySecondarySecondarySecondary多數(shù)據(jù)中心下的統(tǒng)一分布式防火墻45UniversalSectionLocalSection多數(shù)據(jù)中心下的統(tǒng)一分布式防火墻46UniversalDFWRules

SupportedConfigurationObjectsCONFIDENTIALRule-IDSourceDestinationServiceActionAppliedToRule-IDSourceDestinationServiceActionAppliedToL2rules:L3rules:UniversalMACSetUniversalSG(containingUniversalMACSet)GlobalIPSetGlobalSG(containingGlobalIPSet)UniversalLSDFW-only(incaseofVLANbackeddvPg)Note:Rule-ID(32bitformat)isthesameacrossallNSXinstancesUniversalServices(pre-definedanduser-defined)UniversalServices(pre-definedanduser-defined)多數(shù)據(jù)中心下的全局安全組、IP/MACSets&Services的使用方式47全局安全組和數(shù)據(jù)中心內(nèi)部的Local安全組共存建設(shè)目標(biāo)3

多數(shù)據(jù)中心的Egress路由優(yōu)化vCenterServerL3NetworkSiteASiteBVM1VM2VM3UniversalLogical

SwitchAUniversalDistributedLogicalRouterSiteANSX

EdgeGWUplinkNetASiteBNSX

EdgeGWUplinkNetBMulti-SiteEnhancement:LocaleIDNSX6.2引入了一個(gè)新的LocaleID的概念，用來幫助Controller向分布式路由的數(shù)據(jù)平面------每臺(tái)Esxi主機(jī)分發(fā)路由（LocaleID默認(rèn)等于NSXMamager的UUID）如果LocalEgress沒有啟用，該LocaleID會(huì)被分布式路由器忽略當(dāng)啟用了本地出路由優(yōu)化后，

NSXController會(huì)把本站點(diǎn)的Edge上的路由，僅發(fā)送給有匹配的LocaleID的ESXihosts使用每個(gè)站點(diǎn)特定的uplink，每個(gè)站點(diǎn)都有自己特定的北向路由信息，目前支持最大8個(gè)站點(diǎn)的出路由優(yōu)化如果是一個(gè)NSXManager管理多個(gè)站點(diǎn)，可以按照集群、甚至主機(jī)來設(shè)置北向的路由優(yōu)化LocaleID:

NSX-ALocaleID:

NSX-BCONFIDENTIALvCenterServerControlVM

w/LocalEgressControlVM

w/LocalEgress多數(shù)據(jù)中心出站的路由優(yōu)化多數(shù)據(jù)中心出站的路由優(yōu)化:動(dòng)態(tài)路由50UniversalDistributedLogicalRouterPrimary

ControlVME1VCAwithNSXManager(Primary)RouteUpdates

withLocaleIDSiteAPhysical

RoutersUniversalTransit

VXLANUplinkASiteANSXEdge

ServicesGWVCBwithNSXManager(Secondary)Route

Updateswith

LocaleIDPeeringOSPF,BGPE8E1SiteBPhysical

RoutersUniversalTransit

VXLANUplinkBE8Secondary

ControlVMPeeringOSPF,BGPRouteUpdateswithLocaleIDRoute

Updateswith

LocaleIDUCCUniversal

Logical

SwitchesSiteBNSXEdge

ServicesGW多數(shù)據(jù)中心出站的路由優(yōu)化:靜態(tài)路由51UniversalDistributedLogicalRouterE1vCwithNSXManager(Primary)StaticRoutes

withLocaleIDSiteA

Physical

RoutersUniversalTransit

VXLANUplinkASiteBNSXEdge

ServicesGWHAE1SiteASiteB

Physical

RoutersUniversalTransit

VXLANUplinkBNSXEdge

ServicesGWHAStaticRoutes

withLocaleIDRoute

Updateswith

LocaleIDRoute

Updateswith

LocaleIDUniversal

ControllerClusterPrimary

ControlVMLocaleID:

Site-ALocaleID:

Site-BUniversal

Logical

Switches多數(shù)據(jù)中心之后云平臺(tái)的整體能力提升

CONFIDENTIAL52DistributedLogicalRouter真正的按需“小二層”，Controller可以實(shí)現(xiàn)站點(diǎn)之間的“高可用”CONFIDENTIAL53vCwithNSXManagervCwithNSXManagervCwithNSXManagerLocalVCInventoryLocalVCInventoryLocalVCInventoryvCenterAvCenterBvCenterCNSXControllerClusterLogicalSwitchNSX網(wǎng)絡(luò)域、安全域需要跨越多個(gè)站點(diǎn)，站點(diǎn)之間最大延遲支持100ms以上多數(shù)據(jù)中心按業(yè)務(wù)的路由自定義：不同業(yè)務(wù)走不同出口54UniversalDistributedLogicalRouterPrimary

ControlVME1VCAwithNSXManager(Primary)RouteUpdates

withLocaleIDSiteAPhysical

RoutersUniversalTransit

VXLANUplinkASiteANSXEdge

ServicesGWVCBwithNSXManager(Secondary)Route

Updateswith

LocaleIDPeeringOSPF,BGPE8E1SiteBPhysical

RoutersUniversalTransit

VXLANUplinkBE8Secondary

ControlVMPeeringOSPF,BGPRouteUpdateswithLocaleIDRoute

Updateswith

LocaleIDUCCUniversal

Logical

SwitchesSiteBNSXEdge

ServicesGWPrimaryVMs災(zāi)備網(wǎng)絡(luò)能力提升/24/28/24/28NoNetworkReaddressing(DynamicRouting)VXLANVXLANVLANVLANvCenter+SRMvCenter+SRMDynamicRouting(OSPF,BGP)PrimaryVMsPlaceholderVMsDistributedLogicalRouterDistributedLogicalRouterDynamicRouting(OSPF,BGP)SG-Prod-01SG-Dev-01SG-Prod-01SG-Dev-01SiteANSXEdgeGWSiteBNSXEdgeGW雙活數(shù)據(jù)中心能力提升56CONFIDENTIALvCenterSRMvCenterSRMPrimaryVMsSG-Prod-01PlaceholderVMs(SRMProtected)Active-ActivePairActive-ActivePairSG-Prod-01Non-SRMProtectedNon-SRMProtectedActive數(shù)據(jù)中心Active數(shù)據(jù)中心ReplicationUniversalLogicalSwitchUniversalDistributedLogicalRouterUniversalDFWUniversalDFWSiteAESGLocalEgressLocalEgressSiteBESGMasterNSXManagerUniversalControllerClusterSecondaryNSXManager遠(yuǎn)距離vMotion橫跨大陸的距離—需求

100毫秒的RTT250Mb帶寬標(biāo)準(zhǔn)vMotion或者SharedNothingvMotion需求場景：災(zāi)難規(guī)避、永久搬遷

云平臺(tái)下以應(yīng)用為中心的統(tǒng)一的存儲(chǔ)策略管理虛擬化為實(shí)現(xiàn)面向應(yīng)用的存儲(chǔ)自動(dòng)化提供了有利條件vSphere虛擬化層是驅(qū)動(dòng)自動(dòng)化的最佳位置：實(shí)時(shí)了解所有應(yīng)用的存儲(chǔ)資源需求直接掌控?cái)?shù)據(jù)通路有底層存儲(chǔ)系統(tǒng)的全局視圖可自動(dòng)化配置存儲(chǔ)硬件無關(guān)59All-SSDHybridServerSANVMware實(shí)現(xiàn)軟件定義存儲(chǔ)的方案60新的控制平面從以硬件為中心向應(yīng)用為中心轉(zhuǎn)變新的數(shù)據(jù)平面從專用硬件向

業(yè)界標(biāo)準(zhǔn)硬件轉(zhuǎn)變軟件定義存儲(chǔ)當(dāng)今的存儲(chǔ)策略驅(qū)動(dòng)的自動(dòng)化跨陣列統(tǒng)一管理動(dòng)態(tài)控制VVOL與ServerSAN閃存加速分布式架構(gòu)軟件定義存儲(chǔ)解決方案的三大要點(diǎn)61vSphereVSAN-分布式存儲(chǔ)基于存儲(chǔ)策略的管理VMware軟件定義存儲(chǔ)解決方案VVOL-整合獨(dú)立的外部存儲(chǔ)支持VVOL的存儲(chǔ)設(shè)備“三網(wǎng)融合+”

統(tǒng)一的存儲(chǔ)策略管理方案發(fā)布的功能快照復(fù)制重復(fù)數(shù)據(jù)消除加密概覽無文件系統(tǒng)ESX通過VASA(vSphereAPIforStorageAwareness)API管理陣列陣列以邏輯方式分區(qū)為多個(gè)容器，稱為存儲(chǔ)容器虛擬機(jī)磁盤（名為VirtualVolumes）以本機(jī)形式存儲(chǔ)在存儲(chǔ)容器中。從ESX到陣列的IO通過名為協(xié)議端點(diǎn)(PE)的訪問點(diǎn)傳輸將數(shù)據(jù)服務(wù)的負(fù)載分流至陣列通過基于存儲(chǔ)策略的管理框架進(jìn)行管理vSphere基于存儲(chǔ)策略的管理VirtualVolumes存儲(chǔ)策略容量可用性性能數(shù)據(jù)保護(hù)安全性PEVASA提供程序PE解決方案5：

云平臺(tái)下統(tǒng)一的業(yè)務(wù)連續(xù)性、多活解決方案虛擬化極大地簡化了業(yè)務(wù)連續(xù)性解決方案64資源整合封裝硬件無關(guān)所有與系統(tǒng)相關(guān)的信息都存儲(chǔ)在磁盤數(shù)據(jù)中可以通過數(shù)據(jù)保護(hù)工具來保護(hù)整個(gè)系統(tǒng)可靠地將虛擬機(jī)恢復(fù)到任何硬件容災(zāi)站點(diǎn)可以采用低端設(shè)備減少生產(chǎn)端和容災(zāi)端的硬件需求在容災(zāi)端可以采用較高的整合比

65類別關(guān)鍵應(yīng)用，核心應(yīng)用二三級(jí)應(yīng)用非生產(chǎn)應(yīng)用解決方案Active-ActiveDCVMReplication

RecoveryManagerVMReplication

DataProtectionSLARPO=0

RTO<3MinsRPO<15Mins

RTO<1HoursRPO<15Mins

RTODependent應(yīng)用場景BC,DA,DRDA,DRDA,DR(Manually)需求條件Layer2Network,RTT<200ms

StorageVirtualizationLayer2/3Network

AnyDist.

AnyStorageDevicesLayer2/3Network

AnyDist.

AnyStorageDevices管理工作量LowMiddleHigh成本HighMiddleLow基于業(yè)務(wù)的需求選擇合適的解決方案vSphere6.0VMwareFaultTolerance66可保護(hù)在任何操作系統(tǒng)中運(yùn)行的高性能關(guān)鍵任務(wù)應(yīng)用；無需進(jìn)行特定于應(yīng)用的管理和學(xué)習(xí)持續(xù)可用性—基礎(chǔ)架構(gòu)出現(xiàn)故障時(shí)不會(huì)造成停機(jī)和數(shù)據(jù)丟失；不會(huì)中斷TCP連接全自動(dòng)響應(yīng)優(yōu)勢(shì)增強(qiáng)的虛擬磁盤格式支持能夠熱配置FT大大提高的FT主機(jī)兼容性其他的新功能特性ESXiESXi快速檢查點(diǎn)操作同步主虛擬機(jī)輔助虛擬機(jī)4個(gè)虛擬CPU4個(gè)虛擬CPU主虛擬機(jī)即時(shí)故障切換同城站點(diǎn)B同城站點(diǎn)A同城雙活數(shù)據(jù)中心解決方案——城域存儲(chǔ)集群(vMSC)67需求條件數(shù)據(jù)中心距離小于100公里，具備裸光纖鏈路通過二層IP網(wǎng)絡(luò)連接兩個(gè)數(shù)據(jù)中心，BW>250M，RTT<100ms.可通過NSX或傳統(tǒng)大二層網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)采用存儲(chǔ)虛擬化技術(shù)提供數(shù)據(jù)同步服務(wù)(RTT<5ms)存儲(chǔ)支持FC,iSCSI,NFS等類型如EMCVPLEX,NetAppMetroCluster,HPLeftHand,IBMSVC利用VSAN實(shí)現(xiàn)存儲(chǔ)的跨數(shù)據(jù)中心鏡像第三站點(diǎn)提供仲裁服務(wù)VMware相關(guān)產(chǎn)品與服務(wù)vSphereEnt+NSX網(wǎng)絡(luò)虛擬化專業(yè)服務(wù)跨數(shù)據(jù)中心集群vCenter1仲裁站點(diǎn)C控制器控制器異地(同城)災(zāi)備解決方案68需求條件通過二層或三層IP網(wǎng)絡(luò)連接兩個(gè)數(shù)據(jù)中心采用基于vSphere或陣列的復(fù)制技術(shù)vSphere內(nèi)置復(fù)制功能免費(fèi)，RPO=15分鐘-24小時(shí)，文件級(jí)一致性，虛擬機(jī)級(jí)別顆粒度支持異構(gòu)存儲(chǔ)，vCenter直接管理陣列復(fù)制功能由合作伙伴提供，需額外購買支持同步或異步復(fù)制，應(yīng)用級(jí)一致性，LUN級(jí)別顆粒度VMware相關(guān)產(chǎn)品與服務(wù)vSphereEnt+vCenterSiteRecoveryManagerVSAN專業(yè)服務(wù)vSpherevCenterServerSiteRecoveryManager生產(chǎn)站點(diǎn)服務(wù)器陣列

復(fù)制vSphere復(fù)制vSpherevCenterServerSiteRecoveryManager災(zāi)備站點(diǎn)服務(wù)器同城雙活數(shù)據(jù)中心解決方案——利用SRM管理負(fù)載69擴(kuò)展的存儲(chǔ)站點(diǎn)1集群vCenterSRMESXiESXiESXi站點(diǎn)2集群ESXiESXiESXiVolumeAatSite1(FullR/Waccess)VolumeAatSite2(FullR/Waccess)SRMvCenter擴(kuò)展的

二層網(wǎng)絡(luò)方案特點(diǎn)兩站點(diǎn)有各自管理服務(wù)器SRM具備站點(diǎn)感知能力可制定詳細(xì)的測(cè)試與恢復(fù)計(jì)劃自動(dòng)執(zhí)行測(cè)試與恢復(fù)計(jì)劃提供全面業(yè)務(wù)連續(xù)性保護(hù)的基礎(chǔ)架構(gòu)平臺(tái)70一個(gè)平臺(tái)：采用標(biāo)準(zhǔn)技術(shù)，統(tǒng)一資源調(diào)度，統(tǒng)一管理

高可用容錯(cuò)遷移存儲(chǔ)遷移備份復(fù)制快照

關(guān)鍵應(yīng)用二三級(jí)應(yīng)用開發(fā)/測(cè)試數(shù)據(jù)庫教學(xué)/科研同城雙活異地災(zāi)備兩地三中心數(shù)據(jù)中心遷移解決方案6：

云平臺(tái)下具備自服務(wù)能力的自動(dòng)化運(yùn)維和運(yùn)營“三網(wǎng)融合+”下分權(quán)分域的運(yùn)維監(jiān)控管理問題描述解決方案通過VCOPS6的權(quán)限管理，以資源池、集群為單位為多個(gè)客戶、租戶分配管理權(quán)限，實(shí)現(xiàn)云網(wǎng)管的多租戶每個(gè)業(yè)務(wù)、每個(gè)項(xiàng)目需要有自己的監(jiān)控界面大規(guī)模環(huán)境的私有云，重要業(yè)務(wù)需要重要業(yè)務(wù)的PM、平臺(tái)維護(hù)人員對(duì)平臺(tái)可用性、性能自行自服務(wù)性質(zhì)的監(jiān)控可配置的基本的自服務(wù)操作能力創(chuàng)建多用戶給用戶分配對(duì)象和權(quán)限：指定VCOP用戶只能在一個(gè)資源池的權(quán)限資源池的統(tǒng)一監(jiān)控頁面,可以設(shè)置以資源池單位的告警展現(xiàn)針對(duì)具體的告警進(jìn)行“RootCause”分析77根據(jù)“RootCause”分析的結(jié)果進(jìn)行“建議操作”78進(jìn)行建議操作后CPU“告警”消失總結(jié)：大部分虛擬機(jī)層面的運(yùn)維操作完全可以在統(tǒng)一運(yùn)維管理平臺(tái)中統(tǒng)一完成2025/2/1679可以支持自定義的Python腳本實(shí)現(xiàn)更高級(jí)的自定義自助式用戶界面減少了對(duì)物理拓?fù)浜驮乒芾韱T的依賴“三網(wǎng)融合+”云管理員項(xiàng)目管理員VMwarevSphere自助式用戶界面自定義自己的網(wǎng)絡(luò)拓?fù)渥远x自己的存儲(chǔ)策略自定義自己的計(jì)算資源池自定義自己的容災(zāi)、備份和演練VMwarevCloudDirector&Agenda1什么是“多站點(diǎn)數(shù)據(jù)中心融合+”2多數(shù)據(jù)中心融合的技術(shù)難點(diǎn)3VMware多數(shù)據(jù)中心融合+解決方案4案例分享CONFIDENTIAL81遼寧移動(dòng)三網(wǎng)融合總體思想與建設(shè)原則總體思想IT資源軟硬分離，形成云計(jì)算基礎(chǔ)架構(gòu)體系B/M/O域網(wǎng)絡(luò)融合，構(gòu)建統(tǒng)一IT網(wǎng)絡(luò)架構(gòu)構(gòu)建統(tǒng)一安全運(yùn)維管理體系組織架構(gòu)趨向扁平化管理建設(shè)原則要求小型機(jī)應(yīng)用必須遷移至x86優(yōu)先考慮部署到虛擬化云平臺(tái)上除核心數(shù)據(jù)庫等應(yīng)用外，其它全部實(shí)現(xiàn)資源池云化云計(jì)算資源池遼寧移動(dòng)X86云資源池業(yè)務(wù)系統(tǒng)現(xiàn)狀資源池(2000+VMs/300+服務(wù)器)BSS(30+VMs)渠道客服營業(yè)BOSS計(jì)費(fèi)經(jīng)分CRMBASS綜合監(jiān)控話務(wù)數(shù)據(jù)4A傳輸性能OSS(1200+VMs)采購統(tǒng)一信息創(chuàng)新管理集團(tuán)ERPMSS(160+VMs)GIS手機(jī)導(dǎo)航12585車務(wù)通LBS(600+VMs)改造難點(diǎn)與解決辦法1.BSS/MSS/OSS全部納入資源池，安全管理策略如何考慮？云資源池內(nèi)VLAN隔離采用虛擬化防火墻2.原來三層物理網(wǎng)絡(luò)架構(gòu)需要如何改造？統(tǒng)一接入大二層核心仍用三層3.雙活中心技術(shù)上如何實(shí)現(xiàn)？網(wǎng)絡(luò)虛擬化，二層隧道技術(shù)脫離IP+Mac地址訪問方式4.小機(jī)上的業(yè)務(wù)如何改造才能遷移至云資源池？拆分應(yīng)用，多實(shí)例化分布式處理5.云資源都集中在共享存儲(chǔ)，業(yè)務(wù)集中帶來風(fēng)險(xiǎn)增高，如何解決？采用存儲(chǔ)虛擬化，分散存儲(chǔ)風(fēng)險(xiǎn)采用SSD盤緩存保證IOPS性能實(shí)現(xiàn)云平臺(tái)級(jí)別的容災(zāi)和數(shù)據(jù)保護(hù)遼寧移動(dòng)三網(wǎng)融合現(xiàn)網(wǎng)架構(gòu)OSS、MSS、BSS、IT共處云資源池之內(nèi)通過VLAN隔離，防火墻虛擬分區(qū)浙江公司私有云管理平臺(tái)公司私有云平臺(tái)包括兩大資源池：網(wǎng)管資源池部署自有業(yè)務(wù)系統(tǒng)與網(wǎng)管支撐系統(tǒng)；支撐資源池部署業(yè)務(wù)支撐系統(tǒng)與管理信息系統(tǒng)。支撐資源池中的資源應(yīng)能通過資源池管理平臺(tái)實(shí)施統(tǒng)一的配置、監(jiān)控、調(diào)度和回收等管理，對(duì)外以服務(wù)的方式提供IT資源。支撐資源池中可以包括多個(gè)資源池類型，不同類型的資源池具有不同的定位和用途。不同類型資源池可以包含一個(gè)或多個(gè)節(jié)點(diǎn)，節(jié)點(diǎn)之間可以是負(fù)荷分擔(dān)或相對(duì)獨(dú)立(根據(jù)資源池類型規(guī)劃)，同一個(gè)節(jié)點(diǎn)內(nèi)部的資源應(yīng)能供多個(gè)應(yīng)用或一個(gè)應(yīng)用的多個(gè)模塊共享。私有云管理平臺(tái)網(wǎng)管資源池支撐資源池Network/HostsDiagram１、核心系統(tǒng)：同時(shí)在兩個(gè)節(jié)點(diǎn)配置資源,每個(gè)核心系統(tǒng)獨(dú)享所分配到的資源，雙節(jié)點(diǎn)均配置為高可用——部署在專用資源池2、重要系統(tǒng)：在單個(gè)節(jié)點(diǎn)配置資源，每個(gè)重要系統(tǒng)獨(dú)享所分配到的資源，單節(jié)點(diǎn)配置為高可用——部署在通用資源池3、一般系統(tǒng)：在單個(gè)節(jié)點(diǎn)配置資源，允許多個(gè)系統(tǒng)共享同一物理資源域（物理資源域根據(jù)各IT系統(tǒng)所需業(yè)務(wù)域劃分）不做高可用設(shè)置——部署在通用資源池Vmware在浙江移動(dòng)IT資源池支撐的應(yīng)用和分析序號(hào)項(xiàng)目運(yùn)行vmware虛擬化的物理機(jī)器數(shù)量說明1統(tǒng)一開通18已完成2移動(dòng)營業(yè)廳4已完成3渠道協(xié)同34已完成4統(tǒng)一支付網(wǎng)關(guān)8外部小系統(tǒng)5互聯(lián)網(wǎng)4外部小系統(tǒng)6遠(yuǎn)程寫卡8已完成7CRM應(yīng)用能力提升34已完成8終端管理二期18外部小系統(tǒng)9Verint3外部小系統(tǒng)10OA系統(tǒng)12外部小系統(tǒng)11積分聯(lián)盟2外部小系統(tǒng)

合計(jì)145另外，浙江移動(dòng)的重要的項(xiàng)目服務(wù)接口總線采用oracleESB部署到vmware平臺(tái)上。云平臺(tái)能力和應(yīng)用需求映射vmware產(chǎn)品功能特性web服務(wù)器中間件服務(wù)器接口服務(wù)器數(shù)據(jù)庫服務(wù)器ThinProvisioning***

UpdataManager

HighAvailability***

DataProtection****vMotion***

熱添加****FaultTolerance

*

StoragevMotion***

vSphereReplication****vShieldEndpoint

vShieldZones

虛擬串行端口集中器

vStorageAPI

DirtributedResourcesScheduler(DRS)*

*

*

DisritbutedPowerManagement(DPM)*

DistirbutedSwitch

I/O控制（網(wǎng)絡(luò)和存儲(chǔ)）

*

*

*

主機(jī)配置文件和AutoDeploy

StorgeDRS

配置文件驅(qū)動(dòng)的存儲(chǔ)

*SR-IOV

資源池****vAPP***

SRM(容災(zāi)）

*網(wǎng)卡和存儲(chǔ)的多路徑****浙江電信業(yè)務(wù)平臺(tái)云資源池90浙江電信業(yè)務(wù)云計(jì)算資源池有兩個(gè)節(jié)點(diǎn)：紹興輕紡城節(jié)點(diǎn)，金華城南節(jié)點(diǎn)。計(jì)算資源：400余臺(tái)X86服務(wù)器；存儲(chǔ)資源：1PB；網(wǎng)絡(luò)資源：各類網(wǎng)絡(luò)設(shè)備40余臺(tái)。部署實(shí)施NSX之前已經(jīng)全面通過部署VCNS的vShieldApp實(shí)現(xiàn)了大二層之后的東西向隔離面臨的主要問題是：1.二層過大，一旦出現(xiàn)問題后影響面廣2.之前通過IRF的解決方案實(shí)現(xiàn)大二層，擴(kuò)展能力較差（2對(duì)2個(gè)站點(diǎn)，2個(gè)站點(diǎn)之間要求高帶寬、低延遲）3.缺少分布式路由的能力4.缺少自定義網(wǎng)絡(luò)的能力5.需要適應(yīng)虛擬化的“自定義小二層”CONFIDENTIAL91浙江電信NSX物理主機(jī)設(shè)計(jì)92CONFIDENTIAL管理節(jié)點(diǎn)：金華計(jì)算節(jié)點(diǎn)：紹興Edge出口節(jié)點(diǎn)：紹興浙江電信NSX物理網(wǎng)絡(luò)設(shè)計(jì)93CONFIDENTIAL充分利用浙江電信現(xiàn)有網(wǎng)絡(luò)架構(gòu)（UCS刀片交換機(jī)不具備三層能力），設(shè)計(jì)NSX的承載網(wǎng)絡(luò)。網(wǎng)絡(luò)虛擬化平臺(tái)現(xiàn)狀管理集群:3臺(tái)管理主機(jī)AD服務(wù)器一臺(tái)，數(shù)據(jù)庫一臺(tái)，vCenter一套。NSX管理器一臺(tái)，NSX控制器三臺(tái)。邊界集群:2臺(tái)邊界網(wǎng)關(guān)主機(jī)運(yùn)行邊界路由器(Edge)和分布式路由控制器（DLR）。VDS兩個(gè)，分別承載VXLAN和邊界網(wǎng)關(guān)上聯(lián)流量。94承載的業(yè)務(wù)平臺(tái)–天翼閱讀應(yīng)用系統(tǒng)遷移天翼閱讀系統(tǒng)的遷移，環(huán)境包括：計(jì)算集群:26臺(tái)計(jì)算主機(jī)，由vCNS環(huán)境遷移至NSX環(huán)境。完成遷移的業(yè)務(wù)虛擬機(jī)：268臺(tái)。遷移的業(yè)務(wù)網(wǎng)絡(luò)數(shù)量：2個(gè)VLAN。VLAN

700：已遷移并在VXLAN上穩(wěn)定運(yùn)行。VLAN

701：目前使用VLAN承載。未來向VXLAN進(jìn)行遷移。95使用NSX二層橋接功能進(jìn)行業(yè)務(wù)VM的遷移CONFIDENTIAL96根據(jù)VMware最佳實(shí)踐，通過將VLAN網(wǎng)絡(luò)割接至VXLAN，實(shí)現(xiàn)業(yè)務(wù)網(wǎng)絡(luò)的抽象化，為將來業(yè)務(wù)的快速擴(kuò)展鋪平道路。通過使用邏輯交換機(jī)和邏輯路由器，優(yōu)化網(wǎng)絡(luò)流量。邊界網(wǎng)關(guān)設(shè)計(jì)為內(nèi)部地址通過默認(rèn)路由路由方式對(duì)外建立連接。網(wǎng)關(guān)使用靜態(tài)路由將需要訪問內(nèi)部的流量向Edge傳輸，后者通過OSPF獲得路由進(jìn)行數(shù)據(jù)包分發(fā)。Edge上聯(lián)口僅需配置點(diǎn)對(duì)點(diǎn)傳輸接口即可，配置簡便。規(guī)劃中還提供另一種可選的邊界網(wǎng)關(guān)服務(wù)方式，即內(nèi)部地址僅在Edge內(nèi)部使用，對(duì)外使用NAT的方式進(jìn)行通信。外部VLAN在Edge上聯(lián)口終止。外部網(wǎng)關(guān)設(shè)備無需額外路由配置。該設(shè)計(jì)提供了另一種靈活的網(wǎng)關(guān)服務(wù)提供方式，未來計(jì)劃選用這種模式，不再使用物理的NAT和LB。VDS-UplinkVLAN16PhysicalGatewayOSPFDefaultGatewayVXLAN

5000(VLAN700)VXLAN

5003Edge-TYYD-70XDLR-TYYD-70X浙江電信NSX邏輯網(wǎng)絡(luò)設(shè)計(jì)靜態(tài)路由orNAT+直連路由97后期規(guī)劃：虛擬網(wǎng)絡(luò)組網(wǎng)邏輯架構(gòu)：EDGE和DLR設(shè)計(jì)成租戶獨(dú)享，也即業(yè)務(wù)平臺(tái)獨(dú)享。業(yè)務(wù)平臺(tái)之間（租戶之間）獨(dú)立，網(wǎng)段完全自己分配，允許重疊。租戶EDGE，DLR,VXLAN均由管理平臺(tái)根據(jù)用戶需求自動(dòng)創(chuàng)建，創(chuàng)建第一臺(tái)虛機(jī)時(shí)，實(shí)例化網(wǎng)絡(luò)，屏蔽網(wǎng)絡(luò)創(chuàng)建及配置的復(fù)雜性。98每個(gè)業(yè)務(wù)平臺(tái)組網(wǎng)邏輯架構(gòu)：通過使用邏輯交換機(jī)和邏輯路由器，優(yōu)化網(wǎng)絡(luò)流量使用EDGE提供NAT、南北向流量的防火墻控制、公網(wǎng)IP申請(qǐng)、負(fù)載均衡等服務(wù)，使用分布式防火墻提供東西向流量的防火墻服務(wù)，使用云管理平臺(tái)的虛擬路由器（VR）提供DHCP和DNS服務(wù)內(nèi)部地址僅在Edge內(nèi)部使用，對(duì)外使用NAT的方式進(jìn)行通信。外部VLAN在Edge上聯(lián)口終止。外部網(wǎng)關(guān)設(shè)備無需額外路由配置如業(yè)務(wù)平臺(tái)需要多個(gè)外網(wǎng)出口（163,CN2,DCN），需要相應(yīng)增加Edge的上鏈口、綁定地址池，并配置上行路由?；贒FW的東西向訪問控制優(yōu)勢(shì)：東西向ACL控制通過分布式防火墻（DFW）進(jìn)行控制，基于資源池、安全組等邏輯對(duì)象來進(jìn)行控制管理IP、vMotionIP和可能存在的存儲(chǔ)IP地址，還采用傳統(tǒng)的VLAN方案+ACL方案，但是種類和地址段的增加都大大降低了DFW中常見的ACL訪問規(guī)則寫法：方案1（單獨(dú)vCenter）：Allow業(yè)務(wù)平臺(tái)A(業(yè)務(wù)平臺(tái)A,Ｂ，Ｃ，Ｄ)；Allow業(yè)務(wù)平臺(tái)Aoutsideof(虛擬數(shù)據(jù)中心)……最后加上：BlockAny浙江電信NSX二期項(xiàng)目自服務(wù)云平臺(tái)創(chuàng)建VPC應(yīng)用用戶ACL規(guī)則到子網(wǎng)配置負(fù)載均衡服務(wù)接口示例（一）創(chuàng)建VPC創(chuàng)建連接SG與LR的LogicSwitch創(chuàng)建LR和SG用LogicalSwitch連接LR和SG配置LR和SG默認(rèn)防火墻規(guī)則配置默認(rèn)網(wǎng)關(guān)、OSPF路由配置HA每步都需要調(diào)用NSXAPI實(shí)現(xiàn)接口示例（二）應(yīng)用用戶ACL規(guī)則到子網(wǎng)在分布式防火墻中創(chuàng)建此子網(wǎng)的規(guī)則段（Section）將ACL規(guī)則更新到此Section接口示例（三）配置負(fù)載均衡服務(wù)獲取SG的負(fù)載均衡設(shè)置獲取SG的防火墻設(shè)置配置ApplicationProfile、Pool、VirtualServer等在SG防火墻配置規(guī)則允許負(fù)載均衡服務(wù)IP和相應(yīng)端口被訪問104通過VxLAN可以自定義小二層網(wǎng)絡(luò)，避免大二層網(wǎng)絡(luò)問題的同時(shí)避免計(jì)算資源孤島，并且實(shí)現(xiàn)了可擴(kuò)展的多租戶網(wǎng)絡(luò)，可以由租戶自管理和自配置以業(yè)務(wù)平臺(tái)（租戶）為單位實(shí)現(xiàn)路由，負(fù)載均衡，NAT和防火墻功能，由此達(dá)到網(wǎng)絡(luò)資源池的二次隔離和封裝的目的，用以實(shí)現(xiàn)任何一個(gè)業(yè)務(wù)平臺(tái)的網(wǎng)絡(luò)變更、割接都不會(huì)對(duì)其他業(yè)務(wù)和大網(wǎng)造成影響。分布式路由功能的引入，大大減輕資源池核心交換機(jī)的流量壓力和配置的復(fù)雜性，優(yōu)化了東西向數(shù)據(jù)流，也為以業(yè)務(wù)為單位的QoS及SLA定義提供了便捷。資源池多層次的安全控制，包括資源池東西向流量安全和南北向進(jìn)出流量安全，可以根據(jù)各業(yè)務(wù)平臺(tái)需求，靈活選擇通過純軟或軟、硬結(jié)合的防火墻實(shí)現(xiàn)。把數(shù)據(jù)中心內(nèi)虛擬網(wǎng)絡(luò)和物理網(wǎng)絡(luò)真正解耦，實(shí)現(xiàn)數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)硬件無關(guān)性實(shí)施效果概述：四川移動(dòng)音樂基地NSX部署案例CONFIDENTIAL105部署目的本次部署的主要目的是為了讓用戶更好的了解VMwareNSX的架構(gòu)及功能，驗(yàn)證采用NSX為云平臺(tái)實(shí)現(xiàn)SDN的可行性。同時(shí)為咪咕音樂公司在關(guān)鍵業(yè)務(wù)云化的項(xiàng)目中采用VMwareNSX網(wǎng)絡(luò)虛擬化解決方案積累故障處理經(jīng)驗(yàn)，為后期NSX運(yùn)維提供服務(wù)保障。本次部署也驗(yàn)證了VMwareNSX的邏輯網(wǎng)絡(luò)組件（邏輯交換機(jī)、邏輯路由器、邏輯防火墻、邏輯負(fù)載平衡器、SSLVPN等）的主要功能。部署目的本次部署的主要目的是為了讓用戶更好的了解VMwareNSX的架構(gòu)及功能，驗(yàn)證采用NSX為云平臺(tái)實(shí)現(xiàn)SDN的可行性。同時(shí)為咪咕音樂公司在關(guān)鍵業(yè)務(wù)云化的項(xiàng)目中采用VMwareNSX網(wǎng)絡(luò)虛擬化解決方案積累故障處理經(jīng)驗(yàn)，為后期NSX運(yùn)維提供服務(wù)保障。本次部署也驗(yàn)證了VMwareNSX的邏輯網(wǎng)絡(luò)組件（邏輯交換機(jī)、邏輯路由器、邏輯防火墻、邏輯負(fù)載平衡器、SSLVPN等）的主要功能。部署業(yè)務(wù)：賬號(hào)管理、產(chǎn)品制作、合同系統(tǒng)等約200個(gè)VM部署環(huán)境108說明：

Mgmt-Edge集群組成節(jié)點(diǎn)為41，47，53三臺(tái)，位于N09,N08,N07三個(gè)不同的機(jī)架。vCloud1-HP385G8計(jì)算集群組成節(jié)點(diǎn)為剩余的所有27臺(tái)主機(jī)。NSX部署環(huán)境由30臺(tái)HP385Gen8服務(wù)器組成的兩個(gè)集群，分別為管理集群：Mgmt-Edge，由3臺(tái)主機(jī)構(gòu)成；計(jì)算集群：vCloud1-HP385G8，由27臺(tái)主機(jī)構(gòu)成，在每臺(tái)服務(wù)器上安裝VMware的ESXi6.0。部署環(huán)境-管理集群網(wǎng)絡(luò)配置拓?fù)?09部署環(huán)境-計(jì)算集群網(wǎng)絡(luò)配置拓?fù)?10NSX邏輯拓?fù)?000LS-Mgmt5001LS-DLR-Edge15003LS-ZHGLVTEP8Esxi-230.5818VTEP0Esxi-230.6010VTEP1Esxi-230.6111VTEP2Esxi-230.6212VTEP1Esxi-230.4111VTEP7Esxi-230.4717VTEP3Esxi-230.5313Compute-ClustervDS-Compute-VTEPEdge&Mgmt-ClustervDS-Edge-VTEPTransport

Zone：Migu-TZDLR-1140.13140.14140.11140.12Edge-1Client-110Client-111交換機(jī)名稱廠商用途12518-1華三核心交換（生產(chǎn)）12518-2華三核心交換（生產(chǎn)）9306-1華為管理網(wǎng)絡(luò)接入9306-2華為管理網(wǎng)絡(luò)接入vSwitch0VMware管理網(wǎng)絡(luò)vDS-VSAN1VMware計(jì)算集群vSAN網(wǎng)絡(luò)vDS-VSAN2VMwareEdge集群vSAN網(wǎng)絡(luò)vDS-ComputeVMware計(jì)算集群生產(chǎn)網(wǎng)絡(luò)vDS-EdgeVMwareEdge集群網(wǎng)絡(luò)端口組名稱Vlan

ID所屬交換機(jī)上聯(lián)網(wǎng)卡負(fù)載均衡策略所屬集群VM-Mgmt0vSwitch00,1A/P

(A0,P1)Mgmt-EdgeManagement

Network0vSwitch00,1A/P

(A0,P1)Mgmt-EdgeVM

Network0vSwitch00,1A/P(A0,P1)vCloud1-HP385G8vSAN-Edge3601vDS-VSAN-Edge6,7LACP(Src

IP)Mgmt-EdgevSAN13600vDS-VSAN16,7LACP(Src

IP)vCloud1-HP385G8VTEP-Edge3502vDS-Edge-VTEP2,3A/P(A2,P3)Mgtm-EdgeVTEP13501vDS-Compute-VTEP1,2,3,4LACP(Src

IP)vCloud1-HP385G8Edge-13511vDS-Edge4,5A/P(A4,P5)Mgmt-EdgeEdge-23512VDS-Edge4,5A/P(A4,P5)Mgmt-EdgeIP

PoolRangeNetMaskGatewayNSX-ControllerIPPool05-07VTEP-Edge1-3VTEP-12-0N09Mgmt&vMotionFT【3599】vSAN【3600】VTEP【3501】集群1ESXi-230-411172.16.18.411【3601】1【3502】Mgmt-Edge2ESXi-230-422172.16.18.42172.16.16.422vCloud1-HP385G83ESXi-230-433172.16.18.43172.16.16.433vCloud1-HP385G84ESXi-230-444172.16.18.4444vCloud1-HP385G85ESXi-230-455172.16.18.4555vCloud1-HP385G86ESXi-230-466172.16.18.4666vCloud1-HP385G8N08Mgmt&vMotionFTvSANVTEP1ESXi-230-477172.16.18.47172.16.17.47【3601】7【3502】Mgmt-Edge2ESXi-230-488172.16.18.4888vCloud1-HP385G83ESXi-230-499172.16.18.4999vCloud1-HP385G84ESXi-230-500172.16.18.5000vCloud1-HP385G85ESXi-230-511172.16.18.5111vCloud1-HP385G86ESXi-230-522172.16.18.5222vCloud1-HP385G8R07Mgmt&vMotionFTvSANVTEP1ESXi-230-533172.16.18.53172.16.17.53【3601】3【3502】Mgmt-Edge2ESXi-230-544172.16.18.5444vCloud1-HP385G83ESXi-230-555172.16.18.5555vCloud1-HP385G84ESXi-230-566172.16.18.5666vCloud1-HP385G85ESXi-230-577172.16.18.5777vCloud1-HP385G86ESXi-230-588172.16.18.5888vCloud1-HP385G8R06Mgmt&vMotionFTvSANVTEP1ESXi-230-599172.16.18.5999vCloud1-HP385G82ESXi-230-600172.16.18.6000vCloud1-HP385G83ESXi-230-611172.16.18.6111vCloud1-HP385G84ESXi-230-622172.16.18.6222vCloud1-HP385G85ESXi-230-633172.16.18.6333vCloud1-HP385G86ESXi-230-644172.16.18.6444vCloud1-HP385G8R05Mgmt&vMotionFTvSANVTEP1ESXi-230-655172.16.18.6555vCloud1-HP385G82ESXi-230-666172.16.18.6666vCloud1-HP385G83ESXi-230-677172.16.18.6777vCloud1-HP385G84ESXi-230-688172.16.18.6888vCloud1-HP385G85ESXi-230-699172.16.18.6999vCloud1-HP385G86ESXi-230-700172.16.18.7000vCloud1-HP385G8H3C-12518

VLAN表IPGateWay備注vSAN-13600172.16.16.x/24EnableIGMPvSAN-Edge3601172.16.17.x/24EnableIGMPVTEP-1350110.26.132.x/24MTU

1600VTEP-Edge350210.26.133.x/24MTU

1600vMotion3598172.16.19.x/24FT3599172.16.18.x/24Edge-13511/29Edge-23512/29HW-9306

VLAN表端口模式AccessMgmt10.25.230.X系統(tǒng)虛擬機(jī)名稱IP地址用途密碼NTP

Server物理機(jī)6時(shí)間服務(wù)器DNS

ServerDNS-999域名服務(wù)器music_2015vCenter

ServervCenter-10000虛擬化管理軟件VMware@2015NSX

ManagerNSX-Manager-10101網(wǎng)絡(luò)虛擬化管理軟件VMware@2015UpdatemanagerUpdateManager-10202Esx主機(jī)升級(jí)組件vCopsvCops-10303運(yùn)維軟件VDPA-1VDPA-10404備份軟件Controller-1Controller-105NSX

ControllerController-3Controller-306NSX

ControllerController-4Controller-407NSX

ControllerClient-1Client-11010遠(yuǎn)程訪問跳板機(jī)music_2015Client-2Client-11111遠(yuǎn)程訪問跳板機(jī)music_2015NSX網(wǎng)絡(luò)平臺(tái)多租戶擴(kuò)展設(shè)計(jì)Edge-1

VXLAN5001toVXLAN5VXLAN5006toVXLAN5010

DLRInstance6

DLRInstance1LS-App1LS-App2LS-App3WebLogicalSwitchAppLogicalSwitchDBLogicalSwitchTenant1..Tenant5Tenant6..Tenant10Edge-2

VLAN

3511VLAN

3512/2912518/29/29/29/29/29

Edge-1詳細(xì)規(guī)劃設(shè)計(jì)Edge-1VXLAN5002

VXLAN5001

UplinkUplinkExternalNetwork業(yè)務(wù)系統(tǒng)2DLR