PCF網(wǎng)絡(luò)設(shè)計方案

1、網(wǎng)絡(luò)規(guī)劃1. 設(shè)計標(biāo)準Pivotal Cloud Foundry網(wǎng)絡(luò)分為System服務(wù)網(wǎng)、App應(yīng)用網(wǎng)、管理網(wǎng)及IP SAN網(wǎng)為實現(xiàn)網(wǎng)絡(luò)相的互隔離。通過采用虛擬交換技術(shù)，將承載不同應(yīng)用業(yè)務(wù)的虛擬機劃入不同子網(wǎng)，實現(xiàn)各應(yīng)用系統(tǒng)的安全隔離。通過VLAN將虛擬機劃分為不同區(qū)域，實現(xiàn)分區(qū)分域的要求。用于PCF環(huán)境中3臺服務(wù)器的每臺物理主機上均使用2塊千兆網(wǎng)卡，并將System服務(wù)網(wǎng)、App應(yīng)用網(wǎng)、管理網(wǎng)及IP SAN網(wǎng)劃分為不同的VLAN。其中，System服務(wù)網(wǎng)、App應(yīng)用網(wǎng)、管理網(wǎng)三網(wǎng)連接萬兆物理交換機上，IP SAN網(wǎng)采用單獨交換機連接至存儲，提高虛擬化平臺可靠性。PCF環(huán)境網(wǎng)絡(luò)構(gòu)成有別于傳統(tǒng)

2、網(wǎng)絡(luò)，其自身不僅包含傳統(tǒng)物理網(wǎng)絡(luò)部分，同時也包含虛擬網(wǎng)絡(luò)結(jié)構(gòu)以及虛擬網(wǎng)絡(luò)與實體網(wǎng)絡(luò)所交互的部分。正確的網(wǎng)絡(luò)設(shè)計對組織實現(xiàn)其業(yè)務(wù)目標(biāo)有著積極的影響，它可確保經(jīng)過授權(quán)的用戶能夠及時訪問業(yè)務(wù)數(shù)據(jù)，同時防止未經(jīng)授權(quán)的用戶訪問數(shù)據(jù)。網(wǎng)絡(luò)設(shè)計必須經(jīng)過合理優(yōu)化，以滿足應(yīng)用、服務(wù)、存儲、管理員和用戶的各種需求。網(wǎng)絡(luò)資源規(guī)劃的目標(biāo)是設(shè)計一種能降低成本、改善性能、提高可用性、提供安全性，以及增強功能的虛擬網(wǎng)絡(luò)基礎(chǔ)架構(gòu)，該架構(gòu)能夠更順暢地在應(yīng)用、存儲、用戶和管理員之間傳遞數(shù)據(jù)。 指導(dǎo)原則與最佳實踐在規(guī)劃網(wǎng)絡(luò)資源時，我們會遵循如下的指導(dǎo)原則與最佳實踐。u 構(gòu)建模塊化網(wǎng)絡(luò)解決方案，該方案可隨時間的推移不斷擴展以滿足組織

3、的需求，使得用戶無需替換現(xiàn)有的網(wǎng)絡(luò)基礎(chǔ)架構(gòu)，進而降低成本。u 為了減少爭用和增強安全性，應(yīng)該按照流量類型（管理網(wǎng)絡(luò)（HA心跳互聯(lián)網(wǎng)絡(luò)）、vMotion在線遷移網(wǎng)絡(luò)、虛擬機對外提供服務(wù)的網(wǎng)絡(luò)、FT、IP存儲）對網(wǎng)絡(luò)流量進行邏輯分離。u VLAN可減少所需的網(wǎng)絡(luò)端口和電纜數(shù)量，但需要得到物理網(wǎng)絡(luò)基礎(chǔ)架構(gòu)的支持。u 可以在不影響虛擬機或在交換機后端運行的網(wǎng)絡(luò)服務(wù)的前提下，向標(biāo)準或分布式交換機添加或從中移除網(wǎng)絡(luò)適配器。如果移除所有正在運行的硬件，虛擬機仍可互相通信。如果保留一個網(wǎng)絡(luò)適配器原封不動，則所有的虛擬機仍然可以與物理網(wǎng)絡(luò)相連。u 連接到同一標(biāo)準交換機或分布式交換機的每個物理網(wǎng)絡(luò)適配器還應(yīng)該連接

4、到同一物理網(wǎng)絡(luò)。將所有VMkernel網(wǎng)絡(luò)適配器配置為相同MTU。u 實施網(wǎng)絡(luò)組件和路徑冗余，以支持可用性和負載分配。u 使用具有活動/備用端口配置的網(wǎng)卡綁定，以減少所需端口的數(shù)量，同時保持冗余。u 對于多網(wǎng)口的冗余配置應(yīng)該遵循配置在不同PCI插槽間的物理網(wǎng)卡口之間。u 對于物理交換網(wǎng)絡(luò)也應(yīng)該相應(yīng)的進行冗余設(shè)置，避免單點故障。建議采用千兆以太網(wǎng)交換網(wǎng)絡(luò)，避免網(wǎng)絡(luò)瓶頸。u 對吞吐量和并發(fā)網(wǎng)絡(luò)帶寬有較高使用要求的情況，可以考慮采用10GbE，不過采用萬兆網(wǎng)絡(luò)在適配器和交換機上的投入成本也會相應(yīng)增加。簡單的方法是通過在虛擬機網(wǎng)絡(luò)vSwitch或vPortGroup上通過對多塊1GbE端口捆綁負載均衡

5、實現(xiàn)。PCF網(wǎng)絡(luò)域設(shè)計要求考慮網(wǎng)絡(luò)的連通性、隔離性、性能等方面的要求，如下表所示。網(wǎng)絡(luò)要求要求描述連通性連通性是指將有需要進行互相通信的組件（服務(wù)器、控制節(jié)點、客戶端等）進行連通。要求應(yīng)用網(wǎng)中有業(yè)務(wù)互通需求的虛擬機、物理機、終端等設(shè)備可以通信，網(wǎng)絡(luò)承載的業(yè)務(wù)系統(tǒng)可以不間斷對外提供服務(wù)。隔離性隔離性是指將沒有必要進行相互通信的組件互相隔開，使其在網(wǎng)絡(luò)上不可達。如在虛擬化環(huán)境中，管理網(wǎng)與應(yīng)用網(wǎng)需通過分配到不同的VLAN方式實現(xiàn)二層隔離。性能管理網(wǎng)專供資源池管理工具的資源控制服務(wù)使用，對物理機、虛擬機進行實時監(jiān)控，管理網(wǎng)使用萬兆以太網(wǎng)；App應(yīng)用網(wǎng)專供虛擬機的信息應(yīng)用對外提供網(wǎng)絡(luò)服務(wù)使用，由于多臺虛

6、擬機通過同一塊物理網(wǎng)卡對外提供網(wǎng)絡(luò)服務(wù)，使用萬兆以上高速以太網(wǎng)；System服務(wù)網(wǎng)專供PCF服務(wù)組件之間的通信，即承載各虛擬機服務(wù)器流量，使用萬兆以上高速以太網(wǎng)；IP SAN網(wǎng)專供PCF 環(huán)境中3臺物理服務(wù)器連接共享存儲使用，使用千兆以上高速以太網(wǎng)。2. 網(wǎng)絡(luò)總體結(jié)構(gòu)結(jié)合公安網(wǎng)現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)以及PCF總體架構(gòu)，從生產(chǎn)環(huán)境、地址劃分、客戶訪問、平臺維護等方面考慮，網(wǎng)絡(luò)設(shè)計中，將網(wǎng)絡(luò)劃分為PCF服務(wù)網(wǎng)、App應(yīng)用網(wǎng)、管理網(wǎng)及IP SAN網(wǎng)，各個網(wǎng)絡(luò)通過VLAN劃分相互隔離。用戶訪問PCF應(yīng)用時需經(jīng)由防火墻跳轉(zhuǎn)，保證PCF內(nèi)網(wǎng)與公安網(wǎng)之間的安全性。測試環(huán)境硬件配置：浪潮配置-NF5270M32*E5

7、-2650v2(2.6GHz/8c)/8GT/20M16*16G Registered DDR3內(nèi)存1*10000轉(zhuǎn) 900G SAS硬盤集成2個千兆網(wǎng)口、配置2塊單口萬兆網(wǎng)卡-INSPUR單口萬兆網(wǎng)卡（光纖接口，含光模塊）、配置冗余電源配置1塊八通道直通卡2308it卡五年原廠保修服務(wù)邏輯架構(gòu)方案中采用8臺物理服務(wù)器，其中3臺用于PCF環(huán)境，4臺GP服務(wù)器，1臺Oracle數(shù)據(jù)庫服務(wù)器。3臺用于PCF環(huán)境的服務(wù)器通過IP SAN方式連接共享存儲，服務(wù)器與存儲之間由一臺千兆交換機進行連接，由一塊網(wǎng)卡專門承載存儲流量，另一塊網(wǎng)卡上聯(lián)萬兆交換機，保證PCF服務(wù)器和虛擬機能與4臺GP服務(wù)器及Orac

8、le數(shù)據(jù)庫服務(wù)器通信，它們之間通信完全由內(nèi)網(wǎng)完成；萬兆交換機上聯(lián)防護墻，公安網(wǎng)訪問內(nèi)部網(wǎng)絡(luò)經(jīng)由防火墻，再以NAT方式完成公安網(wǎng)和內(nèi)網(wǎng)的互通，既實現(xiàn)網(wǎng)絡(luò)隔離又保證網(wǎng)絡(luò)安全。物理架構(gòu)總體分為3層:第一層為存儲層，采用IP SAN 存儲方式，連接PaaS 群集中3臺物理服務(wù)器，提供PCF環(huán)境共享存儲；第二層為服務(wù)器內(nèi)部層，臺服務(wù)器上聯(lián)萬兆交換機，產(chǎn)生一個萬兆局域網(wǎng)，保證虛擬機與物理機之間的通信；第三層為外部層，由防火墻提供內(nèi)網(wǎng)與外網(wǎng)之間的通信，所有進出流量都需通過防火墻。3. 詳細規(guī)劃內(nèi)容網(wǎng)段規(guī)劃設(shè)計為實現(xiàn)System服務(wù)網(wǎng)、App應(yīng)用網(wǎng)、管理網(wǎng)及IP SAN網(wǎng)的相互隔離，采用虛擬交換技術(shù)，將承載不

9、同應(yīng)用業(yè)務(wù)的服務(wù)器及虛擬機劃入不同VLAN，實現(xiàn)各應(yīng)用系統(tǒng)的安全隔離。資源池網(wǎng)絡(luò)設(shè)計用途管理網(wǎng)集中管理軟件監(jiān)控各物理服務(wù)器、vMotion的專門網(wǎng)絡(luò)System服務(wù)網(wǎng)PCF虛擬服務(wù)器各組件對外提供服務(wù)的網(wǎng)絡(luò)，。App應(yīng)用網(wǎng)提供用戶訪問PCF應(yīng)用的專門網(wǎng)絡(luò)IP SAN網(wǎng)提供PCF服務(wù)器連接共享存儲的專門網(wǎng)絡(luò)將System服務(wù)網(wǎng)、App應(yīng)用網(wǎng)、管理網(wǎng)及IP SAN網(wǎng)劃分在不同的VLAN中，其中叫交換機的網(wǎng)卡接口模式設(shè)置為Trunk，承載System服務(wù)網(wǎng)、App應(yīng)用網(wǎng)、管理網(wǎng)，另一塊網(wǎng)卡連接存儲，即承載IP SAN網(wǎng)。詳細IP地址如下：網(wǎng)段用途名稱IP個數(shù)管理網(wǎng)虛擬化服務(wù)器ESXi主機011虛擬化

10、服務(wù)器ESXi主機021虛擬化服務(wù)器ESXi主機031存儲服務(wù)器存儲服務(wù)器1IP SAN網(wǎng)用于連接存儲ESXi主機01 IP San網(wǎng)1用于連接存儲ESXi主機02 IP San網(wǎng)1用于連接存儲ESXi主機03 IP San網(wǎng)1管理網(wǎng)GP服務(wù)器GP主機011GP服務(wù)器GP主機021GP服務(wù)器GP主機031GP服務(wù)器GP主機041Oracle數(shù)據(jù)庫服務(wù)器Oracle數(shù)據(jù)庫1System應(yīng)用網(wǎng)集中管理軟件vCenter1DNS及NTP服務(wù)器DNS/NTP1PCF管理服務(wù)器Ops Manager1BOSH主機Ops Manager Director1Elastic Runtime組件NATS 1El

11、astic Runtime組件consul 1Elastic Runtime組件etcd 1Elastic Runtime組件NFS Server 1Elastic Runtime組件Cloud Controller Database 1Elastic Runtime組件UAA Database 1Elastic Runtime組件Apps Manager Database 1Elastic Runtime組件Cloud Controller 1Elastic Runtime組件HAProxy 1Elastic Runtime組件Router 1Elastic Runtime組件Health

12、Manager 1Elastic Runtime組件Clock Global 1Elastic Runtime組件Cloud Controller Worker 1Elastic Runtime組件UAA 1Elastic Runtime組件MySQL Proxy 1Elastic Runtime組件MySQL Server 1Elastic Runtime組件DEA 1Elastic Runtime組件Doppler Server 1Elastic Runtime組件Loggregator Trafficcontroller1MySQL服務(wù)組件MySQL Server2MySQL服務(wù)組件Pr

13、oxy2MySQL服務(wù)組件Broker2ESXi主機網(wǎng)絡(luò)設(shè)置PCF服務(wù)器兩塊網(wǎng)卡，System服務(wù)網(wǎng)、App應(yīng)用網(wǎng)、管理網(wǎng)使用一塊網(wǎng)卡，另一塊網(wǎng)卡承載IP SAN流量。以下為詳細配置表：虛擬交換機端口組名稱端口組類型VLAN配置上聯(lián)端口vSwitch0Management Network、vMotionVMkernel端口管理VLANvmnic0vSwitch1System Network虛擬機端口組System 服務(wù)VLANvmnic0vSwitch2App Network虛擬機端口組App 應(yīng)用VLANvmnic0vSwitch3IP SANVMkernel端口IP SAN VLANvmn

14、ic1 虛擬交換機規(guī)劃上述配置的相關(guān)說明如下。u 所選用的網(wǎng)卡必須在虛擬化服務(wù)器的網(wǎng)絡(luò)I/O設(shè)備兼容列表里。 u 對于虛擬交換機的雙端口冗余，如果網(wǎng)卡自帶軟件支持可以在ESXi主機操作系統(tǒng)級別實現(xiàn)NIC Teaming，本方案建議通過多個vSwitch綁定與單塊網(wǎng)卡上，實現(xiàn)多網(wǎng)隔離。u 對于虛擬機應(yīng)用的網(wǎng)絡(luò)，為了確保虛擬機在執(zhí)行了vMotion遷移到另一物理主機時保持其原有的VLAN狀態(tài)，建議根據(jù)實際需要在虛擬交換機端口啟用802.1q的VLAN標(biāo)記（VST）方式。采用此方式可以確保遷移主機可以保留原有的網(wǎng)絡(luò)配置如網(wǎng)關(guān)等，并且建議在網(wǎng)絡(luò)設(shè)置中啟用通知物理交換機功能，該功能可以確保遷移主機通過反

15、向ARP通知物理交換機虛擬機端口的更改，確保新的用戶會話可以被正確建立。PCF 服務(wù)器主機網(wǎng)絡(luò)連接配置示意圖如下所示。圖：主機網(wǎng)絡(luò)連接示意圖 vSwitch綁定每臺服務(wù)器只存在2塊網(wǎng)卡，而其中一塊網(wǎng)卡需連接共享存儲（IP SAN網(wǎng)），另一塊網(wǎng)卡將承載System服務(wù)網(wǎng)、App應(yīng)用網(wǎng)、管理網(wǎng)流量，且此網(wǎng)卡上聯(lián)交換機需打Trunk，保證System服務(wù)網(wǎng)、App應(yīng)用網(wǎng)、管理網(wǎng)分配不同VLAN。虛擬機交換機綁定要求滿足以下條件：u 將兩個或更多vSwitch分配到同一網(wǎng)卡上u 同一端口組中的所有網(wǎng)卡都位于相同的第二層廣播域中網(wǎng)卡綁定的示意圖如下所示。圖：網(wǎng)卡綁定示意圖域名需求需要提供一個能夠在公安網(wǎng)根域名服務(wù)器解析的泛域名，來綁定應(yīng)用，進行訪問。域名IP地址*.XXX.XXX.COMIP1網(wǎng)絡(luò)設(shè)備需求共需要一個千兆交換機，一個萬兆交換機，一個防火墻設(shè)備。千兆交換機用來連接服務(wù)器及IP-SAN存儲設(shè)備。需要5個可用端口。萬兆交換機用來組建內(nèi)部局域網(wǎng)，保證PCF、GP、Oracle之