集團(tuán)云數(shù)據(jù)中心網(wǎng)絡(luò)部署設(shè)計(jì)

1、集團(tuán)云數(shù)據(jù)中心網(wǎng)絡(luò)部署設(shè)計(jì)21網(wǎng)絡(luò)整體架構(gòu)網(wǎng)絡(luò)物理部署目錄集團(tuán)現(xiàn)網(wǎng)分為信息內(nèi)網(wǎng)和信息外網(wǎng)，信息內(nèi)網(wǎng)與信息外網(wǎng)之間物理隔離，通過網(wǎng)閘進(jìn)數(shù)據(jù)擺渡。目前網(wǎng)絡(luò)運(yùn)行基本正常，但隨著IT環(huán)境的日益復(fù)雜，規(guī)模日益增長，網(wǎng)絡(luò)系統(tǒng)局部存在問題仍有待改善。信息內(nèi)網(wǎng)承載全院用戶訪問自建業(yè)務(wù)系統(tǒng)和國網(wǎng)統(tǒng)推業(yè)務(wù)系統(tǒng)的內(nèi)網(wǎng)流量；信息外網(wǎng)承載全院用戶訪問Inerent及對公網(wǎng)用戶提供服務(wù)的流量；信息內(nèi)網(wǎng)和信息外網(wǎng)的網(wǎng)絡(luò)拓?fù)涠疾捎眯切停W(wǎng)都采用靜態(tài)路由實(shí)現(xiàn)互通。設(shè)備、鏈路、服務(wù)器接入有較多的單點(diǎn)，缺少冗余，可用性不高；網(wǎng)絡(luò)架構(gòu)層次不清晰，數(shù)據(jù)中心和辦公網(wǎng)未有效隔離，數(shù)據(jù)中心沒有進(jìn)行功能區(qū)域劃分；二層廣播域跨越雙中心，出現(xiàn)廣

2、播風(fēng)暴會(huì)導(dǎo)致整網(wǎng)不可用；數(shù)據(jù)中心沒有進(jìn)行功能區(qū)域劃分，缺少統(tǒng)一的安全策略；安全防護(hù)手段比較單一，缺乏安全縱深；網(wǎng)絡(luò)設(shè)備配置存在安全薄弱環(huán)節(jié)，業(yè)務(wù)流量的監(jiān)控和分析手段不足；大數(shù)據(jù)相關(guān)業(yè)務(wù)的網(wǎng)絡(luò)都為千兆，存在帶寬瓶頸；帶外管理網(wǎng)不完備，運(yùn)維管理效率不高；網(wǎng)絡(luò)基礎(chǔ)服務(wù)沒有統(tǒng)一的管理（DHCP、DNS、NTP等）需要注意的是 關(guān)鍵節(jié)點(diǎn)的設(shè)備和鏈路（A中心核心、南京院區(qū)、武漢院區(qū)） 采用冗余部署，具備一定的可用性；在網(wǎng)絡(luò)出口部署防火墻對集團(tuán)信息內(nèi)網(wǎng)進(jìn)行整體安全防護(hù)，專門的DMZ區(qū)對外提供服務(wù)，并部署WAF進(jìn)行WEB安全防護(hù)；值得肯定的是安全性性能可用性信息內(nèi)網(wǎng)的網(wǎng)絡(luò)核心為A中心的兩臺(tái)S7506E，通過中

3、電飛華的鏈路連接各個(gè)院區(qū)（武漢院區(qū)例外），A中心院區(qū)內(nèi)網(wǎng)用戶的網(wǎng)關(guān)在核心交換機(jī)上，其他各院區(qū)的用戶網(wǎng)關(guān)均在本地的匯聚交換機(jī)上，通過出口的一組Juniper防火墻實(shí)現(xiàn)安全防護(hù)，訪問國網(wǎng)公司信息內(nèi)網(wǎng)的業(yè)務(wù)系統(tǒng)。可用性安全性可管理信息外網(wǎng)的網(wǎng)絡(luò)核心為A中心的兩臺(tái)S7506E，通過中電飛華的鏈路連接各個(gè)院區(qū)（武漢院區(qū)例外），A中心院區(qū)內(nèi)網(wǎng)用戶的網(wǎng)關(guān)在核心交換機(jī)上，其他各院區(qū)的用戶網(wǎng)關(guān)均在本地的匯聚交換機(jī)上，有線用戶和無線用戶的Internet出口分離，部署了部分安全設(shè)備實(shí)現(xiàn)安全防護(hù)。設(shè)備、鏈路、服務(wù)器接入有較多的單點(diǎn)，缺少冗余，可用性不高；網(wǎng)絡(luò)架構(gòu)層次不清晰，數(shù)據(jù)中心和辦公網(wǎng)未有效隔離，數(shù)據(jù)中心沒有進(jìn)

4、行功能區(qū)域劃分；二層廣播域跨越雙中心，出現(xiàn)廣播風(fēng)暴會(huì)導(dǎo)致整網(wǎng)不可用；數(shù)據(jù)中心沒有進(jìn)行功能區(qū)域劃分，缺少統(tǒng)一的安全策略；安全防護(hù)手段比較單一，缺乏安全縱深；網(wǎng)絡(luò)設(shè)備配置存在安全薄弱環(huán)節(jié)，業(yè)務(wù)流量的監(jiān)控和分析手段不足；帶外管理網(wǎng)不完備，運(yùn)維管理效率不高；網(wǎng)絡(luò)基礎(chǔ)服務(wù)沒有統(tǒng)一的管理（DHCP、DNS、NTP等）。需要注意的是 關(guān)鍵節(jié)點(diǎn)的設(shè)備和鏈路（A中心核心、南京院區(qū)、武漢院區(qū)） 采用冗余部署，有線側(cè)Intenet出口雙鏈路，通過LB進(jìn)行負(fù) 載均衡，具備一定的可用性；有線用戶網(wǎng)絡(luò)出口部署了防火墻和IDS設(shè)備，對集團(tuán)信息外網(wǎng)進(jìn)行整體安全防護(hù)，通過專門的DMZ區(qū)對外提供服務(wù)，無線用戶側(cè)部署了上網(wǎng)行為管理

5、和防火墻；值得肯定的是安全性可用性可用性安全性可管理高可用性安全性可管理性靈活性可擴(kuò)展性性能網(wǎng)絡(luò)結(jié)構(gòu)的高可用性，物理資源的冗余部署，邏輯關(guān)系的松耦合設(shè)計(jì)，不會(huì)因?yàn)槿魏我粋€(gè)網(wǎng)絡(luò)模塊發(fā)生故障而影響全局網(wǎng)絡(luò)的暢通。網(wǎng)絡(luò)安全區(qū)域合理規(guī)劃，安全策略精細(xì)化部署，符合信息系統(tǒng)安全等級(jí)保護(hù)基本要求，全網(wǎng)的安全策略進(jìn)行統(tǒng)一的管理，能夠滿足未來業(yè)務(wù)發(fā)展對安全的需求。網(wǎng)絡(luò)的帶寬、時(shí)延、抖動(dòng)等性能指標(biāo)滿足業(yè)務(wù)系統(tǒng)的要求；采用業(yè)務(wù)功能模塊化和網(wǎng)絡(luò)拓?fù)鋵哟位脑O(shè)計(jì)方法，使得網(wǎng)絡(luò)架構(gòu)在功能、容量、覆蓋能力等各方面具有易擴(kuò)展能力，使其能夠動(dòng)態(tài)響應(yīng)業(yè)務(wù)發(fā)展變化，快速滿足業(yè)務(wù)和應(yīng)用不斷變化對網(wǎng)絡(luò)基礎(chǔ)架構(gòu)的要求，配合業(yè)務(wù)的快速發(fā)展

6、或變革。采用新技術(shù)和新特性時(shí)，網(wǎng)絡(luò)架構(gòu)不需要調(diào)整或調(diào)整較小，滿足業(yè)務(wù)與應(yīng)用系統(tǒng)靈活多變的部署需求。網(wǎng)絡(luò)簡單、健壯，易于管理和維護(hù)，滿足行業(yè)監(jiān)管要求及日常運(yùn)維的需求，并提供及時(shí)發(fā)現(xiàn)和排除網(wǎng)絡(luò)故障的能力。集團(tuán)的網(wǎng)絡(luò)規(guī)劃參考業(yè)界通用的高可用性、安全性、可擴(kuò)展性、性能、靈活性和可管理性六個(gè)設(shè)計(jì)原則。核心網(wǎng)架構(gòu)前端網(wǎng)絡(luò)后端網(wǎng)絡(luò)前后端網(wǎng)絡(luò)分離接入?yún)R聚核心網(wǎng)絡(luò)松耦合DCDCDCWNWNWNWNBRBRBR標(biāo)準(zhǔn)化部署連接方式標(biāo)準(zhǔn)化協(xié)議部署標(biāo)準(zhǔn)化物理部署標(biāo)準(zhǔn)化模塊化分區(qū)網(wǎng)絡(luò)分層設(shè)計(jì)集團(tuán)的網(wǎng)絡(luò)采用松耦合設(shè)計(jì)，信息內(nèi)網(wǎng)、外網(wǎng)和科研網(wǎng)均基于核心網(wǎng)架構(gòu)，標(biāo)準(zhǔn)化設(shè)計(jì)和部署，數(shù)據(jù)中心內(nèi)部前后端網(wǎng)絡(luò)分離，模塊化分區(qū)和分層設(shè)計(jì)

7、，使集團(tuán)的網(wǎng)絡(luò)在業(yè)務(wù)可用性及連續(xù)性、快速響應(yīng)、網(wǎng)絡(luò)標(biāo)準(zhǔn)化、網(wǎng)絡(luò)風(fēng)險(xiǎn)控制以及業(yè)務(wù)價(jià)值回報(bào)五個(gè)方面達(dá)到同業(yè)成熟期的能力。集團(tuán)網(wǎng)絡(luò)分為信息內(nèi)網(wǎng)、信息外網(wǎng)和科研網(wǎng)，信息內(nèi)網(wǎng)承載全院用戶訪問自建業(yè)務(wù)系統(tǒng)和國網(wǎng)統(tǒng)推業(yè)務(wù)系統(tǒng)的內(nèi)網(wǎng)流量；信息外網(wǎng)承載全院用戶訪問Inerent及對公網(wǎng)用戶提供服務(wù)的流量；科研網(wǎng)承載各院所實(shí)驗(yàn)室的科研流量。三張網(wǎng)絡(luò)物理上相互獨(dú)立，互訪需要經(jīng)過隔離裝置進(jìn)行數(shù)據(jù)擺渡。目錄21網(wǎng)絡(luò)整體架構(gòu)物理部署2.12.2機(jī)房物理部署POD設(shè)計(jì)A中心數(shù)據(jù)中心（科研樓三樓）機(jī)房綜合布線遵循TIA-942 Tier IV標(biāo)準(zhǔn)的星形連接架構(gòu)。A中心數(shù)據(jù)中心（科研樓三樓）網(wǎng)絡(luò)機(jī)房機(jī)柜布放：網(wǎng)絡(luò)機(jī)房最左側(cè)四列

8、機(jī)柜放置信息內(nèi)網(wǎng)的網(wǎng)絡(luò)設(shè)備和MDA區(qū)的線纜，最右側(cè)兩列機(jī)柜放置信息外網(wǎng)的網(wǎng)絡(luò)設(shè)備和MDA區(qū)的線纜，最右側(cè)的第三列機(jī)柜放置科研網(wǎng)的網(wǎng)絡(luò)設(shè)備和MDA區(qū)的線纜，其余機(jī)柜作為服務(wù)器機(jī)柜。A中心數(shù)據(jù)中心（科研樓三樓）服務(wù)器機(jī)房機(jī)柜布放：每列機(jī)柜部署一個(gè)配線柜和一個(gè)強(qiáng)電柜，配線柜布放網(wǎng)絡(luò)機(jī)房的MDA區(qū)到本列機(jī)柜的光纖，經(jīng)ODF配線架/MPO模塊盒采用尾纖跳線到各機(jī)柜架頂?shù)腛DF配線架/MPO模塊盒上。數(shù)據(jù)中心內(nèi)部綜合布線考慮后續(xù)能夠平滑升級(jí)到支持100G帶寬，推薦采用MPO預(yù)端接方式進(jìn)行綜合布線。主流光模塊封裝類型主流接口類型光纖數(shù)量傳輸距離10G-SRSFP/SPF+、XFP、X2LC2芯（1發(fā)1收）3

9、00米（OM3）550米（OM4）40G-SR4BIDI QSPFLC2芯（1發(fā)1收）100米（OM3）150米（OM4）QSFP+、CFP、CXP12芯MPO8芯（4發(fā)4收）100G-SR10CXP、CFP2、CFP424芯MPO20芯（10發(fā)10收）100米（OM3）150米（OM4）100G-SR4QSFP2812芯MPO8芯（4發(fā)4收）100米（OM4）2 * 12芯MPO主干2*12 to 24芯MPO跳線2*12 to 24芯MPO跳線MPO扇出跳線10G40G100GMDA區(qū)到HDA區(qū)的主干布線不變，通過尾纖跳線實(shí)現(xiàn)帶寬平滑升級(jí)。21453網(wǎng)絡(luò)整體架構(gòu)物理部署信息內(nèi)網(wǎng)網(wǎng)絡(luò)規(guī)劃信息

10、外網(wǎng)網(wǎng)絡(luò)規(guī)劃科研網(wǎng)網(wǎng)絡(luò)規(guī)劃2.12.2機(jī)房物理部署POD設(shè)計(jì)目錄“模塊化的云計(jì)算數(shù)據(jù)中心”5種顆粒度的說明（由大到小）ZoneZone 表示數(shù)據(jù)中心所在城市SiteSite 表示數(shù)據(jù)中心的具體位置 ModuleModule 表示數(shù)據(jù)中心的大樓CellCell 表示數(shù)據(jù)中心內(nèi)的一個(gè)單元，包括存儲(chǔ)、計(jì)算、網(wǎng)絡(luò)PodPOD 表示一組部署IT設(shè)備的機(jī)柜RackRack 機(jī)柜（服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)）“模塊化的云計(jì)算數(shù)據(jù)中心”是一種用標(biāo)準(zhǔn)、可重復(fù)構(gòu)建的單元來建設(shè)云計(jì)算數(shù)據(jù)中心基礎(chǔ)設(shè)施的方法其中CELL 與 POD 是結(jié)構(gòu)化布線及網(wǎng)絡(luò)設(shè)計(jì)的關(guān)注重點(diǎn)云計(jì)算數(shù)據(jù)中心通常會(huì)采用結(jié)構(gòu)化、模塊化、標(biāo)準(zhǔn)化的設(shè)計(jì)方法，實(shí)現(xiàn)

11、IT基礎(chǔ)設(shè)施（計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)）的靈活擴(kuò)展，減少對在網(wǎng)運(yùn)行業(yè)務(wù)的影響，簡化部署，便于實(shí)現(xiàn)自動(dòng)化運(yùn)維。POD（服務(wù)提供點(diǎn)）是提供服務(wù)的一組組件，一個(gè)POD可以包括一組或多組機(jī)柜。在云計(jì)算數(shù)據(jù)中心中通常會(huì)采用POD預(yù)構(gòu)件方式實(shí)現(xiàn)物理資源的組件化和模塊化。POD可以分為服務(wù)器POD（如X86服務(wù)器、刀片服務(wù)器等）、存儲(chǔ)POD等類型。X86服務(wù)器 POD刀片POD存儲(chǔ)POD存儲(chǔ)網(wǎng)交換機(jī)2U高度X86服務(wù)器POD：根據(jù)集團(tuán)服務(wù)器機(jī)房（低密）每機(jī)柜電源功率和TOR交換機(jī)端口利用率，2U高度的X86服務(wù)器POD由三組機(jī)柜構(gòu)成，后續(xù)按POD進(jìn)行業(yè)務(wù)擴(kuò)展。業(yè)務(wù)網(wǎng)交換機(jī)帶外管理網(wǎng)交換機(jī)管理網(wǎng)交換機(jī)部署要點(diǎn): 物理

12、部署每三組機(jī)柜作為一個(gè)POD，按POD進(jìn)行業(yè)務(wù)擴(kuò)展；每組機(jī)柜部署12臺(tái)2U服務(wù)器，每個(gè)POD最多部署36臺(tái)2U服務(wù)器；每個(gè)POD至少部署5臺(tái)交換機(jī)，2臺(tái)業(yè)務(wù)網(wǎng)交換機(jī)，2臺(tái)管理網(wǎng)交換機(jī)，1臺(tái)帶外管理交換機(jī)，若POD內(nèi)使用分布式存儲(chǔ)，則需要增加2臺(tái)存儲(chǔ)網(wǎng)交換機(jī)。交換機(jī)端口利用率（均按單臺(tái)設(shè)備計(jì)算）網(wǎng)絡(luò)類型交換機(jī)端口數(shù)端口利用率業(yè)務(wù)網(wǎng)交換機(jī)48口（12*3+1）/48=77%存儲(chǔ)網(wǎng)交換機(jī)48口（12*3+1）/48=77%管理網(wǎng)交換機(jī)48口（12*3+1）/48=77%帶外管理交換機(jī)48口（12*3+4）/48=83%4U高度X86服務(wù)器POD：根據(jù)集團(tuán)服務(wù)器機(jī)房（低密）每機(jī)柜電源功率、TOR交換機(jī)

13、端口利用率，和每列機(jī)柜的部放情況，4U高度的X86服務(wù)器POD由五組機(jī)柜構(gòu)成，后續(xù)按POD進(jìn)行業(yè)務(wù)擴(kuò)展。部署要點(diǎn): 物理部署每五組機(jī)柜作為一個(gè)POD，按POD進(jìn)行業(yè)務(wù)擴(kuò)展；每組機(jī)柜部署6臺(tái)4U服務(wù)器，每個(gè)POD最多部署30臺(tái)4U服務(wù)器；每個(gè)POD至少部署5臺(tái)交換機(jī)，2臺(tái)業(yè)務(wù)網(wǎng)交換機(jī)，2臺(tái)管理網(wǎng)交換機(jī)，1臺(tái)帶外管理交換機(jī)，若POD內(nèi)使用分布式存儲(chǔ)，則需要增加2臺(tái)存儲(chǔ)網(wǎng)交換機(jī)。交換機(jī)端口利用率（均按單臺(tái)設(shè)備計(jì)算）網(wǎng)絡(luò)類型交換機(jī)端口數(shù)端口利用率業(yè)務(wù)網(wǎng)交換機(jī)48口（6*5+1）/48=65%存儲(chǔ)網(wǎng)交換機(jī)48口（6*5+1）/48=65%管理網(wǎng)交換機(jī)48口（6*5+1）/48=65%帶外管理交換機(jī)48口（6*5+4）/48=71%存儲(chǔ)網(wǎng)交換機(jī)管理網(wǎng)交換機(jī)帶外管理網(wǎng)交換機(jī)業(yè)務(wù)網(wǎng)交換機(jī)刀片POD：根據(jù)集團(tuán)服務(wù)器機(jī)房（高密）每機(jī)柜電源功率和TOR交換機(jī)端口利用率，POD由二組機(jī)柜組成，后續(xù)按POD進(jìn)行業(yè)務(wù)擴(kuò)展。部署