基于SDN的下一代金融云網(wǎng)絡(luò)聯(lián)合研究與應(yīng)用實踐

1、 基于SDN的下一代金融云網(wǎng)絡(luò)聯(lián)合研究與應(yīng)用實踐從分層分區(qū)傳統(tǒng)架構(gòu)向云網(wǎng)架構(gòu)轉(zhuǎn)型引言中國銀聯(lián)與上海銀行就金融云與SDN技術(shù)研究等達成合作，其中中國銀聯(lián)的電子商務(wù)與電子支付國家工程實驗室與上海銀行數(shù)據(jù)中心以下一代金融云數(shù)據(jù)中心為藍圖，組成聯(lián)合研究團隊開展基于SDN的下一代金融云網(wǎng)絡(luò)架構(gòu)技術(shù)研究。（上海市科委項目資助（17YF1425800）: 金融行業(yè)云關(guān)鍵技術(shù)研究及應(yīng)用）聯(lián)合研究團隊認(rèn)為：云網(wǎng)絡(luò)架構(gòu)是機構(gòu)開展金融云基礎(chǔ)平臺建設(shè)最為核心關(guān)鍵的因素，其主要體現(xiàn)如下方面：首先，雙模IT中網(wǎng)絡(luò)是唯一必須兼容兩種IT模式的平滑互通的基礎(chǔ)資源。為兼顧新技術(shù)、新架構(gòu)、新模式于既有的傳統(tǒng)信息技術(shù)體系結(jié)合，雙模

2、IT將是金融機構(gòu)IT發(fā)展的主要形態(tài)，處于兩種IT模式下的金融應(yīng)用無必須共享服務(wù)器和存儲的要求，但必須在網(wǎng)絡(luò)層面實現(xiàn)互聯(lián)互通。其次，金融合規(guī)性與安全性在IT基礎(chǔ)設(shè)施中主要體現(xiàn)在數(shù)據(jù)中心網(wǎng)絡(luò)。金融機構(gòu)多區(qū)域隔離、應(yīng)用間的強訪問控制以及外部防護攻擊均主要基于網(wǎng)絡(luò)規(guī)劃與專用網(wǎng)絡(luò)設(shè)備應(yīng)用措施。最后，以軟件定義網(wǎng)絡(luò)為代表的新技術(shù)應(yīng)用是云平臺發(fā)展的必然趨勢?；谠朴嬎?、大數(shù)據(jù)與區(qū)塊鏈等新技術(shù)的金融創(chuàng)新應(yīng)用產(chǎn)生了新的數(shù)據(jù)網(wǎng)絡(luò)交換模型，對應(yīng)用所部署的數(shù)據(jù)中心網(wǎng)絡(luò)環(huán)境提出了新的技術(shù)要求，軟件定義網(wǎng)絡(luò)技術(shù)效果與之契合，有助于推動金融IT向高效服務(wù)化的轉(zhuǎn)型，從而提升金融機構(gòu)的創(chuàng)新能力。然而，由于網(wǎng)絡(luò)技術(shù)變革難度高與應(yīng)

3、用影響性廣等因素，當(dāng)前在全球范圍內(nèi)金融機構(gòu)云網(wǎng)絡(luò)架構(gòu)落地實踐整體上還處于初級階段，無標(biāo)準(zhǔn)化統(tǒng)一的架構(gòu)實踐參考。為此聯(lián)合研究團隊經(jīng)過近兩年多的努力，提出了在當(dāng)前金融數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)下，應(yīng)用SDN的云網(wǎng)參考模型，并予以落地實踐驗證，其中主要完成工作包括：金融云數(shù)據(jù)中心需求梳理與新架構(gòu)網(wǎng)絡(luò)設(shè)計原則規(guī)劃。結(jié)合當(dāng)前金融行業(yè)網(wǎng)絡(luò)架構(gòu)現(xiàn)狀分析，梳理了未來金融數(shù)據(jù)中心網(wǎng)絡(luò)高敏捷、高彈性、高可管理、高可用以及高性能的“五高”要求，歸納總結(jié)了未來金融數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)“面向服務(wù)理念、管理統(tǒng)一編排、資源池標(biāo)準(zhǔn)化、成熟技術(shù)集成再造創(chuàng)新”的四大設(shè)計原則。定義基于SDN的下一代金融機構(gòu)網(wǎng)絡(luò)的標(biāo)準(zhǔn)化參考架構(gòu)。聯(lián)合研究團隊提出

4、了“多數(shù)據(jù)中心間虛擬專網(wǎng)互聯(lián)，數(shù)據(jù)中心內(nèi)核心交換總線互通，傳統(tǒng)分區(qū)、云網(wǎng)分區(qū)并存”的云網(wǎng)絡(luò)架構(gòu)模型，模型給出了網(wǎng)絡(luò)管理平面與數(shù)據(jù)平面的標(biāo)準(zhǔn)實現(xiàn)架構(gòu)，服務(wù)能力涵蓋二/三層網(wǎng)絡(luò)連通性能力以及負(fù)載均衡/防火墻L4-L7服務(wù)能力。驗證標(biāo)準(zhǔn)化參考架構(gòu)的核心關(guān)鍵技術(shù)。研究團隊已基于開源技術(shù)通過自主研發(fā)的區(qū)域互聯(lián)（Region Interconnect）SDN控制器實現(xiàn)了對核心交換網(wǎng)絡(luò)（國際首創(chuàng)）與各分區(qū)的SDN控制器的協(xié)調(diào)控制，從而實現(xiàn)數(shù)據(jù)中心內(nèi)網(wǎng)絡(luò)資源池化以及網(wǎng)絡(luò)資源彈性調(diào)度服務(wù)。上述云網(wǎng)架構(gòu)模型的應(yīng)用可實現(xiàn)新一代符合金融行業(yè)云要求的網(wǎng)絡(luò)架構(gòu)，其效果主要包括：平滑兼容傳統(tǒng)架構(gòu)?？捎行еС蛛p模IT，可在保

5、持傳統(tǒng)網(wǎng)絡(luò)架構(gòu)穩(wěn)定運行的前提下，支持SDN等新技術(shù)的前瞻性應(yīng)用。兼容異構(gòu)網(wǎng)絡(luò)技術(shù)。通過自主創(chuàng)新的區(qū)域互聯(lián)（RI）SDN控制技術(shù)，實現(xiàn)對廠商設(shè)備異構(gòu)解耦，屏蔽不同廠商在SDN技術(shù)實現(xiàn)中的技術(shù)差異性。網(wǎng)絡(luò)多租戶能力擴展性強。網(wǎng)絡(luò)租戶能力不局限于單一網(wǎng)絡(luò)設(shè)備區(qū)域，可有效擴展至異構(gòu)設(shè)備區(qū)域以及跨數(shù)據(jù)中心區(qū)域。安全合規(guī)等級不降低。新模型設(shè)計之初即基于現(xiàn)有網(wǎng)絡(luò)安全與合規(guī)性的要求考慮，新技術(shù)的應(yīng)用嚴(yán)格遵守現(xiàn)有金融規(guī)范。在研究過程中，我們認(rèn)識到金融云計算技術(shù)研究是技術(shù)集成創(chuàng)新與產(chǎn)業(yè)協(xié)同創(chuàng)新的復(fù)雜系統(tǒng)工程，金融云計算技術(shù)的自主可控需要良好的產(chǎn)業(yè)生態(tài)支持，因此也同步與國內(nèi)外產(chǎn)業(yè)界保持密切溝通，探索相關(guān)技術(shù)在金融行

6、業(yè)范圍內(nèi)以工作組的形式深化聯(lián)合研究，在工作組內(nèi)共享技術(shù)研究成果，共同以工作組的團體力量與國內(nèi)外云計算組織展開合作，推動金融云技術(shù)的研究與進步，加速金融科技的變革，支撐金融服務(wù)的創(chuàng)新發(fā)展。金融行業(yè)網(wǎng)絡(luò)架構(gòu)現(xiàn)狀金融行業(yè)網(wǎng)絡(luò)建設(shè)歷程與金融行業(yè)近三十年信息化過程密不可分，目前為止已經(jīng)歷多個階段發(fā)展。現(xiàn)階段金融行業(yè)網(wǎng)絡(luò)整體多以“兩地三中心”架構(gòu)為主。利用DWDM及高帶寬專線構(gòu)建高速轉(zhuǎn)發(fā)“核心骨干網(wǎng)”用于數(shù)據(jù)中心間互聯(lián)，數(shù)據(jù)中心作為骨干網(wǎng)接入節(jié)點。在核心骨干網(wǎng)框架上擴展延伸出“三級網(wǎng)”架構(gòu)用于各級分支機構(gòu)的匯聚，數(shù)據(jù)中心至一級分支機構(gòu)間構(gòu)建一級網(wǎng)，一級分支至二級分支機構(gòu)間構(gòu)建二級網(wǎng)，二級至三級分支機構(gòu)間構(gòu)

7、建三級網(wǎng)。示意圖如下：圖1 階段金融行業(yè)網(wǎng)絡(luò)整體示意圖數(shù)據(jù)中心內(nèi)部采用“總線型、模塊化”架構(gòu)，遵循“垂直分層、水平分區(qū)”的原則，根據(jù)應(yīng)用系統(tǒng)種類不同、重要性區(qū)別、安全防護需求差異將網(wǎng)絡(luò)劃分為多個區(qū)域，通過高性能交換機構(gòu)建交換總線，網(wǎng)絡(luò)各分區(qū)通過總線進行互聯(lián)互通，如下圖：圖2 數(shù)據(jù)中心內(nèi)網(wǎng)絡(luò)分區(qū)示意圖網(wǎng)絡(luò)分區(qū)可劃分為三大類：業(yè)務(wù)區(qū)、隔離區(qū)、特定功能區(qū)。業(yè)務(wù)區(qū)：用于承載各類系統(tǒng)應(yīng)用服務(wù)器及數(shù)據(jù)庫服務(wù)器，應(yīng)用系統(tǒng)根據(jù)特定原則劃分至不同業(yè)務(wù)區(qū)。隔離區(qū)：也稱DMZ區(qū)，承載各類前置機，面向互聯(lián)網(wǎng)或第三方機構(gòu)提供服務(wù)。特定功能區(qū)：如管理區(qū)承載監(jiān)控系統(tǒng)、流程系統(tǒng)、操作終端等，用于數(shù)據(jù)中心維護；廣域網(wǎng)區(qū)用戶數(shù)據(jù)

8、中心至骨干網(wǎng)的連通。傳統(tǒng)架構(gòu)優(yōu)點：安全、穩(wěn)定、可靠、可擴展。架構(gòu)缺點：靈活性不足、豎井壁壘存在、自動化不高、建設(shè)成本高昂。金融數(shù)據(jù)中心網(wǎng)絡(luò)面臨的挑戰(zhàn)1. 面臨的挑戰(zhàn)當(dāng)前，“業(yè)務(wù)應(yīng)用變革式創(chuàng)新發(fā)展”、“以云計算為代表的新技術(shù)應(yīng)用”以及“金融IT成本與效率優(yōu)化新要求”是金融數(shù)據(jù)中心網(wǎng)絡(luò)發(fā)展面臨的三大挑戰(zhàn)。首先業(yè)務(wù)應(yīng)用發(fā)展對網(wǎng)絡(luò)服務(wù)提出新的挑戰(zhàn)，面向互聯(lián)網(wǎng)方式的金融創(chuàng)新應(yīng)用快速發(fā)展對網(wǎng)絡(luò)服務(wù)提出更敏捷的服務(wù)要求，網(wǎng)絡(luò)資源的開通與變更希望是從原本的周為單位提升到分鐘級別，從而支撐應(yīng)用快速投產(chǎn)。其次，云計算等新技術(shù)在數(shù)據(jù)中心內(nèi)越發(fā)應(yīng)用廣泛，其對網(wǎng)絡(luò)連接也提出新的要求。為適應(yīng)虛擬化技術(shù)，資源的漂移遷移能力

9、，網(wǎng)絡(luò)服務(wù)需要從物理機識別提升到虛擬主機識別，云的多租戶特性要求在共享的物理網(wǎng)絡(luò)設(shè)備下提供可獨立解耦的網(wǎng)絡(luò)地址路由空間，云彈性伸縮則要求網(wǎng)絡(luò)有更高地彈性擴展能力，巨大的云平臺規(guī)模，也要求云網(wǎng)絡(luò)服務(wù)也必須具備足夠的網(wǎng)絡(luò)容量與健壯性。再則，新常態(tài)下金融機構(gòu)的運營壓力要求IT架構(gòu)可實現(xiàn)更高效與低成本，從純商業(yè)“產(chǎn)品”解決方案向“自主”網(wǎng)絡(luò)方案演進，金融數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)應(yīng)用更趨于開放，要求網(wǎng)絡(luò)運維人員從單純的人工維護解放出來，進入高效的自動化方式。2. 未來金融數(shù)據(jù)中心網(wǎng)絡(luò)應(yīng)用需求因此，結(jié)合上述發(fā)展的挑戰(zhàn)與趨勢，我們認(rèn)為未來金融數(shù)據(jù)中心網(wǎng)絡(luò)應(yīng)用需求可總結(jié)為高敏捷、高彈性、高可管理、高可用以及高性能的“

10、五高”要求：高敏捷，實現(xiàn)業(yè)務(wù)快速上線，面對應(yīng)用的變化達到資源的按需變更，通過新技術(shù)應(yīng)用打破因重安全而舍效率的困局，在云計算新環(huán)境下安全與高效并重；高彈性，一是內(nèi)部彈性強化，打破豎井式架構(gòu)中網(wǎng)絡(luò)區(qū)域成為限制資源共享的壁壘，實現(xiàn)網(wǎng)絡(luò)資源池整合與靈活共享與隔離，二是外部彈性兼容，支持新老架構(gòu)并存，從而使原有網(wǎng)絡(luò)可以平滑過渡到新架構(gòu)；高可管理，一是實現(xiàn)管理的體系的簡化，支持多品牌的融合管理，二是實現(xiàn)管理自動化與智能化，使日常運維從大量人工維護的高工作量解放出來；高可用，網(wǎng)絡(luò)架構(gòu)持續(xù)穩(wěn)定影響金融數(shù)據(jù)中心全局服務(wù)能力，網(wǎng)絡(luò)架構(gòu)需要基于穩(wěn)定可靠的技術(shù)構(gòu)建，使網(wǎng)絡(luò)服務(wù)具備7*24小時業(yè)務(wù)連續(xù)性服務(wù)的能力；高性

11、能，面對秒殺等新業(yè)務(wù)場景等的極限服務(wù)能力，實現(xiàn)時延和帶寬等關(guān)鍵指標(biāo)的跨越式提升，同時注重資源的高效利用，用盡可能少的資源實現(xiàn)最大的性能服務(wù)?；赟DN的下一代金融機構(gòu)網(wǎng)絡(luò)設(shè)計與構(gòu)想1. 網(wǎng)絡(luò)設(shè)計原則SDN技術(shù)的應(yīng)用對金融數(shù)據(jù)中心的架構(gòu)是革命性的變化,因此下一代金融數(shù)據(jù)中心網(wǎng)絡(luò)需進行針對性設(shè)計，我們總結(jié)未來金融數(shù)據(jù)中心網(wǎng)絡(luò)需遵循以下四大設(shè)計原則：面向服務(wù)理念，網(wǎng)絡(luò)功能以服務(wù)、標(biāo)準(zhǔn)API接口的形式對外提供，網(wǎng)絡(luò)系統(tǒng)內(nèi)部以服務(wù)的形式進行自組織，從而提升對外服務(wù)能力，簡化外部調(diào)用網(wǎng)絡(luò)能力的復(fù)雜性；管理統(tǒng)一編排，數(shù)據(jù)中心內(nèi)網(wǎng)絡(luò)二/三層連通、四/七層功能的管理界面統(tǒng)一視圖，不同網(wǎng)絡(luò)資源池的管理采用二級管理

12、編排方式，即底層適配不同網(wǎng)絡(luò)資源池管理操作、上層異構(gòu)協(xié)調(diào)編排；資源池標(biāo)準(zhǔn)化，打破傳統(tǒng)網(wǎng)絡(luò)豎井式架構(gòu)，利用新一代的大二層技術(shù)構(gòu)建資源池，在不擴大廣播域、不增加二層環(huán)路風(fēng)險的前提下提升計算、存儲資源調(diào)動靈活性。成熟技術(shù)集成再造創(chuàng)新，基于網(wǎng)絡(luò)技術(shù)平滑兼容的要求，對基礎(chǔ)可擴展網(wǎng)絡(luò)技術(shù)與協(xié)議進行繼承，組合現(xiàn)有技術(shù)進行集成創(chuàng)新，創(chuàng)新而不失穩(wěn)定，保證網(wǎng)絡(luò)架構(gòu)的全局穩(wěn)定。2. 金融云網(wǎng)架構(gòu)模型設(shè)計與構(gòu)想（1）管理控制平面模型傳統(tǒng)網(wǎng)絡(luò)中各功能組件，如交換機、防火墻、負(fù)載均衡，通常采用不同的設(shè)備供應(yīng)商解決方案，各產(chǎn)品管理接口存在差異（CLI、UI接口各不相同）、普遍不支持API接口。設(shè)備參數(shù)設(shè)置、配置調(diào)整大量依賴

13、人工，且對于維護人員的專業(yè)技能要求較高。在此背景下，網(wǎng)絡(luò)的服務(wù)化、自動化實現(xiàn)難度巨大，難以實現(xiàn)單一的工具或平臺對全網(wǎng)設(shè)備進行統(tǒng)一管理和服務(wù)發(fā)布。隨著產(chǎn)業(yè)技術(shù)的發(fā)展，網(wǎng)絡(luò)產(chǎn)品制造商也逐漸改變產(chǎn)品發(fā)展方向，由原先的封閉式設(shè)備向接口開放的方向發(fā)展?，F(xiàn)階段，業(yè)內(nèi)越來越多的產(chǎn)品開始支持Restful API接口，管理模式不再局限于傳統(tǒng)的CLI及UI接口。數(shù)據(jù)中心新架構(gòu)中，為了實現(xiàn)網(wǎng)絡(luò)服務(wù)化、自動化、統(tǒng)一編排調(diào)度等目標(biāo)，除了要求網(wǎng)絡(luò)各組件支持API接口、可編程等功能特性外，我們認(rèn)為在管理控制平面，還需對各品牌網(wǎng)絡(luò)的API接口做進一步抽象，通過云網(wǎng)控制平臺建立標(biāo)準(zhǔn)網(wǎng)絡(luò)服務(wù)模型，并與各網(wǎng)絡(luò)組件對接。一方面 ，

14、實現(xiàn)網(wǎng)絡(luò)服務(wù)接口的標(biāo)準(zhǔn)化，統(tǒng)一網(wǎng)絡(luò)對外接口，屏蔽不同品牌設(shè)備接口的差異性，簡化上層云管理平臺的開發(fā)難度。另一方面，將復(fù)雜的網(wǎng)絡(luò)參數(shù)隱藏，網(wǎng)絡(luò)各組件的技術(shù)實現(xiàn)、參數(shù)設(shè)置仍由專業(yè)網(wǎng)絡(luò)工程師完成，上層構(gòu)建云管理平臺專注于服務(wù)流程、業(yè)務(wù)編排、工作流調(diào)度、網(wǎng)絡(luò)標(biāo)準(zhǔn)服務(wù)調(diào)用等。圖3 云計算管理平臺下的網(wǎng)絡(luò)平臺控制架構(gòu)云網(wǎng)控制平臺又可分為兩個層次，分別為服務(wù)抽象層和驅(qū)動控制層。服務(wù)抽象層負(fù)責(zé)將網(wǎng)絡(luò)資源抽象成標(biāo)準(zhǔn)的網(wǎng)絡(luò)服務(wù)和模型，例如提供創(chuàng)建網(wǎng)絡(luò)、創(chuàng)建路由器服務(wù)，同時對上層平臺提供標(biāo)準(zhǔn)的網(wǎng)絡(luò)服務(wù)API接口?？刂乞?qū)動層負(fù)責(zé)將標(biāo)準(zhǔn)的網(wǎng)絡(luò)服務(wù)在具體的產(chǎn)品上實現(xiàn)，并將上層的API接口翻譯成網(wǎng)絡(luò)組件可識別的接口，實現(xiàn)對

15、網(wǎng)絡(luò)組件的參數(shù)調(diào)整。（2）交換網(wǎng)模型傳統(tǒng)交換網(wǎng)絡(luò)穩(wěn)定有余但靈活、高效不足。各網(wǎng)絡(luò)分區(qū)之間計算、存儲、網(wǎng)絡(luò)、機房物理環(huán)境等資源均為獨享模式，不同分區(qū)之間計算宿主機無法共享資源，虛擬機不允許在不同分區(qū)宿主機間漂移，計算資源利用率下降。中小型金融機構(gòu)交換網(wǎng)及各功能組件以普遍采用萬兆級設(shè)備，設(shè)備性能強勁，但出于安全性、可靠性及合規(guī)性的考量，金融機構(gòu)數(shù)據(jù)中心網(wǎng)絡(luò)分區(qū)數(shù)量無法減少，在客戶群規(guī)模、交易量不大的情況下，網(wǎng)絡(luò)資源利用率普遍較低。在機房空間利用率上，各類設(shè)備的擺放需綜合考慮布線、TOR交換機部署、電力、制冷等諸多因素，難以實現(xiàn)靈活部署。若采用傳統(tǒng)技術(shù)，例如大二層，試圖解決上述問題，又會造成廣播域的

16、放大、二層環(huán)路風(fēng)險增加，對于后續(xù)運維造成巨大壓力，得不償失。因此，我們認(rèn)為新的交換網(wǎng)架構(gòu)需在不增加運維風(fēng)險的前提下提升計算、存儲、機房空間資源的利用率。同時引入租戶的概念，對一個交換網(wǎng)絡(luò)進行隔離劃分，對于單個金融機構(gòu)可用于實現(xiàn)部分傳統(tǒng)網(wǎng)絡(luò)分區(qū)的合并部署，也可用于多金融租戶的合并部署。金融數(shù)據(jù)中心新交換網(wǎng)架構(gòu)仍采用總線型架構(gòu)，保留傳統(tǒng)分區(qū)、傳統(tǒng)應(yīng)用接入，新增多個云網(wǎng)分區(qū)用于新應(yīng)用上線或存量應(yīng)用遷移。在風(fēng)險可控的前提下，對部分功能相同的網(wǎng)絡(luò)區(qū)域進行合并部署，例如多個業(yè)務(wù)區(qū)合并為一個云網(wǎng)分區(qū)，多個隔離區(qū)合并為另一個云網(wǎng)分區(qū)。圖4 云網(wǎng)模型架構(gòu)一個云網(wǎng)分區(qū)內(nèi)由同一品牌的SDN設(shè)備組成，內(nèi)部采用Vxla

17、n分離Underlay、Overlay網(wǎng)絡(luò)，實現(xiàn)網(wǎng)絡(luò)物理架構(gòu)與邏輯架構(gòu)的解耦。采用Spine+Leaf的物理結(jié)構(gòu)，其中計算Leaf接入提供虛擬機的計算服務(wù)器資源，網(wǎng)絡(luò)功能Leaf接入負(fù)載均衡、防火墻等網(wǎng)元服務(wù)設(shè)備資源，Border Leaf負(fù)責(zé)與數(shù)據(jù)中心核心交換設(shè)備互聯(lián)， 云網(wǎng)分區(qū)內(nèi)由Spine設(shè)備負(fù)責(zé)各Leaf之間的流量互通，每個云網(wǎng)分區(qū)由其自有的控制器進行管理控制。（3）分區(qū)之間互聯(lián)模型數(shù)據(jù)中心核心交換網(wǎng)絡(luò)則是由獨立交換設(shè)備組網(wǎng)，不同云網(wǎng)分區(qū)可能使用不同的SDN解決方案、協(xié)議與技術(shù)，云網(wǎng)分區(qū)內(nèi)部的Vxlan標(biāo)簽在數(shù)據(jù)包出區(qū)域后被剝離，因此云網(wǎng)分區(qū)之間在Overlay層面無法實現(xiàn)互通。上述數(shù)

18、據(jù)中心內(nèi)的組網(wǎng)模型與功能設(shè)計的挑戰(zhàn)主要在于如何將存在于不同云網(wǎng)分區(qū)的租戶流量進行識別，從而保證通過核心交換網(wǎng)絡(luò)后，云網(wǎng)分區(qū)可以正確將IP地址重用的多租戶流量轉(zhuǎn)發(fā)至正確的租戶資源。經(jīng)過評估，我們認(rèn)為傳統(tǒng)技術(shù)中的VRF（虛擬路由轉(zhuǎn)發(fā)表）或MPLS-VPN(基于多協(xié)議標(biāo)簽交換的虛擬網(wǎng)絡(luò))技術(shù)能很好的解決多個云網(wǎng)分區(qū)之間租戶信息傳遞的問題，可將一個VRF或VPN網(wǎng)絡(luò)抽象成一個區(qū)域互聯(lián)路由器，用于連接同一租戶不同邏輯區(qū)域。同時，我們提出了一種區(qū)域互聯(lián)SDN控制技術(shù)，實現(xiàn)對核心交換網(wǎng)絡(luò)與各云網(wǎng)分區(qū)的SDN控制器的協(xié)調(diào)控制，實現(xiàn)多租戶信息標(biāo)識的傳遞的隧道能力。圖5介紹了在數(shù)據(jù)轉(zhuǎn)發(fā)平面的設(shè)計思想，每個租戶在出

19、各自云網(wǎng)分區(qū)時，送入不同的虛擬路由表VRF（或VPN）進行轉(zhuǎn)發(fā)，VRF是交換機內(nèi)部隔離不同路由轉(zhuǎn)發(fā)的虛擬化技術(shù)，實現(xiàn)了虛擬機的一虛多能力。圖5 RI數(shù)據(jù)平面轉(zhuǎn)發(fā)設(shè)計圖在相應(yīng)控制平面，我們設(shè)計了一個RI控制器實現(xiàn)對核心交換網(wǎng)絡(luò)的自動化配置能力，其包括2大功能，一是根據(jù)租戶變動情況動態(tài)創(chuàng)建配置VRF及其相關(guān)配置，二是實現(xiàn)在不同SDN 云網(wǎng)分區(qū)資源動態(tài)變化情況下，路由地址動態(tài)發(fā)布，以便保持動態(tài)變換的網(wǎng)絡(luò)資源的連通性。圖6給出了RI控制器的架構(gòu)設(shè)計，其通過netconf協(xié)議管理核心交換網(wǎng)絡(luò)的設(shè)備，同時也通過適配不同SDN控制器的API接口定時或觸發(fā)讀取相應(yīng)云網(wǎng)分區(qū)的動態(tài)資源信息。在跨異構(gòu)SDN新租戶創(chuàng)

20、建過程中，則會自動根據(jù)前述數(shù)據(jù)轉(zhuǎn)發(fā)平面的設(shè)計創(chuàng)建相應(yīng)VRF通道，在有新網(wǎng)段資源創(chuàng)建時，觸發(fā)RI控制器通過SDN控制API查詢新增網(wǎng)段信息，并通過OSPF動態(tài)路由注入的方式更新核心交換網(wǎng)絡(luò)中的VRF路由表信息，同時我們設(shè)計的RI控制器定時任務(wù)，定時查詢SDN的網(wǎng)絡(luò)資源信息，對比出已刪除的網(wǎng)絡(luò)資源信息，進行路由表清理工作。圖6 RI控制器控制平面設(shè)計圖在具體研發(fā)過程中，我們考慮到了核心網(wǎng)絡(luò)設(shè)備支持的不同操作管理協(xié)議，以及未來不同合作伙伴今后提出新的隧道協(xié)議應(yīng)用方式，因此在代碼架構(gòu)上我們支持了不同設(shè)備控制方式和隧道協(xié)議的擴展能力，以便未來完善優(yōu)化。（4）防火墻與負(fù)載均衡模型防火墻及負(fù)載均衡用于提供四

21、到七層網(wǎng)絡(luò)服務(wù)，實現(xiàn)邏輯區(qū)域之間的安全隔離、服務(wù)器流量分?jǐn)?。金融云網(wǎng)架構(gòu)模型中，可將防火墻及負(fù)載均衡等硬件資源進行池化部署，并按需進行調(diào)度。通過云控制平臺實現(xiàn)防火墻、負(fù)載均衡資源池的統(tǒng)一管理。隨著VNF技術(shù)的日益成熟，在未來，負(fù)載均衡和防火墻將作為VNF接入到不同業(yè)務(wù)邏輯區(qū)域當(dāng)中，實現(xiàn)流量的合理編排和調(diào)度。3. 兩地三中心模型構(gòu)想在金融行業(yè)普遍采用“兩地三中心”的高可用場景下，金融行業(yè)云平臺的網(wǎng)絡(luò)服務(wù)也必須支持跨數(shù)據(jù)中心的網(wǎng)絡(luò)多租戶能力。圖7 兩地三中心模型在設(shè)計中可沿用現(xiàn)有骨干網(wǎng)的設(shè)計思路，并引入MPLS VPN技術(shù)，將同一租戶的流量引入一個VPN網(wǎng)絡(luò)中，實現(xiàn)單一租戶可調(diào)用的資源范圍覆蓋所有

22、數(shù)據(jù)中心，并支持分支機構(gòu)的接入。同時利用MP-BGP豐富的選路能力以及QoS技術(shù)，實現(xiàn)租戶信息跨數(shù)據(jù)中心傳遞，租戶之間、應(yīng)用流量之間相互隔離。原型實踐情況基于以上設(shè)計構(gòu)想，研究小組就單中心模型進行原型驗證，詳細情況如下：1. 物理架構(gòu)概述圖8展示了的原型平臺物理架構(gòu)圖，交換核心區(qū)域由華為三層交換機組成，下聯(lián)2個不同品牌的云網(wǎng)分區(qū)，云網(wǎng)分區(qū)1為華為設(shè)備，云網(wǎng)分區(qū)2為思科ACI設(shè)備，根據(jù)不同云網(wǎng)分區(qū)IT服務(wù)商的合作溝通，負(fù)載均衡和防火墻的物理接入位置稍有不同，華為云網(wǎng)分區(qū)內(nèi)負(fù)載均衡和防火墻接入網(wǎng)關(guān)組，思科云網(wǎng)分區(qū)內(nèi)負(fù)載均衡和防火墻接入專用功能Leaf，但邏輯網(wǎng)絡(luò)架構(gòu)保持一致。圖8 原型平臺物理架構(gòu)

23、圖我們在中國銀聯(lián)與上海銀行聯(lián)合研究的數(shù)據(jù)中心實驗環(huán)境搭建了原型平臺，平臺由華為、思科兩套異構(gòu)SDN云網(wǎng)分區(qū)構(gòu)成，同時也配備了相應(yīng)的負(fù)載均衡和防火墻資源，平臺設(shè)備列表如表1：表1：原型平臺設(shè)備列表平臺基于OpenStack、OVS、Centos等開源軟件進行研發(fā)，相應(yīng)軟件版本情況如表2：表2：軟件版本情況表2. 管理控制平臺概述使用OpenStack作為云控制平臺，起到了承上啟下的作用,向上暴露標(biāo)準(zhǔn)化的API給到多租戶業(yè)務(wù)調(diào)度。另外一方面它通過底層SDN控制器、防火墻驅(qū)動、負(fù)載均衡驅(qū)動和RI模塊，實現(xiàn)對下層物理網(wǎng)絡(luò)資源的抽象、隔離和調(diào)度。3. 云網(wǎng)分區(qū)和云控制平臺集成云網(wǎng)分區(qū)架構(gòu)下，需要管理的四

24、種資源：二層網(wǎng)絡(luò)（思科APIC和華為AC）、三層網(wǎng)關(guān)、防火墻和負(fù)載均衡。云網(wǎng)分區(qū)和云管理平臺集成的一般有以下兩種模式：圖9 OpenStack集成SDN云網(wǎng)分區(qū)技術(shù)模式A模式通過SDN控制器驅(qū)動二層和三層，四層以上設(shè)備通過OpenStack Neutron直接管理，B模式通過SDN控制器驅(qū)動所有設(shè)備。我們現(xiàn)有的防火墻和負(fù)載均衡分別是思科的ASA防火墻、華為的USG防火墻以及F5負(fù)載均衡設(shè)備，下表是兩種設(shè)備通過A模式和B模式下具備的驅(qū)動具備現(xiàn)狀：表3 設(shè)備和OpenStack集成驅(qū)動現(xiàn)狀我們選擇了A模式和B模式混合的方式進行組網(wǎng)：思科ASA防火墻我們重新開發(fā)了OpenStack FWaaS驅(qū)動進

25、行管理（A模式）華為USG防火墻通過華為SDN控制器進行管理（B模式）F5負(fù)載均衡通過F5官方提供的OpenStack驅(qū)動進行管理（A模式）在以上集成的基礎(chǔ)上，我們開發(fā)實現(xiàn)了網(wǎng)間互聯(lián)的RI模塊，用來完成對核心交換機的策略下發(fā)，最終軟件驅(qū)動的架構(gòu)如下：圖10 原型集成驅(qū)動實現(xiàn)方式下面我們將詳細介紹每個模塊的具體集成。（1）思科APIC和華為AC的整合OpenStack對接思科APIC和華為的AC SDN控制器，需要在原生OpenStack的基礎(chǔ)上，在控制節(jié)點、網(wǎng)絡(luò)節(jié)點和計算節(jié)點上做配置的變更。表4 思科APIC和華為AC的整合技術(shù)實現(xiàn)表（2）F5負(fù)載均衡集成在OpenStack LbaaSv2模

26、型中，負(fù)載均衡服務(wù)被抽象成loadbalancer，listener，pool，member，health monitor五種虛擬資源。一個loadbalancer下可以掛載多個listener，不同listener監(jiān)聽端口不同，一個listener下掛載一個pool，一個pool掛載members和health monitor。這些虛擬標(biāo)準(zhǔn)資源和F5資源的對應(yīng)關(guān)系如下：表5 F5負(fù)載均衡OpenStack資源映射表LbaaSv2 Driver將OpenStack中虛擬負(fù)載均衡資源通過RPC的方式發(fā)送給F5 agent，一個F5 agent可以管控一臺F5設(shè)備、HA模式F5集群或者Cluste

27、r模式F5集群，同時F5 agent的分布式部署方式使得F5設(shè)備的橫向擴展能力得到提升，通過LbaaSv2 Driver中的調(diào)度算法，將OpenStack中虛擬負(fù)載均衡資源合理的分配到不同的F5設(shè)備當(dāng)中。在和華為AC集成的時候，F(xiàn)5的管理通過 OpenStack進行調(diào)度，再通過AC中的L2BSR的方式接入到AC網(wǎng)絡(luò)中。在和思科ACI集成的時候，F(xiàn)5的管理通過 OpenStack進行調(diào)度，再將F5設(shè)備通過ACI中的Physical Domain方式接入到ACI中。由于ACI將虛擬網(wǎng)絡(luò)類型變成了OpFlex類型，且該虛擬網(wǎng)絡(luò)的VLAN（或者VNI）由APIC進行分配，這樣導(dǎo)致OpenStack L

28、baas在給F5下發(fā)配置時因為缺少VLAN或者VNI的信息而下發(fā)失敗，需要通過修改F5的代碼支持OpFlex類型來支持下發(fā)，或者啟用F5提供的Global Route模式來解決。（3）防火墻集成和負(fù)載均衡一樣，OpenStack為防火墻服務(wù)提供了V1.0和V2.0兩種API模型， FWaaS 2.0在社區(qū)M版本中提出，現(xiàn)在仍在開發(fā)中，因此我們采用FWaaS 1.0 模型和防火墻設(shè)備進行集成。同樣的，防火墻服務(wù)被抽象成多種虛擬資源，分別是firewall，policy和rule。一個firewall可以關(guān)聯(lián)應(yīng)用到多個router，一個firewall使用一個policy，policy是rule的

29、集合。和ASA防火墻的對應(yīng)關(guān)系如下：表6 思科防火墻OpenStack資源映射表FWaaS Plugin將OpenStack中虛擬防火墻資源通過RPC的方式發(fā)送給ASA agent，一個ASA agent可以管控一臺ASA設(shè)備、HA模式ASA集群或者Cluster模式ASA集群，同時ASA agent的分布式部署方式使得ASA設(shè)備的橫向擴展能力得到提升，通過FWaaS Plugin中的調(diào)度算法，可將OpenStack中虛擬防火墻資源合理的分配到不同的ASA設(shè)備當(dāng)中。（4）網(wǎng)絡(luò)資源與OpenStack映射模型云管平臺上層支持多個金融機構(gòu)，每個金融機構(gòu)是一個租戶。每一個租戶在OpenStack里對

30、應(yīng)一個項目，包涵多個邏輯云網(wǎng)分區(qū)和一個RI組成的隔離資源區(qū)。單個租戶的每一個邏輯云網(wǎng)分區(qū)對應(yīng)一個物理云網(wǎng)分區(qū)，每個物理云網(wǎng)分區(qū)支持多個租戶的邏輯云網(wǎng)分區(qū)。圖11 多租戶云網(wǎng)分區(qū)邏輯與物理資源映射關(guān)系圖在和ACI集成中，一個邏輯云網(wǎng)分區(qū)對應(yīng)ACI中的一個租戶概念，一個ACI租戶含一個VRF，一個VRF內(nèi)虛擬網(wǎng)絡(luò)的流量全通。在和AC集成中，一個邏輯云網(wǎng)分區(qū)對應(yīng)AC中的一個VPC概念，一個VPC含一個VRF，一個VRF內(nèi)虛擬網(wǎng)絡(luò)的流量全通。4. 效果展示原型平臺基于多租戶能力，創(chuàng)建了中國銀聯(lián)與上海銀行兩個金融機構(gòu)租戶，兩個租戶的網(wǎng)絡(luò)地址完全隔離復(fù)用，每個租戶橫跨華為與思科的兩個云網(wǎng)分區(qū)資源，且共同復(fù)

31、用所有硬件資源，通過核心交換網(wǎng)絡(luò)進行數(shù)據(jù)互通。如下圖在極端情況下，兩個機構(gòu)租戶的虛擬機資源的部署與地址規(guī)劃與開通完全一致圖12 多租戶網(wǎng)絡(luò)地址完全隔離復(fù)用圖13展示了原型平臺金融機構(gòu)租戶管理員的管理服務(wù)界面，原型平臺實現(xiàn)了云數(shù)據(jù)中心虛擬路由、負(fù)載均衡、防火墻網(wǎng)絡(luò)資源以及相關(guān)網(wǎng)絡(luò)安全配置的自動化開通能力與統(tǒng)一視圖展示。圖13 租戶管理服務(wù)界面展示的跨區(qū)組網(wǎng)視圖5. 實踐中的問題識別與缺陷基于當(dāng)前銀聯(lián)生產(chǎn)技術(shù)的選型以及開放的研究角度，我們基于OpenStack開源技術(shù)進行了研究實現(xiàn)，在實現(xiàn)過程中不斷匯總梳理了相應(yīng)遇到的問題，一些影響核心應(yīng)用的問題我們進行了個別優(yōu)化解決，一些問題仍然有待解決，我們計劃提交社區(qū)優(yōu)化，具體如下：（1）二/三層網(wǎng)絡(luò)模型三層模型不支持雙出口現(xiàn)有路由器