軟件定義數(shù)據(jù)中心網(wǎng)絡sddn研究縮減版

匯報人：郭得科教授國防科學技術大學信息系統(tǒng)與管理學院2016.10.27于桂林理工大學軟件定義數(shù)據(jù)中心網(wǎng)絡（SDDN）研究桂林理工大學學術交流1軟件定義數(shù)據(jù)中心網(wǎng)絡的概述2數(shù)據(jù)平面的研究進展3控制平面的研究進展4應用平面的研究進展5未來研究匯報提綱數(shù)據(jù)中心已成為信息化基礎設施云計算、物聯(lián)網(wǎng)、大數(shù)據(jù)推動了數(shù)據(jù)中心的快速發(fā)展(Facebook)數(shù)據(jù)中心微軟(Microsoft)數(shù)據(jù)中心蘋果公司的數(shù)據(jù)中心Google的數(shù)據(jù)中心數(shù)據(jù)中心的作用和地位數(shù)據(jù)中心—看上去，規(guī)模龐大數(shù)據(jù)中心—走進去，結構復雜數(shù)據(jù)中心的作用和地位災難備份后臺計算在線請求“ThefutureInternetwillbeanetworkofdatacenters”

–2013.4RobertKahn

:2004年圖靈獎獲得者、“互聯(lián)網(wǎng)之父”數(shù)據(jù)中心的作用和地位云數(shù)據(jù)中心對SDN技術的需求6

2016SDN滿足數(shù)據(jù)中心“網(wǎng)絡感知應用，應用控制網(wǎng)絡”的需求云計算推動數(shù)據(jù)中心向虛擬化、多租戶等方向發(fā)展，在網(wǎng)絡性能和靈活性等諸多方面遭遇挑戰(zhàn)。云數(shù)據(jù)中心對計算、存儲、網(wǎng)絡資源的自動化管控和調(diào)配需求；以網(wǎng)絡資源為核心的云計算服務的資源聯(lián)合需求能夠得到保障；不同租戶間的網(wǎng)絡應用需要有效隔離；云數(shù)據(jù)中心的網(wǎng)絡應用創(chuàng)新需要使用和控制網(wǎng)絡。傳統(tǒng)網(wǎng)絡架構控制層數(shù)據(jù)層控制層數(shù)據(jù)層思科瞻博耦合耦合網(wǎng)絡節(jié)點上層應用不開放APIXX應用層控制層數(shù)據(jù)層上層應用SDN控制器網(wǎng)絡節(jié)點軟件定義網(wǎng)絡(SDN)標準接口軟件開放軟件定義網(wǎng)絡的基本理念硬件平臺標準化，控制功能集中化，向上層應用開放搜索引擎應用程序操作系統(tǒng)硬件平臺X86架構辦公軟件WindowsLinux個人電腦(PC)架構標準接口軟件開放硬件平臺標準化，控制功能集中化，向上層應用開放應用層控制層數(shù)據(jù)層上層應用SDN控制器網(wǎng)絡節(jié)點軟件定義網(wǎng)絡(SDN)標準接口軟件開放軟件定義網(wǎng)絡的基本理念OpenFlowOpenFlowSwitchPCOpenFlowSwitchOpenFlowSwitchOpenFlowProtocolAaron’scodeRuleActionStatisticsRuleActionStatisticsRuleActionStatisticsSDDN的挑戰(zhàn)：數(shù)據(jù)面的橫向可擴展網(wǎng)絡拓撲作用：高效互聯(lián)服務器和網(wǎng)絡設備，承載網(wǎng)絡化計算和存儲，網(wǎng)絡性能逐漸成為瓶頸挑戰(zhàn)：可擴展性：百萬級服務器成本效益：商用設備逐漸替代專用設備技術驅(qū)動：網(wǎng)絡設備和計算設備的融合性能：內(nèi)部流量巨大，網(wǎng)絡資源稀缺傳統(tǒng)的縱向擴展方式失效，橫向可擴展網(wǎng)絡拓撲的設計思想呈現(xiàn)多樣化趨勢FATTreeBCube面臨的挑戰(zhàn)：控制面的高可擴展控制器集中式控制器的擴展性成為SDN架構的瓶頸之一單個網(wǎng)絡控制器面臨有限的處理能力以及稀缺的可用安全控制信道，難以對數(shù)量龐大且不斷增長的數(shù)據(jù)流實現(xiàn)按需轉(zhuǎn)發(fā)控制云數(shù)據(jù)中心中高可擴展控制器的挑戰(zhàn)網(wǎng)絡互聯(lián)架構的多樣性轉(zhuǎn)發(fā)設備的異構性和多樣性分布式控制器的放置和組網(wǎng)分布式控制器的負載均衡等集中式控制器難以支持大型、拓撲結構多樣的數(shù)據(jù)中心網(wǎng)絡面臨的挑戰(zhàn)：應用面的資源協(xié)同優(yōu)化問題云數(shù)據(jù)中心中網(wǎng)絡應用的整體性能取決于多種資源的耦合當前缺乏對網(wǎng)絡資源的有效調(diào)度和分配方法更缺乏高效協(xié)同利用計算與網(wǎng)絡、存儲與網(wǎng)絡的方法難以提升數(shù)據(jù)中心性能和用戶的服務質(zhì)量。當前的SDN機制對應用層關于資源的細粒度控制僅能提供有限的支持，對于諸如網(wǎng)內(nèi)存儲、網(wǎng)內(nèi)聚合、網(wǎng)內(nèi)數(shù)據(jù)分析處理等缺乏可行方法。應用面的資源協(xié)同優(yōu)化需求在當前云數(shù)據(jù)中心中難以得到保障整體研究框架數(shù)據(jù)平面控制平面北向接口應用平面功能高可定制的轉(zhuǎn)發(fā)節(jié)點網(wǎng)絡狀態(tài)感知南向接口網(wǎng)絡狀態(tài)控制南向接口高可擴展的網(wǎng)絡控制器網(wǎng)絡虛擬化網(wǎng)絡節(jié)能新型路由協(xié)議資源聯(lián)合優(yōu)化橫向可擴展的網(wǎng)絡拓撲新型傳輸協(xié)議可視化網(wǎng)絡管理1軟件定義數(shù)據(jù)中心網(wǎng)絡的概述2數(shù)據(jù)平面的研究進展3控制平面的研究進展4應用平面的研究進展5未來研究匯報提綱研究進展一：數(shù)據(jù)平面研究新型網(wǎng)絡結構，實現(xiàn)資源按需持續(xù)擴展，提升網(wǎng)絡傳輸能力數(shù)據(jù)中心內(nèi)設備類型和通信技術呈現(xiàn)多樣化趨勢樹形超級立方體Torus

無標度隨機正則圖小世界研究進展一：數(shù)據(jù)平面1.以交換機為核心的可擴展網(wǎng)絡拓撲

規(guī)則網(wǎng)絡結構:Fat-Tree

采用更多數(shù)量的交換機互聯(lián)、或融合光交換機進行網(wǎng)絡互聯(lián)。研究進展一：數(shù)據(jù)平面1.以交換機為核心的可擴展網(wǎng)絡拓撲隨機網(wǎng)絡結構：Jellyfish為支持漸進可擴展能力，不采用約定的互聯(lián)結構最小化平均路徑長度，采用K最短路路由方法研究進展一：數(shù)據(jù)平面1.以交換機為核心的可擴展網(wǎng)絡拓撲19純粹規(guī)則或純粹隨機結構無法滿足當前業(yè)務的要求優(yōu)點不足規(guī)則型結構容易路由，構建相對簡單，維護和維修有章可循不支持增量擴展導規(guī)模無法按需定制隨機型結構增量擴展，吞吐量高，網(wǎng)絡直徑低連線成本高，路由復雜性高，異構性好研究進展一：數(shù)據(jù)平面RegularityRandomness實現(xiàn)優(yōu)勢互補？1.以交換機為核心的可擴展網(wǎng)絡拓撲研究進展一：數(shù)據(jù)平面1.以交換機為核心的可擴展網(wǎng)絡拓撲把每個隨機拓撲作為復合圖的基本單元將這些基本單元按照規(guī)則拓撲的互聯(lián)規(guī)則互聯(lián)R3:基于隨機正則圖和2x4維通用超級立方體構建提出通用拓撲構造方法，規(guī)則性和隨機性拓撲都其特例G1G研究進展一：數(shù)據(jù)平面2.以服務器為核心的可擴展網(wǎng)絡拓撲G1G研究進展一：數(shù)據(jù)平面2.以服務器為核心的可擴展網(wǎng)絡拓撲HCN(4,2)G1G22.以服務器為核心的可擴展網(wǎng)絡拓撲研究進展一：數(shù)據(jù)平面Rack層面的無線網(wǎng)絡：60GHZ和激光通信不易在生產(chǎn)數(shù)據(jù)中心部署，需要基礎設施層面的改造建立無線鏈路需要額外的機械或電信號控制操作研究進展一：數(shù)據(jù)平面3.數(shù)據(jù)中心的混合網(wǎng)絡架構研究進展一：數(shù)據(jù)平面可見光通信技術：在可見光頻譜上使用LED或激光技術進行數(shù)字通信調(diào)制，0和1分別通過是否發(fā)射光束來表示。普適性：普適的光源設備能否用于數(shù)據(jù)中心內(nèi)提供無線通路？傳輸速率LED：單色光達到3Gbps,三色光達到10GbpsLD：單激光脈沖達到9Gbps傳輸距離LED：10米以內(nèi)實現(xiàn)10Gbps傳輸，最長到1.4kmLD：Km級別設備、API、SDK已面世VLC具備為數(shù)據(jù)中心提供無線通路的基本條件研究進展一：數(shù)據(jù)平面3.數(shù)據(jù)中心的混合網(wǎng)絡架構干擾問題：在每個rack頂部沿四個方位部署transceivers，沿某個方位入射可見光研究進展一：數(shù)據(jù)平面3.數(shù)據(jù)中心的混合網(wǎng)絡架構設計VLCcube混合網(wǎng)絡結構有線網(wǎng)絡架構采用廣泛使用的Fat-Tree在每個Rack頂部架設4部VLC的收發(fā)裝置，在Rack層面通過VLC鏈路構造無線Torus結構混合路由問題流量調(diào)度問題研究進展一：數(shù)據(jù)平面3.數(shù)據(jù)中心的混合網(wǎng)絡架構研究進展一：數(shù)據(jù)平面3.數(shù)據(jù)中心的混合網(wǎng)絡架構VLCcube提供了更高的網(wǎng)絡帶寬并縮短了APL研究進展一：數(shù)據(jù)平面3.數(shù)據(jù)中心的混合網(wǎng)絡架構雅虎數(shù)據(jù)中心流量Trace下的仿真結果，VLCcube獲得更高的吞吐量和更低的丟包率1軟件定義數(shù)據(jù)中心網(wǎng)絡的概述2數(shù)據(jù)平面的研究進展3控制平面的研究進展4應用平面的研究進展5未來研究匯報提綱研究進展二：控制平面1.軟件定義數(shù)據(jù)中心控制器的最小覆蓋在大規(guī)模的數(shù)據(jù)中心，單個控制器的能力十分有限采用最少數(shù)量的控制器和有效選址實現(xiàn)對整個數(shù)據(jù)中心的控制，確保每個交換機至少被一個控制器控制？Jellyfish拓撲的數(shù)據(jù)中心紅色的點代表控制器的部署位置該覆蓋問題的優(yōu)化目標是最小化控制器的數(shù)量，表示如下：約束：1.能力限制--每個控制器可處理來自所控制交換機的flow的路由等計算請求。2.時延限制：一個交換機到其控制器的傳播時延不會超過給定的閾值。3.確保每個交換機至少被一個控制器所控制。研究進展二：控制平面1.軟件定義數(shù)據(jù)中心控制器的最小覆蓋交換機的數(shù)量對控制器個數(shù)的影響，每個交換機有24個端口研究進展二：控制平面1.軟件定義數(shù)據(jù)中心控制器的最小覆蓋含有1000臺交換機的數(shù)據(jù)中心，單個控制器的能力對于所需控制器數(shù)量的影響研究進展二：控制平面1.軟件定義數(shù)據(jù)中心控制器的最小覆蓋研究進展二：控制平面2.軟件定義數(shù)據(jù)中心控制器的最小容錯覆蓋最小覆蓋模型下，控制器的故障導致所覆蓋交換機失效；尋求最少數(shù)量的控制器及其位置，確保每個交換機至少被兩個控制器所控制。紅色的點是1次覆蓋控制器的位置藍色的點是2次覆蓋控制器的位置研究進展二：控制平面2.軟件定義數(shù)據(jù)中心控制器的最小容錯覆蓋失效的控制器對于交換機的影響，數(shù)據(jù)中心含有1000個24口的交換機研究進展二：控制平面3.分布式控制器的內(nèi)容同步機制為確保正確的控制行為，分布式控制平面需要全局一致的網(wǎng)絡視圖，這要求各控制器頻繁同步各自的局部視圖。最小開銷的狀態(tài)同步問題，構造最小開銷同步樹結構交換機的數(shù)量對于多播樹中鏈路數(shù)的影響研究進展二：控制平面3.分布式控制器的內(nèi)容同步機制1軟件定義數(shù)據(jù)中心網(wǎng)絡的概述2數(shù)據(jù)平面的研究進展3控制平面的研究4應用平面的研究進展5未來研究匯報提綱1Multicast的協(xié)同傳輸2不確定Multicast的協(xié)同傳輸3Incast的協(xié)同傳輸和網(wǎng)內(nèi)聚合4Shuffle的的協(xié)同傳輸和網(wǎng)內(nèi)聚合研究進展三：應用平面數(shù)據(jù)中心中的流量現(xiàn)狀支持多種計算框架，如MapReduce、Dryad、Pregel采用流式計算模型，相鄰處理階段存在大數(shù)據(jù)量的傳輸;Multicast、Incast、shuffle是最重要的流量傳輸模式，占據(jù)了數(shù)據(jù)中心的大部分流量。（80%m2011)盡管網(wǎng)絡結構的研究力圖不斷提高網(wǎng)絡的傳輸能力，對現(xiàn)有傳輸能力的高效利用同等重要流量的相關性和可聚合性基于協(xié)同傳輸?shù)木W(wǎng)絡流量管理機遇很多數(shù)據(jù)中心應用使用組播通信模式具備多條可選的平行路徑高效組播樹的現(xiàn)有構造方法ESM(2011)

BcubePortLand1.

Multicast的協(xié)同傳輸問題表述代價最小組播樹的快速生成算法如何充分發(fā)掘數(shù)據(jù)中心互聯(lián)結構自身的特性最小Steiner樹的復雜度過高O(N^2)，不適用于大型數(shù)據(jù)中心提出復雜度達到O(log

2

N)的近似算法，相比ESM和Steiner1.

Multicast的協(xié)同傳輸“東西流量”的產(chǎn)生同計算和存儲資源的分配息息相關當前的研究多關注流量產(chǎn)生后的網(wǎng)絡資源管理迫切需要聯(lián)合優(yōu)化計算與網(wǎng)絡、存儲與網(wǎng)絡，解決好不確定性關聯(lián)流量的協(xié)同傳輸問題，包括不確定性Multicast、不確定性Incast等2.不確定性Multicast的協(xié)同傳輸問題表述：一個組播傳輸存在多個可選源結點時，選擇和啟用哪個源節(jié)點，致使組播傳輸?shù)木W(wǎng)絡開銷最??？2.不確定性Multicast的協(xié)同傳輸17條鏈路

16條鏈路

12條鏈路

當多個甚至全體源節(jié)點協(xié)同參與組播傳輸時，組播傳輸?shù)木W(wǎng)絡開銷是否能進一步降低？挑戰(zhàn)：如何為不確定性Multicast構造最小代價傳輸結構整數(shù)規(guī)劃問題思路2.不確定性Multicast的協(xié)同傳輸實驗評測：Openflow規(guī)范對multicast的流表實現(xiàn)提供支持在RYU控制器上部署不確定性multicast的決策應用

2.不確定性Multicast的協(xié)同傳輸網(wǎng)絡拓撲及不確定性multicast的成員

傳輸代價實驗評測：2.不確定性Multicast的協(xié)同傳輸接收方規(guī)模變化對傳輸最大時延的影響

接收方規(guī)模變化對傳輸代價的影響仿真評測：網(wǎng)絡規(guī)模的影響：有10個sources，300個destinations.2.不確定性Multicast的協(xié)同傳輸

仿真評測：

sources規(guī)模的影響：網(wǎng)絡有2000個交換機和300個destinations2.不確定性Multicast的協(xié)同傳輸

仿真評測：拓撲結構的影響：隨機正則網(wǎng)絡拓撲、小世界模型、Fat-tree拓撲等。隨機正則網(wǎng)絡拓撲下的實驗結果2.不確定性Multicast的協(xié)同傳輸

3.

Incast的協(xié)同傳輸和網(wǎng)內(nèi)聚合問題背景一個Incast的多個數(shù)據(jù)流之間存在相關性，在共同的接收方可被聚合。聚合操作能大幅降低數(shù)據(jù)傳輸量，進而降低對稀缺帶寬資源的消耗；Facebook的Mapreduce應用中聚合后數(shù)據(jù)流的大小降低了81.7%(MASCOTS2011)。3.

Incast的協(xié)同傳輸和網(wǎng)內(nèi)聚合問題表述對參與一個incast的多個數(shù)據(jù)流在其傳輸過程中盡可能早的執(zhí)行Inter-flow的聚合操作，而不是在其接收方對全體數(shù)據(jù)流進行數(shù)據(jù)聚合操作。Incast數(shù)據(jù)流的In-network聚合，從而最小化造成的網(wǎng)絡傳輸開銷（NP-hard問題）。最大化網(wǎng)內(nèi)聚合增益的流量協(xié)同傳輸問題NP難問題多徑平行路由Unicast-driven方法<0,0>00010203<0,1>10111213<0,2>20212223<0,3>30313233<1,0><1,1><1,2><1,3>從v2,v5,v9,v10,v11,v14到v0的數(shù)據(jù)流在傳播過程中沒有發(fā)生交匯，所有流量只有在接收方v0處發(fā)生交匯。Aunicast-driventreeofcost22with18links3.

Incast的協(xié)同傳輸和網(wǎng)內(nèi)聚合Incast網(wǎng)內(nèi)聚合樹的近似構造方法發(fā)掘數(shù)據(jù)中心互聯(lián)結構的拓撲優(yōu)勢，僅根據(jù)全體發(fā)送方和接收方的邏輯標識符即可快速推演出性能較優(yōu)的incast樹RS-basedIncastTree一種k+2階段的擴展樹定義由k+1個routingsymbols構成的routingsequence，各個stage分配一個routingsymbol存在集合{0,1,2,…,k}的(k+1)!個routingsequenceAnincasttreeofcost18with14links3.

Incast的協(xié)同傳輸和網(wǎng)內(nèi)聚合ARS-basedIncastTree(k+1)!個routingsequence中最佳方案的高效產(chǎn)生復雜度從降到Anincasttreeofcost16with12linksAnincasttreeofcost18with14links3.

Incast的協(xié)同傳輸和網(wǎng)內(nèi)聚合數(shù)據(jù)中心規(guī)模對性能的影響由120個senders和1個receiver構成的incasttransfer網(wǎng)絡流量降低39%3.

Incast的協(xié)同傳輸和網(wǎng)內(nèi)聚合數(shù)據(jù)中心規(guī)模對性能的影響由120個senders和1個receiver構成的incasttransferAggregation節(jié)點數(shù)目接收端的數(shù)據(jù)輸入大小3.

Incast的協(xié)同傳輸和網(wǎng)內(nèi)聚合Incast規(guī)模對性能的影響B(tài)Cube(8,5)with262144servers

網(wǎng)絡流量降低59%3.

Incast的協(xié)同傳輸和網(wǎng)內(nèi)聚合流量聚合因子的影響B(tài)Cube(8,5)with262144servers500個senders4000個senders

網(wǎng)絡流量降低24%

網(wǎng)絡流量降低40%

3.

Incast的協(xié)同傳輸和網(wǎng)內(nèi)聚合任務調(diào)度機制的影響容納262144臺服務器的BCube(8,5)，分配500個senders

隨機部署時流量降低24%

局部性部署時流量降低62%3.

Incast的協(xié)同傳輸和網(wǎng)內(nèi)聚合開放問題Incast流量中發(fā)送發(fā)的動態(tài)行為Incast流量中接收方的動態(tài)行為Incast樹的容錯能力數(shù)據(jù)中心網(wǎng)絡架構的影響對作業(yè)完成時間的影響Incast樹的表示和維護問題支持流量聚合操作的網(wǎng)絡節(jié)點的選擇等3.

Incast的協(xié)同傳輸和網(wǎng)內(nèi)聚合基本思想一個Shuffletransfer由眾多Incasttransfers構成；Shuffle數(shù)據(jù)流的In-networkaggregation;最小化造成的網(wǎng)絡傳輸開銷（NP-hard問題）。

4.

Shu