網(wǎng)絡感知的虛擬機能效問題研究綜述

1、    網(wǎng)絡感知的虛擬機能效問題研究綜述    寇榮虎 鄭航摘 要：網(wǎng)絡感知的虛擬機能效問題是云數(shù)據(jù)中心節(jié)能的重要部分。無論是虛擬機間的流量通信，還是虛擬機的調(diào)度與遷移，稀缺的網(wǎng)絡資源都是虛擬機節(jié)能需要考慮的重要因素。本文從基于新型網(wǎng)絡拓撲的虛擬機通信節(jié)能、虛擬機調(diào)度策略和虛擬機遷移策略三個方面對網(wǎng)絡感知的虛擬機能效問題進行深入研究。關鍵詞： 網(wǎng)絡感知;能效;調(diào)度： 2095-2163（2019）03-0273-03 ： tp302  文獻標志碼： a0 引 言云計算作為一種新興的技術，可以靈活地使用強大的計算資源為租戶服務，得到政府、企業(yè)的高

2、度重視和逐步認同，其技術和應用得到了飛速發(fā)展。云計算數(shù)據(jù)中心在全球范圍內(nèi)普及開來。云供應商為了滿足各類用戶和企業(yè)的多種服務請求，不斷增加云數(shù)據(jù)中心的服務器數(shù)量和應用程序的種類，在這些服務器和應用程序增加的同時，也給寶貴的網(wǎng)絡資源帶來了不小的壓力。此外，網(wǎng)絡資源的高度消耗使得云數(shù)據(jù)中心的服務質(zhì)量也將面臨一定考驗，在資源規(guī)模更新前，服務水平協(xié)議（sla）的違反次數(shù)達到峰值狀態(tài)，而剛更新過網(wǎng)絡資源時的 sla 違反次數(shù)處于最低值，但隨著時間推移，sla 的違反次數(shù)逐漸遞增，最終出現(xiàn)網(wǎng)絡資源不足的情況。而在當前，云數(shù)據(jù)中心大多使用虛擬化技術，使多臺虛擬機共享it資源，提供資源整合與復用，這極大優(yōu)化了i

3、t資源使用和設備能耗1-4。網(wǎng)絡感知的虛擬機能效問題研究，即可通過利用不同的網(wǎng)絡拓撲結(jié)構(gòu)，合理地優(yōu)化虛擬機間的流量通信，對虛擬機進行針對性的調(diào)度以滿足合理資源利用等，都可以節(jié)省網(wǎng)絡資源以達到優(yōu)化云數(shù)據(jù)中心能效的目的。因此，對虛擬機能效問題進行全面探討是尤為必要的。本文即從新型網(wǎng)絡拓撲的虛擬機通信節(jié)能、網(wǎng)絡感知的調(diào)度與遷移策略的角度闡述虛擬機節(jié)能研究。1 研究狀況國內(nèi)外眾多學者對網(wǎng)絡感知的虛擬機能效問題進行深入的研究，已有研究主要從網(wǎng)絡拓撲的虛擬機通信、虛擬機調(diào)度和虛擬機遷移角度進行論述，研究內(nèi)容詳見如下。1.1 基于新型網(wǎng)絡拓撲的虛擬機通信節(jié)能研究不同網(wǎng)絡拓撲架構(gòu)下的虛擬機間通信存在不同的能源

4、消耗。文獻5提出一種可擴展、靈活的數(shù)據(jù)中心網(wǎng)絡vl2，vl2通過一種新的網(wǎng)絡架構(gòu)解決傳統(tǒng)數(shù)據(jù)中心中存在的超額認購、資源利用率低、數(shù)據(jù)中心成本高等問題。增加數(shù)據(jù)中心內(nèi)的帶寬，并用一種新的尋址方式解決資源分段問題，滿足了數(shù)據(jù)中心靈活性的需求。同時，研究又利用vlb、ecmp等算法實現(xiàn)負載均衡和多路徑傳輸，增加資源利用率，提高網(wǎng)絡穩(wěn)定性。但vl2架構(gòu)需要更改服務器的主機協(xié)議棧，并且亟需一個高性能、低時延的目錄系統(tǒng)提供映射查找服務，為數(shù)據(jù)中心帶來額外的開銷。文獻6設計了elastictree，即數(shù)據(jù)中心網(wǎng)絡的節(jié)能，elastictree以網(wǎng)絡冗余為代價節(jié)省數(shù)據(jù)中心網(wǎng)絡的能源。研究中使用openflow

5、等智能交換機持續(xù)監(jiān)控數(shù)據(jù)中心的流量狀況，并選擇一組網(wǎng)絡元素，包括必須保持活動狀態(tài)以滿足性能和容錯目標的鏈路和交換機，未選擇的元素將關閉以節(jié)省電力?？偟卣f來，elastictree是以降低網(wǎng)絡冗余為代價進行節(jié)能，但是嚴格限制冗余要求的目的就是適應不斷變化的流量和網(wǎng)絡交換機的意外故障。文獻7分析了一種基于vm遷移的網(wǎng)絡拓撲結(jié)構(gòu)在數(shù)據(jù)中心網(wǎng)絡中的節(jié)能。本文介紹了honeyguide，這是一種高能效的網(wǎng)絡拓撲結(jié)構(gòu)，用于在嚴格冗余要求下降低數(shù)據(jù)中心網(wǎng)絡的能耗。減少網(wǎng)絡能耗的方法是減少開啟網(wǎng)絡交換機的數(shù)量，就是如果沒有流量通過網(wǎng)絡交換機，可以將其關閉以達到節(jié)省能源的目的。在honeyguide方法中，不僅

6、關閉不活動的交換機，還嘗試著增加不活躍交換機的數(shù)量。為了增加非活躍交換機的數(shù)量，結(jié)合了2種技術，分別是：虛擬機和流量合并;添加一條旁路鏈路（對現(xiàn)有的基于樹的網(wǎng)絡拓撲進行略微的擴展）。分析可知，即具有以下特點：（1）利用虛擬機的遷移。honeyguide 使用虛擬機的遷移來增加未使用的網(wǎng)絡交換機的數(shù)量。（2）容錯。數(shù)據(jù)中心網(wǎng)絡元素通常是冗余的，以承受網(wǎng)絡交換機和電纜切斷的意外故障。該方法保留原始樹形拓撲的容錯能力以及滿足虛擬機容錯的要求。（3）容易部署?？梢栽诂F(xiàn)有數(shù)據(jù)中心網(wǎng)絡上部署，雖然honeyguide采用了稍微擴展的現(xiàn)有基于樹的拓撲結(jié)構(gòu)，但可以通過添加旁路鏈路，這些鏈路有助于在嚴格冗余要求

7、下增加關閉網(wǎng)絡交換機的數(shù)量。文獻8討論了flattened butterfly，這是一種適用于高速網(wǎng)絡的低成本拓撲結(jié)構(gòu)。該拓撲利用全局自適應路由的發(fā)展，而且該文獻還給出了一種性能高效的網(wǎng)絡，這種flattened butterfly比多級交換網(wǎng)絡具有更低的跳數(shù)，比傳統(tǒng)的butterfly具有更好的路徑多樣性選擇。同時，在流量的負載均衡上，flattened butterfly在代價上大約是容量相同的交換網(wǎng)絡的一半。但是，如果在傳統(tǒng)的拓撲結(jié)構(gòu)上部署flattened butterfly，卻必須更改現(xiàn)有網(wǎng)絡拓撲的所有布線。最糟糕的情況下，還需要重建一個數(shù)據(jù)中心。1.2 網(wǎng)絡感知的虛擬機調(diào)度策略研究

8、網(wǎng)絡感知的虛擬機調(diào)度策略就是在考慮網(wǎng)絡元素的情況下使用不同的調(diào)度以實現(xiàn)虛擬機節(jié)能。文獻9中提取、整理、并匯總了有關數(shù)據(jù)中心計算和通信元素消耗的能源信息。首先研究了數(shù)據(jù)中心架構(gòu)，從2層數(shù)據(jù)中心架構(gòu)到3層、以及3層高速的架構(gòu)，剖析了各自的特點，然后介紹了仿真器greencloud的結(jié)構(gòu)，為用戶提供了數(shù)據(jù)中心元素（如交換機、服務器和鏈路）所消耗能量的詳細建模。比較了該仿真器與cloudsim和mdcsim等模擬器的區(qū)別和優(yōu)勢，從而展示了greencloud仿真器細粒度地測量大型數(shù)據(jù)中心能耗的能力。最后則是實驗績效評估階段，針對2層、3層和3層高速數(shù)據(jù)中心架構(gòu)所獲得的仿真結(jié)果證明了應用不同電源管理方案

9、（dvfs、dns）的效果。以及在不同架構(gòu)下測量的數(shù)據(jù)中心交換機在核心層、匯聚層、訪問層所消耗能量及服務器消耗能量?？傊?，greencloud仿真器可以細粒度地模擬數(shù)據(jù)中心情況，避免了無法對大型數(shù)據(jù)中心直接測量能耗的困擾。文獻10提出一種結(jié)合能源效率和網(wǎng)絡感知的數(shù)據(jù)中心調(diào)度方法，即數(shù)據(jù)中心節(jié)能網(wǎng)絡感知調(diào)度。這里的網(wǎng)絡感知是指dens方法能夠接收和分析來自數(shù)據(jù)中心交換機和鏈路的運行時反饋，并根據(jù)網(wǎng)絡反饋采取決策和行動。dens方法根據(jù)數(shù)據(jù)中心組件的負載水平和通信潛力選擇最適合作業(yè)并行的計算資源，從而最大限度地減少數(shù)據(jù)中心的總能耗。dens方法旨在實現(xiàn)執(zhí)行單個作業(yè)，服務水平協(xié)議（sla）中定義的作

10、業(yè)qos要求、流量需求、數(shù)據(jù)中心的能源消耗之間的平衡。dens方法在運行數(shù)據(jù)密集型作業(yè)的數(shù)據(jù)中心中尤為重要，數(shù)據(jù)密集型作業(yè)需要較低的計算負載，但會產(chǎn)生從數(shù)據(jù)中心以及相鄰節(jié)點輸出的大量數(shù)據(jù)流。例如，這種數(shù)據(jù)密集型作業(yè)通常由流行的視頻共享或地理信息服務產(chǎn)生。本文擬另外撰述提出的調(diào)度方法則致力于避免數(shù)據(jù)中心內(nèi)的熱點，同時最大限度地減少作業(yè)執(zhí)行所需的計算服務器數(shù)量。dens指標的設計和規(guī)范對數(shù)據(jù)中心的架構(gòu)是關聯(lián)緊密的，對數(shù)據(jù)密集型作業(yè)的要求高，需要數(shù)據(jù)密集型的作業(yè)做到優(yōu)化配置，而非注重計算能力，從而產(chǎn)生針對最終用戶的大量數(shù)據(jù)流。文獻11是針對具有流量負載平衡的云計算應用節(jié)能調(diào)度、即e-stab調(diào)度程序

11、。目標是優(yōu)化云計算數(shù)據(jù)中心的能耗，如此一來就可平衡由作業(yè)產(chǎn)生的通信流，同時把作業(yè)整合在最少計算量的服務器上。研究可知，e-stab調(diào)度程序?qū)⒆鳂I(yè)的通信需求與計算要求置于同等重要位置。e-stab作為一個調(diào)度程序，分2步來展開調(diào)度過程。先選擇數(shù)據(jù)中心中的可用性最高的網(wǎng)絡帶寬，再選擇具有最小可用計算能力的計算服務器，但該服務器卻能充分滿足計劃任務的計算需求。e-stab調(diào)度程序會分析網(wǎng)絡鏈路上的負載和網(wǎng)絡交換機輸出隊列的占用情況。并且該方案考慮了云應用程序的流量需求，從而在數(shù)據(jù)中心網(wǎng)絡中提供高能效的作業(yè)分配和流量負載均衡。網(wǎng)絡流量的有效分配通過減少與通信相關的延遲和與擁塞相關的分組丟失來提高云應用

12、的服務質(zhì)量。從greencloud模擬器獲取的仿真結(jié)果驗證了所提出的調(diào)度方法的優(yōu)點和效率，并確認得知：在數(shù)據(jù)中心中通常的管理方案的能耗也未獲增加。但e-stab算法是一個需要分2個步驟來定義的調(diào)度策略，而且需要實時地了解整個數(shù)據(jù)中心網(wǎng)絡使用率來選擇合適的服務器、機架、模塊。1.3 網(wǎng)絡感知的虛擬機遷移策略研究網(wǎng)絡感知的虛擬機部署遷移研究，旨在最小化數(shù)據(jù)中心的能源開銷和數(shù)據(jù)中心的網(wǎng)絡流量，其核心思想是將網(wǎng)絡資源作為虛擬機部署的關鍵因素。文獻12研究了基于網(wǎng)絡性能優(yōu)化的資源重設置問題，發(fā)現(xiàn)通過虛擬機的在線遷移可以提高虛擬機的性能以及數(shù)據(jù)中心的網(wǎng)絡通信能力。文獻13通過研究真實數(shù)據(jù)中心的流量分布，發(fā)

13、現(xiàn)虛擬機的流量分布是不均衡的，但虛擬機的流量在長時間的范圍內(nèi)是趨于穩(wěn)定的，據(jù)此提出了基于通信流量的虛擬機部署算法，將具有較大流量交互的虛擬機放置在相近的物理位置上，在最小化高層交換機工作負載的同時提高數(shù)據(jù)中心網(wǎng)絡的可擴展性。文獻14為了減少能源消耗和改善網(wǎng)絡性能，提出一種分階段的啟發(fā)式算法。首先將最小割的聚類算法和最佳適應算法相結(jié)合來達到能源效率優(yōu)化的目的，然后使用局部搜索算法再次對虛擬機放置進行優(yōu)化來最小化最大鏈路利用率。文獻15則基于物理主機的負載和虛擬機對資源的需求來估算開銷，用以保證將開銷最小的物理主機選為遷移的目標主機。2 結(jié)束語綜上所述，基于網(wǎng)絡拓撲，虛擬機調(diào)度與遷移等研究，根本上

14、解決的是在保證性能的前提下提升資源的利用率問題，從而達到優(yōu)化云數(shù)據(jù)中心節(jié)能的目標。然而仍存在不足，如滿足服務水平協(xié)議、負載均衡等目標未能同時考慮在內(nèi)等，未來工作可從多目標、多角度研究虛擬機能效問題。參考文獻1barham p，dragovic b fraser k，et al. xen and the art of virtualizationj. acm sigops operating systems review，2003，37（5）：164-177.2 wang lin， zhang fa，arjona j a ，et al. greendcn： a general framework

15、 for achieving energy efficiency in data center networksj. ieee journal on selected areas in communications 2014，32（1）：4-15.3 林偉偉，吳文泰. 面向云計算環(huán)境的能耗測量和管理方法j. 軟件學報，2016，27（4）：1026-1041.4 hamdi k，kefi m. network-aware virtual machine placement in cloud data centers： an overviewc/2016 international confer

16、ence on industrial informatics and computer systems. sharjah， united arab emirates： ieee，2016：1-5.5 greenberg a g，hamilton j r，jain n，et al. vl2： a scalable and flexible data center networkj. acm sigcomm computer communication review，2009，39（4）： 51-62.6 heller b， seetharaman s， mahadevan p， et al. e

17、lastictree： saving energy in data center networksc/proceedings of the 7th usenix symposium on networked systems design and implementation， nsdi 2010. san jose， ca， usa：dblp，2017：1-17.7 shirayanagi h，yamada h kono k . honeyguide： a vm migration-aware network topology for saving energy consumption in

18、data center networksc/ 2012 ieee symposium on computers & communications. cappadocia（iscc）. turkey：ieee，2012：000460-000467.8 kim j，dally w j，abts d . flattened butterfly： a cost-efficient topology for high-radix networksc/34th international symposium on computer architecture （isca 2007）. san die

19、go， california， usa：dblp，2007：1-13.9 kliazovich d，bouvry p，khan s u . greencloud： a packet-level simulator of energy-aware cloud computing data centersj. the journal of supercomputing，2012，62（3）：1263-1283.10kliazovich d，bouvry p，khan s u. dens： data center energy-efficient network-aware schedulingj. cluster computing，2013，16（1）：65-75.11kliazovich d，arzo s t，granelli f，et al. e-stab： energy-efficient schedulin