IaaS云數(shù)據(jù)中心虛擬機(jī)調(diào)度優(yōu)化問(wèn)題研究

1、    iaas云數(shù)據(jù)中心虛擬機(jī)調(diào)度優(yōu)化問(wèn)題研究    摘要：虛擬機(jī)調(diào)度優(yōu)化問(wèn)題是云數(shù)據(jù)中心資源管理的核心問(wèn)題。文章以iaas云數(shù)據(jù)中心為研究目標(biāo)，以云數(shù)據(jù)中心的資源管理為出發(fā)點(diǎn)，結(jié)合虛擬化的云數(shù)據(jù)中心中資源提供與分配問(wèn)題進(jìn)行研究。并對(duì)虛擬資源管理中的核心問(wèn)題虛擬機(jī)調(diào)度優(yōu)化問(wèn)題進(jìn)行了深入研究，給出了虛擬機(jī)放置問(wèn)題模型，并從模型求解算法、實(shí)驗(yàn)仿真與評(píng)價(jià)方面進(jìn)行分析。最后對(duì)虛擬機(jī)調(diào)度問(wèn)題進(jìn)行總結(jié)。關(guān)鍵詞：iaas 資源管理 虛擬機(jī)放置 虛擬機(jī)調(diào)度：tp311 ：a ：1007-9416（2016）10-0060-02云計(jì)算技術(shù)是分布式計(jì)算、互聯(lián)網(wǎng)技術(shù)，大規(guī)模

2、資源管理技術(shù)的融合與發(fā)展，具有彈性服務(wù)，資源池化，按需服務(wù)，服務(wù)計(jì)費(fèi)，泛在接入等特點(diǎn)1。基礎(chǔ)設(shè)施即服務(wù)（infrastructure-as-a-service，iaas），平臺(tái)即服務(wù)（platform-as-a-service，paas），軟件即服務(wù)（software-as-a-service，saas）構(gòu)成了云計(jì)算服務(wù)模式的核心。其中iaas提供硬件基礎(chǔ)設(shè)施部署服務(wù)，為用戶(hù)按需提供實(shí)體或虛擬的計(jì)算，存儲(chǔ)和網(wǎng)絡(luò)等資源。為了優(yōu)化硬件資源的分配，借助于虛擬化技術(shù)和xen，kvm，vmware等虛擬化工具，可以提供可靠性高，可定制性強(qiáng)，規(guī)?？蓴U(kuò)展的iaas云服務(wù)。1 云數(shù)據(jù)中心資源管理1.1 云數(shù)據(jù)

3、中心資源管理云計(jì)算資源管理中主要涉及云用戶(hù)（cloud user），云提供商（cloud provider），和最終用戶(hù)（end user）三類(lèi)角色。資源管理目標(biāo)包括性能，金融，環(huán)境等方面。iaas云資源管理主要涉及物理資源和虛擬資源兩類(lèi)。管理的資源的類(lèi)型主要包含計(jì)算資源，網(wǎng)絡(luò)資源，存儲(chǔ)資源，電力資源等。資源管理技術(shù)可以分為動(dòng)態(tài)資源管理和靜態(tài)資源管理兩方面2。靜態(tài)資源管理技術(shù)主要涉及資源的映射與調(diào)度兩類(lèi)，靜態(tài)映射包含云代理，虛擬機(jī)放置，服務(wù)放置；靜態(tài)的調(diào)度問(wèn)題主要涉及工作流調(diào)度。動(dòng)態(tài)的資源管理則涉及負(fù)載均衡，以及資源容量規(guī)劃等管理技術(shù)。云資源管理功能主要涉及：（1）全局的虛擬資源調(diào)度；（2）資

4、源需求分析；（3）資源利用率估計(jì)；（4）資源定價(jià)與利潤(rùn)最大化；（5）虛擬化資源的本地調(diào)度；（6）應(yīng)用擴(kuò)展和配置；（7）工作負(fù)載管理；（8）云管理系統(tǒng)等。云資源管理性能評(píng)價(jià)主要從可靠性，是否部署方便，服務(wù)質(zhì)量，延遲和開(kāi)銷(xiāo)控制等方面考量。性能評(píng)價(jià)常用的指標(biāo)有吞吐量（一定時(shí)間內(nèi)，云中執(zhí)行的任務(wù)的數(shù)量），網(wǎng)絡(luò)開(kāi)銷(xiāo)，虛擬機(jī)遷移時(shí)間，遷移的次數(shù)，資源利用率，能量消耗，回報(bào)和收益，sla違約次數(shù)等。1.2 虛擬化在云數(shù)據(jù)中心云計(jì)算對(duì)計(jì)算能力的業(yè)務(wù)需求，加速了數(shù)據(jù)中心的飛速發(fā)展，虛擬化技術(shù)的應(yīng)用強(qiáng)化了云計(jì)算的應(yīng)用發(fā)展。云數(shù)據(jù)中心虛擬化的本質(zhì)就是借助于虛擬化技術(shù)（virtualization technolog

5、y），將數(shù)據(jù)中心的資源（計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)）進(jìn)行抽象和顆粒化，構(gòu)建成動(dòng)態(tài)的虛擬資源池（virtual resource pool），使用虛擬資源管理（virtual resource management，vrm）技術(shù)實(shí)現(xiàn)云計(jì)算資源得自動(dòng)部署、動(dòng)態(tài)擴(kuò)展、按需分配和管理。應(yīng)用虛擬化技術(shù)，云數(shù)據(jù)中心的物理資源被劃分為多個(gè)獨(dú)立的稱(chēng)為虛擬機(jī)（virtual machine，vm） 的邏輯域。每個(gè)vm 可以運(yùn)行一個(gè)獨(dú)立的操作系統(tǒng)。從用戶(hù)的角度看，虛擬機(jī)像是運(yùn)行在獨(dú)立的物理機(jī)上，實(shí)質(zhì)是多個(gè)vm 共享同一個(gè)物理機(jī)。虛擬機(jī)監(jiān)控（virtual machine monitor，vmm）負(fù)責(zé)控制資源多路復(fù)用和管理虛

6、擬機(jī)。1.3 云數(shù)據(jù)中心資源映射虛擬化的數(shù)據(jù)中心的資源管理主要處理兩種類(lèi)型的資源映射3，一類(lèi)是工作負(fù)載和資源需求的映射，另一類(lèi)是虛擬資源和物理資源的映射。第一類(lèi)主要指云應(yīng)用服務(wù)與虛擬機(jī)之間的映射，通過(guò)匹配不同規(guī)格的虛擬機(jī)套餐完成用戶(hù)資源的抽象分配；第二類(lèi)是將申請(qǐng)的虛擬機(jī)套餐實(shí)例化，將其映射到物理服務(wù)器，最終完成物理資源的分配。云用戶(hù)任務(wù)的請(qǐng)求隨機(jī)性、獨(dú)立性、相似性和多樣性的特點(diǎn)，決定了不同用戶(hù)任務(wù)對(duì)資源的需求特征不同。云平臺(tái)提供多種不同類(lèi)型的虛擬機(jī)套餐（flavor）供用戶(hù)選擇，用戶(hù)根據(jù)cpu、內(nèi)存、存儲(chǔ)等參數(shù)以及任務(wù)特點(diǎn)選擇相應(yīng)類(lèi)型的虛擬機(jī)，從而完成“用戶(hù)任務(wù)-虛擬機(jī)”的匹配，實(shí)現(xiàn)工作負(fù)載到

7、資源需求的映射。云資源調(diào)度器綜合考慮資源需求、性能約束、sla約束，依據(jù)約定的資源分配（resource allocation）策略，將大量不同類(lèi)型的虛擬機(jī)請(qǐng)求，調(diào)度到合適的物理機(jī)，從而完成“虛擬機(jī)vm-物理機(jī)pm”的映射。在實(shí)現(xiàn)映射的過(guò)程中需要綜合考慮多維度因素的影響，實(shí)現(xiàn)能耗優(yōu)化，提高資源利用率，資源負(fù)載均衡等，其實(shí)質(zhì)是資源的多目標(biāo)調(diào)度優(yōu)化問(wèn)題。2 虛擬機(jī)調(diào)度優(yōu)化問(wèn)題云計(jì)算環(huán)境下虛擬資源調(diào)度研究中，最基本的問(wèn)題在于如何將總體有限的資源分配給多個(gè)租戶(hù)或應(yīng)用，以達(dá)到效率或收效最大化。但是在云計(jì)算環(huán)境下，資源并不是單一的，包括計(jì)算資源（cpu）、內(nèi)存資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源（帶寬）等，如何進(jìn)行多

8、資源類(lèi)型的聯(lián)合調(diào)度和控制以滿(mǎn)足不同需求組合是云計(jì)算環(huán)境下的一個(gè)核心的資源調(diào)度問(wèn)題。2.1 虛擬機(jī)調(diào)度分類(lèi)從資源映射的角度來(lái)講，虛擬機(jī)調(diào)度優(yōu)化問(wèn)題主要涉及到兩個(gè)層面：云任務(wù)和虛擬機(jī)之間的映射，虛擬機(jī)和物理機(jī)之間的映射；而從資源調(diào)度的角度來(lái)看，涉及到虛擬機(jī)調(diào)度問(wèn)題的主要涉及虛擬機(jī)放置問(wèn)題和虛擬機(jī)整合。虛擬機(jī)放置主要是指將具體規(guī)格的虛擬機(jī)請(qǐng)求，在數(shù)據(jù)中心選擇合適的物理服務(wù)器進(jìn)行實(shí)例化，實(shí)現(xiàn)最終的資源分配的過(guò)程。虛擬機(jī)整合主要針對(duì)虛擬機(jī)放置完成放置后，隨著工作負(fù)載的變化，物理宿主機(jī)的物理資源和性能的限制不能滿(mǎn)足系統(tǒng)的性能約束，負(fù)載均衡約束等條件，而需要為虛擬機(jī)重新尋找宿主機(jī)，實(shí)現(xiàn)虛擬機(jī)到物理主機(jī)的重映

9、射過(guò)程。虛擬機(jī)整合過(guò)程主要涉及到：（1）處于過(guò)載狀態(tài)和欠載狀態(tài)的宿主機(jī)檢測(cè)；（2）虛擬機(jī)遷移對(duì)象的確定；（3）虛擬機(jī)遷移目標(biāo)的確定；（4）虛擬機(jī)放置等環(huán)節(jié)。 2.2 問(wèn)題優(yōu)化模型選擇哪個(gè)虛擬機(jī)放置在數(shù)據(jù)中心哪一臺(tái)物理服務(wù)器的過(guò)程稱(chēng)之為虛擬機(jī)放置（virtual machine placement，vmp）。虛擬機(jī)放置問(wèn)題相關(guān)的英文表達(dá)：（1）virtual machine placement；（2）vm placement；（3）virtual machine consolidation；（4）vm consolidation；（5）server consolidation。虛擬機(jī)放置vmp問(wèn)

10、題可簡(jiǎn)要描述如下：（1）n個(gè)虛擬機(jī)請(qǐng)求，這些虛擬機(jī)請(qǐng)求以若干種規(guī)格的虛擬機(jī)套餐flavor來(lái)體現(xiàn)，主要資源需求包含cpu，內(nèi)存，硬盤(pán)，網(wǎng)絡(luò)帶寬等。（2）m個(gè)物理服務(wù)器，物理資源主要包括cpu，內(nèi)存，硬盤(pán)，網(wǎng)絡(luò)帶寬等。（3）尋求一種虛擬機(jī)到物理主機(jī)的映射：scheduling（vms，pms，優(yōu)化目標(biāo)約束，物力資源約束）同時(shí)滿(mǎn)足：物理資源約束，即每一臺(tái)物理服務(wù)器的每一維度的資源總量能夠滿(mǎn)足放置到該服務(wù)器上的虛擬機(jī)的資源需求；目標(biāo)約束，即為了使得放置達(dá)到某種目的而滿(mǎn)足的約束條件，如能耗最低，負(fù)載平衡，資源損耗最小等。許多學(xué)者將虛擬機(jī)放置問(wèn)題建模為裝箱（bin packing）問(wèn)題。而裝箱問(wèn)題已被證

11、明是np-hard問(wèn)題，其研究重點(diǎn)是尋求近似算法，它不保證每個(gè)實(shí)例的最佳解決方案，而是試圖找到一個(gè)近似最優(yōu)解。2.3 模型求解算法vmp問(wèn)題是將n臺(tái)虛擬機(jī)如何部署到m臺(tái)服務(wù)器上，其解空間大小為mn，是一個(gè)類(lèi)似裝箱問(wèn)題的np-hard難題，但不完全相同。如圖1所示，以計(jì)算資源cpu和內(nèi)存資源mem兩個(gè)維度考慮，（1）中物理主機(jī)cpu和mem均得到充分利用（均為100%）；（2）中物理主機(jī)帶寬得到充分利用，但是cpu尚有可以利用空間。裝箱問(wèn)題因其不存在多項(xiàng)式時(shí)間復(fù)雜度的最優(yōu)求解算法，用傳統(tǒng)的精確算法求解會(huì)發(fā)生“組合爆炸”的現(xiàn)象，因此啟發(fā)式求解方法成為理論研究和實(shí)際應(yīng)用的首選。傳統(tǒng)的vmp問(wèn)題求解是

12、基于貪心策略的啟發(fā)式算法，如最佳適應(yīng)（best fit，bf）、首次適應(yīng)（first fit，ff）以及降序最佳適應(yīng)（best fit decreasing，bfd）和降序首次適應(yīng)（first fit decreasing，ffd）等。除此之外，應(yīng)用元啟發(fā)式算法4如ga遺傳算法，aco蟻群算法，pso粒子群算法，bbo優(yōu)化算法等。此類(lèi)算法可以通過(guò)調(diào)整算法參數(shù)，通過(guò)單個(gè)或多個(gè)算法的有機(jī)結(jié)合，針對(duì)虛擬機(jī)放置問(wèn)題進(jìn)行優(yōu)化，從而得到較優(yōu)的結(jié)果。不過(guò)通常涉及較多的參數(shù)，參數(shù)的設(shè)置對(duì)同一問(wèn)題的實(shí)驗(yàn)結(jié)果有不可估量的影響。與啟發(fā)式算法相比，算法相對(duì)復(fù)雜，參數(shù)不易掌握，需要專(zhuān)業(yè)的領(lǐng)域知識(shí)來(lái)指導(dǎo)算法參數(shù)調(diào)優(yōu)。2.

13、4 實(shí)驗(yàn)與算法評(píng)價(jià)云計(jì)算中心通常涉及成百上千臺(tái)甚至數(shù)以萬(wàn)計(jì)的服務(wù)器，一是對(duì)于普通的研究人員來(lái)說(shuō)直接在云數(shù)據(jù)中心開(kāi)展實(shí)驗(yàn)成本太高，而是無(wú)法承擔(dān)數(shù)據(jù)中心由此而帶來(lái)的經(jīng)濟(jì)成本等支出，因此云計(jì)算的資源分配算法和調(diào)度算法等大部分是基于模擬環(huán)境進(jìn)行。常用的云平臺(tái)模擬軟件有cloudsim，greencloud，mdcsim等。通過(guò)cloudsim等仿真實(shí)驗(yàn)平臺(tái)對(duì)提出的算法首先對(duì)數(shù)據(jù)中心進(jìn)行建模仿真，然后通過(guò)仿真平臺(tái)對(duì)提出的算法進(jìn)行實(shí)現(xiàn)，和已有算法在同一個(gè)平臺(tái)上進(jìn)行算法模擬，對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比分析，從而驗(yàn)證算法的可行性和高效性。3 結(jié)語(yǔ)本文以iaas云數(shù)據(jù)中心的資源管理為出發(fā)點(diǎn)，詳細(xì)分析了應(yīng)用虛擬化技術(shù)后的

14、的云數(shù)據(jù)中心所面臨的虛擬資源管理問(wèn)題。并以資源調(diào)度的核心問(wèn)題虛擬機(jī)調(diào)度優(yōu)化問(wèn)題為例，并對(duì)資源管理調(diào)度、虛擬機(jī)調(diào)度問(wèn)題進(jìn)行了深入分析。同時(shí)根據(jù)，結(jié)合虛擬機(jī)問(wèn)題，從問(wèn)題優(yōu)化模型、算法求解分類(lèi)和實(shí)驗(yàn)仿真與算法評(píng)價(jià)等方面，介紹了虛擬機(jī)放置優(yōu)化問(wèn)題進(jìn)行了細(xì)致介紹。參考文獻(xiàn)1mell p，grance t.the nist definition of cloud computingr.national institute of standards and technology，2011.2jennings b，stadler r.resource management in clouds：survey and research challengesj.journal of network and systems management，2014：1-53.3wei l，huang t，chen j， et al. workload prediction-based algorithm for consolidation of virtual machinesj.journal of electronics & information technology，