計(jì)算環(huán)境下一種面向科學(xué)工作流能耗感知資源分配方法研究

：云計(jì)算；學(xué)工作流；能耗感知；資源分THESIS:AResearchofEnergy-AwareResourceAllocationMethodBasedonScientificWorkflowinCloudComputingEnvironmentSPECIALIZATION：ComputerScience&TechnologyUNDERGRADUATE:XiangLiu：Cloudcomputingisreceivingwideattentionofbusinesscommunityandacademiaforitscharacteristicsofvirtualization,highreliabilityandon-demandservice.Atthesametime,scientificworkflowisoftenusedincloudcomputingplatformsduetoitslarge-scalecharacteristic.Asaresult,thesharpexpansionofclouddatacentersobviouslybringsrapidgrowthofenergyconsumption,whichaddstotheseverityofthepreviousincreasingenergyconsumptionofdatacenters.Therefore,howtoallocateresourcesefficientlyinanenergy-awaremethodfortasksfromscientificworkflowsincloudcomputingplatformstoreducetheenergyconsumptionhas eabigchallenge.Inthisarticle,wewillproposeaglobalresourceallocationmethodwhichaimsatthedynamicconfigurationofvirtualmachinestodealwiththischallenge.Specifically,wewillfirstlylaunchareasonablemodelofsystemenergyconsumptionofcloudcomputingplatformsbasedonscientificworkflows.Then,wewillintroduceaglobalresourceallocationmethodtodynamiclydeployvirtualmachinesandswitchthemodesofphysicalmachines.Finally,wewillcarryoutexperimentstoyzeitsperformanceandeffectiveness.:cloudcomputing;scientificworkflow;energy-aware;緒 課題研究背景和意 課題研究現(xiàn) 本文研究內(nèi)容和章節(jié)安 相關(guān)技術(shù)介 裝箱問題的BFD解決方 創(chuàng)建能耗模 任務(wù)執(zhí)行能 動(dòng)態(tài)操作能 面向科學(xué)工作流的能耗感知資源分配方 工作流任務(wù)分 物理機(jī)資源.......................................................................................基于虛擬機(jī)遷移的資源分配方 全局資源分配方 實(shí)驗(yàn)配置與結(jié)果分 實(shí)驗(yàn)參數(shù)與環(huán)境配 方法性能評(píng)估與分 從資源利用率的角度分 從系統(tǒng)能耗的角度分 總結(jié)和展 參考文 緒web服務(wù)轉(zhuǎn)變成提供效用服務(wù)的階段。而云因其具有的基礎(chǔ)設(shè)施安增長超過60%，全球主要IT營運(yùn)商云計(jì)算平臺(tái)的能耗將達(dá)到近2萬億千瓦時(shí)，IT30%10%80%，通過升級(jí)可以達(dá)到90%，從而極大減少了能耗[15]。程序指令完全局限于一臺(tái)虛擬機(jī)，負(fù)載得以實(shí)現(xiàn)，也取得了較高的可靠性用戶任務(wù)的需要，每個(gè)虛擬機(jī)在定制時(shí)也會(huì)分配固定的CPU核數(shù)、內(nèi)存、和硬課題研究現(xiàn)Kansal等人認(rèn)為虛擬機(jī)的能耗能夠用硬件資源來衡量，他提出了一種通過CPU和內(nèi)存的能耗建模方法[3]。Bohra等人提出了一種平凡虛擬hibernation資源來實(shí)現(xiàn)節(jié)約能耗的啟發(fā)式調(diào)度算法[6]Beloglazov等人提出了一些基于實(shí)時(shí)格等在內(nèi)的用戶服務(wù)水平（QoS并且?guī)缀跽也坏结槍?duì)基于科學(xué)工作流的能耗感裝箱問題的BFDn個(gè)具有一定體積的物品{p1,p2,…,pn}要放入一些同樣具有一定體積的BFD(BestFitDecreasing)是一種貪心算法。算法執(zhí)行時(shí)，需要首先將空閑區(qū)下面給出裝箱問題采用最佳適應(yīng)遞減算法(BFD)的案：首先對(duì)物品按BFD算法常用于裝箱問題及其衍生問題，比如[8]提出了文檔管理備份的優(yōu)資源，根據(jù)BFD算法做了改進(jìn)來最小化處理機(jī)數(shù)目。生能耗。這些能耗記為執(zhí)行動(dòng)態(tài)操作的能耗，表示為Edynamic。 任務(wù)執(zhí)行能的配置，包括相同的CPU核數(shù)、內(nèi)存、磁盤等硬件資源。設(shè)系統(tǒng)中一共有PMN個(gè)物理機(jī)，那么物理機(jī)集合就可以表示為PM={pm1,pm2,…,pmPMN}，對(duì)于物理機(jī)pmm，其中的虛擬機(jī)個(gè)數(shù)為VMNm，記為{vmm,1,vmm,2,…,vmm,VMNm}。PMEbase。每個(gè)物理機(jī)的活躍時(shí)間乘以活躍時(shí)的功PMEbase=∑ PMActiveTimempmm的活躍時(shí)間，PERatembasepmm活躍狀態(tài)的功耗PMNVMEactive=∑∑ m=1PMNVMEidle=∑∑VEIdleTimem,n?VMRateidle m=1VEIdleTimem,nvmm,n的空閑時(shí)間，VMRateidle表示虛擬機(jī)空閑時(shí)部虛擬機(jī)通信產(chǎn)生能耗為VMCEin。用兩個(gè)虛擬機(jī)之間的數(shù)據(jù)傳輸量跟傳輸PMNVMNmVMCEin=∑∑∑ m=1 其中datai，j表示vmm,i和vmm,j的數(shù)據(jù)傳輸量，bwm表示pmm的數(shù)據(jù)傳輸帶寬，VMCRatein表示對(duì)應(yīng)的傳輸能耗代價(jià)。VMCEout。用兩個(gè)物理機(jī)之間的數(shù)PMNVMCEout=∑m=1

寬，VMCRateout表示對(duì)應(yīng)的傳輸能耗代價(jià)。 動(dòng)態(tài)操作能可以忽略使物理機(jī)從活躍模式進(jìn)入低能耗模式和從低能耗模式進(jìn)入活躍模式的現(xiàn)在我們可以知道，當(dāng)活躍物理機(jī)上所有任務(wù)執(zhí)行完畢時(shí)即可通過DVS/DVFS技術(shù)調(diào)節(jié)其進(jìn)入活躍模式，當(dāng)處于睡眠模式的物理SwiTime2SwiTime?(PERatebase+VMN

PERatebasepm活躍狀態(tài)的功耗，VMRateactive mPERateidle=m

PERatebase,空閑時(shí)間

m m mPMEidle。每個(gè)物理機(jī)得空閑mPMEidle=∑

pm空閑時(shí)間，PERateidle

mmPMRmax=PERatebase+VMN mPERatebasepmm基礎(chǔ)功耗，VMRateactivemmPMEswitch=∑ m其中Timesm表示模式切換 3.1名 表示含 物理機(jī)虛擬機(jī)數(shù)據(jù)交流能 工作流任務(wù)分FT{wft1ft2wftTN}，這些任務(wù)可能有著相同或不同的任務(wù)開始時(shí)間，TN表示總?cè)蝿?wù)的個(gè)數(shù)，時(shí)間，vmnnWFT按照任務(wù)開始SWFT={swft1，swft2，…，swftTN}，對(duì)于其中swfidn表示工作流號(hào)，stidn表示任務(wù)號(hào)，sstimen表示任務(wù)開始時(shí)間表示任務(wù)持續(xù)時(shí)間，svmnn表示任務(wù)需要的虛擬機(jī)個(gè)數(shù)。接著我們就可以給出對(duì)TP={tp1，tp2，…，tptpn}。WFT中，WFTSWFTSWFT中的任算法4.1:::3:4:fori=1toTN ifswfti的開始時(shí)間等于swfttptemp的開始時(shí)間then 將swfti加入tptpn中 swftitptpn end13:end14:return通過下圖4.1中的例子可以看出，首先有兩個(gè)工作流SciWf1和SciWf2，分別四個(gè)分片TP={tp1，tp2，tp3，tp4}，每個(gè)分片內(nèi)任務(wù)的開始時(shí)間相同。物理機(jī)資源 rarmi（tidm,isartiem,idrtinm,irstmirsetm,i表示分配的資源集合。RARTm的算法也就分為這兩種情算法4.2:任務(wù)進(jìn)出時(shí)間t:1:iftag=TASKIN rarnm=rarnm5:end6:iftag=TASKOUTthen fori=1torarnm ifrarm,i的任務(wù)號(hào)=swft end end12:end13:return算法4.3:::1:fori=1toVMNm 3:end4:fori=1toVMNm fork=1torarnm ifvmm,irarm,k end end end13:end14:15:fori=1toVMNmdo end19:end20:return通過下圖4.2SWFT={swft1，swft2，swft3}，t=1時(shí)，swft1swft2tp1。t=2.5時(shí)，tp2swft332，被分配虛擬4.2任務(wù)到達(dá)時(shí)確定空閑虛擬機(jī)個(gè)數(shù)可以通過虛擬機(jī)的遷移策略達(dá)到[]，所以我們嘗試通過更改虛擬機(jī)調(diào)度策略來sftnRASn并且rnnisn，i{pmidnitttiniurationi}中pmidniiduratinisunpmn的系統(tǒng)資源利用率。通過計(jì)算所有虛擬機(jī)活躍時(shí)間之和跟∑VMNn 機(jī)個(gè)數(shù)，PMActiveTimen表示pmn的活躍時(shí)間。au為所有物理機(jī)的平均資源利用率。用所有物理機(jī)的資源利用率之a(chǎn)u=

目前，云商能夠保證虛擬機(jī)的遷移不會(huì)被打斷[12]，所以我們假設(shè)忽略SPM={spm1spm2spmPMN}， 機(jī)上運(yùn)行的任務(wù)和新到達(dá)的tpn中的任務(wù)都取出，此時(shí)這些任務(wù)和處于活躍狀TTS={t1，t2，…，tttn}，ttn表示任務(wù)個(gè)數(shù)。接著對(duì)其按照所需虛擬機(jī)個(gè)數(shù)遞減STTS={st1，st2，…，stttn}BestFitDecreasing（BFD）算M將機(jī)上空閑虛擬機(jī)的個(gè)數(shù)并繼續(xù)對(duì)下一個(gè)任務(wù)進(jìn)行虛擬機(jī)分配直到所有任務(wù)都分算法4.4:輸入:n:2:PM中的物理機(jī)按基礎(chǔ)能耗遞增排序得到新的物理機(jī)集合8:SPM中處于低能耗狀態(tài)和活躍狀態(tài)的虛擬機(jī)標(biāo)識(shí)出9:fori=1tottn 使用算法4.3計(jì)算SPM中有標(biāo)識(shí)的每個(gè)物理機(jī)上的空閑虛擬機(jī)個(gè) if能夠找到這樣的物理機(jī)滿足所需虛擬機(jī)個(gè)數(shù)且虛擬機(jī)個(gè)數(shù)最少 用這臺(tái) 使用算法4.2更新該物理機(jī)的資源分配記錄表 打開另一臺(tái)有著最少虛擬機(jī)且能滿足sti的物理機(jī)并 使用算法4.2更新該物理機(jī)的資源分配記錄表 end20:endSTTS，再按照算法RAMBA(tp)將STTS中的任務(wù)依次這些物理機(jī)中全局資源分配方tpn到達(dá)，1≤n≤tpn；存在任ntpst+1pmnpmmsmi={pmodemipmmsmipmmstm，i}pmodem，i表示切換前的模式，pmmsm，i表示切換后的模式，pmmstm，i表算法4.5:::3:fori=1totpn 5:end6:fori=1totpn 初始化兩個(gè)空Task ifn<tpn 找出在時(shí)間段(tpspstn+1]內(nèi)完成的任務(wù)加入 end fork=1tonumTime 初始 end21:end22:form=1toPMN 初始 fori=1tonumPeriod 將pmm在activeperiodi結(jié)束時(shí)的模式從modetemp1改為active 將pmm在activeperiodi結(jié)束時(shí)的模式從active改為modetemp231:endfor32:pmm33:end4.4為運(yùn)行中5.1否否否是是否是是實(shí)驗(yàn)環(huán)境我們選擇的是使用JAVA語言的Cloudsim框架來模擬一個(gè)云數(shù)據(jù)中心運(yùn)行環(huán)境。Cloudsim由分層結(jié)構(gòu)組成，最底層是模擬引擎，仿真層用來源分配策略等進(jìn)行定義，D enter類用來查詢主機(jī)和虛擬機(jī)的信息，VirtualMachine類用來定義虛擬機(jī)分配的資源，Cloudlet類用來定義云任務(wù)等。使EC2ECU就能當(dāng)做一個(gè)虛擬機(jī)，從而物理機(jī)的虛擬機(jī)數(shù)量就能確4W7W5.2所示：5.2HPProLiant6HPProLiant8HPProLiantBL460cHPProLiantSL390s數(shù)。比如(2,3,4.1,2.1,3)234.15.3名 參數(shù)范工作流號(hào)數(shù) 任務(wù) 任務(wù)持續(xù)時(shí) 需要虛擬機(jī)個(gè) 0 0 5.1工作流數(shù)量工作流數(shù)量024 配置配置配置配置工作流數(shù)量工作流數(shù)量024 配置配置配置配置 配置配置配置配置工作流數(shù)量0工作流數(shù)量0 配置配置配置配置工作流數(shù)量 配置配置配置配置工作流數(shù)量0工作流數(shù)量0 配置配置配置配置比圖。圖5.8顯示了四種配置的系統(tǒng)平均資源利用率隨工作流數(shù)量的變化情00配置 配置 配置 配置4顯示了不同工作流數(shù)量下，四種不同配置產(chǎn)生的系統(tǒng)能耗41，這表明工作流數(shù)量0024工作流數(shù)量002468配置配置配置配置工作流數(shù)量002 8 配置 配置 配置 配置系統(tǒng)能耗系統(tǒng)能耗0 0 配置配置配置配置系統(tǒng)能耗工作流數(shù)量00 工作流數(shù)量00 配置配置配置配置工作流數(shù)量00 6 配置配置配置配置系統(tǒng)能耗系統(tǒng)能耗002 002 配置 配置 配置 配置系統(tǒng)能耗00配置 配置 配置 配置系統(tǒng)總能耗5.1515.162、3、4132降低的5.1循序漸進(jìn)地設(shè)計(jì)了一種面向科學(xué)工作流的全局資源分配方法。接著，我們使用Cloudsim框架來進(jìn)行實(shí)驗(yàn)仿真并收集一些必要的數(shù)據(jù)，比如在分片到達(dá)時(shí)系統(tǒng)R.Buyya,J.Broberg,A.Goscinski,HongjunLi,DongmeiLi,XiuchengZhang,andZenggangLi,CloudComputingPrinciplesandParadigms[M],ChinaMachinePress,pp.6-7,May.2013.A.Kansal,F.Zhao,andJ.Liu,Virtualmachinepowermeteringandprovisioning[J],ACMSymp,Jun.2010.B.Krishnan,H.Amur,andA.Gavrilovska,VMpowermetering:feasibilityandchallenges[J],ACMSIGMETRICS,Dec.2010.A.E.H.BohraandV.Chaudhary,VMeter:Powermodellingforvirtualizedclouds[J],IEEEIntlConf,Apr.2010.S.Nedevschi,L.Popa,andG.Iannaccone,S.Ratnasamy,NetworkEnergyConsumptionviaSleeandRate-Adaptation[J],USENIXSymp,Apr.2008.A.BeloglazovandR.Buyya,Energyefficientresourceman