OpenStack云平臺的監(jiān)控系統(tǒng)算法設(shè)計與實現(xiàn)

1、計 算 機 技 術(shù) 與 發(fā) 展Vol.28搖 No.7July搖 2018第28 卷搖 第7 期搖 搖 搖 搖 搖 搖 搖 搖 搖 搖2018 年7 月?lián)u 搖 搖 搖 搖 搖 搖 搖 搖 搖COMPUTER TECHNOLOGY AND DEVELOPMENTOpenStack 云平臺的監(jiān)控系統(tǒng)算法設(shè)計與實現(xiàn)1,王志明2王搖 元( , 210003; , 211167)摘搖 要:、, ,因此,。 , ,息規(guī)劃、, 。 , 。 , 。 ,的數(shù)據(jù), ,。關(guān)鍵詞:監(jiān)控;: 搖 搖 搖 搖 搖 搖 : 搖 搖 搖 搖 搖 (2018)./ 2018.07.Design and Implementati

2、on of Monitoring SystemAlgorithm for OpenStack, Zhi-ming2Yuan1(1. School of Communication and Information Engineering,Nanjing University ofPosts and Telecommunications,Nanjing 210003,China;2. School of Communication and Information Engineering,Nanjing Institute ofTechnology,Nanjing 211167,China)Abst

3、ract:With the rapid development of virtualization and cloud computing technologies,traditional management systems can no longermeet users爺 needs. Therefore,efficient management of cloud computing platforms has gradually become the focus of social attention. Mo鄄nitoring is one of the important measur

4、es of management methods. Administrators can collect information about the operation of the sys鄄tem through monitoring,and plan and adjust cloud management behavior based on this information,so as to provide users with higherservice quality. In this paper,we deploy OpenStack,the cloud management pla

5、tform,analyze the traditional linear regression and Markovchain,and sum up their existing drawbacks and predict the cloud platform by full combination of the two algorithms. Due to the regularityof data in OpenStack,we use different algorithm in different stages. Experiment shows that different algo

6、rithm in different stage can pre鄄dict the data at the next moment more accurately,thus reducing the transmission of data in the network and the network overhead.Key words:OpenStack;monitoring;hybrid algorithm;cloud platform monitoring 引搖 言構(gòu)建合理的監(jiān)控系統(tǒng) ,該系統(tǒng)具有一定的預(yù)測能力 ,也就是說能夠預(yù)測下一時刻的數(shù)據(jù) ,這樣可以減少物理監(jiān)控作為管理云計算平臺

7、的重要舉措之一 ,使得管理員能夠獲取系統(tǒng)運行的信息 ,從而調(diào)整自己的行。 然而,監(jiān)控系統(tǒng)的預(yù)測能力 ,節(jié)點之間的數(shù)據(jù)傳輸 5。 開源云平臺 OpenStack為,提供更高的服務(wù)質(zhì)量 1-4即預(yù)測準確性,是至關(guān)重要的,同樣也是一個難點。在 OpenStack 云平臺提供的 Ceilometer 項目的基有多個物理節(jié)點,不同物理節(jié)點之間在傳輸數(shù)據(jù)時會消耗一定的帶寬。 而監(jiān)控作為一種管理手段 ,不應(yīng)該消耗過多的帶寬資源 。 因此,在 OpenStack 云平臺中,設(shè)計并實現(xiàn)了一個監(jiān)控系統(tǒng) ,該系統(tǒng)通過在礎(chǔ)上6-8不同時刻采用不同的預(yù)測算法 ,從而更加準確地預(yù)測收稿日期2017-08-14搖 搖 搖

8、搖 搖 搖 修回日期2017-12-28搖 搖 搖 搖 搖 搖 網(wǎng)絡(luò)出版時間2018-03-08基金項目:國家自然科學(xué)基金(61401234)作者簡介:王搖 元(1993-), 男,碩士,研究方向為云計算與網(wǎng)絡(luò)虛擬化 ;王志明,副教授,研究方向為未來互聯(lián)網(wǎng)體系架構(gòu) 、云計算、網(wǎng)絡(luò)仿真。網(wǎng)絡(luò)出版地址:http:/ /kns. cnki. net/kcms/detail/61.1450. TP.20180307.1427.054. html搖 第7 期搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 王搖 元等:OpenStack云平臺的監(jiān)控系統(tǒng)算法設(shè)計與實現(xiàn)197下一時刻的資源狀態(tài) 。法,不僅能列出事

9、件發(fā)生的各種可能結(jié)果 ,還給出了每一種結(jié)果發(fā)生的概率 ,即事件在預(yù)測期內(nèi)出現(xiàn)該種結(jié)果的可能性程度。 在馬爾可夫鏈模型中 ,事件在任何時間發(fā)生的概率是先前時間段發(fā)生的事件的概率 近年來,國內(nèi)外有很多學(xué)者都在研究云平臺中的。預(yù)測算法,通過預(yù)測算法對下一時刻的數(shù)據(jù)進行監(jiān)測 。函數(shù)13文獻9提出一種使用馬爾可夫鏈模型 (Markov chainmodel,MCM)來預(yù)測監(jiān)測時間間隔 (MTI)的監(jiān)測機使用離散時間馬爾可夫鏈算法 14 對表 1 中的數(shù)據(jù)進行建模預(yù)測,狀態(tài)劃分情況如表 3 所示(轉(zhuǎn)移矩陣的每個狀態(tài)所表示的區(qū)間寬度為 1)。 預(yù)測后五個數(shù)據(jù),當(dāng) ETD=1 時,命中率為 50%。 另外,由

10、于在 29 這個狀態(tài)上沒有訓(xùn)練數(shù)據(jù) ,根據(jù)算法設(shè)定預(yù)測值是它自己的狀態(tài)。 (注:如果預(yù)測失敗 ,小括號里的表示調(diào)整后的狀態(tài))制,基于預(yù)測狀態(tài)和作業(yè)處理時間 ,調(diào)整監(jiān)視時間間隔。 文獻10提出一種基于時間序列的預(yù)測技術(shù) ,自適應(yīng)動態(tài)調(diào)整數(shù)據(jù)采集的時間間隔 。 從歷史數(shù)據(jù)中學(xué)習(xí),找到規(guī)律、數(shù)據(jù)的特征,以一定的可信度預(yù)測未來事件。1. 1搖 線性回歸分析表3搖 DTMC 算法狀態(tài)劃分以及預(yù)測線性回歸分析預(yù)測是一種通過分析自變量和因變量之間的關(guān)系,構(gòu)建變量間的線性回歸方程 ,通過該方程根 據(jù) 自 變 量 的 變 化 來 預(yù) 測 因 變 量 值 的 預(yù) 測編號 監(jiān)控數(shù)據(jù) 狀態(tài)劃分 預(yù)測狀態(tài)(值) 偏離值

11、ETD125.442 423.345 925.535 325.232 825.628 325.354 626.440 526.335 826.213 425.453 52827282828-。2-算法11-12OpenStack 云平臺中的內(nèi)存利用率如表 1 所示。3表1搖 內(nèi)存利用率4-編號監(jiān)控數(shù)據(jù)編號監(jiān)控數(shù)據(jù)5-125.442 4625.354 6628(調(diào)整為 29) 1.4629 8234523.345 925.535 325.232 825.628 326.440 526.335 826.213 425.453 57-8-29(調(diào)整為 28) 1.3228(調(diào)整為 29) 1.349

12、9-1010-290.35搖 搖 將表 1 中的前五個數(shù)據(jù)作為訓(xùn)練數(shù)據(jù) ,后五個作搖 搖 從表 3 可看出,DTMC 預(yù)測算法的狀態(tài)劃分對預(yù)為預(yù)測數(shù)據(jù)。 在使用線性回歸算法進行預(yù)測時 ,得到的直線方程為 y =25. 267 84。 預(yù)測后五個數(shù)據(jù) ,若誤差容忍度為 1,命中率為 20%。 預(yù)測結(jié)果見表 2。表2搖 線性回歸算法預(yù)測測的命中率起著決定性作用 ,五個測試數(shù)據(jù)相差都不大,如果狀態(tài)劃分的分割點是 26.440 5,命中率則達到70%。 由此可看出,僅僅是因為狀態(tài)劃分的問題而造成的命中率只有 40%。 一個好的劃分不但能提高 DT鄄MC 算法預(yù)測的命中率 ,而且還能降低算法的開銷 。編

13、號監(jiān)控數(shù)據(jù)直線偏離值ETD0.785 262.3125.354 6然而在云計算環(huán)境中 ,數(shù)據(jù)是經(jīng)常變化的,一個固定不變的劃分會大大降低云計算環(huán)境中資源監(jiān)控數(shù)據(jù)的命中率。0.7311 6-0.163 541.294 060.754 2.1234526.440 526.335 826.213 425.453 5y =25.267 84上一節(jié)介紹了線性回歸算法和 DTMC 算法并指搖 搖 線性回歸算法預(yù)測的結(jié)果呈正相關(guān)關(guān)系 ,可以在出了它們在預(yù)測云計算監(jiān)控數(shù)據(jù)上的缺陷 ,本節(jié)提出基于回歸和 DTMC 的混合算法 L-D,對云計算環(huán)境的監(jiān)控數(shù)據(jù)進行預(yù)測。一定程序上預(yù)測數(shù)據(jù) ,但是無法保證其精度 。 由

14、于其直線的特性,對于某些變動比較大的數(shù)據(jù) ,不能進行準確預(yù)測。 因此,線性回歸無法適應(yīng)于要求比較嚴格的在云平臺環(huán)境中,虛擬系統(tǒng)對平臺資源的消耗和。 在高峰時間段系統(tǒng)。時間有很大關(guān)系,符合“潮汐冶規(guī)律151. 2搖 馬爾可夫預(yù)測內(nèi),資源消耗呈無規(guī)律變化 ,因此監(jiān)控系統(tǒng)收集到的數(shù)據(jù)也是不穩(wěn)定的,此時可以分成不同的時間段應(yīng)用不馬爾可夫預(yù)測法是一種預(yù)測事件發(fā)生概率的方 搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 計算機技術(shù)與發(fā)展搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 第28 卷i =3 時, 最有可能的下一個狀態(tài)是 3,即留在原地。同的預(yù)測算

15、法進行解決 。 在系統(tǒng)比較繁忙的時候 ,采(7)計算預(yù)測值,在選擇好狀態(tài)后 ,選擇該狀態(tài)所用馬爾可夫鏈預(yù)測算法對數(shù)據(jù)進行預(yù)測 ,而在其他時間段則采用線性回歸算法進行預(yù)測 。 算法流程如下:表示的區(qū)間的中點作為預(yù)測偏離值 v (此處 v =0郾 5)。(8)計算最終預(yù)測值 ,根據(jù)使用的預(yù)測模型計算(1)判斷 t是否處于系統(tǒng)繁忙時期 ,如果是,則按i照馬爾可夫鏈方法進行處理 ,構(gòu)建轉(zhuǎn)移概率矩陣;如果預(yù)測值,如果使用矩陣 R 進行預(yù)測 ,最終的預(yù)測值則是該狀態(tài)所表示的值區(qū)間的中位數(shù) ;否則最終的預(yù)測不是,則按照線性回歸處理 。(2)建立直線方程 y =mean。值是該狀態(tài)所表示的值區(qū)間的中位數(shù)加上直

16、線y 的(3)使用直線方程 y ,計算 t 與 y 的偏離值序值。 最終預(yù)測值為 y + v (28.769 34), y 是直線方程( y =25.241 3)。i。列 tic(4)根據(jù) t 以及精度要求分配狀態(tài) ,數(shù)據(jù)如表當(dāng)使用 L-D 算法對表 1 的數(shù)據(jù)進行建模預(yù)測時 ,得出直線方程 y =28.269 34。 然后根據(jù)計算得到的訓(xùn)練數(shù)據(jù)與直線的偏離值劃分狀態(tài) ,構(gòu)建馬爾可夫轉(zhuǎn)移ic4 所示。 當(dāng)精度要求為 1,直線 y =25. 241 3,TH=10時,數(shù)據(jù)被劃分為 (-5,-2), -2,-1), -1,0),0,1),1,2),2,5)。 其中,當(dāng)偏離程度超過 5 時,則需概率

17、矩陣(TH=10 時,數(shù)據(jù)被劃分為 (-10,-1), -1,0),0,1),1,10), 狀態(tài)用 0,1,2,3 分別表示)。 如表要重新開始計算直線方程 。 表 4 中,前五個數(shù)據(jù)是有效的(與直線的偏離值在 TH 范圍內(nèi)),后五個數(shù)據(jù)是5 所示,當(dāng) ETD=1 時,命中率為 80%。 (注:如果預(yù)測無效的(因為只有一個數(shù)據(jù)值與直線的偏離值在范圍內(nèi))。TH失敗,小括號里表示調(diào)整后的狀態(tài) )表5搖 L-D 算法狀態(tài)劃分以及預(yù)測表4搖 內(nèi)存利用率及狀態(tài)劃分編號監(jiān)控數(shù)據(jù)直線偏離值狀態(tài)劃分 ETD編號監(jiān)控數(shù)據(jù)均值偏離值狀態(tài)125.442 40.194 062-125.442 40.201 13234

18、523.345 925.535 325.232 825.628 3-0.882 440.265 960.013 460.408 9625.354 6212323.345 925.535 325.232 825.628 325.777 725.101 212.372 74.015 0-0.189 440.2942333y =225.264 425.241 32240.013 460.408 96-5預(yù)測值66726.440 526.335 826.213 425.453 525.442 426.734 12 0.9826.734 32 0.8711.169 12-0.559 38-10.917

19、08-10.538 28-2-2810.932 08Y =82(調(diào)整為 1) 26.734 34 2.325.264 4992225.734 34 0.725.734 34 0.88103.393 810搖 搖 (5)計算狀態(tài)轉(zhuǎn)移矩陣 P ,矩陣中第 i 行第 j 列的搖 搖 L-D 算法的馬爾可夫矩陣的狀態(tài)空間雖然是固元素表示在訓(xùn)練數(shù)據(jù)中從狀態(tài) i 經(jīng)一步轉(zhuǎn)移到狀態(tài) j的總次數(shù),依據(jù)表 4 得出矩陣 P:定的,但是通過相同的狀態(tài)來預(yù)測不同時刻的數(shù)據(jù)值不一定是相同的,它隨著直線的變化而變動 。 表 5 中馬爾可夫矩陣的狀態(tài) 2 表示的預(yù)測值是 28.769 34,在未來某時刻,該狀態(tài)表示的預(yù)測

20、值可能是 58.634 2,它0000000 0 0 0 0 00 0 0 1 0 0P =0 0 1 2 0 0是根據(jù)直線方程變化的 ,而不是固定不 變的。 相比DTMC 算法,L-D 算法這種特性 ,在平臺突發(fā)性事件0 0 0 0 0 00 0 0 0 0 0發(fā)生時(如虛擬機新建),無需擔(dān)心新的數(shù)據(jù)范圍未得到訓(xùn)練而需要重新訓(xùn)練模型 ,只需要調(diào)整直線方程即可,提高了預(yù)測的命中率 。(6)預(yù)測,根據(jù)系統(tǒng)當(dāng)前時間決定使用哪個預(yù)測模型。 如果是忙碌時間 ,則使用矩陣 R 進行預(yù)測 ;否則,選取合適的直線方程以及矩陣 R 進行預(yù)測。 當(dāng)從2狀態(tài) i 轉(zhuǎn)移出去時,在第 i 行中選擇最有可能的下一個狀態(tài)

21、(第 i 行中值最大的那一列 )作為預(yù)測狀態(tài) 。 如文中部署了 OpenStack 云平臺,根據(jù)用戶設(shè)置的搖 第7 期搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 搖 王搖 元等:OpenStack云平臺的監(jiān)控系統(tǒng)算法設(shè)計與實現(xiàn)199 B, 閾值,分別采用線性回歸預(yù)測算法 、馬爾可夫鏈算法和混合算法對系統(tǒng)中的數(shù)據(jù)進行預(yù)測 。 如果實際的數(shù)據(jù)在設(shè)定好的閾值內(nèi),表明預(yù)測算法準確性高 ,因此可以丟棄該數(shù)據(jù),避免數(shù)據(jù)傳輸。 如果在閾值之外,則節(jié)點需要將數(shù)據(jù)傳輸?shù)狡渌?jié)點上 ,從而進行數(shù)據(jù)更新。實驗使用內(nèi)存和磁盤利用率來評估預(yù)測算法的性能。 數(shù)據(jù)一致性測試結(jié)果如表 6 所示。 : P. . A H, P, A R. ,2009. G, A, W D, :a surveyJ. -2115. 田搖 李,賈搖 焰,等. 表6搖 數(shù)據(jù)的一致性測試J. 570.測試項內(nèi)存算法線性回歸馬爾科夫鏈混合最大差值0.623 490.605 630.134 43最大 ETD 數(shù)據(jù)更新次數(shù) 梁搖 宇,等. 0.60.750.53 7843 4683 210統(tǒng)J. . 張建勛,古志民