基于個性化需求的金融云平臺宿主機(jī)選擇算法的設(shè)計與實現(xiàn)財務(wù)管理專業(yè)

1、目 錄第1章 緒論11.1 課題提出的背景11.2 研究的目的和意義41.3 研究內(nèi)容41.4 論文的組織結(jié)構(gòu)5第2章 虛擬化技術(shù)72.1 虛擬化技術(shù)概述72.1.1 虛擬化定義72.1.2 虛擬機(jī)監(jiān)視器模型82.1.3 虛擬技術(shù)的應(yīng)用分類112.2 虛擬化技術(shù)的發(fā)展歷程112.3 虛擬化技術(shù)的研究現(xiàn)狀122.4 虛擬化技術(shù)在云計算領(lǐng)域的研究現(xiàn)狀132.5 虛擬化技術(shù)在云中的應(yīng)用142.5.1 服務(wù)器虛擬化142.5.2 存儲虛擬化152.5.3 應(yīng)用虛擬化172.5.4 平臺虛擬化172.5.5 桌面虛擬化182.6 本章小結(jié)20第3章 基于個性化需求的金融云平臺宿主機(jī)選擇算法的設(shè)計與實現(xiàn)2

2、13.1 擬解決的問題213.2 金融云平臺中宿主機(jī)選擇算法的設(shè)計思路223.2.1 問題的提出223.2.2 宿主機(jī)自動選擇算法模型223.3 負(fù)載預(yù)測算法233.3.1 負(fù)載的特性233.3.2 負(fù)載預(yù)測的研究現(xiàn)狀243.3.3 宿主機(jī)自動選擇模型中的負(fù)載預(yù)測機(jī)制243.4 負(fù)載均衡算法253.4.1 負(fù)載均衡調(diào)度算法的研究現(xiàn)狀253.4.2 負(fù)載均衡策略的不足263.4.3 宿主機(jī)自動選擇算法模型中的負(fù)載均衡算法273.5 宿主機(jī)自動選擇算法中的采樣方法283.6 本章小結(jié)28第4章 金融云用戶的個性化需求304.1 基于個性化需求算法的提出304.2 基于個性化需求的宿主機(jī)選擇算法30

3、4.2.1 算法描述304.3 本章小結(jié)32第5章 實驗方案設(shè)計與數(shù)據(jù)分析335.1 算法特點概述335.2 實驗方案與實驗結(jié)果分析335.2.1 實驗測試方案335.2.2 測試環(huán)境配置345.2.3 測試方案及結(jié)果分析355.3 本章小結(jié)39第6章 成果總結(jié)及今后展望41參考文獻(xiàn)41作者簡介43致 謝44第1章 緒論1.1 課題提出的背景近幾年，IT領(lǐng)域出現(xiàn)了一種新型的計算模式云計算，云計算將IT計算模式商業(yè)化，大眾化，引領(lǐng)著IT行業(yè)開啟了一場跨時代的新變革。云計算的體系架構(gòu)是一種將各種硬件資源進(jìn)行合理部署分配后的IT基礎(chǔ)架構(gòu)模式，通過云平臺，用戶可以按其需求獲取各種IT資源，甚至是應(yīng)用服

4、務(wù)以及各種開發(fā)平臺，全新的一種IT服務(wù)模式以其靈活性、便捷性、自助性給傳統(tǒng)的IT服務(wù)模式帶來了一場顛覆性的變革。一直以來，IT資源的冗余、利用率低、資源之間難以有效地得到整合以及與用戶對計算資源的高需求之間的矛盾得到了解決，云計算使得IT基礎(chǔ)設(shè)施的獲取社會化、普及化、簡易化，在不久的將來，普世大眾的生活也將面臨著一場巨大的變革。很多著名的IT公司一直在努力研究和推進(jìn)云計算，并已經(jīng)推出了自己的產(chǎn)品，比如：Amazon的AWS，Google Search、Google Earth、Google MAP等等業(yè)務(wù)都是Google基于自己的云計算平臺，以及微軟的Windows Azure，云計算已經(jīng)逐步

5、從當(dāng)初的一個概念形成產(chǎn)品，開始服務(wù)大眾。這也說明了，云計算存在的必要性和可行性。IT領(lǐng)域的每一次變革勢必會波及到金融領(lǐng)域，云計算的出現(xiàn)和逐步應(yīng)用給金融領(lǐng)域帶來了新的發(fā)展契機(jī)和新的需求。在金融領(lǐng)域誰的動作快，誰就可以搶占先機(jī)，各家金融機(jī)構(gòu)紛紛利用云計算這個平臺對大數(shù)據(jù)中心進(jìn)行升級改造，以拓展新的業(yè)務(wù)領(lǐng)域，優(yōu)化管理工作?；ヂ?lián)網(wǎng)金融成為近一兩年的金融界熱詞，互聯(lián)網(wǎng)金融用戶量和業(yè)務(wù)數(shù)據(jù)量呈現(xiàn)爆發(fā)式的增長，那么這些海量數(shù)據(jù)的處理需要非常龐大的計算資源。從本質(zhì)上來講，云計算是向用戶提供基礎(chǔ)的IT資源，讓金融數(shù)據(jù)借力云平臺，是如虎添翼，是再適合不過了。技術(shù)管理模式向業(yè)務(wù)模式的角色轉(zhuǎn)變、成為金融領(lǐng)域業(yè)務(wù)增長的

6、強大的后盾力量。金融行業(yè)是一個嚴(yán)謹(jǐn)?shù)男袠I(yè)，不僅要求保證業(yè)務(wù)和數(shù)據(jù)的安全性，同時要求技術(shù)力量具有高的可靠性。一個好的云架構(gòu)應(yīng)該為金融業(yè)務(wù)提供充分的可靠性和安全性。 彈性計算云通過網(wǎng)絡(luò)將各種IT資源組織起來，以服務(wù)的方式提供給云用戶各類IT基礎(chǔ)設(shè)施、IT技術(shù)平臺或者是應(yīng)用服務(wù)，云計算能夠按用戶的需求迅速調(diào)度資源，創(chuàng)建服務(wù)。用戶只需要通過網(wǎng)絡(luò)就可以使用云計算的資源，相對于傳統(tǒng)的IT部署方式，用戶或者企業(yè)可以將更多精力放在業(yè)務(wù)上，從IT設(shè)備采購到設(shè)備維護(hù)中解脫出來，以較低的IT成本獲得高質(zhì)量、高可靠性、高擴(kuò)展性的IT服務(wù)。該課題主要研究面向金融機(jī)構(gòu)應(yīng)用提供Iaas服務(wù)，各類基礎(chǔ)IT資源（計算資源、存儲

7、云、網(wǎng)絡(luò)資源）、應(yīng)用軟件、各類開發(fā)平臺、數(shù)據(jù)中心等在內(nèi)的計算資源的服務(wù)，金融機(jī)構(gòu)無需費時費力即可擁有IT服務(wù)。操作系統(tǒng)等，既不需要專人維護(hù)硬件設(shè)施又省去了額外需要占用的物理空間。圖1-1為彈性云平臺的體系結(jié)構(gòu)1。用戶只需要通過瀏覽器或者是客戶端等就可以定制自己需要的云資源。云平臺接收到用戶的請求后，根據(jù)其提供的需求參數(shù)，為用戶進(jìn)行IT資源的配置。云計算平臺中的服務(wù)管理層通過虛擬機(jī)技術(shù)對所有用戶請求的資源進(jìn)行管理，目的在于有效地整合IT資源、提高服務(wù)效率。圖1-1 彈性云平臺的結(jié)構(gòu)1美國國家標(biāo)準(zhǔn)與技術(shù)研究院為云計算提出了5個特點2：一、自助獲取服務(wù)，自動完成部署。云平臺接收到用戶提出的IT資源請

8、求后，根據(jù)請求的硬件資源參數(shù)，自動完成硬件設(shè)施的部署，整個過程無需人工干預(yù)。二、隨時隨地的網(wǎng)絡(luò)連接。用戶無論在何時何地，只要有互聯(lián)網(wǎng)，就能通過網(wǎng)絡(luò)獲取到云平臺資源，享受云服務(wù)。三、計算資源透明化。云平臺的硬件資源對用戶來講是透明的，云端的用戶無需關(guān)心IT資源的地理位置，只需要全身心處理業(yè)務(wù)，享用云服務(wù)。只要用戶有需求，云平臺可隨時隨地為其提供計算資源。四、快速響應(yīng)、靈活部署。云計算的逐步商業(yè)化，要求云平臺能快速響應(yīng)用戶的需求，靈活地部署硬件資源，并且對于用戶不同時段的需求能做到彈性的建立和釋放IT資源。五、服務(wù)計費。云計算實現(xiàn)了對IT資源的量化計費，計費方式和我們生活中水電的計費模式一樣，用戶

9、根據(jù)使用時長或者用量繳納相應(yīng)的費用。這種全新的合理的IT 資源計費方式有助于云計算的商業(yè)化推廣。以上云計算的5個特點大都依賴于虛擬技術(shù)才得以實現(xiàn)3，用戶需求和云平臺中的物理資源的重映射必須由虛擬技術(shù)的支持，虛擬技術(shù)不僅使云平臺的彈性特性得到很好的體現(xiàn)，面向用戶的云平臺服務(wù)自助化，用戶只需要根據(jù)自身的業(yè)務(wù)向云平臺提出資源需求，不用了解和關(guān)注硬件的部署細(xì)節(jié)；同時虛擬技術(shù)使云計算的管理彈性化4 5，可以動態(tài)地擴(kuò)展和回收資源，對IT資源的統(tǒng)一在線管理將取代傳統(tǒng)的離散的點管理6，提高了管理效率。大型的服務(wù)器集群是云平臺外在硬件的一種表現(xiàn)形式，負(fù)載不平衡則難以避免，而虛擬機(jī)的遷移技術(shù)為均衡負(fù)載、靈活調(diào)度提

10、供了策略。目前，已實現(xiàn)了在云平臺上虛擬機(jī)的透明化遷移。虛擬技術(shù)使云平臺的建設(shè)成本大大降低了，表1-1為虛擬技術(shù)給成本帶來的變化7。表1-1 分析結(jié)果7然而虛擬資源的實現(xiàn)離不開宿主機(jī)，一切虛擬技術(shù)都得部署在宿主機(jī)上才能很好的發(fā)揮虛擬的優(yōu)勢。本課題擬就云計算中的虛擬化技術(shù)以及虛擬機(jī)和宿主機(jī)之間的關(guān)系做深入研究。1.2 研究的目的和意義金融行業(yè)的多樣化發(fā)展，可實施的業(yè)務(wù)方式和范圍不斷擴(kuò)張，使得業(yè)務(wù)數(shù)據(jù)和用戶數(shù)據(jù)迅速膨脹，如若按傳統(tǒng)的做法，很多金融機(jī)構(gòu)會大量購置基礎(chǔ)的硬件來應(yīng)對不斷增長的業(yè)務(wù)數(shù)據(jù)，這樣，不僅增加了管理成本，維護(hù)工作量也相應(yīng)地增大。云計算很好地解決了以上問題，不僅可以免去購置大量的占用空

11、間的硬件設(shè)施，同時也避免了維護(hù)和管理工作的無限量增加。云計算的實施依靠虛擬化技術(shù)，而虛擬技術(shù)優(yōu)勢的發(fā)揮都取決于虛擬資源在宿主機(jī)上的部署，那么選擇什么樣的宿主機(jī)、怎樣部署虛擬機(jī)都將影響云平臺所提供的服務(wù)質(zhì)量的好壞。通常選擇宿主機(jī)時主要參考當(dāng)前服務(wù)器的CPU負(fù)載狀況，宿主機(jī)其他的資源狀況未作為部署參數(shù)考慮進(jìn)來，同時也忽略了虛擬機(jī)所要消耗的資源特點。不同用戶完成的業(yè)務(wù)目標(biāo)不同，因此提出的資源請求也具有不同特點。單純地依靠宿主機(jī)CPU這一指標(biāo)作為部署依據(jù)，可能導(dǎo)致宿主機(jī)不能滿足用戶的IT資源請求，隨著云平臺的用戶增加，進(jìn)而可能影響整個云平臺的負(fù)載均衡，導(dǎo)致IT資源得不到有效合理的利用。因此，宿主機(jī)的選

12、擇、虛擬資源的部署對于云計算提供優(yōu)質(zhì)的服務(wù)有至關(guān)重要的作用。1.3 研究內(nèi)容研究內(nèi)容主要包括以下幾個方面:1. 了解云計算的體系結(jié)構(gòu)，對云計算的工作模式進(jìn)行分析，明確研究內(nèi)容和范圍。 2. 對虛擬技術(shù)進(jìn)行深入了解和研究，了解虛擬機(jī)和云平臺的關(guān)系及應(yīng)用情況，明確虛擬技術(shù)為云計算帶來的優(yōu)勢和技術(shù)支持。3. 通過研究宿主機(jī)選擇策略，分析其優(yōu)勢和存在的弊端，借鑒繼承其優(yōu)勢，改進(jìn)不足之處，并針對性地提出金融云平臺下宿主機(jī)自動選擇模型。4. 部署虛擬機(jī)時，傳統(tǒng)的策略是以當(dāng)時宿主機(jī)CPU的利用率作為部署依據(jù)，CPU是一個動態(tài)變化的性能參數(shù)，以某一時刻的CPU 的利用率作為判斷依據(jù)，有失科學(xué)性和前瞻性。在宿主

13、機(jī)自動選擇模型中提出了負(fù)載預(yù)測機(jī)制，采用時間序列中的一次指數(shù)平滑法對宿主機(jī)的負(fù)載狀況進(jìn)行預(yù)測。4. 負(fù)載均衡機(jī)制的實現(xiàn)。根據(jù)云計算平臺的特點，通過分析現(xiàn)有負(fù)載均衡方法相對于云計算存在的不足，提出了應(yīng)用于云平臺下的負(fù)載均衡機(jī)制。5. 提出了將宿主機(jī)選擇個性化的算法，該算法要求將用戶的資源請求量化，不同業(yè)務(wù)的請求，量化結(jié)果是不同的，再根據(jù)云中宿主機(jī)的性能情況與量化結(jié)果進(jìn)行比對，選擇最適合用戶的宿主機(jī)予以部署虛擬資源。6. 通過實驗對本文提出的算法進(jìn)行驗證。1.4 論文的組織結(jié)構(gòu)第一章主要闡述了該課題的提出背景、研究的目的和意義，以及本課題將要研究的內(nèi)容等。第二章介紹了：虛擬化的概念、虛擬機(jī)軟件VM

14、M及應(yīng)用模式，虛擬技術(shù)的發(fā)展歷程以及研究現(xiàn)狀，特別還對虛擬技術(shù)在云計算中的研究和應(yīng)用做了專門的介紹。第三章首先介紹了宿主機(jī)自動選擇的模型思想，并對模型中涉及到的技術(shù)進(jìn)行了深入探究。主要包括：負(fù)載預(yù)測、負(fù)載均衡。揚長避短，針對目前算法中存在的不足，針對云計算平臺的應(yīng)用背景，介紹了宿主機(jī)選擇模型中的負(fù)載預(yù)測方法和負(fù)載均衡機(jī)制。第四章則對用戶個性化需求的量化過程進(jìn)行了介紹。對宿主機(jī)選擇模型中的核心算法的進(jìn)行了講解。第五章是實驗部分，主要包括：實驗方案的設(shè)計，實驗環(huán)境的配置，以及對實驗結(jié)果分析。第六章是成果總結(jié)與未來展望。第2章 虛擬化技術(shù)2.1 虛擬化技術(shù)概述2.1.1 虛擬化定義如圖2-1所示，是

15、一種常見的虛擬化模式。虛擬化技術(shù)是將計算資源進(jìn)行抽象，將一臺服務(wù)器隔離成多個獨立的“計算機(jī)”，各臺之間可以毫無干擾地運行。多種應(yīng)用程序或者是不同的操作系統(tǒng)可以同時獨立地運行8。虛擬技術(shù)其實也可以說是一種IT資源共享的方式，實現(xiàn)了物理資源到邏輯應(yīng)用的一對多映射。這樣，降低了用戶的硬件投資成本；提高了資源的利用率。同時，虛擬技術(shù)也便于對多用戶的計算資源進(jìn)行集中管理，提高基礎(chǔ)設(shè)施的維護(hù)效率，降低維護(hù)成本8,9。圖2-1 虛擬化模式8圖2-2形象地展示了虛擬化的含義10。硬件資源位于底層，上面一層是虛擬機(jī)虛擬機(jī)及虛擬軟件，最上面一層則是用戶的操作系統(tǒng)和跑在操作系統(tǒng)上面的各種應(yīng)用程序。對于用戶而言，虛擬

16、技術(shù)將底層的硬件屏蔽了起來，用戶認(rèn)為自己用的資源是“專屬”的。圖2-2 虛擬化的含義102.1.2 虛擬機(jī)監(jiān)視器模型虛擬機(jī)是抽象的概念，虛擬機(jī)結(jié)構(gòu)和物理機(jī)結(jié)構(gòu)是相對應(yīng)的，由虛擬的內(nèi)存、CPU、存儲空間和網(wǎng)卡等組成。對于用戶來講，虛擬機(jī)和普通的PC使用起來無異，虛擬機(jī)實現(xiàn)了和物理機(jī)完全相同的使用環(huán)境。VMM (Virtual Machine Monitor) 的主要工作就是實現(xiàn)對物理資源的虛擬化，并管理運行在它之上的所有虛擬機(jī)，VMM對所有的虛擬機(jī)實行全程監(jiān)控管理，從每一臺虛擬機(jī)的創(chuàng)建到撤銷都將接受VMM的監(jiān)控管理。VMM是一款虛擬化常用的軟件，是創(chuàng)建虛擬機(jī)之前必須先安裝VMM，從VMM的實現(xiàn)結(jié)

17、構(gòu)上，VMM可分為三種模式1：宿主機(jī)模式、獨立監(jiān)視器模式和混合模式。1. 宿主機(jī)模式(Host OS)宿主機(jī)模式下VMM和宿主機(jī)的位置關(guān)系如圖 2-3 所示，最底層是硬件資源，第二層是宿主操作系統(tǒng)，VMM運行在宿主操作系統(tǒng)上，可以看做是宿主操作系統(tǒng)的一個應(yīng)用進(jìn)程。VMM為各個虛擬機(jī)用戶創(chuàng)建出虛擬環(huán)境、屏蔽底層硬件，因此，在進(jìn)行資源的調(diào)度時宿主操作系統(tǒng)要參與其中。圖2-3 宿主機(jī)模式優(yōu)點：VMM驅(qū)動直接由宿主操作系統(tǒng)提供，不必額外考慮驅(qū)動的實現(xiàn)。也就是說，VMM所有的虛擬資源的調(diào)度都受宿主操作系統(tǒng)提供。該模式的缺點：(1) 虛擬機(jī)不能直接控制和調(diào)度使用的硬件資源，需由宿主操作系統(tǒng)控制，不能直接訪

18、問底層硬件。(2) 虛擬化的效率低，虛擬化的過程也受操作系統(tǒng)的控制。(3) 安全級別低，因為VMM僅僅是宿主操作系統(tǒng)的一個應(yīng)用程序，沒有足夠的權(quán)限給虛擬用戶提供安全的訪問環(huán)境，同時當(dāng)宿主機(jī)受到威脅時，皮之不存毛將焉附，虛擬機(jī)也必將受到影響，因此，該模式下，虛擬機(jī)的安全性并不高。宿主機(jī)模式的虛擬軟件有很多，例如：早期的Workstation、Virtual PC、VMware。2. 獨立監(jiān)視器模式 在該模式中，VMM擔(dān)當(dāng)宿主操作系統(tǒng)的角色，直接運行在底層硬件上，如圖 2-4所示，將底層的硬件資源虛擬化，并對這些資源進(jìn)行管理。同時還要具備創(chuàng)建虛擬機(jī)、管理虛擬環(huán)境、宿主操作系統(tǒng)的功能。圖2-4 獨立

19、監(jiān)視器模式優(yōu)點：由于在該模式下，VMM完全運行在硬件上，對硬件直接進(jìn)行管理。因此，相對于宿主機(jī)模式管理效率高，虛擬化過程徹底、高效。因為VMM掌握了對底層訪問的權(quán)限，提供給虛擬機(jī)用戶的訪問環(huán)境較為封閉，也更安全。 獨立監(jiān)視器模式的缺點：需要另行開發(fā)設(shè)備的驅(qū)動程序，硬件設(shè)備的使用流暢性從一定程度上依賴于所開發(fā)的驅(qū)動程序的性能。3. 混合模式 如圖2-5所示，混合模式是以上兩種模式的融合，繼承了宿主機(jī)模式和獨立監(jiān)視器模式的優(yōu)勢，Host OS的存在為VMM屏蔽了底層硬件，無需擔(dān)心為每一款底層設(shè)備實現(xiàn)驅(qū)動程序；同時，VMM和Host OS都直接運行在底層硬件上，計算資源、存儲資源等可直接被VMM控制

20、管理；在安全控制方面，VMM切換到不同模式，提供安全的方式不同，在不需要OS 提供服務(wù)時，虛擬機(jī)的安全性只依賴于 VMM。當(dāng)需要特權(quán) OS 提供服務(wù)時，需轉(zhuǎn)換到特權(quán) OS模式。但是VMM的來回切換會造成系統(tǒng)性能消耗。圖2-5 混合模式2.1.3 虛擬技術(shù)的應(yīng)用分類根據(jù)應(yīng)用背景不同，虛擬化技術(shù)可以分為以下幾種類型：(1) 平臺虛擬化：為了屏蔽底層硬件和操作系統(tǒng)，對其進(jìn)行虛擬化操作。(2) 資源虛擬化：對各類硬件資源（比如存儲磁盤、內(nèi)存、CPU等資源）進(jìn)行虛擬化。比如：計算單元、存儲設(shè)備等等。(3) 應(yīng)用程序虛擬化：顧名思義，是對應(yīng)用程序進(jìn)行虛擬化。其中平臺虛擬化技術(shù)又可以分為11：安全虛擬化，對

21、底層硬件完成抽象，對用戶而言，這樣的虛擬機(jī)對操作系統(tǒng)沒有特殊要求，也不需要對其進(jìn)行修改，虛擬機(jī)環(huán)境和常規(guī)的硬件環(huán)境無異。安全虛擬化方式又分為：1) 軟件輔助的完全虛擬化：是借助虛擬軟件模擬出虛擬環(huán)境。虛擬資源的用戶無需考慮底層實現(xiàn)，就可以自如地通過虛擬軟件訪問資源。2) 硬件輔助的完全虛擬化：通過調(diào)整硬件結(jié)構(gòu)以增加底層對虛擬技術(shù)的支持，這樣一來，要求軟件層面對虛擬技術(shù)的支持簡化了很多。除了完全虛擬化外，還有半虛擬化概念，半虛擬化需要通過VMM硬件抽象接口，對操作系統(tǒng)進(jìn)行修改，以使其方便創(chuàng)造合適的虛擬環(huán)境。因此，客戶的操作系統(tǒng)是不能直接運行于半虛擬平臺上，這樣，虛擬環(huán)境和客戶機(jī)操作系統(tǒng)就不在是互

22、相封閉的,因此，半虛擬化降低了隱蔽性。2.2 虛擬化技術(shù)的發(fā)展歷程上世紀(jì)六十年代，大型機(jī)資源非常珍貴，虛擬技術(shù)的出現(xiàn)是IBM公司為了解決多個操作系統(tǒng)能同時在一個計算機(jī)上運行的問題。IBM 給虛擬化這樣定義：將大型機(jī)資源模擬出多個小型機(jī)，這樣，一臺計算機(jī)就能夠同時運行多個操作系統(tǒng)，共享計算資源。其實就是將物理設(shè)備進(jìn)行分區(qū)，相應(yīng)地在各個的系統(tǒng)架構(gòu)層面實施虛擬化。一直以來，體系結(jié)構(gòu)為X86的計算機(jī)利用率都只有10%-15%，很多大型計算機(jī)也存在這樣的問題。鑒于這樣的問題具有普遍性，基于X86體系結(jié)構(gòu)，VMware將硬件基礎(chǔ)架構(gòu)通過虛擬技術(shù)改進(jìn)成了通用架構(gòu)，為軟件屏蔽了體系結(jié)構(gòu)的異構(gòu)性，由此，不僅提高

23、了大型機(jī)的利用率，同時實現(xiàn)多個用戶就可以在同一臺大型機(jī)上彼此互不影響地運行各自的應(yīng)用12。目前，計算機(jī)硬件技術(shù)越來越先進(jìn)，當(dāng)下一臺PC機(jī)的資源配置和幾十年前大型機(jī)的配置已經(jīng)不可同日而語。所以，虛擬化技術(shù)完全可以應(yīng)用在所有的計算機(jī)領(lǐng)域。虛擬技術(shù)逐漸成為主流應(yīng)用技術(shù)，應(yīng)技術(shù)發(fā)展和市場需求很多CPU廠商在處理器硬件層嵌套虛擬化技術(shù)，能更合理的分配處理器資源。同時還推出了虛擬化服務(wù)器，服務(wù)器中引入虛擬化技術(shù)11。虛擬化技術(shù)和其他技術(shù)的結(jié)合能夠發(fā)揮出意想不到的效果，不僅提高用戶的應(yīng)用效率，同時還使IT管理更加便捷。VMware將基于X86服務(wù)器的虛擬化技術(shù)和SAN存儲環(huán)境結(jié)合，實現(xiàn)了服務(wù)器的快速部署；快

24、照功能可以協(xié)助虛擬機(jī)完成數(shù)據(jù)或者是系統(tǒng)備份，當(dāng)突發(fā)故障時，能快速地恢復(fù)到故障前的狀態(tài)9。 有專家指出，虛擬化技術(shù)的發(fā)展可能需經(jīng)歷四個階段12：第一個階段是在二十一世紀(jì)初，與此同時服務(wù)器集中化技術(shù)也幾乎是同步發(fā)展起來。2005年開始，虛擬化逐漸成為企業(yè)熱門研究的技術(shù)，因為虛擬化可以幫助大型的企業(yè)共享數(shù)據(jù)，集中管理等等。直到2007年開始，在某些信息技術(shù)發(fā)達(dá)的國家，虛擬化技術(shù)的研究焦點聚集在遷移、災(zāi)備以及負(fù)載均衡領(lǐng)域。IDC預(yù)測：未來幾年，虛擬化技術(shù)將進(jìn)入成熟階段，虛擬機(jī)的大范圍應(yīng)用將有助于企業(yè)的建立自己的自動化的可控的信息中心，完全應(yīng)用于企業(yè)的業(yè)務(wù)流程當(dāng)中，有助于控制企業(yè)成本、降低風(fēng)險，更好地服

25、務(wù)于業(yè)務(wù)開展。2.3 虛擬化技術(shù)的研究現(xiàn)狀本小節(jié)將虛擬化技術(shù)的研究現(xiàn)狀總結(jié)為以下幾個方面13： 在虛擬化的過程中，也會消耗系統(tǒng)資源，帶來一定的系統(tǒng)開銷。在虛擬技術(shù)興起之初，硬件資源的性價比還沒有現(xiàn)在這樣高，計算資源還是很昂貴的。因此，當(dāng)時虛擬技術(shù)的研究熱點都集中在如何降低系統(tǒng)開銷上。近幾年，隨著虛擬技術(shù)的逐步成熟，硬件技術(shù)的迅速發(fā)展，虛擬技術(shù)的研究主要集中在：虛擬機(jī)遷移、虛擬資源調(diào)度及管理、虛擬技術(shù)在云計算中的應(yīng)用。引文14發(fā)現(xiàn)，虛擬技術(shù)在發(fā)揮管理作用的同時還能帶來降低能耗、優(yōu)化整合資源的功效。在引文15中虛擬技術(shù)從一定程度上優(yōu)化了集群管理框架，通過虛擬技術(shù)可以實現(xiàn)自主管理和動態(tài)配置。在線遷移

26、技術(shù)對解決系統(tǒng)負(fù)載均衡、系統(tǒng)容錯等問題發(fā)揮了巨大的作用，引文16對虛擬機(jī)在線的遷移技術(shù)做了深入的研究，而虛擬機(jī)快照技術(shù)只需要虛擬機(jī)做鏡像則可一改以往遷移技術(shù)需要占用大量網(wǎng)絡(luò)空間的難題。既然虛擬機(jī)遷移機(jī)制在優(yōu)化資源管理、均衡負(fù)載方面有顯著優(yōu)勢，目前很多研究集中在如何優(yōu)化虛擬機(jī)的遷移方面做了很多努力。虛擬機(jī)遷移機(jī)制有很多種，不同遷移機(jī)制原理不同。引文17對三種虛擬機(jī)遷移機(jī)制做了性能評估，分別從系統(tǒng)消耗、時間、效率等方面進(jìn)行研究對比，發(fā)現(xiàn)基于共享鏡像存儲的遷移機(jī)制最優(yōu)。引文18提出了基于操作系統(tǒng)層面的負(fù)載均衡調(diào)度算法，以當(dāng)前虛擬機(jī)所消耗的資源量為依據(jù)，來平衡系統(tǒng)負(fù)載。引文19受P2P思想的啟發(fā)，提出

27、一種擁有自適應(yīng)功能的動態(tài)調(diào)度算法。但是該算法只適用于網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)簡單功能也相對簡單的系統(tǒng)。引文20則提出了一種以網(wǎng)絡(luò)流量作為算法輸入，對虛擬資源進(jìn)行調(diào)度的負(fù)載均衡機(jī)制，此算法的不足在于：以網(wǎng)絡(luò)流量作為判斷各個系統(tǒng)負(fù)載大小依據(jù)，缺乏一定的科學(xué)性，無法判斷各個應(yīng)用層帶來的其他資源開銷，更無從知曉各個應(yīng)用的優(yōu)先級，這樣的算法存在一定的片面性。2.4 虛擬化技術(shù)在云計算領(lǐng)域的研究現(xiàn)狀虛擬技術(shù)在實現(xiàn)云計算過程中作用舉足輕重，是實現(xiàn)云計算的關(guān)鍵，當(dāng)前虛擬技術(shù)成為云計算領(lǐng)域的研究重點，目的在于更好的推動云計算的發(fā)展。云計算中虛擬技術(shù)的研究主要集中在：云計算平臺中負(fù)載均衡算法的改進(jìn)，虛擬資源的調(diào)度算法，基于虛

28、擬資源的云計算管理框架的研究等等。在基于Amazon的EC2平臺下發(fā)現(xiàn)21：虛擬化資源的分布會影響云網(wǎng)絡(luò)的通信質(zhì)量，從而影響云服務(wù)的性能，虛擬機(jī)過于密集則會帶來丟失數(shù)據(jù)包等網(wǎng)絡(luò)質(zhì)量不穩(wěn)定的問題。因此，虛擬資源的合理調(diào)度對于保證云計算平臺的服務(wù)質(zhì)量是很必要的。引文22提出:Web應(yīng)用架構(gòu)中也可以嵌入虛擬化技術(shù)，由此虛擬資源的管理可以參與到從Web應(yīng)用的發(fā)布到管理的各個流程。從而提高了Web應(yīng)用管理的效率。而多應(yīng)用、高效管理正是云計算平臺的特點。受“背包”問題思想的啟迪，將虛擬資源的自動調(diào)度管理策略應(yīng)用于虛擬層和底層硬件資源23,24，對虛擬資源實現(xiàn)自動調(diào)度，對系統(tǒng)負(fù)載實行自動均衡調(diào)整。但是忽略了

29、用戶操作系統(tǒng)之上產(chǎn)生的應(yīng)用負(fù)載，無法做到全局的負(fù)載均衡。2.5 虛擬化技術(shù)在云中的應(yīng)用虛擬化技術(shù)賦予云平臺以下特性25：(1) 虛擬技術(shù)使云平臺具有靈活性、獨立性。虛擬技術(shù)能夠按照用戶的需求創(chuàng)建和撤銷虛擬機(jī)，實現(xiàn)云平臺的彈性伸縮，合理利用計算資源，靈活部署用戶需求。各個云用戶之間互相獨立，可以向云平臺按需申請所需資源，并且在使用云臺資源過程中互不干擾。(2) 虛擬技術(shù)能夠有效地整合系統(tǒng)資源，提高物理資源的利用率，實現(xiàn)多用戶集中管理，降低客戶的管理成本，減少建設(shè)費。(3) 實現(xiàn)云平臺負(fù)載的動態(tài)平衡得益于虛擬機(jī)的遷移技術(shù)，當(dāng)負(fù)載大于虛擬機(jī)設(shè)置的遷移閾值，自動發(fā)生遷移動態(tài)地維護(hù)系統(tǒng)的負(fù)載均衡。(4)

30、 各云用戶間具有隔離性。因為同一宿主機(jī)的各個虛擬機(jī)之間互相獨立運行，因此可以提供一定的安全性，當(dāng)某一個用戶的業(yè)務(wù)系統(tǒng)出現(xiàn)問題，影響范圍僅局限在本系統(tǒng)之內(nèi)，增加了云計算平臺的健壯性。按應(yīng)用對象的不同，虛擬化技術(shù)還可以分為26：2.5.1 服務(wù)器虛擬化一臺計算機(jī)通過虛擬技術(shù)被模擬出很多臺邏輯上的“計算機(jī)”，這些“計算機(jī)”可以同時共同調(diào)用這一臺計算機(jī)資源，如下圖所示。圖2-6服務(wù)器虛擬化虛擬化的服務(wù)器具有以下特點：(1) 內(nèi)存虛擬化：與服務(wù)器虛擬的概念相對應(yīng)，被虛擬出的服務(wù)器內(nèi)存均是出自一臺服務(wù)器，在邏輯上這些內(nèi)存互相獨立，提供給不同的虛擬服務(wù)器。(2) CPU虛擬化：服務(wù)器虛擬化的核心是CPU的虛

31、擬化，要求硬件層面從技術(shù)上支持虛擬化，因此，需要改進(jìn)指令集來控制虛擬過程。CPU虛擬化最表象的特征則是：一核可以模擬多核進(jìn)行計算工作，那么也同樣支持多個操作系統(tǒng)同時運行，不言而喻虛擬技術(shù)提高了CPU的利用率。(3) 設(shè)備及I/O虛擬化：與以上內(nèi)存和CPU虛擬原理相同，各類物理設(shè)備和所有I/O被虛擬映射成多個邏輯設(shè)備和I/O，供各臺虛擬服務(wù)器使用，各個I/O完全能夠響應(yīng)來自虛擬服務(wù)器的訪問。(4) 隔離性：被虛擬出來的多臺“服務(wù)器”之間邏輯上互相獨立，彼此隔離。由此，給云用戶提供了良好的安全性。(5) 快速創(chuàng)建服務(wù),及時更新：借助虛擬技術(shù)，能靈活創(chuàng)建和撤銷虛擬機(jī)，快速部署用戶所需資源。(6) 故

32、障自動恢復(fù)：在線遷移技術(shù)，可以使故障虛擬機(jī)在不停機(jī)的情況遷移到別的宿主機(jī)上。整個過程是無縫遷移，不需要中斷用戶業(yè)務(wù)程序。(7) 統(tǒng)一集中管理：通過VMM(虛擬機(jī)監(jiān)控器)可以實現(xiàn)對所有虛擬機(jī)的集中管理，監(jiān)控各項資源的運用情況，有助于實現(xiàn)云平臺的負(fù)載均衡，提高云平臺的運行性能。2.5.2 存儲虛擬化存儲虛擬化是將存儲資源進(jìn)行邏輯抽象，映射給不同的云用戶。存儲虛擬化技術(shù)能將存儲碎片有效地進(jìn)行組織再利用，同時面對用戶，存儲虛擬化能屏蔽存儲底層，呈現(xiàn)在用戶面前的是邏輯組織視圖，如圖2-7所示。由此，存儲虛擬技術(shù)提高了云平臺中存儲資源的利用率，也方便統(tǒng)一管理。圖2-7存儲虛擬化存儲虛擬化具有以下特點：(1

33、) 屏蔽異構(gòu)性：虛擬技術(shù)可以用來屏蔽異構(gòu)存儲服務(wù)器的分布式的物理結(jié)構(gòu)，為方便用戶訪問提供統(tǒng)一的虛擬化接口。(2) 虛擬本地硬盤：虛擬存儲技術(shù)能夠?qū)⒃破脚_的存儲資源集中管理，即使與用戶遠(yuǎn)隔萬里的存儲資源，在虛擬技術(shù)的作用下，也能被虛擬為本地的存儲磁盤來使用。(3) 對存儲集中管理：存儲虛擬化技術(shù)能有效地對分布式的存儲資源進(jìn)行整合，從而對云平臺的存儲資源做到統(tǒng)籌規(guī)劃、科學(xué)管理。(4) 節(jié)能減排：云平臺提供的是7*24小時服務(wù)，因此云服務(wù)器需要長期不斷電工作。而存儲的虛擬技術(shù)降低了系統(tǒng)為響應(yīng)云用戶而頻繁開啟服務(wù)器和讀取磁盤的次數(shù)，提高了存儲資源的利用率，從一定程度上，節(jié)能減排。(5) 數(shù)據(jù)加密：云中

34、存儲的數(shù)據(jù)信息，對于單個用戶來講，具有私密性、隱私性；對于企業(yè)來講，數(shù)據(jù)意味著商業(yè)機(jī)密，具有商業(yè)價值。所有做好云管理的同時要保證數(shù)據(jù)的安全性，對數(shù)據(jù)進(jìn)行加密是有效措施之一。(6) 權(quán)限管理，安全認(rèn)證：云存儲中存儲的都是用戶有價值的信息，因此要確保云平臺存儲資源的安全性。要訪問云存儲資源，需先經(jīng)過安全認(rèn)證。同時，還要進(jìn)行權(quán)限管理，不同訪問用戶的訪問內(nèi)容不同。2.5.3 應(yīng)用虛擬化應(yīng)用程序是運行在操作系統(tǒng)之上的，應(yīng)用的虛擬化使應(yīng)用程序擺脫了對底層操作系統(tǒng)的依賴性，運行在其創(chuàng)造的應(yīng)用虛擬化環(huán)境中。應(yīng)用虛擬化不僅可以避免版本不兼容的問題，而且可以避免應(yīng)用程序和底層操作系統(tǒng)的沖突。應(yīng)用虛擬化概括起來有以

35、下四個特征：(1) 解耦合增強兼容性：大大降低了操作系統(tǒng)與虛擬應(yīng)用的耦合性，也解除了與硬件的耦合性。為應(yīng)用層屏蔽了底層硬件的異構(gòu)性，增強了與底層操作系統(tǒng)的兼容性。(2) 共享性：由于應(yīng)用程序脫離了對底層操作系統(tǒng)的依賴，完全運行在虛擬環(huán)境中，做到多用戶共享IT資源。(3) 快速升級更新：運行在虛擬環(huán)境上的應(yīng)用可以實時或者定時進(jìn)行軟件的更新升級。(4) 用戶自定義：用戶可以按自己需求部署虛擬環(huán)境和虛擬應(yīng)用。2.5.4 平臺虛擬化被虛擬化的平臺上集成了各種各樣的開發(fā)軟件，開發(fā)者可以借助平臺進(jìn)行研發(fā)工作，而無需購買硬件資源和開發(fā)工具。開發(fā)人員只需要在平臺上完成一系列設(shè)置即可。如圖2-8所示為平臺虛擬化

36、的邏輯結(jié)構(gòu)示意圖。圖2-8平臺虛擬化平臺虛擬化特點：(1) 安全認(rèn)證：云平臺用戶眾多，為確保該平臺上所進(jìn)行的活動或者發(fā)布的產(chǎn)品合法有效，同時降低病毒的感染侵入，在各個環(huán)節(jié)都要進(jìn)行必要的安全審核、身份認(rèn)證、監(jiān)控。例如：登錄平臺、上傳文件、各種開發(fā)軟件(服務(wù))在發(fā)布到平臺前。(2) 通用接口：虛擬化平臺應(yīng)該具有極強的包容性，能夠支持各種開發(fā)框架、兼容各種版本各種開發(fā)語言的開發(fā)工具。(3) 測試環(huán)境：該平臺支持從開發(fā)到發(fā)布的所有功能。因此也會提供測試環(huán)境，供開發(fā)者在發(fā)布產(chǎn)品或者服務(wù)以前進(jìn)行充分的測試。(4) 管理監(jiān)控：云計算雖然是建立在網(wǎng)絡(luò)上的虛擬產(chǎn)品，但是在云中進(jìn)行的所有活動卻可以造成大范圍的影響

37、甚至產(chǎn)生危害。因此，需要對云用戶的一切行為進(jìn)行有效的監(jiān)控管理。(5) 及時升級更新：計算機(jī)技術(shù)發(fā)展迅速，各種開發(fā)技術(shù)更新?lián)Q代速度也較快。該平臺也應(yīng)該配合技術(shù)發(fā)展，及時提供各種開發(fā)工具的新版本，不斷完善自己的技術(shù)服務(wù)。(6) 按服務(wù)收取費用：云計算平臺為云用戶提供硬件資源和軟件平臺，使得客戶無需為基礎(chǔ)資源花費巨資就可以享受IT服務(wù)。云計算最終勢必會商業(yè)化，以租用費或者是管理費的方式計費也是未來的商業(yè)模式。2.5.5 桌面虛擬化桌面虛擬化使個人桌面和終端設(shè)備解耦，將桌面存儲到云平臺上。解除了桌面對固定設(shè)備的依賴。如此一來，用戶就可以通過網(wǎng)絡(luò)不受地域、時間的限制訪問個人桌面。當(dāng)前，隨著IT技術(shù)的迅速

38、發(fā)展，個人終端設(shè)備越來越多樣化，桌面虛擬化不僅僅局限于個人電腦，還可以在平板、手機(jī)等個人終端上實現(xiàn)，如圖2-9所示。圖2-9桌面虛擬化虛擬化桌面特點：(1) 遠(yuǎn)程維護(hù)管理：桌面虛擬化使個人桌面擺脫了對地域的限制，只要通過網(wǎng)絡(luò)即可完成對遠(yuǎn)端設(shè)備的設(shè)置調(diào)試、測試監(jiān)控、更新升級等等一系列維護(hù)工作。(2) 使用連續(xù)性：所謂的連續(xù)性是指即使在異地登錄，虛擬化桌面開機(jī)呈現(xiàn)的是上次關(guān)機(jī)或者非正常關(guān)機(jī)時的內(nèi)容、配置和用戶信息。保持使用的連續(xù)性。(3) 故障恢復(fù)：通過虛擬機(jī)備份技術(shù)和虛擬機(jī)快照技術(shù)，能記錄下故障前的運行狀態(tài)，當(dāng)出現(xiàn)故障時，虛擬機(jī)遷移技術(shù)使得虛擬機(jī)自動遷移到其他宿主機(jī)上，做到迅速恢復(fù)到故障前的狀態(tài)

39、。不會長時間影響用戶的工作。(4) 個性化桌面：和普通PC一樣，用戶可以按自己的喜好和需求配置自己的桌面，虛擬化桌面賦予同一宿主機(jī)的不同虛擬用戶按需設(shè)置的桌面的自由。由上可以看出，虛擬技術(shù)為云平臺的實現(xiàn)提供了強有力地技術(shù)支持，它不僅能夠?qū)崿F(xiàn)多用戶共享IT資源，提高計算資源利用率，同時，對于均衡云負(fù)載，建立有效的容錯機(jī)制和安全訪問機(jī)制、簡化維護(hù)工作功不可沒，而且基于虛擬技術(shù)，云計算提供服務(wù)的內(nèi)容和方式也呈現(xiàn)多樣化，除了提供基礎(chǔ)IT設(shè)施以外，還可以向云用戶提供應(yīng)用服務(wù)、平臺服務(wù)。2.6 本章小結(jié)本章主要介紹了虛擬技術(shù)的概念、發(fā)展歷程，虛擬技術(shù)在不同應(yīng)用領(lǐng)域的應(yīng)用情況以及在云計算中發(fā)揮的作用，還簡單

40、闡述了虛擬技術(shù)在云計算中的應(yīng)用所發(fā)揮的優(yōu)勢。第3章 基于個性化需求的金融云平臺宿主機(jī)選擇算法的設(shè)計與實現(xiàn)海量服務(wù)器資源是金融領(lǐng)域保證客戶資金安全，提高服務(wù)質(zhì)量的硬件支撐，也是搭建金融云計算平臺不可缺少的硬件設(shè)施。通過虛擬技術(shù)云計算平臺這些服務(wù)器資源進(jìn)行整合，以服務(wù)的方式提供給云用戶，彈性云計算可以使用虛擬化技術(shù)整合大量的虛擬資源并提高資源的使用效率，該方式大大降低了云服務(wù)購買方的信息投入成本和技術(shù)的維護(hù)難度，使用者能將更多精力放在業(yè)務(wù)邏輯上。NIST將云計算概括為以下幾個方面：快速靈活的部署、廣泛的網(wǎng)絡(luò)接入、與地理位置無關(guān)的資源池、按需自助服務(wù)、服務(wù)計費。從當(dāng)前信息技術(shù)發(fā)展水平來講，虛擬化技術(shù)

41、是實現(xiàn)以上五個云特征的最好途徑。虛擬資源的部署過程如圖3-1所示：部署請求宿主機(jī)的選擇虛擬機(jī)的傳輸實例化與環(huán)境化圖3-1虛擬資源的過程從上圖中可以看到，在宿主機(jī)的選擇與確定是部署虛擬機(jī)的前提，宿主機(jī)是虛擬機(jī)的歸宿，是用戶業(yè)務(wù)系統(tǒng)的硬件大環(huán)境，對于系統(tǒng)的穩(wěn)定運行以及響應(yīng)性能有決定性的作用。因此需要為用戶選擇合適的宿主機(jī)，那么如何既能滿足用戶需求，保證用戶業(yè)務(wù)系統(tǒng)穩(wěn)定運行，減少虛擬機(jī)的遷移頻率27，又能有效的利用計算資源，提高計算資源的利用率。這將是本章研究的問題。3.1 擬解決的問題一直以來，選擇宿主機(jī)時28中常常會忽略請求資源本身的特點，僅以當(dāng)前CPU的利用率作為研究依據(jù)，選擇策略有一定的局限

42、性；或者有時宿主機(jī)的承受能力和業(yè)務(wù)系統(tǒng)的需求并不能對等，要么宿主機(jī)的性能遠(yuǎn)遠(yuǎn)大于用戶需求，造成了資源的浪費，使得資源得不到有效地利用；要么宿主機(jī)的計算能力不能滿足業(yè)務(wù)需求，在系統(tǒng)部署完成開始運行后，造成虛擬機(jī)頻繁遷移?；蛘邇H以宿主機(jī)上所運行的虛擬機(jī)個數(shù)29為參考，同樣有失科學(xué)性和合理性。所以，需求資源應(yīng)用背景、宿主機(jī)性能、宿主機(jī)未來負(fù)載狀況，都需要成為在選擇宿主機(jī)時的考慮因素。因此，本文提出一個可提高資源利用率，保證用戶業(yè)務(wù)邏輯相對穩(wěn)定運行的策略。該策略針對請求資源的特點，結(jié)合負(fù)載預(yù)測的方法，量化用戶的請求值和權(quán)值，支持各宿主機(jī)的負(fù)載變化趨勢預(yù)估；為用戶選擇合適的宿主機(jī)，支持個性化需求部署。3

43、.2 金融云平臺中宿主機(jī)選擇算法的設(shè)計思路3.2.1 問題的提出云計算中宿主機(jī)的選擇過程如下：用戶向云平臺提出請求申請資源，云平臺的管理中心接收請求后，開始運行本文宿主機(jī)選擇模型及其內(nèi)部算法，假如被紅色圓圈圈住的服務(wù)器被選擇作為宿主機(jī)如圖3-2所示，待部署工作完成后，用戶即可馬上享用云資源。通過遠(yuǎn)程訪問虛擬資源。本課題的目標(biāo)是研究如何選擇適當(dāng)?shù)乃拗鳈C(jī)，對用戶所需資源進(jìn)行有效的部署，均衡云平臺負(fù)載的同時減少虛擬機(jī)的遷移次數(shù)以保證其上的業(yè)務(wù)系統(tǒng)平穩(wěn)運行。圖3-2云計算中宿主機(jī)選擇過程3.2.2 宿主機(jī)自動選擇算法模型本文設(shè)計的宿主機(jī)自動選擇算法模型工作過程如下，選擇流程如圖3-3所示。(1) 云計

44、算平臺的管理服務(wù)器接受到云用戶提交的計算資源的申請后，向所有的云平臺中的服務(wù)器通過廣播形式收集負(fù)載狀況。(2)各個服務(wù)器接收到通知后，運行該模型中的負(fù)載預(yù)測算法，將負(fù)載預(yù)測量與服務(wù)器設(shè)定的虛擬機(jī)遷移閾值進(jìn)行對比，若小于閾值將預(yù)測值反饋至管理服務(wù)器。 (3) 以各服務(wù)器的反饋數(shù)據(jù)為依據(jù)，再通過基于個性需求的宿主機(jī)自動選擇算法確定最終的目標(biāo)宿主機(jī)。完成部署工作。至此就是宿主機(jī)的整個選擇過程。圖3-3虛擬機(jī)部署流程圖3.3 負(fù)載預(yù)測算法3.3.1 負(fù)載的特性在20世紀(jì)末，美國的兩位計算機(jī)專家通過對幾十臺電腦進(jìn)行長期的跟蹤監(jiān)測分析，得出了分布式系統(tǒng)中各個主機(jī)的負(fù)載特性30，該結(jié)論被普遍認(rèn)為是比較客觀準(zhǔn)

45、確的：(1) 隨機(jī)性：負(fù)載是計算資源的一種變化信號，其表現(xiàn)出來的隨機(jī)性能夠代表資源信號變化也具有隨機(jī)性。(2) 不同機(jī)型波動幅度不同：個人PC機(jī)的平均負(fù)載值遠(yuǎn)低于服務(wù)器機(jī)型，但其負(fù)載波動幅度大，不利于系統(tǒng)性能的穩(wěn)定、優(yōu)化；大型主機(jī)的負(fù)載一般在較低范圍內(nèi)，通常為20%以下。由此說明，負(fù)載預(yù)測對負(fù)載平衡、性能優(yōu)化有現(xiàn)實意義。(3) 波動量：通過實驗觀察可得，由于服務(wù)器的負(fù)載量比較大，其負(fù)載變化量的絕對值也比較大，即絕對波動量大，而小型機(jī)或者PC機(jī)的絕對波動量小；若要研究負(fù)載的波動情況，以絕對波動量作為研究對象不夠科學(xué)。相對波動量反映的是負(fù)載相對于歷史平均值的波動情況，以相對波動量為研究對象無論對小

46、型機(jī)還是大型的服務(wù)器都有意義。(4) 負(fù)載預(yù)測的復(fù)雜性：曲線分布已不能簡單地反映負(fù)載值的分布多樣化，圖樣驅(qū)動性成為研究負(fù)載預(yù)測的最合理的途徑。同時，負(fù)載所呈的自相似性使得研究工作不得不將時間因素考慮進(jìn)來，自相似性使得負(fù)載和時間存在著某種聯(lián)系。(5) 關(guān)聯(lián)性：通過長期的跟蹤分析發(fā)現(xiàn)，時間和過去的負(fù)載狀況會影響負(fù)載的變化。在進(jìn)行負(fù)載預(yù)測時需將這兩個因素考慮進(jìn)來。線性時間序列模型是使用較多的負(fù)載預(yù)測模型。(6) 突變性：外界很多因素會造成負(fù)載突變。比如：突然斷電、重新開啟一個大的進(jìn)程，這就要求負(fù)載預(yù)測模型能夠修正這種突變。3.3.2 負(fù)載預(yù)測的研究現(xiàn)狀目前，總體來講，負(fù)載預(yù)測技術(shù)還不算成熟，研究對象

47、常常是數(shù)據(jù)流、網(wǎng)絡(luò)流等，在國內(nèi)預(yù)測技術(shù)還有待進(jìn)一步發(fā)展，用到的典型的預(yù)測模型和預(yù)測方法為時間序列模型，它是當(dāng)前預(yù)測領(lǐng)域里使用較多的預(yù)測模型，該模型以時間序列的歷史信息為依據(jù)進(jìn)行預(yù)測工作。時間序列模型有很多種模型算法，其中Box-Jenkins模型是相對較典型的模型，其AR的預(yù)測準(zhǔn)確性較高，算法性能較好。NWS通過線性時間序列模型將時間序列和歷史信息巧妙地結(jié)合起來，大量的實驗證明：該模型比較符合應(yīng)用背景。但是任何算法也不是完美的，自適應(yīng)能力差是該模型的缺點。目前國內(nèi)研究負(fù)載預(yù)測用到的方法如下：(1) 隨機(jī)信息預(yù)測法。該算法其實是分布論，起初有人認(rèn)為負(fù)載數(shù)據(jù)是符合正態(tài)分布的，當(dāng)發(fā)現(xiàn)事實上并不完全是

48、正態(tài)分布后，又提出了區(qū)間分布理論。這兩種預(yù)測方法均比較簡單、直觀、快速，但均無法保證預(yù)測結(jié)果的準(zhǔn)確性，且必須保證所服從的分布是一致的。(2) 人工神經(jīng)網(wǎng)絡(luò)預(yù)測法，該方法的優(yōu)勢是有強大的自學(xué)習(xí)能力，通過海量的數(shù)據(jù)訓(xùn)練能夠建立符合負(fù)載數(shù)據(jù)特征的模型，提高預(yù)測結(jié)果的準(zhǔn)確率。(3) 卡爾曼濾波預(yù)測法是目前在高精尖領(lǐng)域應(yīng)用比較廣泛的預(yù)測方法，預(yù)測精度相對比較高，該方法基于濾波理論的數(shù)據(jù)處理原理，能靈活選擇預(yù)測因子。(4) 灰色預(yù)測法適合于應(yīng)用在一些系統(tǒng)體系結(jié)構(gòu)不明確或者存在大量未知信息的領(lǐng)域，該方法通過特定的算法能夠發(fā)現(xiàn)并捕捉灰色系統(tǒng)內(nèi)數(shù)據(jù)的變化規(guī)律。方法相對簡單可行，應(yīng)用范圍廣泛，不需要大量的數(shù)據(jù)支持

49、，但是僅限于短期預(yù)測。3.3.3 宿主機(jī)自動選擇模型中的負(fù)載預(yù)測機(jī)制本模型中采用時間序列中的指數(shù)平滑法32對模型中要求的四個性能參數(shù)(可用內(nèi)存、CPU利用率、可用的網(wǎng)絡(luò)帶寬、可用硬盤容量)進(jìn)行預(yù)測，以近期負(fù)載數(shù)據(jù)為輸入進(jìn)行反復(fù)預(yù)測。因為近期負(fù)載從時間和發(fā)展規(guī)律的角度來講，更能反映未來的負(fù)載走勢。該預(yù)測算法是一種加權(quán)預(yù)測方法，是下一期預(yù)測值與前期預(yù)測值之間的誤差修正值的線性組合。具體公式如下所示。 公式中，均表示上一次的預(yù)測值，表示下一次預(yù)測值，表示當(dāng)前數(shù)值。由公式可以看出，該方法僅需要最近的一次歷史預(yù)測數(shù)據(jù)和最新的負(fù)載觀察值，但是需要大量的歷史數(shù)據(jù)訓(xùn)練以確定值。初值的初始化如下所示：在實際應(yīng)用

50、中，我們需要考量負(fù)載的波動性，波動性越大越不適合被選作宿主機(jī)，為保證系統(tǒng)的穩(wěn)定運行，在負(fù)載預(yù)測算法中引入方差來體現(xiàn)負(fù)載波動情況。 3.4 負(fù)載均衡算法3.4.1 負(fù)載均衡調(diào)度算法的研究現(xiàn)狀28(1) 輪循調(diào)度，顧名思義，輪循調(diào)度就是輪流執(zhí)行任務(wù)：各個主機(jī)輪流發(fā)送請求任務(wù)i，通過執(zhí)行求余運：x=(i+1)mod n調(diào)度管理中心將接受到的請求輪流分配給相應(yīng)的服務(wù)器x上。(n代表共有n臺服務(wù)器)。該算法比較機(jī)械，并沒有考慮到各個服務(wù)器性能特征和負(fù)載狀況。 (2) 加權(quán)輪詢調(diào)度 加權(quán)輪循調(diào)度算法是在輪循調(diào)度算法的基礎(chǔ)上為各個服務(wù)器設(shè)置權(quán)值，根據(jù)服務(wù)器的性能為其設(shè)置不同的權(quán)值，分配任務(wù)的順序則按照權(quán)值大

51、小進(jìn)行排列，同時該算法在輪詢算法上還做了進(jìn)一步的改進(jìn)：各個服務(wù)器的權(quán)值不是固定不變的，會隨著負(fù)載變化動態(tài)地進(jìn)行調(diào)整。但是，該算法設(shè)計得不夠周全，忽略了請求任務(wù)所需的資源量，極易導(dǎo)致超載或者是輕載的現(xiàn)象發(fā)生。(3) 最小連接數(shù)調(diào)度最小連接調(diào)度是以服務(wù)器上的連接數(shù)作為調(diào)度判斷依據(jù)，連接數(shù)的多少代表著負(fù)載量的大小。算法會將接受到的請求分配給連接數(shù)最少的服務(wù)器，而彈性云中的服務(wù)器彼此之間是非同構(gòu)的，在異構(gòu)的環(huán)境下，該算法顯得就不那么可行和合理了。(4) 加權(quán)最小連接數(shù)算法加權(quán)最小連接數(shù)算法類似于加權(quán)輪轉(zhuǎn)算法，根據(jù)服務(wù)器的性能為其設(shè)置不同的權(quán)值，權(quán)值會隨著連接數(shù)變化而動態(tài)的調(diào)整。該算法的弊端不僅與最小連

52、接數(shù)算法暴露出來的一樣，而且連接數(shù)并不能完全反映服務(wù)器當(dāng)前的的負(fù)載狀況。 (5) 優(yōu)先級調(diào)度算法需要為各個任務(wù)定義優(yōu)先級，優(yōu)先級高的任務(wù)總是優(yōu)先得到被執(zhí)行的權(quán)利，但是優(yōu)先級的制定規(guī)則是多樣化的，不同的規(guī)則可能導(dǎo)致負(fù)載不均甚至失衡的狀態(tài)。(6) 資源預(yù)留算法，該算法主要是針對有些算法中大作業(yè)長期不被執(zhí)行的情況而提出的，該算法需要設(shè)置一個時間閾值，當(dāng)大作業(yè)的等待時長超過閾值時，就要為該作業(yè)預(yù)留資源。而在云計算平臺中，快速部署是其主要特點之一，云服務(wù)是不可能讓用戶長時間進(jìn)行等待的。 (7)BestFit調(diào)度策略該算法按請求的先后時間順序進(jìn)行任務(wù)的部署。該算法對請求的資源量和服務(wù)器的性能均做了充分的考

53、慮，力求做到負(fù)載均衡，但是在云平臺中不允許按時間順序?qū)τ脩舻恼埱筮M(jìn)行部署，因此，該調(diào)度算法不適合應(yīng)用到云計算中。綜上所述，有的負(fù)載均衡算法過于機(jī)械，考量的因素過于簡單，不夠科學(xué)；有的算法雖然在負(fù)載均衡上的花了很多功夫，但是以犧牲部署時間為代價，不能做到快速部署。以上負(fù)載均衡算法從不同角度均暴露了其弊端，在應(yīng)用到云計算中需要進(jìn)行改進(jìn)。負(fù)載平衡調(diào)度算法按驅(qū)動來源可分為33：(1) 接收者驅(qū)動策略 在該策略中，空閑節(jié)點來驅(qū)動調(diào)度策略的實施，節(jié)點空閑時向所有節(jié)點發(fā)送請求以獲得處理任務(wù)，當(dāng)其他節(jié)點接受到請求后，會按算法將任務(wù)分配給該節(jié)點處理。但并非所有的節(jié)點都會對閑節(jié)點的請求進(jìn)行相應(yīng)，忙節(jié)點不予響應(yīng)。此

54、調(diào)度策略的弊端在于：需要設(shè)置合適的閾值來判斷節(jié)點的忙與閑，另外，當(dāng)云計算平臺中閑節(jié)點的數(shù)量較多時，會出現(xiàn)各個節(jié)點間互相不停地發(fā)送請求的尷尬局面，造成不必要的資源消耗。(2) 發(fā)送者驅(qū)動策略 與接受者驅(qū)動策略相對應(yīng)，該驅(qū)動策略由任務(wù)發(fā)送者主動擔(dān)任負(fù)載調(diào)度的角色，當(dāng)該節(jié)點處于“忙”狀態(tài)時，主動將任務(wù)分配給其他相對閑節(jié)點，由此可以看出：發(fā)送者不僅要處理自己的計算任務(wù)，還要了解其他節(jié)點的負(fù)載狀況以便分配任務(wù)。3.4.2 負(fù)載均衡策略的不足(1)忽略了負(fù)載縱向發(fā)展情況，即未將負(fù)載的預(yù)測值作為負(fù)載均衡的考量因素。很可能發(fā)生部署工作完成以后云平臺負(fù)載不均甚至失衡的情況。(2) 以 “忙”或“閑”狀態(tài)節(jié)點的發(fā)

55、送請求模式的開關(guān)，將負(fù)載均衡的壓力分散到各個節(jié)點，不能做到統(tǒng)籌規(guī)劃管理，動態(tài)地進(jìn)行負(fù)載均衡調(diào)整。(3) 節(jié)點之間會不必要地進(jìn)行信息“溝通”，造成了系統(tǒng)額外開銷。任何一種負(fù)載均衡算法都是不完美的，我們要做的就是與算法的應(yīng)用環(huán)境相權(quán)衡，做到局部最優(yōu)。3.4.3 宿主機(jī)自動選擇算法模型中的負(fù)載均衡算法 本文提出的在宿主機(jī)自動選擇模型的負(fù)載均衡策略：在該模型中設(shè)置一個服務(wù)器作為管理角色，對資源的調(diào)度、任務(wù)的分配進(jìn)行管理，用戶請求首先到達(dá)管理服務(wù)器，其接受到請求后，向所有宿主機(jī)發(fā)送廣播信號以求各個節(jié)點的負(fù)載狀況，各節(jié)點接受到廣播信號后，根據(jù)虛擬機(jī)遷移閾值決定是否相應(yīng)管理服務(wù)器的廣播信號，若預(yù)測值超過閾值

56、，不予回應(yīng)；若小于閾值，則預(yù)測模塊將當(dāng)前的預(yù)測信息作為響應(yīng)信號反饋給管理層服務(wù)器。響應(yīng)信息內(nèi)容如圖3-4所示。圖3-4反饋的負(fù)載信息各個節(jié)點的負(fù)載預(yù)測模塊一直在運行，并非收到廣播信號才啟動，負(fù)載預(yù)測模塊不斷地采集負(fù)載數(shù)據(jù)進(jìn)行預(yù)測，并對預(yù)測結(jié)果進(jìn)行保存，作為下一期預(yù)測的輸入，負(fù)載預(yù)測功能從一定程度上能減少計算資源的長期占用或者是閑置35的情況，預(yù)測模塊工作流程具體過程如圖3-5所示。圖3-5 負(fù)載預(yù)測模塊工作過程相較于目前現(xiàn)有的負(fù)載均衡策略，本文提出的策略中，通信只在管理服務(wù)器和各節(jié)點間進(jìn)行，均衡負(fù)載的工作既不會集中在閑節(jié)點，以免造成大量空閑節(jié)點互相不停地發(fā)送請求信息，也不會集中在忙節(jié)點，忙節(jié)點

57、已自顧不暇，減少忙節(jié)點的負(fù)載壓力。各節(jié)點僅需在收到廣播信號后給出參數(shù)的預(yù)測值，節(jié)點之間不需交換信息。不僅減少系統(tǒng)開銷，同時將均衡工作交予一個服務(wù)器統(tǒng)一規(guī)劃管理，也有利于所有節(jié)點的信息集中互通，提高均衡和管理的效率。負(fù)載均衡過程如圖3-6所示。圖3-6負(fù)載均衡過程3.5 宿主機(jī)自動選擇算法中的采樣方法主機(jī)負(fù)載具有隨機(jī)性和波動性，為了避免瞬時峰值對真實負(fù)載狀況的預(yù)判，對采樣負(fù)載值進(jìn)行平均處理，該處理過程能夠減小瞬時峰值對預(yù)測的干擾和方向性誤導(dǎo)。平均采樣法：時間段內(nèi)采集的n個數(shù)據(jù)的平均值作為該段時間內(nèi)的采樣值。表示為：平均采樣也叫平滑處理，它從一定程度上減小了隨機(jī)不規(guī)則數(shù)據(jù)對采樣值的影響，同時也保留了另一種規(guī)律存在的可能，尊重采樣的客觀性。既然是采樣，那么采樣的頻率也會對預(yù)測結(jié)果產(chǎn)生一定的影響，采樣頻率過小會影響計算結(jié)果的精度，采樣頻率過大會放大不規(guī)則數(shù)據(jù)的影響，不能巧妙地屏蔽掉瞬時峰值。在很多實驗中將采集頻率設(shè)置在111s的范圍內(nèi)35。在隨后的