新一代彈性可定制的企業(yè)云計算平臺項目-立項材料

1、XXXX上海電信信息網(wǎng)絡(luò)部二零一三年 三 月 TOC o 1-3 h z u 研究內(nèi)容多租戶環(huán)境動態(tài)分配在IDC云主機產(chǎn)品僅提供了標準化的網(wǎng)絡(luò)配置服務(wù)，即每臺虛機配置一個公網(wǎng)地址，用于出口訪問。而實際業(yè)務(wù)開展中，發(fā)現(xiàn)客戶對網(wǎng)絡(luò)配置的要求遠不止于此。以一個典型的私有云環(huán)境為例，客戶希望有公網(wǎng)或者VPN作為接入手段；希望有一個業(yè)務(wù)內(nèi)網(wǎng)用于內(nèi)部通訊和數(shù)據(jù)傳輸；希望有訪問控制，對應(yīng)需要對防火墻進行配置；希望做負載均衡，對應(yīng)需要對四層交換機進行設(shè)置。從而從用戶的自身使用習(xí)慣出發(fā)，提供一個完整的、安全的、相對獨立的、可靠的私有云環(huán)境，如下圖所示。因此，用戶需求歸結(jié)為以下幾點：VPC模式的研制，能夠提供多種

2、通用的VPC模式。定制多種網(wǎng)絡(luò)區(qū)域的類型，滿足環(huán)境對外服務(wù)、對環(huán)境維護、內(nèi)部數(shù)據(jù)交換、集群HA等功能。提供網(wǎng)絡(luò)安全防護的功能，提供負載均衡設(shè)備功能，如Load balance、static NAT、port mapping等。提供拓撲圖方式的業(yè)務(wù)申請，通過頁面拖曳資源，直觀得到VPC結(jié)構(gòu)及配置，簡單方便完成VPC的定制?？焖倥渲肰PC，實現(xiàn)VPC資源的基本配置。支持用戶自用操作系統(tǒng)的使用。多租戶環(huán)境的動態(tài)分配功能模塊將云IT系統(tǒng)兩部分進行優(yōu)化開發(fā)：用戶自服務(wù)模塊優(yōu)化用戶自服務(wù)，使得自服務(wù)可以滿足VPC提供拓撲圖方式的業(yè)務(wù)申請，通過頁面拖曳資源，直觀得到VPC結(jié)構(gòu)及配置，簡單方便完成VPC的定制

3、。實現(xiàn)用戶視圖管理、用戶訂單管理、VPC搭建過程管理。電信云管理平臺優(yōu)化原云管理平臺，使得工單管理系統(tǒng)能夠自動激活VPC，變更VPC或拆除VPC。包括防火墻配置、負載均衡配置、網(wǎng)絡(luò)劃分、交換機配置等。資源的彈性伸縮彈性擴展伸縮特性是云的一個重要特征，當特定的用戶IT環(huán)境負荷發(fā)生變化時，可以彈性地對計算資源的供給進行調(diào)整。當計算負荷變大時，其所配備的計算資源將相應(yīng)地得到增加。同理，相當計算負荷的高峰過去以后，為其配備的計算資源也能得到回收。云資源的自動彈性伸縮結(jié)合云平臺現(xiàn)有資源自動激活技術(shù)，研究資源伸縮的觸發(fā)條件、實現(xiàn)機制、資源管理方式。包括資源使用情況實時監(jiān)控模型的實現(xiàn)、動態(tài)伸縮自動激活的方法

4、以及回溯伸縮的數(shù)據(jù)管理方法。由于課題涉及內(nèi)容較多，因此本次內(nèi)容主要研究虛擬數(shù)據(jù)中心條件下，彈性機制的實現(xiàn)。云虛擬數(shù)據(jù)中心實時監(jiān)控：根據(jù)研究院的2012年底研究成果，實現(xiàn)其監(jiān)控模塊，細化監(jiān)控數(shù)據(jù)，建立監(jiān)控手段，檢測用戶IT基礎(chǔ)環(huán)境云工作負荷；云虛擬數(shù)據(jù)中心彈性伸縮：實現(xiàn)虛擬數(shù)據(jù)中心的資源伸縮，如虛擬服務(wù)器彈性擴展以及回收，網(wǎng)絡(luò)配置自動變更、應(yīng)用配置自動變更、負載均衡配置自動變更、防火墻等設(shè)備的自動變更。提供自定義伸縮定制：建立伸縮策略，引入用戶自定義的觸發(fā)條件。資源生命周期管理與使用量統(tǒng)計：資源的生命周期管理，是彈性擴展業(yè)務(wù)的重點。云管理平臺對用戶使用資源的情況作詳細的追蹤。需要記錄的信息包括，

5、虛機什么時候被創(chuàng)建，什么時候被銷毀，創(chuàng)建、銷毀的觸發(fā)條件、虛機變更情況等信息，并將這些信息保存、記錄，以供計費模塊作為計算的憑證，便于用戶能夠進行資源變更的回溯。整個彈性擴展的實現(xiàn)，基本上貫穿了以下的流程圖:在實現(xiàn)機制上，門戶類應(yīng)用系統(tǒng)的彈性擴展將主要體現(xiàn)在以下四個重點的功能模塊上：彈性擴展規(guī)則與算法管理負責判斷是否需要彈性擴展或者收縮，以及需要擴展的資源的數(shù)量等。資源置備與回收模塊負責對資源進行相應(yīng)的置備和回收的動作工作負荷檢測負責檢測主機的工作負荷情況是否超標等。資源生命周期管理與計算負責對資源生命周期進行統(tǒng)計，并根據(jù)統(tǒng)計使用量清單。從技術(shù)上說，目前所有的模塊都已經(jīng)有相對成熟的思路。工作負

6、荷監(jiān)測目前，已經(jīng)有很多成熟的工具，能從主機層面和虛機層面，對特定的參數(shù)指標進行監(jiān)控。這些工具往往都能提供提供完全WEB化的管理界面和報表系統(tǒng)，讓管理員在任何時間，任何地點都可方便地管理整個系統(tǒng)。在監(jiān)測過程的任意時段，都顯示詳盡的實時狀態(tài)信息。通過常規(guī)的基于瀏覽器的報告形式，計算機系統(tǒng)管理人員和業(yè)務(wù)管理人員都能獲取關(guān)于系統(tǒng)性能的一套完整的信息。從監(jiān)控手段上，這些軟件通常采用有代理監(jiān)控或者無代理監(jiān)控等。兩種監(jiān)控方式各有千秋的，但是從部署上說，無代理監(jiān)控的方式，更加適合我們的云計算模式。在初始狀態(tài)時，只需要將控制器安裝在一臺特定的服務(wù)器上。一旦有新的資源置備上線以后，只需要在該控制器上完成對該資源的

7、注冊，就可以完成對資源的監(jiān)控設(shè)置。通常，該類監(jiān)控軟件還會帶有監(jiān)控模板設(shè)置。每個用戶的某個應(yīng)用，通常都會采用相同的監(jiān)控參數(shù)組合。這個參數(shù)組合可以被放在一個監(jiān)控模板內(nèi)。該用戶的該類應(yīng)用中的所有資源，都可以使用這個監(jiān)控模板，完成對該類資源的監(jiān)控設(shè)置。負載監(jiān)控將所收集到的性能數(shù)據(jù)保存，以供后面的彈性擴展規(guī)則與算法進行相應(yīng)處理。彈性擴展實現(xiàn)云資源彈性伸縮功能架構(gòu)分為彈性伸縮控制層、調(diào)度層、接口層。彈性伸縮控制層主要包括監(jiān)控數(shù)據(jù)讀取分析、彈性伸縮策略配置等主要功能模塊；調(diào)度層主要包括計算節(jié)點增加/減少調(diào)度、計算節(jié)點配置提升/降低調(diào)度、物理節(jié)點開啟/關(guān)閉調(diào)度、計算節(jié)點遷移調(diào)度等功能模塊；接口層則實現(xiàn)了各個協(xié)

8、議的適配器，不同的虛擬化軟件，其接口協(xié)議不同，接口層則統(tǒng)一封裝了對底層各中虛擬化軟件的交互操作以及通過IPMI協(xié)議對物理機的控制操作（如開機、關(guān)機）。資源自動置備與回收資源置備，主要負責資源的創(chuàng)建與客戶化。一個推薦的方式是，對每一個提供彈性擴展服務(wù)的應(yīng)用，由用戶提供一個模板。當需要創(chuàng)建資源時，資源置備程序?qū)脑撃０鍎?chuàng)建虛機， 并根據(jù)約定客戶化程序，對該類虛機進行IP地址設(shè)置。與資源置備相比，資源回收相對比較簡單，只需要將虛機刪除，并將虛機相關(guān)的資源（比如IP地址）等收回即可。定制化云平臺虛擬數(shù)據(jù)中心私有化定制虛機HA集群模塊：虛機HA集群指通過虛機和掛接存儲形成虛機HA集群，從而滿足用戶環(huán)境特

9、別是數(shù)據(jù)庫環(huán)境的雙機熱備需求。用戶能夠通過自服務(wù)定制模板，定制虛機個數(shù)、lun個數(shù)、ip個數(shù)。網(wǎng)絡(luò)定制化：網(wǎng)絡(luò)區(qū)類型的定義，如DMZ區(qū)、公網(wǎng)區(qū)、內(nèi)網(wǎng)區(qū)等；子網(wǎng)長度定制；網(wǎng)絡(luò)區(qū)對外連防火墻、負載均衡定制；完善VPC修改功能，能夠在VPC加入新的網(wǎng)絡(luò)區(qū)域、虛機、修改與外部設(shè)備如防火墻、負載均衡的連接關(guān)系等；完善訂單查詢，優(yōu)化自定義VPC使用及訂單查詢；工單接口改造；工單及執(zhí)行改造。在防火墻-負載均衡-公網(wǎng)層-內(nèi)網(wǎng)層-DMZ層固定模式的基礎(chǔ)上，解除原公網(wǎng)層內(nèi)網(wǎng)卡與ip的綁定關(guān)系，允許定制ip段、vlan與網(wǎng)卡的關(guān)系，進一步提供虛擬數(shù)據(jù)中心的可定制化程度。虛擬數(shù)據(jù)中心流程訂單及工單流轉(zhuǎn)；服務(wù)目錄；系統(tǒng)

10、接口；資源管理優(yōu)化：提供管理員統(tǒng)一管理VPC界面，提供用戶、VPC屬性、VPC配置等管理；提供負載均衡設(shè)備管理，負載均衡配置、策略管理；提供防火墻設(shè)備管理，防火墻配置、策略管理；EC2能力接口開放IaaS系統(tǒng)的API接口（IAPI）目前，用戶的資源申請扔停留在圖形化的自服務(wù)級別。用戶通過自服務(wù)門戶上提交申請，來完成對其名下資源的操作。與國外成熟的云運營商如Amazon等相比，我們目前尚不能提供任何應(yīng)用API接口。本項目的目標之一是研究能夠?qū)ν馓峁┰品?wù)的安全接口IAPI，形成一種形成安全、身份可認證的、服務(wù)可控制的接口服務(wù)，豐富云平臺的對外服務(wù)形式。支撐大型用戶，如動漫園區(qū)、社區(qū)用戶、分銷商等

11、具備一定IT能力，對資源使用及時性有要求的用戶。另外，滿足本地有基礎(chǔ)設(shè)施的用戶的需求，能夠?qū)崿F(xiàn)混合模式下云的準確管理。研究身份認證技術(shù)，控制訪問連接，保障云平臺的安全，同時記錄外部調(diào)用情況。對云平臺服務(wù)作分類的定義包裝，提供多種對外服務(wù)，如VPC、備份、計算資源、存儲等。另外，能夠支持在用戶端已有資源的情況下，資源的正常調(diào)度和管理。從國外成熟的云計算運營商所能提供的服務(wù)看，目前，絕大多數(shù)云計算運營商都提供了相應(yīng)的工具，向用戶開放了其名下虛機資源的控制臺。用戶可以通過控制臺，即使在虛機系統(tǒng)故障時也可通過控制臺進行帶外管理，進行自我排障等操作。理論上，在一個成熟的云運營商體系中，其云平臺所能提供的

12、每一個功能都被開放在了其所提供的API接口上。通常，一個的完整的云運營體系環(huán)境中，主要包含的功能有：身份認證功能這部分功能主要用于確認賬號的身份。在通常的實現(xiàn)當中，往往是采用一個session key的形式。即所有通過用戶名認證的session都將得到一個key。憑借著該key的鍵值，其可以在某段時間內(nèi)訪問該賬號下的某些資源。資源定義功能這部分功能主要用來讓用戶對其名下的資源進行配置的定義，包括配置更改，配置保存等。資源創(chuàng)建與回收功能這部分功能主要用來完成對資源的創(chuàng)建，比如虛機的創(chuàng)建、虛擬私有云功能的創(chuàng)建等。資源操作功能這部分主要包含對資源的管理動作，比如對虛機的啟停、重置、備份、恢復(fù)、快照、

13、制模板等。API的開放本身，絕不僅僅是一個工程技術(shù)類問題。其和電信云平臺的業(yè)務(wù)模式密切相關(guān)。與API相關(guān)的，首先就是文檔的編寫。一個完整的API文檔，需要包含API架構(gòu)的介紹，初學(xué)者指南，以及涵蓋所有其所涉及的對象與方法的編程指南等。這些文檔要被合理地組織在相應(yīng)的門戶網(wǎng)站上，供開發(fā)者自由下載。同時，隨著API的更改，這些文檔也要及時地進行版本的更新。從這個角度講，API所涉及的文檔工作量，可能會成倍于API開發(fā)本身所涉及的工作量。如果我們提供的API能在形式上和某種通用的開源云管理平臺比如OpenStack或者CloudStack相靠攏，那將很大地簡化電信再文檔維護等工作上的工作量，并簡化目標

14、開發(fā)者所需要經(jīng)歷的學(xué)習(xí)曲線。這樣而言，原先為Openstack或者Cloudstack所寫的程序，幾乎可以在不改寫的情況下，在電信的云平臺上運行。另外一個重要的門戶是API相關(guān)的開發(fā)社區(qū)。一個成熟的開發(fā)社區(qū)，對API的推廣大有裨益。作為云的運營商，可以在社區(qū)上提出收集到對產(chǎn)品有用的建議。對開發(fā)者來說的，則能在社區(qū)獲得支持，并且貢獻其優(yōu)化過的代碼等。針對目前云計算業(yè)務(wù)的現(xiàn)實狀況，建議API的項目采用逐步推進的方式進行。在形式上，應(yīng)該首先推出的是Web Service形式的接口，Web Service是一切API的基礎(chǔ)。其次再要考慮引入命令行工具，提供了一個簡單的測試工具，對Web Service

15、的開發(fā)測試，有很大幫助。在功能上，從現(xiàn)實的工作量考慮，首先應(yīng)該針對最簡單虛擬機的業(yè)務(wù)，開通其相應(yīng)的API包括其身份認證、資源定義、資源開通以及資源操作等4大類。相比于其他復(fù)雜的業(yè)務(wù)邏輯而言，虛擬機任務(wù)模型最成熟，其開發(fā)的可控性也最好。集成的很大一部分工作將發(fā)生在API操作與現(xiàn)有工單流程的交互上。事實上，和以前CRM驅(qū)動的業(yè)務(wù)模式相反，云的API本身是反向驅(qū)動的。極有可能發(fā)生的場景是，由于API的調(diào)用，使得云管理平臺產(chǎn)生了一張的自動執(zhí)行工單，并且，該工單需要通過某種方式，被寫回到電CRM系統(tǒng)當中。形式上，我們的API的格式應(yīng)該考慮與OpenStack或者CloudStack的通用API格式靠攏，

16、以增強自己的通用性。在開發(fā)API的同時，應(yīng)該保持文檔體系的完整，并借此機會，搭建一個專門用于API文檔組織的版本管理機制以及組織文檔發(fā)布的公網(wǎng)網(wǎng)站。遠程控制臺帶外管理目前，IDC基礎(chǔ)設(shè)施云云平臺并沒有向用戶開放虛機的控制臺。用戶只能通過遠程訪問協(xié)議（比如微軟的遠程桌面協(xié)議RDP，或者Linux的SSH協(xié)議等），通過虛機的網(wǎng)絡(luò)層訪問其操作系統(tǒng)。在虛機出現(xiàn)故障導(dǎo)致其網(wǎng)絡(luò)層甚至是操作系統(tǒng)層不可用時，云平臺并不能夠提供足夠的帶外管理方式。站在用戶的角度，其只能通過報修的方式的，讓電信的運維方對虛機進行相應(yīng)的處理乃至重置。因此，我們提出，在本期項目建設(shè)中建設(shè)統(tǒng)一的Console管理界面，對VMWARE和

17、HyperV兩種平臺的虛擬機進行Console管理，并研究開放console界面情況下的權(quán)限控制技術(shù)，使得用戶安全、并且僅能夠訪問自用的資源，保證底層開放的安全。在此基礎(chǔ)上，實現(xiàn)對用戶的訪問行為進行記錄，方便電信方、用戶進行記錄回溯。面對虛擬機的控制臺帶外管理手段開放，最大的挑戰(zhàn)來自于它的安全性。無論是VMWare還是微軟的Hyper-V，都能實現(xiàn)與微軟活動目錄（AD）的綁定。同時，對其下屬的每一個虛機，都可以設(shè)置一個所有者用戶組。只有那些在所有者組內(nèi)的AD用戶賬號，才可以登錄該虛機的控制臺，進行相應(yīng)的操作。但是在公有云環(huán)境中，這個機制完全不通用。公有云的用戶賬號與電信的AD用戶不存在必然的對

18、應(yīng)關(guān)系。公有云賬號與虛機的從屬關(guān)系更是完全由云平臺維護，不會出現(xiàn)在任何虛擬化管理器中。因此，在提供控制臺訪問的時候，必須提供額外的身份認證與訪問控制機制。該部分的功能應(yīng)該做到，確保云平臺的用戶只能夠訪問到其名下的相應(yīng)虛機資源的控制臺，并且同時確保相應(yīng)的虛機資源控制臺只能為該名下的用戶所訪問到。在通過了認證以后，才能建立起相應(yīng)的通路，以讓授權(quán)的用戶訪問該虛機的控制臺。從客戶端到最后虛機端的數(shù)據(jù)通路應(yīng)該在加密的情況下被傳輸，以防止網(wǎng)絡(luò)上的截停和仿冒。其加密應(yīng)該至少采用1024位的SSL安全通行協(xié)議，防止破解。在往上面，甚至可以考慮像亞馬遜那樣，將表示時間的時序參數(shù)一起做在客戶端提供身份校驗的key

19、當中。這樣，即使該部分信息被盜用者破解，但是由于有效時間已過，這部分信息也只能作廢。安全性的另一個方面，體現(xiàn)在審計的功能上。用戶通過控制臺對系統(tǒng)的每一次訪問，必須被記錄在云平臺專用的審計表中，并在合適的地方展現(xiàn)，在需要的時候，能以合理的方式提供給用戶。關(guān)鍵技術(shù)自服務(wù)門戶動態(tài)拖拽用戶通過瀏覽器登錄到VPC自服務(wù)門戶。瀏覽服務(wù)VPC模板，系統(tǒng)預(yù)制了的幾種典型的VPC環(huán)境套餐可供用戶選擇，如果已知套餐無法滿足用戶對資源的需求時，用戶可通過自定義方式定制資源配置。隨后配置VPC環(huán)境中的云主機，防火墻和負載均衡策略信息，最后，提交資源申請。生成服務(wù)訂單發(fā)送到云管理平臺。用戶可以在圖形化的界面上通過拖拽虛機，負載均衡，防火墻等元素來實現(xiàn)訂單的生成。負載均衡屬性從本身圖標屬性修改。右鍵編輯負載均衡的屬性，通過彈出的表格方式收集用戶的負載均衡需求。結(jié)合Microsoft動態(tài)頁面編碼技術(shù)Silverlight，以及后臺XML等技術(shù)。自服務(wù)通過拓撲圖方式向用戶提供配置界面，其分為頁面配置記錄、消息生成、數(shù)據(jù)庫持久化三個步驟，如下表1所示。動態(tài)頁面技術(shù)實現(xiàn)頁面配置，支持用戶界面拖拉元素至相應(yīng)網(wǎng)絡(luò)區(qū)域，完成網(wǎng)絡(luò)配置、虛機配置。該技術(shù)支持IE、Firefox等多種瀏覽器。數(shù)據(jù)訪問方式豐富，支持TCPUDPSocket通信協(xié)議，支持WCF RIA服務(wù)，如下表2所示。另外，無需部署