云計算中效勞資源調(diào)度和管理

1、云計算中效勞資源調(diào)度和管理目 錄 IDC發(fā)展面臨的挑戰(zhàn) 云計算解決方案 調(diào)度與管理 總結服務資源整合服務資源調(diào)度資源分配策略服務資源管理IT成本高，機房設備利用率低數(shù)據(jù)中心體系很復雜， 系統(tǒng)的維護和管理難度大資源占用多，缺乏統(tǒng)一化，配置峰值資源需求等于浪費資源系統(tǒng)穩(wěn)定性、可靠性低。人工服務為主，高成本、低滿意度IT傳統(tǒng)模式不能適應業(yè)務部署速度的需求 （至少2個月）Supply and Demand Not Aligned地理上分布的用戶根據(jù)應用靜態(tài)分配IT資源WebeCommerceIntranetERPCRMBIDev/QAEmailIDC發(fā)展面臨的挑戰(zhàn)目 錄 IDC發(fā)展面臨的挑戰(zhàn) 云計算解

2、決方案 調(diào)度與管理 總結服務資源整合服務資源調(diào)度資源分配策略服務資源管理云計算體系架構服務調(diào)度和管理引擎云計算平臺VM中間構建 IAAS 調(diào)度分配引擎資源池IAAS服務管理SAASPAAS服務系統(tǒng)IAAS 服務平臺服務應用系統(tǒng)云計算門戶IDC 服務管理服務器管理服務器用戶在線服務存儲離線計算云計算節(jié)點在線服務器VMware, KVM, XEN支撐平臺體系架構資源整合資源分配調(diào)度引擎用戶自服務對應用系統(tǒng)的支持Hadoop, Websphere, 客戶化的應用云平臺計算資源虛擬化系統(tǒng) / 物理機操作系統(tǒng)運營管理工作流 & 審批流程報表 & 計費云管理方案端到端的云管理軟件： 根據(jù)負載均衡和資源均衡

3、的策略，從共享的物理和虛擬資源中為上層的應用系統(tǒng)創(chuàng)建和提供運行環(huán)境TicketingSystemCRMEntitlementSystemAuthentication & Security 整合了云資源 通過豐富的策略匹配和供給資源 提供了最終用戶直接請求資源的自助服務平臺 時刻跟蹤資源的使用情況，以生成報告、帳單和審核計算資源計算資源Oracle DBSMP Oracle DB3. 分布式計算方案2. 同步方案1. 話單分布4. 話單合并示例：BOSS云的架構目 錄 IDC發(fā)展面臨的挑戰(zhàn) 云計算解決方案 調(diào)度與管理 總結服務資源整合服務資源調(diào)度資源分配策略服務資源管理Manual資源分配引擎資

4、源預約和按需分配的調(diào)度策略基于資源使用情況的分配策略資源使用規(guī)劃服務的交付提供服務服務合同管理自助的服務門戶和開發(fā)接口(API)統(tǒng)計分析報表計費系統(tǒng)資源管理工具資源整合虛擬化系統(tǒng)管理插件物理機部署工具的插件系統(tǒng)管理插件不同類型的應用程序集成HPCJ2EEothersTest/Dev根據(jù)系統(tǒng)當前負載、系統(tǒng)資源的使用情況，有序地運行應用程序。整合物理機和虛擬機計算環(huán)境，創(chuàng)建一個共享的計算架構 。服務資源整合DEMANDSUPPLYHPC ClustersLSF, Symphony, 3rd PartyTest & DevJ2EE / AnalyticsSiloSiloSiloResource-aw

5、areWorkload-awareSupply and Demand Aligned在不同的應用部門共享物理資源服務資源整合虛擬資源池安全和集成數(shù)據(jù)保護資源管理可用性系統(tǒng)架構服務服務資源整合服務資源整合目 錄 IDC發(fā)展面臨的挑戰(zhàn) 云計算解決方案 調(diào)度與管理 總結服務資源整合服務資源調(diào)度資源分配策略服務資源管理調(diào)度引擎3) Network Access Cost Matrix (Available Bandwidth / Dynamic Utilization) DC1DC2DC3DC1DC2DC3Rack1Rack2Rack3R2R2R3Output: Initial Placement-

6、Run-Time Management- Defragmentations& MigrationOffering 1300Offering 2200Offering 3400JanDecContract #123Contract #444Contract #677Contract #677Contract #888Contract # 888#999Contract # 78934Contract # 768689Contract #55Contract # 8892) ResourceHierarchyDCRackGroupRackGroupRackGroupRackRackRackRack

7、RackRackDC/1) Application TopologyDBAppServerAppServerAppServerWebServerWebServerTier 1Tier 2Tier 34) Previous reservations committed & Account Quotas5) C-language plug-in placement policy:vem_policy_init()vem_policy_fin()vem_policy_distribute()vem_policy_place()vem_policy_housekeep()vem_policy_stat

8、us()vem_policy_info()服務資源調(diào)度資源分配之前資源分配之后服務資源調(diào)度目 錄 IDC發(fā)展面臨的挑戰(zhàn) 云計算解決方案 云計算核心技術 總結服務資源整合服務資源調(diào)度資源分配策略服務資源管理Packing（填滿）應用程序在盡量少的物理服務器上運行每個被使用的服務器利用率最大化，減少資源碎片，減少能源消耗。Striping（分散）應用程序分散在盡可能多的物理服務器上運行減少機器故障帶來的影響，提高應用程序的運行效率Load-Aware（基于負載）新的應用程序總是運行在負載最輕的物理服務器上獲得更高的應用程序運行效率HA-Aware（基于高可靠性配置）將支持高可靠性（HA）的服務器資

9、源分配給關鍵業(yè)務提供更高的資源可用性Energy-Aware（節(jié)能）根據(jù)節(jié)能指數(shù)和數(shù)據(jù)中心熱點運行應用程序減少能源消耗Affinity-Aware（基于關聯(lián)程度）將任務分配到與關鍵資源關聯(lián)度最高的服務器上，例如將任務分配到與存儲系統(tǒng)直連的服務器上保證應用程序運行效率Server Model-Aware（基于服務器類型）根據(jù)服務器類型分配資源盡可能利用性能好的、昂貴的資源，是投資回報最大化Topology-Aware（基于網(wǎng)絡拓撲）盡量使用連接到同一個交換機、背板、刀片中心的服務器運行用戶任務提高應用程序運行效率資源分配策略AppA VMAppA VMAppA VMAppB VMAppB VMA

10、ppB VMAppC VMAppC VMAppB VMAppA VMAppD VMAppD VMAppD VMAppE VMApp A VMAppA VMAppC VM1234444BottomLeftBottomLeft每個被使用的服務器利用率最大化，減少資源碎片節(jié)能根據(jù)需求動態(tài)啟動和關閉服務器Bottom-Left Decreasing Bin-Packing Heuristic策略1：Packing（填滿）策略策略2：Striping （分散）策略AppB VMAppB VMAppC VMAppC VMAppA VMAppA VMAppE VMAppC VMAppA VM將應用程序或虛擬

11、機啟動在使用最少的物理服務器上。每臺物理服務器運行的應用程序或虛擬機最小化降低物理服務器故障的影響提高應用程序、虛擬機運行效率策略3： Topology Aware (基于網(wǎng)絡拓撲）策略機架二機架一刀片中心一刀片中心二刀片中心三刀片中心四可用的節(jié)點被占用的節(jié)點盡量保證為應用程序分配的服務器資源之間的網(wǎng)絡路徑最小僅在萬不得已的情況下才跨刀片中心、機架、交換機分配服務器資源提高應用程序運行效率策略4： Affinity-based (基于關聯(lián)程度)策略 將任務分配到與關鍵資源關聯(lián)度最高的服務器上，例如將任務分配到與存儲系統(tǒng)直連的服務器上保證應用程序運行效率應用A應用B策略5：HA-enabled

12、（支持HA）策略將關鍵應用分配到支持HA的服務器上。根據(jù)業(yè)務類型和費用，提供不同級別的可用性。HA 服務器非關鍵應用 - $0.15/hour關鍵應用 A$2/hour關鍵應用 B$1/hour策略6：節(jié)能優(yōu)化策略實現(xiàn)“綠色”策略:讓系統(tǒng)分配能源效率最高的機器讓系統(tǒng)分配溫度最低的機器，以避免系統(tǒng)出現(xiàn)“熱點” 指定任務在晚上時段運行，此時的電費最便宜計算機設備傳感器任務分發(fā)EngineUPS需求, 合同,資源供給 空調(diào)目 錄 IDC發(fā)展面臨的挑戰(zhàn) 云計算解決方案 調(diào)度與管理 總結服務資源整合服務資源調(diào)度資源分配策略服務資源管理云計算平臺云系統(tǒng)管理員部門經(jīng)理開發(fā)經(jīng)理應用程序所有者最終用戶應用經(jīng)理云

13、的客戶負責合同簽署資源使用的規(guī)劃選擇服務提供給最終用戶定義優(yōu)先級與資源的分配策略成本管理發(fā)布可用的服務將資源轉變?yōu)榉展芾砗途S護資源的清單請求并使用特定應用的虛擬機或物理機按照應用經(jīng)理規(guī)定的優(yōu)先級和資源分配策略使用計算機資源開發(fā)人員應用程序用戶服務資源管理AppApp資源池業(yè)務需求多種虛擬機管理器和操作系統(tǒng)同步運行服務能在各計算機之間“浮動”，即使整個網(wǎng)絡都癱瘓，任務數(shù)據(jù)也不會丟失。所有事件記錄在指定文件系統(tǒng)中，零停機時間、零數(shù)據(jù)損失。當?shù)谝慌_機器恢復正常時，機群服務就可恢復并繼續(xù)運行。整個過程對用戶來說是透明的，感覺不到遠程集群的存在。X服務異常處理管理AppAppAppAppAppAppA

14、pp集群1集群1集群2集群3集群4無縫擴展負載平衡資源擴展管理AppAppAppAppAppAppAppAppAppAppApp目 錄 IDC發(fā)展面臨的挑戰(zhàn) 云計算解決方案 調(diào)度與管理 總結服務資源整合服務資源調(diào)度資源分配策略服務資源管理帶來的價值管理員手工創(chuàng)建虛擬機、手工部署應用，周期長？管理員手工管理所有資源，復雜？缺乏部署與調(diào)度策略，自動化程度低？商用虛擬化軟件，價格昂貴？固化的管理平臺，無法擴展？希望提供用戶自助服務？希望提供智能的資源預約、自動的應用部署功能？系統(tǒng)自動部署虛擬機，自動部署應用，周期短管理平臺統(tǒng)一監(jiān)控、管理資源，異常事件告警、遷移策略，簡潔智能豐富的部署與調(diào)度策略，根據(jù)

15、應用情況分配資源，減少人工干預根據(jù)應用系統(tǒng)特點合理選擇虛擬化軟件，提高性價比管理平臺可擴展，開源與商用的虛擬化軟件可共存，并可管理其他資源提供便捷的用戶自助服務，資源申請、資源審批、對虛擬機的控制等資源預約為關鍵業(yè)務提供保障，自動的應用部署減少人工操作、縮短周期更多App ServerApp 1App ServerApp 2App ServerApp NApp ServerSource poolVirtual ServersSelf-Service PortalApp 1App 2App N系統(tǒng)部署的時間從幾天縮短到幾分鐘，沒有雙機備份，低成本節(jié)省投資User AUser BHigh Performance ComputingSource PoolUser BWorkloadManagerWorkloadManagerUser A在固有的資源上， 開發(fā)了更多的服務