云資源管理平臺項目工作匯報

云資源管理平臺項目工作匯報

2012.8.29中國銀聯(lián)電子支付研究院目錄項目目標和進度詳細工作成果整體架構和重要解決方案后續(xù)工作計劃項目目標和進度

總體目標與架構分階段建設目標項目整體進度項目管理制度1總體目標與架構資源整合層最終用戶云資源管理平臺LDAP驗證統(tǒng)一監(jiān)控界面計算資源池PC服務器IBM小型機計算虛擬化存儲資源池HPXP24000HDSUSP-VEMCDMX-4存儲虛擬化網絡資源池交換機防火墻路由器網絡虛擬化適配器適配器適配器即將數據中心所有服務器、存儲和網絡設備集中統(tǒng)一管理，通過模版配置和動態(tài)調整等功能為用戶提供整合的、高可用性的、可快速部署使用的IT基礎設施。

資源創(chuàng)建可靠運行便捷管理統(tǒng)籌規(guī)劃云資源管理能力創(chuàng)建集群注冊物理主機虛擬機資源申請和審批虛擬機資源創(chuàng)建虛擬機的啟動和停止虛擬資源負載均衡虛擬機遷移虛擬機備份和恢復高可用基本監(jiān)控完善資源監(jiān)控與計量應用自動安裝資源調度策略可配置可調整資源申請和審批流程可配置虛擬網絡規(guī)劃存儲虛擬化管理可視化網絡設計和資源開通可視化資源拓撲管理2012-5201320142012-10分階段建設目標100臺主機1000臺主機2000臺主機集成規(guī)模階段5月8月9月10月11月試用版和發(fā)改委驗收正式版需求和設計技術預研監(jiān)控集成開發(fā)集成測試上線和穩(wěn)定100%100%90%100%40%HA預研文檔電子票據系統(tǒng)穩(wěn)定運行項目整體進度（1）研究院研發(fā)環(huán)境試用。云POS、電子票據、風險、數據挖掘和移動編程引擎√√√√20%√√√√20%√√√30%20%√√√20%20%√√√20%20%√√√20%20%√√√√(*)20%√√√30%20%√√-50%20%√√√20%20%√√√√√√√√30%20%核心特性創(chuàng)建、查看、重啟、刪除啟動、停止、掛起、激活備份和恢復克隆和熱遷移快照和回滾虛擬機高可用多集群部署方式調度(指定和自動)多租戶支持VLAN支持和存儲支持監(jiān)控整合和PaaS接口其它需求設計預研開發(fā)測試上線驗收銀聯(lián)獨立完成銀聯(lián)主導項目整體進度（2）銀聯(lián)參與目前已完成測試方案與部分測試案例項目計劃項目管理制度每周例會和匯報風險點跟蹤（均按計劃進行）詳細工作成果

試用版需求設計詳細開發(fā)其他2試用版

需求122頁55個功能點55個評審意見設計29個表

162個業(yè)務方法開發(fā)詳細的開發(fā)任務跟蹤開發(fā)規(guī)范版本管理Vmware中搭建的openstack開發(fā)環(huán)境，開箱即用，一鍵源碼安裝openstack截止目前資源管理平臺40864行,修改openstack源碼，編寫各類腳本和配置2千行測試測試方案書測試案例一期測試用例

：

203個測試用例,50個bug二期測試用例

：

已完成測試方案，483個測試用例其他多份預研報告部署手冊使用手冊整體架構和重要解決方案

邏輯架構OpenStack部署架構HA自動調度存儲方案3邏輯架構BasedonOpenStackOpenStackQuatum云節(jié)點(Zone,完整的Openstack部署實例,可管理100-500臺物理機)部署架構云平臺控制器物理集群(20)物理集群(20)物理集群(20)物理集群(20)ImageKeystone云節(jié)點控制器DBApiSchedulerNetworkHAMonitorMQ邏輯集群(1-20)邏輯集群邏輯集群邏輯集群物理機租戶區(qū)/業(yè)務區(qū)各組件分布在不同集群中,可根據實際情況添加組件，以提高處理性能和可用性。HAHAComputeStatusDB高可用集群ComputeScheduler探測投票探測遷移指令VM狀態(tài)查詢狀態(tài)報告VM創(chuàng)建虛擬機自動調度銀聯(lián)云計算存儲需求與分析—存儲性能需求存儲類別IO性能擴展性高可用性管理性共享性方案鏡像模板（鏡像母庫）低高中高無共享？鏡像實例(OS盤)中低低低共享/無共享（無熱遷移）？虛擬機業(yè)務數據中中高中共享（HA）？虛擬機快照低中高高無共享？虛擬機備份低高高高無共享？應用間共享文件存儲中中高高共享？數據庫高中高低無共享FC-SAN海量數據中高高中無共享Hadoop現有存儲方案

SAN交換機管理服務器虛擬化虛擬化虛擬化虛擬化虛擬化OCFS2虛擬機鏡像實例(OS盤)虛擬機業(yè)務應用數據盤管理網絡業(yè)務網(WAN)虛擬機快照和備份的存儲并未明確規(guī)劃虛擬機上的應用無法共享文件存儲共享性差（OCFS2等集群文件系統(tǒng)共享節(jié)點數受限）管理性差（直接對SAN管理，配置不靈活）性能損耗（

OCFS2引起）穩(wěn)定性（受制于OCFS2）鏡像模板（鏡像母庫）NAS專有網絡方案演進-鏡像實例(OS盤)和虛擬機業(yè)務數據

SAN交換機管理服務器虛擬化虛擬化虛擬化虛擬化虛擬化虛擬機鏡像實例(OS盤)管理網絡業(yè)務網(WAN)

高性能NAS存儲網關虛擬機業(yè)務應用數據盤鏡像模板（鏡像母庫）銀聯(lián)虛機文件共享千兆接入、萬兆匯聚服務器上光纖端口變?yōu)橐蕴W口，光纖交換機變?yōu)榫W絡交換機管理性、共享性和擴展性得到提升詳細方案規(guī)劃SAN交換機橫向擴展NAS集群上限為4、8與16考慮到虛擬機OS鏡像和虛擬機業(yè)務數據重要性等級，不做SAN的雙備，僅通過Raid10保護方案合理性分析-數據規(guī)劃

物理機每臺物理機運行5臺虛擬機千兆接入，萬兆匯聚虛擬機每臺虛擬機平均30G存儲空間每臺虛擬機IOPS為30每臺虛擬機存儲帶寬200KB/S存儲一個SAN存儲機器480塊SAS盤每塊SAS盤IOPS為200采用Raid10可支持虛擬機數=SAN存儲滿盤數/2*每盤IOPS*磁盤性能預留（0.8）/每虛擬機IOPS=1280臺>1000臺匯聚帶寬=每臺虛擬機存儲帶寬*1000臺=200MB/S<萬兆匯聚帶寬每塊SAS盤容量=所需存儲容量*2/SAN存儲滿盤數=125GB（300GB）方案合理性分析-NAS集群的選型（1）NAS集群網關節(jié)點之間共享存儲空間存儲擴展性高成本較高，高性能SAN存儲

SAN交換機帶盤陣的NAS集群節(jié)點之間不共享存儲空間存儲擴展性差成本較低，性能一般方案合理性分析-NAS集群的選型（2）SAN交換機方案合理性分析-成本分析200臺物理機規(guī)模硬件成本分析

服務器存儲端口線纜接入交換機總成本NAS+SAN方案20萬元3.2萬元60萬元83.2萬元SAN方案60萬元8萬元100萬元168萬元差價

84.8萬元配件單價（元）雙口HBA卡3000雙口千兆網卡1000光纖線2006類線8048口光纖交換機10000048口千兆交換機60000一臺NAS集群網關大約30~40萬，相比SAN存儲的方案SAN交換機減少了，但是還需每800臺物理機服務器配備2臺核心萬兆交換機。因此總體成本基本持平。每臺服務器1塊雙口HBA卡/1個雙口千兆網卡每臺服務器2根光纖錢/2根6類網線每40臺服務器2臺光纖交換機/2臺千兆交換機機架式服務器:

NAS專有網絡虛擬機OS鏡像采用DAS（不具備熱遷移）

SAN交換機管理服務器虛擬化虛擬化虛擬化虛擬化虛擬化管理網絡業(yè)務網(WAN)

高性能NAS存儲網關銀聯(lián)虛機文件共享鏡像模板（鏡像母庫）虛擬機業(yè)務應用數據盤虛擬機虛擬機鏡像實例(OS盤)DAS存儲由于云上業(yè)務系統(tǒng)采用負載均衡模式，對于一些不重要的虛擬機業(yè)務數據也可采用DAS（此時實現HA較難）虛擬機虛擬機鏡像實例(OS盤)虛擬機虛擬機鏡像實例(OS盤)虛擬機虛擬機鏡像實例(OS盤)虛擬機虛擬機鏡像實例(OS盤)業(yè)務數據從物理機的NAS變?yōu)樘摂M機的NAS

以太網交換機

以太網交換機需要對存儲進行深入的管理VM1物理機文件系統(tǒng)中的一個文件成熟的虛擬機化技術，無需進一步管理存儲后續(xù)工作計劃

4后續(xù)工作計劃年底的穩(wěn)定上線測試案例完善（已啟動，后續(xù)跟進）云機房與設備到位后，做充分的測試與模型驗證與普元工作機制的制定，10月后長期有人留守在銀聯(lián)監(jiān)控系統(tǒng)方案的調研(與上信聯(lián)合)UMP（銀聯(lián)二代系統(tǒng)，使