京東Openstack實戰(zhàn)應用(純干貨)何雨

京東Openstack實戰(zhàn)應用京東基礎(chǔ)服務部總監(jiān)何雨heyu@中國夢，我的夢夢想開始的抉擇安裝&部署集群方案穩(wěn)定性/可靠性易用性性能新功能、新特性中國夢，我的夢第3頁—打造中國第一電商云夢想開始的抉擇第4頁自主研發(fā)OR基于開源項目研發(fā)？EucalyptusORCloudStackOROpenstack？CentosORUbuntu？KVM

ORXEN？最終選擇：基于開源、Openstack、Centos、KVM安裝&部署第5頁源碼搭建C版（Centos5.4且未集成KVM）D版引入Shell安裝腳本（Centos5.6、半自動化）F版引入集群安裝&部署工具（Centos6.0、Chef）Chef增加新功能—支持安裝、部署、升級、回滾等Chef

Web

Console開發(fā)（Centos6.4）安裝&部署第6頁Multi-host多網(wǎng)絡(luò)控制器br100和public分開集群方案第7頁RabbitMQMySQLControllerNodeCommunicationLoadBalancer(Master/Salve)ClientBrowserPythonClientClusterNodeComputeWorkernova-computenova.virt.driverHypervisor（KVM）NetworkWorkernova-networkLinuxNetworkingnova-schedulernova-apiglance-apikeystoneDashboardglance-registrySQLConnectionRESTAPILoadBalancerRESTAPIAMQPCasts/CallHTTPDashboardLoadBalanceHTTP集群方案第8頁LoadBalancerRESTAPI方案KeepaliveKeepaliveHaproxyHaproxynova-apinova-apiVIP集群方案第9頁RabbitMQ集群方案—摘自RabbitMQ官網(wǎng)集群方案第10頁MySQLDB集群方案MasterMasterSlaveClientKeepaliveVIP自動切換M/S同步M/M同步穩(wěn)定性/可靠性第11頁服務加入統(tǒng)一監(jiān)控、統(tǒng)一日志異常補償系統(tǒng)穩(wěn)定性/可靠性第12頁ManageAllVM/HostProcessResource（可隨意Kill任何進程）WebUI穩(wěn)定性/可靠性第13頁ProcessResource管理范圍VMHostProjectZoneRegionGlobal穩(wěn)定性/可靠性第14頁VM自身穩(wěn)定性/可靠性提升KVM、Libvirt自身BugFixedKVM、Libvirt、QEMU——CPU、Memory、Net&DiskI/O調(diào)優(yōu)KVM、Libvirt升級引入塊存儲、對象存儲VMImageCloneS32013-10-3S22013-10-2S12013-10-1RecoveryToBackupJSSStorageBackupBackupBackup易用性第15頁彈性集群易用性第16頁RabbitMQ我的“兔小姐”，一匹脫韁的野馬MQ加入統(tǒng)一日志使用QDB對MQ進行監(jiān)控、報警（http://qdb.io/）使用ManagementPlugin管理MQ，將MQ操作界面化MQasaService，對外提供API調(diào)用性能第17頁keystone性能改造dashboardkeystonekvs

cacheMySQLRedisnova、glanceRedis合并Table、減少表關(guān)聯(lián)查詢Keystone返回值過大，去掉冗余字段優(yōu)化代碼、并減少DB訪問Keystone提供服務的性能提升10倍性能第18頁glance性能改造性能改造之前，所有流量都要經(jīng)過glance-api（glance-api網(wǎng)絡(luò)帶寬是瓶頸）擴展以后流量將分散到每個compute節(jié)點，得到1：n的性能提升性能第19頁DB性能改造Computenova-computenova-networkComputenova-computenova-networkComputenova-computenova-networkComputenova-computenova-network……DB改造之前nova組件直接訪問DBkeepalivekeepalivehaproxyhaproxyBroodBroodRedisDB封裝DBAsServiceHTTPRequestTCPRequest（Yarpc—自主研發(fā)TCP+msgapck通訊框架）改造之后DB訪問性能提升超過50倍新功能、新特性第20頁很多新功能、新特性是Openstack目前暫不具備，但又很有必要：VMMigrate（升級內(nèi)核、OS等）VMResize（可選擇新的flavor進行Resize—云主機，彈性集群）DNSAsAServiceVDI（集成Spice）將物理機遷移到VM（備份物理機成Qcow2）定制C