數(shù)據(jù)中心操作系統(tǒng)技術方案

1、數(shù)據(jù)中心操作系統(tǒng)(DCOS)技術方案技術創(chuàng)新，變革未來第一部分數(shù)據(jù)中心操作系統(tǒng)的理解第三部分數(shù)據(jù)中心操作系統(tǒng)集成方案第四部分數(shù)據(jù)中心操作系統(tǒng)運維方案第二部分數(shù)據(jù)中心操作系統(tǒng)技術方案當前技術架構發(fā)展存在的問題應用的快速部署開通受到極大制約：大部分應用系統(tǒng)在開發(fā)、測試、準發(fā)布和生產部署都有各自的環(huán)境，部署環(huán)境不一致，增加了測試的復雜度，導致需求的上線環(huán)節(jié)多、時間長，無法滿足業(yè)務快速上線的要求只能實現(xiàn)虛機級彈性伸縮，效果極其有限：系統(tǒng)彈性能力不足，數(shù)據(jù)架構不具備平行擴展能力來應對突發(fā)的業(yè)務高峰，忙閑時資源難以有效動態(tài)調整，無法做到彈性擴展集群1VM集群2集群3VMVMVMVMVM云化的四個階段簡化高

2、效靈活動態(tài)復用對數(shù)據(jù)中心內部整體目標架構沒有統(tǒng)一的規(guī)劃設計標準化的硬件體系業(yè)務基礎架構建設以月為單位通過核心云構件實現(xiàn)進程級資源共享業(yè)務基礎架構建設以小時為單位實現(xiàn)數(shù)據(jù)中心級彈性伸縮傳統(tǒng)孤島標準化IaaS資源池化PaaS資源池化應用云化及DCOS化虛擬化服務化智能化孤島X86化通過服務化實現(xiàn)共享的平臺架構業(yè)務基礎架構建設以日為單位實現(xiàn)集群級彈性伸縮通過虛擬化實現(xiàn)共享的基礎架構業(yè)務基礎架構建設以周為單位實現(xiàn)虛擬機級彈性伸縮（IT領先的銀行）（領先互聯(lián)網公司）（浙江公司）數(shù)據(jù)中心需要一個操作系統(tǒng)數(shù)據(jù)中心操作系統(tǒng)（DataCenter Operating System，簡稱DCOS）是為整個數(shù)據(jù)中心

3、提供分布式調度與協(xié)調功能，實現(xiàn)數(shù)據(jù)中心級彈性伸縮能力的軟件堆棧（software stack），類似于傳統(tǒng)的單機操作系統(tǒng)，但不是單機操作系統(tǒng)隨著數(shù)據(jù)中心應用或計算框架以及用戶的多樣化，數(shù)據(jù)中心越來越像一臺主機，需要一個”操作系統(tǒng)”統(tǒng)一協(xié)調各類資源Linux OSDCOSResource ManagementLinux KernelMesos、YarnProcess ManagementLinux KernelDocker、RKTJob Schedulinginit.d, cronMarathon, ChronosInter-Process CommunicationPipe, SocketAc

4、tiveMQ、RabbitMQFile Systemext4HDFS, Ceph數(shù)據(jù)中心操作系統(tǒng)的特征DCOS特征彈性伸縮敏捷開發(fā)根據(jù)數(shù)據(jù)中心的負載和容量情況自動增加和刪除節(jié)點，支持細粒度（CPU、內存、硬盤等）資源調度，多個計算框架或應用程序可共享資源和數(shù)據(jù)，提升資源利用率快速部署通過抽象，隱藏數(shù)據(jù)中心硬件的復雜性，降低應用的開發(fā)難度，負載均衡傳統(tǒng)的部署模式為安裝(包管理工具或者源碼包編譯)-配置-運行，DCOS支持將數(shù)據(jù)中心應用和它的依賴進行封裝，實際部署時只需復制-運行數(shù)據(jù)中心操作系統(tǒng)終極目標是提供一個通用的標準化運維系統(tǒng)高效率可靠安全地管理數(shù)據(jù)中心，同時簡化應用程序的開發(fā)、部署難度，協(xié)

5、調各類資源，確保各類資源隨著應用的需求動態(tài)調度根據(jù)某種負載策略把請求分發(fā)到集群中的每一個節(jié)點上，讓整個集群來處理應用的請求數(shù)據(jù)中心操作系統(tǒng)PAAS技術架構演進PaaS 3.0PaaS 2.0PaaS 1.0Google App Engine、SAE等早期的PaaS概念，提供軟件開發(fā)平臺和運行環(huán)境Cloud Foundry、OpenShift等允許用戶運行自己的PaaS，將平臺進行標準化、服務化。以分布式集群資源調度（Mesos、Yarn）為基礎，結合容器（Docker）技術構建支持多種計算框架，具備敏捷開發(fā)、快速部署和彈性伸縮特性PaaS 3.0的核心是DCOSDCOS中的集群資源調度，業(yè)界主

6、要有Apache Mesos和Apache Hadoop YARN 兩種技術方案，有著各自的生態(tài)環(huán)境數(shù)據(jù)中心操作系統(tǒng)發(fā)展歷程 Google做為容器集群管理技術的創(chuàng)造者，其第一代集群管理系統(tǒng)被稱為Borg，Borg設計細節(jié)因零零星星出現(xiàn)在各種文章中而知名，但一直未公開（比如發(fā)一篇White Paper），Omega是Google第二代集群管理系統(tǒng)，主要是由劍橋大學和加州大學伯克利分校的兩個實習生在Google實習時完成的。 DCOS是Mesosphere在2014年提出一個全新集群管理概念，其核心資源調度組件為Mesos，而有意思的是Mesos的聯(lián)合創(chuàng)始人Benjamin Hindman正是其中

7、之一， Benjamin Hindman參考Omega的技術架構設計開發(fā)了Mesos，Mesos是目前DCOS中應用最廣泛的資源管理系統(tǒng)。BorgOmegaDCOS 數(shù)據(jù)中心操作系統(tǒng)應用歷程商業(yè)閉源的數(shù)據(jù)中心操作系統(tǒng)：典型代表Google的Borg和Omaga，提供大規(guī)模集群管理能力，但只對內部使用，而且與業(yè)務流程耦合度較高，不具備推廣性開源的數(shù)據(jù)中心操作系統(tǒng)：Mesosphere DCOS，以Mesos為核心，支持多領域的分布式集群調度框架，包括Docker容器集群調度框架Marathon、分布式 Cron（周期性執(zhí)行任務）集群調度框架Chronos和大數(shù)據(jù)的主流平臺Hadoop和Spark

8、的集群調度框架，實現(xiàn)系統(tǒng)的資源彈性調度，同時也支持分布式的文件系統(tǒng)HDFS、Ceph。集團公司要求目的：進一步提升中國移動云計算技術自研水平，提高產品標準化程度，提升資源利用率，掌控核心技術，擬開展采用以開源技術為核心的互聯(lián)網化技術體系，搭建數(shù)據(jù)中心操作系統(tǒng)（DataCenter Operating System，以下簡稱DCOS）驗證網，對新一代云計算技術體系的產品選擇，技術方案，平臺集成和運維保障進行全面驗證浙江公司：負責采用以開源技術為核心的互聯(lián)網化技術體系，搭建DCOS驗證網，對新一代云計算技術體系的解決方案、產品選擇、集成交付和運維保障進行全面驗證擬采用的技術暫定為：Mesos, M

9、arathon, Zookeeper, Etcd、Haproxy，Docker等蘇州研發(fā)中心：提供大云Mesos、Marathon、Docker三項產品作為驗證基礎，同時對DCOS驗證網中使用到的其他技術進行技術攻關以及支持集團技術部關于進行數(shù)據(jù)中心操作系統(tǒng)（DCOS）技術研究試點的通知第一部分數(shù)據(jù)中心操作系統(tǒng)的理解第三部分數(shù)據(jù)中心操作系統(tǒng)集成方案第二部分數(shù)據(jù)中心操作系統(tǒng)技術方案第四部分數(shù)據(jù)中心操作系統(tǒng)運維方案第五部分項目進度計劃MESOSYarn說明調用級別二級調度（Dominant Resource Fairness（DRF）二級調度（FIFO,Capacity Scheduler，F(xiàn)ai

10、r Scheduler）生態(tài)活躍活躍活躍2015年,Mesos大會將在西雅圖召開，預計千人參加適用場景通用性高，混合場景大數(shù)據(jù)生態(tài)場景應用案例Twitter、Apple、Airbnb、Yelp、ebay、VerizonHadoop生態(tài)圈應用Twitter使用Mesos管理10000以上，超過30,0000個虛擬節(jié)點Mesos由加州大學伯克利分校AMPLab開發(fā)，后在Twitter廣泛使用Mesos Master負責將資源分配給各個框架（如Hadoop框架），而各個框架的Scheduler進一步將資源分配給各個Mesos Slave節(jié)點并通知Mesos Slave執(zhí)行相關Task任務Mesos

11、Slave接到通知后根據(jù)各個框架的Executor最終執(zhí)行相關Task任務關鍵技術選型-資源分配綜上所述，MESOS更適合CRM、BOSS混合場景，YARN適合大數(shù)據(jù)場景關鍵技術選型-服務注冊及引流Mesos通過Executor啟動Docker容器進行彈性擴縮容，在Docker啟動容器時通過在Docker run的啟動腳本中添加“Curl etcd set”命令通知Etcd服務。Etcd服務知道某一個容器啟動，并將其信息注冊到Etcd鍵值庫中。Etcd通知Confd服務相關的服務變化，Confd就會根據(jù)變化的情況更新Haproxy的cfg配置文件并執(zhí)行重新加載命令，使相關變化生效，同樣Etcd

12、也會定時檢查容器的運行狀態(tài)，當容器停止時也會觸發(fā)Haproxy更新cfg配置文件并重新加載，達到動態(tài)引流。HAProxy提供高可用性、負載均衡的解決方案，Etcd是一個高可用的鍵值存儲系統(tǒng)，主要用于共享配置和服務發(fā)現(xiàn)，提供了數(shù)據(jù)TTL失效、數(shù)據(jù)改變監(jiān)視、多值、目錄監(jiān)聽、分布式鎖原子操作等功能，可以方便的跟蹤并管理集群節(jié)點的狀態(tài)。 Etcd與HAProxy配合能夠實現(xiàn)數(shù)據(jù)中心應用的動態(tài)引流關鍵技術選型-任務調度Mesos集群可以混合運行來自Marathon的不同類型的任務Marathon基于Mesos的任務調度為動態(tài)調度，即每個任務在執(zhí)行之前是不知道將在哪一臺服務器上執(zhí)行和綁定哪一個端口9臺服務

13、器（灰色）組成的Mesos集群上混合運行各種Marathon調度的任務，其中一臺服務器壞掉以后，這臺服務器上的任務就受影響，Marathon可把任務遷移到其他服務器上，實現(xiàn)容錯Marathon是基于Mesos來做任務調度，Mesos僅負責分布式集群資源分配，不負責任務調度。關鍵技術選型-應用封裝和輕量級虛擬化serverHost OSserverDocker EngineBin/libsappBin/libsappHypervisorGuest OSBin/libsGuest OSBin/libsappapp容器虛擬機Docker為開源的應用容器引擎，在標準的LXC之上融合AUFS分層鏡像管理

14、機制，拋棄傳統(tǒng)VM試圖模擬完整機器的思路，而是以應用為單元進行“集裝封箱”，是輕量級、操作系統(tǒng)級虛擬化技術Docker Engine可以自動化地部署應用到可移植的的容器中，這些容器獨立于硬件、語言、框架、打包系統(tǒng)。一個標準的Docker容器包含一個軟件組件及其所有的依賴 ，包括二進制文件，庫，配置文件，腳本等， 實現(xiàn)持續(xù)集成與部署，快速迭代應用程序PaaS平臺作為云平臺的核心組成部分，為整個云平臺提供了服務標準化和自動彈性擴展能力，Docker及相關生態(tài)圈系統(tǒng)天然具備服務發(fā)現(xiàn)和資源調度能力，為構建具備彈性擴展能力的PaaS平臺提供有效的解決方案 Docker容器可以封裝任何有效負載，幾乎可以在

15、任何服務器之間進行一致性運行。開發(fā)者構建的應用只需一次構建即可多平臺運行。運營人員只需配置他們的服務，即可運行所有應用浙江公司DCOS技術架構結合行業(yè)主流技術方案，通過關鍵技術選型，確定浙江公司DCOS技術架構，即以容器為基礎封裝各類無狀態(tài)應用和運行環(huán)境，以Mesos為核心實現(xiàn)容器資源的分布式調度與協(xié)調nodenodenodenodeMESOSMARATHONEtcdEtcdEtcdzookeeper物理機或虛擬機資源分配與任務調度(DCOS kernel)服務引流應用層(Docker封裝)APP（container）APP（container）HAproxyHAproxyHAproxy第一部

16、分數(shù)據(jù)中心操作系統(tǒng)的理解第三部分數(shù)據(jù)中心操作系統(tǒng)集成方案第二部分數(shù)據(jù)中心操作系統(tǒng)技術方案第四部分數(shù)據(jù)中心操作系統(tǒng)運維方案第五部分項目進度計劃試點應用系統(tǒng)的選擇面向互聯(lián)網業(yè)務訪問量集中業(yè)務更新快電渠業(yè)務活動系統(tǒng)業(yè)務活動突發(fā)流量大，并且短廳、手廳多渠道流量并發(fā)，業(yè)務量容易過載，導致各系統(tǒng)無法受理業(yè)務為應對市場變化，活動內容更新快，后臺支撐能力需同步快速上線當前WEB層及APP層采用分布式技術實現(xiàn)，DB層未實現(xiàn)分布式架構，暫不考慮動態(tài)調度 和小店面向朋友圈的信用+口碑營銷，針對某一暢銷業(yè)務及大量好友，容易出現(xiàn)流量突發(fā)的情況采用TOMCAT開源架構，架構簡單遷移難度相對較低 選取符合DCOS的特征分布

17、式無狀態(tài)應用系統(tǒng)，驗證DCOS在實際生產環(huán)境中動態(tài)提供和管理工作負載和基礎設施的可行性業(yè)務波峰大DMZ篩選原則：應用系統(tǒng)具備顯著的互聯(lián)網業(yè)務特征，具備典型彈性擴縮容場景需求試點應用系統(tǒng)技術架構分析（以電渠業(yè)務活動系統(tǒng)為例）19* CDN負載均衡器Web服務器Web服務器Web服務器Web服務器負載均衡器App服務器App服務器App服務器App服務器緩存服務器緩存服務器數(shù)據(jù)庫電渠業(yè)務活動系統(tǒng)具備典型的三層架構特征，WEB層及APP層基本采用分布式技術實現(xiàn)，具備進行DCOS平臺應用的前提條件，DB層本次暫不予考慮。用戶通過分布式CDN訪問電渠系 統(tǒng)，接入層已實現(xiàn)分布式架構。 DB層采用小型機+集

18、中存儲的傳統(tǒng)架構，未實現(xiàn)分布式處理架構，暫不考慮動態(tài)調度 WEB層基于支撐中心資源池部署，具備彈性伸縮和動態(tài)調度基礎。 APP層基于支撐中心資源池部署，通過負載實現(xiàn)分布式處理架構，具備彈性伸縮前提條件。接入層Web層 APP層 DB層試點應用系統(tǒng)容器化改造過程Docker是基于Linux kernel實現(xiàn)的虛擬化，目前只支持Linux Base宿主機操作系統(tǒng)，并且對內核版本要求較嚴格采用Docker容器技術，將運行環(huán)境封裝到Docker鏡像中，并依據(jù)該鏡像生成Container，每個Container中運行一個實例，通過Docker Registry做鏡像管理1、選擇宿主操作系統(tǒng)通過Docke

19、r官網下載Docker引擎，安裝方式可以采用操作系統(tǒng)yum工具進行自動安裝，也可以下載Binary版本文件進行手動安裝2、下載DOCKER引擎容器基礎鏡像是一個精簡版的操作系統(tǒng)，里面不包含內核組件，只包含一些基礎的執(zhí)行文件和lib依賴包，能夠保證容器內具備一個基本的系統(tǒng)環(huán)境3、拉取容器基礎鏡像在容器基礎鏡像中安裝第三方通用軟件，如WebLogic中間件，并進行參數(shù)配置4、安裝并配置通用軟件依據(jù)運行環(huán)境生成鏡像，并基于該鏡像生成多個容器5、生成應用鏡像通過“docker push image_name”命令將其上傳到Docker Registry中，Docker Registry提供鏡像存儲服務

20、，能夠根據(jù)集成需求，快速的將鏡像下載到指定主機中6、上傳鏡像編寫創(chuàng)建容器和啟停容器的腳本，便于日常管理維護7、編寫容器啟停腳本應用運維人員將應用包發(fā)布到系統(tǒng)中，通過容器啟動腳本啟動容器，使其對外提供服務8、發(fā)布應用投入生產集成部署DCOS物理架構MarathonMESOS-masterMESOS-slaveZookeeperETCD、CONFDHaproxyLoadbalanceStatechangesStatechangesreloadreloadreloadtaskMESOS master、MARATHON 、ZOOKEEPER 共采用3臺X86虛擬機分布式部署（單臺6vCPU/20GB內存/80GB硬盤）HAp