企業(yè)私有PaaS云架構

1、企業(yè)私有PaaS云架構私有PaaS在樂視的實踐私有：公有技術更復雜；要考慮問題太多私有的更關注核心問題實踐：以務實為指導思想； 緊密結合業(yè)務特點和需求；不求高大上，但求實用只解決每個階段的核心問題適合聽眾小型互聯網創(chuàng)業(yè)公司傳統企業(yè)互聯網化關鍵詞及適合聽眾私有PaaS在樂視的實踐大綱背景及發(fā)展歷程01技術實現02微服務探索03私有PaaS在樂視的實踐背景及發(fā)展歷程私有PaaS在樂視的實踐私有PaaS在樂視的實踐智能設備云平臺推送同步OTA設備管理遠程控制天氣黃頁壁紙日歷鬧鐘視頻通話網絡短信多屏互動群聊瀏覽器免流量個人云邊看邊買桌面插件私有PaaS在樂視的實踐云平臺技術架構應用層（業(yè)務層）服務層負

2、載均衡WAF接入層動態(tài)緩存日志MQRPCmysqlredismongo資源層hbasecache私有PaaS在樂視的實踐打通接入層、應用層、服務層承載了云平臺95%以上的業(yè)務PaaS在云平臺中的作用私有PaaS在樂視的實踐PaaS發(fā)展歷程：階段一問題：團隊剛起步，基礎設施一窮二白典型的一體式應用，所有的 邏輯放在一個大的JAR 包里上線頻繁，僅有的一個運維被折磨實現方案：中控腳本docker部署 自動化業(yè)務 標準化混合部署私有PaaS在樂視的實踐問題：機器掛了要人工重新部署容器掛了要重新部署資源無法合理分配業(yè)務之間互相影響實現方案：Mesos + marathon + dockerPaaS發(fā)展

3、歷程：階段二故障 遷移資源 調度資源限制私有PaaS在樂視的實踐問題：業(yè)務逐步復雜化； 一個業(yè)務由多個服務組成多個業(yè)務實現了重復的功能， 需要抽出來成為獨立服務灰度發(fā)布、集中配置等新需求業(yè)務人員不知道需要多少資 源；容器評估： 健康、 忙、 閑？方案：支持灰度發(fā)布、配置集中化、 微服務PaaS發(fā)展歷程：階段三灰度 發(fā)布配置 集中化微服務支持私有PaaS在樂視的實踐PaaS平臺現狀400+服務器3000+容器150+業(yè)務全球5個 數據中心私有PaaS在樂視的實踐技術實現私有PaaS在樂視的實踐系統架構虛擬集群A路由節(jié)點計算節(jié)點虛擬集群Bmarathon鏡像倉庫虛擬集群Cmesos masterc

4、hronos北美數據中心印度數據中心中國數據中心ceberus控制中心zeus鏡像倉庫ceberusceberuszookeeper私有PaaS在樂視的實踐zeus +ceberus： golang自主開發(fā)mesos： = 0.23嘗試自己做 containerizer和executor目前選擇的是原生的docker-containerizermarathon： long-run 應用chronos：cron 應用docker： = 1.0zookeepernginx：七層負載均衡haproxy： 四層負載均衡核心組件私有PaaS在樂視的實踐全球化發(fā)展戰(zhàn)略要求應用全球部署數據中心到控制中心之間

5、的網絡狀況不穩(wěn)定多數據中心中國 大陸北美東南亞印度控制中心私有PaaS在樂視的實踐每個數據中心使用一套基礎組件管理多個虛擬集群集群與集群之間使用mesosattribute進行邏輯隔離每個集群包含一組計算節(jié)點和路由節(jié)點計算節(jié)點：mesos slavedocker路由節(jié)點：nginx 或 haproxy多虛擬集群數據中心虛擬集群A路由節(jié)點nginx計算節(jié)點 Mesos slave docker虛擬集群B鏡像倉庫虛擬集群Cmesos masterchronosceberusmarathonzookeeper私有PaaS在樂視的實踐基礎鏡像 + 應用代碼基礎鏡像包含支持業(yè)務代碼運行的基礎組件應用代碼

6、由zeus進行打包并分發(fā)到不同的數據中心不同業(yè)務可以共享相同的基礎鏡像接近于業(yè)務開發(fā)的習慣，學習成本低，易于接受代碼源支持svn，git以及壓縮包純鏡像方式業(yè)界常用的容器云部署方式支持手動/自動觸發(fā)編譯鏡像通過全球鏡像架構保證各個數據中心鏡像一致兩種發(fā)布方式私有PaaS在樂視的實踐App是部署的最小單位用Project來聚合一組邏輯上相關的AppProject + App的組織方式私有PaaS在樂視的實踐WEB：Cron：Task：暴露HTTP端口 周期性任務 一次性任務Worker： 通常不對外暴露端口Service： 微服務；暴露TCP端口多種App類型無狀態(tài)私有PaaS在樂視的實踐七層負

7、載均衡： nginxNginx上部署agent，接受規(guī)則變更通知規(guī)則加載：早期：Nginx reload 實現規(guī)則加載現在： 自定義 lua 模塊，實現規(guī)則平滑加載支持nginx自定義配置接入層負載均衡私有PaaS在樂視的實踐目的：及時報警容器資源使用圖表為容器評估及擴容/縮容提供依據metrics容器：內存、CPU、網絡I/O在容器外采集，更優(yōu)雅前端nginx：請求數請求處理時間5xx個數Metrics collect計算節(jié)點私有PaaS在樂視的實踐aresopentsdb報警處理elastic search計算節(jié)點aresKafaka集群alert路由節(jié)點aresMetrics colle

8、ct 實現私有PaaS在樂視的實踐配置集中化及變更通知傳統配置管理方式的缺點將配置文件和代碼一起維護和部署。當運行環(huán)境存在多樣性，配置與運行環(huán)境適配就存在很大的難度。采用配置文件集中管理的好處：方便維護：不同應用不同環(huán)境的配置 文件的統一管理保存，并提供可視化 界面進行文件內容的增刪改查。方便部署：一次修改多個運行環(huán)境多 個實例及時生效。無狀態(tài)有 狀態(tài)私有PaaS在樂視的實踐配置集中化實現虛擬集群A計算節(jié)點Conf agent容器A容器B本地 配置緩存Configdashboardetcd私有PaaS在樂視的實踐分流點接入層分流方案Nginx + LUA模塊 + redis策略庫分流依據設備型

9、號IP地址區(qū)域流量百分比Cookie灰度發(fā)布匹配策略到新版本私有PaaS在樂視的實踐灰度發(fā)布架構dashboardDB策略庫外部請求nginxRedis 策略緩存正常版本Lua分流特點1.沒有灰度版本的應用不會走灰度分流環(huán)節(jié)2.簡單策略直接在nginx配置3.復雜策略調用lua代碼分流分流流程1.部署灰度應用2.創(chuàng)建灰度策略3.關聯灰度版本及分流策略4.應用策略生效應用信息庫路由更新程序容器運行老代碼容器運行新代碼私有PaaS在樂視的實踐與測試的集合DeveloperJenkinsQuick JobJenkinsSLow JobGerritTesterJekinsSub-codeTrigger

10、-jobTrigger-job產生測試報告通過/失敗DeliveryJenkins sysQuick Job流程:開發(fā)工程師提交源碼到Gerrit，自動觸發(fā)job；Job 調用Pass rest-api，自動構建并部署測試環(huán)境；Job 觸發(fā)冒煙測試用例，并生成“測試報表”；Job 執(zhí)行PASS，“合入主干”。否，CI失敗。Slow Job流程:開發(fā)工程師交付項目于測試工程師，自動觸發(fā)job；Job 調用Pass rest-api，自動構建并部署測試環(huán)境；Job 觸發(fā)全量測試用例，并生成“測試報表”。如果job 執(zhí)行PASS，“測試準入”。否，準入失敗。執(zhí)行自動化測試用例PaaS平臺編譯、打包、

11、部署私有PaaS在樂視的實踐微服務探索私有PaaS在樂視的實踐業(yè)務逐步復雜化，從開發(fā)效率、易維護性、性能等角度 考慮，需要將功能拆解，形成獨立的服務多個業(yè)務可能都實現了相同的功能，需要提取出來形成公共的服務為什么需要微服務私有PaaS在樂視的實踐舉個例子私有PaaS在樂視的實踐兩種微服務形式同步類微服務： 基于RPC直接通信異步類微服務： 基于MQ輕量級微服務框架基于thrift RPC框架改造，支持多語言修改thrift，支持調用鏈trace服務注冊中心目前支持 etcd下一步支持 consul服務發(fā)現與負載均衡目前支持Smart client（性能更好）下一步支持Load balancer微服務架構實現接入層私有PaaS在樂視的實踐應用層服務層MQpushapiworkerworkerpushdpushdpushdRPCTCP長連接示例： PaaS平臺對微服務的支持私有PaaS在樂視的實踐實現機制：埋點 日志輸出 收集和存儲日志 分析 調用鏈 展示Trace ID：關聯一次請求相關的日志，全局唯一，在系統間傳遞RPC Span ID：識別日志埋點順序和嵌套關系，在系統間 傳遞開始時間調用類型對端IP參考Google Dapper論文“Dapper, a Large-Scale Distributed Systems Tracing Infrastructure”/pu