企業(yè)私有PaaS云架構(gòu)

1、企業(yè)私有PaaS云架構(gòu)私有PaaS在樂視的實踐私有：公有技術(shù)更復(fù)雜；要考慮問題太多私有的更關(guān)注核心問題實踐：以務(wù)實為指導(dǎo)思想； 緊密結(jié)合業(yè)務(wù)特點和需求；不求高大上，但求實用只解決每個階段的核心問題適合聽眾小型互聯(lián)網(wǎng)創(chuàng)業(yè)公司傳統(tǒng)企業(yè)互聯(lián)網(wǎng)化關(guān)鍵詞及適合聽眾私有PaaS在樂視的實踐大綱背景及發(fā)展歷程01技術(shù)實現(xiàn)02微服務(wù)探索03私有PaaS在樂視的實踐背景及發(fā)展歷程私有PaaS在樂視的實踐私有PaaS在樂視的實踐智能設(shè)備云平臺推送同步OTA設(shè)備管理遠(yuǎn)程控制天氣黃頁壁紙日歷鬧鐘視頻通話網(wǎng)絡(luò)短信多屏互動群聊瀏覽器免流量個人云邊看邊買桌面插件私有PaaS在樂視的實踐云平臺技術(shù)架構(gòu)應(yīng)用層（業(yè)務(wù)層）服務(wù)層負(fù)

2、載均衡WAF接入層動態(tài)緩存日志MQRPCmysqlredismongo資源層hbasecache私有PaaS在樂視的實踐打通接入層、應(yīng)用層、服務(wù)層承載了云平臺95%以上的業(yè)務(wù)PaaS在云平臺中的作用私有PaaS在樂視的實踐PaaS發(fā)展歷程：階段一問題：團(tuán)隊剛起步，基礎(chǔ)設(shè)施一窮二白典型的一體式應(yīng)用，所有的 邏輯放在一個大的JAR 包里上線頻繁，僅有的一個運維被折磨實現(xiàn)方案：中控腳本docker部署 自動化業(yè)務(wù) 標(biāo)準(zhǔn)化混合部署私有PaaS在樂視的實踐問題：機(jī)器掛了要人工重新部署容器掛了要重新部署資源無法合理分配業(yè)務(wù)之間互相影響實現(xiàn)方案：Mesos + marathon + dockerPaaS發(fā)展

3、歷程：階段二故障 遷移資源 調(diào)度資源限制私有PaaS在樂視的實踐問題：業(yè)務(wù)逐步復(fù)雜化； 一個業(yè)務(wù)由多個服務(wù)組成多個業(yè)務(wù)實現(xiàn)了重復(fù)的功能， 需要抽出來成為獨立服務(wù)灰度發(fā)布、集中配置等新需求業(yè)務(wù)人員不知道需要多少資 源；容器評估： 健康、 忙、 閑？方案：支持灰度發(fā)布、配置集中化、 微服務(wù)PaaS發(fā)展歷程：階段三灰度 發(fā)布配置 集中化微服務(wù)支持私有PaaS在樂視的實踐PaaS平臺現(xiàn)狀400+服務(wù)器3000+容器150+業(yè)務(wù)全球5個 數(shù)據(jù)中心私有PaaS在樂視的實踐技術(shù)實現(xiàn)私有PaaS在樂視的實踐系統(tǒng)架構(gòu)虛擬集群A路由節(jié)點計算節(jié)點虛擬集群Bmarathon鏡像倉庫虛擬集群Cmesos masterc

4、hronos北美數(shù)據(jù)中心印度數(shù)據(jù)中心中國數(shù)據(jù)中心ceberus控制中心zeus鏡像倉庫ceberusceberuszookeeper私有PaaS在樂視的實踐zeus +ceberus： golang自主開發(fā)mesos： = 0.23嘗試自己做 containerizer和executor目前選擇的是原生的docker-containerizermarathon： long-run 應(yīng)用chronos：cron 應(yīng)用docker： = 1.0zookeepernginx：七層負(fù)載均衡haproxy： 四層負(fù)載均衡核心組件私有PaaS在樂視的實踐全球化發(fā)展戰(zhàn)略要求應(yīng)用全球部署數(shù)據(jù)中心到控制中心之間

5、的網(wǎng)絡(luò)狀況不穩(wěn)定多數(shù)據(jù)中心中國 大陸北美東南亞印度控制中心私有PaaS在樂視的實踐每個數(shù)據(jù)中心使用一套基礎(chǔ)組件管理多個虛擬集群集群與集群之間使用mesosattribute進(jìn)行邏輯隔離每個集群包含一組計算節(jié)點和路由節(jié)點計算節(jié)點：mesos slavedocker路由節(jié)點：nginx 或 haproxy多虛擬集群數(shù)據(jù)中心虛擬集群A路由節(jié)點nginx計算節(jié)點 Mesos slave docker虛擬集群B鏡像倉庫虛擬集群Cmesos masterchronosceberusmarathonzookeeper私有PaaS在樂視的實踐基礎(chǔ)鏡像 + 應(yīng)用代碼基礎(chǔ)鏡像包含支持業(yè)務(wù)代碼運行的基礎(chǔ)組件應(yīng)用代碼

6、由zeus進(jìn)行打包并分發(fā)到不同的數(shù)據(jù)中心不同業(yè)務(wù)可以共享相同的基礎(chǔ)鏡像接近于業(yè)務(wù)開發(fā)的習(xí)慣，學(xué)習(xí)成本低，易于接受代碼源支持svn，git以及壓縮包純鏡像方式業(yè)界常用的容器云部署方式支持手動/自動觸發(fā)編譯鏡像通過全球鏡像架構(gòu)保證各個數(shù)據(jù)中心鏡像一致兩種發(fā)布方式私有PaaS在樂視的實踐App是部署的最小單位用Project來聚合一組邏輯上相關(guān)的AppProject + App的組織方式私有PaaS在樂視的實踐WEB：Cron：Task：暴露HTTP端口 周期性任務(wù) 一次性任務(wù)Worker： 通常不對外暴露端口Service： 微服務(wù)；暴露TCP端口多種App類型無狀態(tài)私有PaaS在樂視的實踐七層負(fù)

7、載均衡： nginxNginx上部署agent，接受規(guī)則變更通知規(guī)則加載：早期：Nginx reload 實現(xiàn)規(guī)則加載現(xiàn)在： 自定義 lua 模塊，實現(xiàn)規(guī)則平滑加載支持nginx自定義配置接入層負(fù)載均衡私有PaaS在樂視的實踐目的：及時報警容器資源使用圖表為容器評估及擴(kuò)容/縮容提供依據(jù)metrics容器：內(nèi)存、CPU、網(wǎng)絡(luò)I/O在容器外采集，更優(yōu)雅前端nginx：請求數(shù)請求處理時間5xx個數(shù)Metrics collect計算節(jié)點私有PaaS在樂視的實踐aresopentsdb報警處理elastic search計算節(jié)點aresKafaka集群alert路由節(jié)點aresMetrics colle

8、ct 實現(xiàn)私有PaaS在樂視的實踐配置集中化及變更通知傳統(tǒng)配置管理方式的缺點將配置文件和代碼一起維護(hù)和部署。當(dāng)運行環(huán)境存在多樣性，配置與運行環(huán)境適配就存在很大的難度。采用配置文件集中管理的好處：方便維護(hù)：不同應(yīng)用不同環(huán)境的配置 文件的統(tǒng)一管理保存，并提供可視化 界面進(jìn)行文件內(nèi)容的增刪改查。方便部署：一次修改多個運行環(huán)境多 個實例及時生效。無狀態(tài)有 狀態(tài)私有PaaS在樂視的實踐配置集中化實現(xiàn)虛擬集群A計算節(jié)點Conf agent容器A容器B本地 配置緩存Configdashboardetcd私有PaaS在樂視的實踐分流點接入層分流方案Nginx + LUA模塊 + redis策略庫分流依據(jù)設(shè)備型

9、號IP地址區(qū)域流量百分比Cookie灰度發(fā)布匹配策略到新版本私有PaaS在樂視的實踐灰度發(fā)布架構(gòu)dashboardDB策略庫外部請求nginxRedis 策略緩存正常版本Lua分流特點1.沒有灰度版本的應(yīng)用不會走灰度分流環(huán)節(jié)2.簡單策略直接在nginx配置3.復(fù)雜策略調(diào)用lua代碼分流分流流程1.部署灰度應(yīng)用2.創(chuàng)建灰度策略3.關(guān)聯(lián)灰度版本及分流策略4.應(yīng)用策略生效應(yīng)用信息庫路由更新程序容器運行老代碼容器運行新代碼私有PaaS在樂視的實踐與測試的集合DeveloperJenkinsQuick JobJenkinsSLow JobGerritTesterJekinsSub-codeTrigger

10、-jobTrigger-job產(chǎn)生測試報告通過/失敗DeliveryJenkins sysQuick Job流程:開發(fā)工程師提交源碼到Gerrit，自動觸發(fā)job；Job 調(diào)用Pass rest-api，自動構(gòu)建并部署測試環(huán)境；Job 觸發(fā)冒煙測試用例，并生成“測試報表”；Job 執(zhí)行PASS，“合入主干”。否，CI失敗。Slow Job流程:開發(fā)工程師交付項目于測試工程師，自動觸發(fā)job；Job 調(diào)用Pass rest-api，自動構(gòu)建并部署測試環(huán)境；Job 觸發(fā)全量測試用例，并生成“測試報表”。如果job 執(zhí)行PASS，“測試準(zhǔn)入”。否，準(zhǔn)入失敗。執(zhí)行自動化測試用例PaaS平臺編譯、打包、

11、部署私有PaaS在樂視的實踐微服務(wù)探索私有PaaS在樂視的實踐業(yè)務(wù)逐步復(fù)雜化，從開發(fā)效率、易維護(hù)性、性能等角度 考慮，需要將功能拆解，形成獨立的服務(wù)多個業(yè)務(wù)可能都實現(xiàn)了相同的功能，需要提取出來形成公共的服務(wù)為什么需要微服務(wù)私有PaaS在樂視的實踐舉個例子私有PaaS在樂視的實踐兩種微服務(wù)形式同步類微服務(wù)： 基于RPC直接通信異步類微服務(wù)： 基于MQ輕量級微服務(wù)框架基于thrift RPC框架改造，支持多語言修改thrift，支持調(diào)用鏈trace服務(wù)注冊中心目前支持 etcd下一步支持 consul服務(wù)發(fā)現(xiàn)與負(fù)載均衡目前支持Smart client（性能更好）下一步支持Load balancer微服務(wù)架構(gòu)實現(xiàn)接入層私有PaaS在樂視的實踐應(yīng)用層服務(wù)層MQpushapiworkerworkerpushdpushdpushdRPCTCP長連接示例： PaaS平臺對微服務(wù)的支持私有PaaS在樂視的實踐實現(xiàn)機(jī)制：埋點 日志輸出 收集和存儲日志 分析 調(diào)用鏈 展示Trace ID：關(guān)聯(lián)一次請求相關(guān)的日志，全局唯一，在系統(tǒng)間傳遞RPC Span ID：識別日志埋點順序和嵌套關(guān)系，在系統(tǒng)間 傳遞開始時間調(diào)用類型對端IP參考Google Dapper論文“Dapper, a Large-Scale Distributed Systems Tracing Infrastructure”/pu