容器服務CaaS平臺V技術白皮書

第1章系統(tǒng)概述1.1建設背景1.2痛點分析1.3系統(tǒng)簡介1.4建設目標第2章系統(tǒng)架構第3章CI&CD流程第4章功能說明4.1功能清單4.2開發(fā)集成4.2.1代碼倉庫4.2.2項目管理4.2.3工程管理4.3應用管理4.3.1應用管理4.3.2服務管理4.3.3容器管理4.4交付中心4.4.1基礎鏡像4.4.2項目鏡像4.4.3應用市場4.5運維管理4.5.1集群管理4.5.2主機管理4.5.3監(jiān)控管理4.5.4告警管理第5章運行環(huán)境5.1服務器環(huán)境要求系統(tǒng)概述建設背景隨著信息技術的發(fā)展，互聯網+教育的應用模式改變了人們的工作及生活模式，面向教育、企業(yè)及政府單位的企業(yè)應用逐步走向云化、互聯網化，但是隨著公司業(yè)務的發(fā)展，往往會出現服務器環(huán)境越來越復雜，管理依賴困難等問題。這些問題導致運維壓力大，開發(fā)、測試、運維的整體工作效率大打折扣，團隊競爭力下降。行業(yè)的問題積累，有時需要新技術的出現才能解決。Docker的橫空出世，讓人們看到了build、ship、run一體化的希望，而奕云CaaS正是希望基于docker的容器化技術，解決用戶從代碼自動編譯打包，到線上運行維護的全套需求.痛點分析傳統(tǒng)運維模式的問題：?隨著業(yè)務快速發(fā)展，服務器環(huán)境越來越復雜，各種緊急上線，技術債務，臨時版本的程序，腳本等，可能長期得不到清理，最終引發(fā)問題。?技術平臺快速發(fā)展，管理依賴是件很麻煩的事，而且影響運維和開發(fā)的溝通。?環(huán)境統(tǒng)一問題，經常導致上線失敗。開發(fā)、測試、運維協(xié)作困難。監(jiān)控體系不斷重構，難以滿足需求。?規(guī)模小無需自動化，而規(guī)模大后再自動化又容易引起問題。?十分依賴經驗豐富的運維人員。傳統(tǒng)單體架構問題：?加載、編譯耗時長。?代碼管理負責。?橫向擴展難。?各模塊之間的耦合程度高。針對以上問題，奕云容器管理平臺設計了可以幫助您構筑企業(yè)級?DevOps流程工具鏈和交付文化以及微服務架構的敏捷開發(fā)流程，助力企業(yè)實現交付能力的平滑升級。系統(tǒng)簡介奕云caas平臺是基于容器的企業(yè)應用支撐云平臺，為企業(yè)提供Devops、微服務架構、自動化運維等解決方案，通過奕云CaaS平臺提供的容器服務，助力企業(yè)實現基礎設施云化，應用架構現代化，開發(fā)流程敏捷化，打造行業(yè)領先的IT能力。容器服務是基于基礎設施提供的Docker容器引擎服務平臺，覆蓋了軟件開發(fā)過程中的開發(fā)、測試、演練、上線等生命周期管理，保持應用系統(tǒng)快速搭建和各環(huán)境的一致性。容器技術可以處理不同平臺之間的差異性，提供一個標準化的交付方式，統(tǒng)一配置，統(tǒng)一環(huán)境，保證效率，能有效的實現資源限制。此外，容器能夠做到快速遷移，秒級高可用。容器服務能夠對應用進行按需配置，秒級彈性伸縮，大大減少開發(fā)，測試及運維人員的環(huán)境搭建和應用創(chuàng)建的服務時間，提高工作效率，提高基礎設施資源利用率，降低硬件和軟件及人力成本。奕云CaaS采用私有云模式，實現用戶私有集群的容器化管理和資源智能化分配，提供全流程標準化的主機管理、應用持續(xù)集成、鏡像構建、部署管理、容器運維和多層級監(jiān)控服務。建設目標?開箱即用，定位為純工具，與自身業(yè)務無關。?開發(fā)自運維，使開發(fā)人員能全流程跟蹤和發(fā)現應用服務的問題。全流程全視圖，覆蓋集成、部署、運維、監(jiān)控等每一個產品開發(fā)運維環(huán)節(jié)，一步到位，省心省力?追求效率和利用率，分鐘級的構建和部署，提高開發(fā)交付效率，極速的升級回滾和擴縮容，讓業(yè)務能夠快速迭代和彈性伸縮。?智能化的監(jiān)控，及時了解業(yè)務和主機運行狀況，發(fā)現潛在的問題。?標準，用docker鏡像和容器分別標準化業(yè)務的集成和交付環(huán)節(jié)，統(tǒng)一產品開發(fā)交付的工作流程，標準化生產和測試環(huán)境，避免開發(fā)測試過程中環(huán)境不統(tǒng)一的問題。系統(tǒng)架構上圖為系統(tǒng)架構圖,CaaS平臺以google開源的K8S集群管理系統(tǒng)為基礎來管理Iaas基礎設施，在Docker技術的基礎上，為容器化的應用提供部署運行、資源調度、服務發(fā)現和動態(tài)伸縮等一系列完整功能，CaaS平臺在此基礎上通過整合從開發(fā)到運維的工具鏈，實現Docker鏡像的管理、服務管理、API管理、監(jiān)控告警管理、CI&CD集成管理，通過控制臺單一入口組件為企業(yè)提供應用支撐平臺。CI&CD流程上圖為CI&CD的整體流程示意圖。

?開發(fā)人員可在應用程序和運行平臺這兩層進行應用程序的編碼、構建、測試和發(fā)布；?測試人員可進行環(huán)境的快速搭建，測試環(huán)境的一致性和持續(xù)集成等工作；?運維人員可進行從硬件、操作系統(tǒng)到運行時平臺的安裝、配置、運行監(jiān)控、升級和優(yōu)化等工作。?開發(fā)使用不同的鏡像服務部署開發(fā)環(huán)境，方便本地開發(fā)環(huán)境的搭建和一致性；?測試通過使用鏡像完成服務持續(xù)集成，簡化測試環(huán)境的搭建；?運維使用同一份鏡像服務部署，保持環(huán)境的一致性，也可以制作鏡像并進行快速部署;在應用大流量的情況，能做到秒級的擴容；開發(fā)環(huán)節(jié)：CaaS-CIGitlabDockerregistry觸發(fā)構建鏡像Webhookcode代碼編譯通過否執(zhí)行測試通過否是打包鏡像控制臺提示或郵件:!通知在registry存儲生成的項目鏡像版本Commitandpush開發(fā)環(huán)節(jié)：CaaS-CIGitlabDockerregistry觸發(fā)構建鏡像Webhookcode代碼編譯通過否執(zhí)行測試通過否是打包鏡像控制臺提示或郵件:!通知在registry存儲生成的項目鏡像版本CommitandpushCI流程■*鏡像升級自動部署到測試環(huán)境測試環(huán)節(jié)：測試環(huán)節(jié)流程跟開發(fā)環(huán)節(jié)流程一樣，建立測試項目并進行CI流程進行驗收測試，以前端框架為angular為例，采用protractor+selenium方案。GITLAB建立測試項目，編寫protractor測試腳本，模擬瀏覽器執(zhí)行測試。?提交代碼。執(zhí)行protratcor鏡像到selenium環(huán)境進行測試。?測試完畢將測試結果通過nginx鏡像發(fā)布出來。運維環(huán)節(jié)：?手工將測試通過的鏡像發(fā)布到生產環(huán)境中。

運維人員可進行從硬件、操作系統(tǒng)到運行時平臺的安裝、配置、運行監(jiān)控、升級和優(yōu)化等工作。功能說明功能清單軟件功能項目功能說明開發(fā)集成代碼倉庫關聯私有Gitlab代碼倉庫，可以輕松選擇代碼項目進行構建項目管理管理所有的項目工程管理管理每個項目下的工程以及構建鏡像的配置構建記錄記錄項目的每次構建，可以查看構建的狀態(tài)、日志、構建者等全方位信息應用管理應用管理管理所有的應用服務管理管理應用的所有服務以及部署配置容器管理管理所有服務的容器實例存儲管理管理容器的掛載存儲卷配置管理管理服務部署的所有配置項負載均衡將流量分攤、引導到服務的每個實例，提高服務的整體可用性和吞吐量彈性伸縮運行中的部署可以隨時進行擴容縮容，增減實例個數交付中心基礎鏡像添加用于工程構建需要的基礎鏡像應用市場應用發(fā)布到應用市場便于實施一鍵安裝體驗項目鏡像工程構建生成的鏡像庫運維管理集群管理每個集群需要配置一套kubernetes，您可以在控制臺上將集群的各項設置記錄下來方便添加主機、日志收集等。此外可以管理集群的namespace主機管理查看集群內各個主機的配置、狀態(tài)；可以隨時快速添加主機；可以為主機打標簽和劃分生產、測試環(huán)境監(jiān)控管理針對物理資源進行主機級別的監(jiān)控；針對業(yè)務進行部署、實例、容器的多層級監(jiān)控。用戶能夠從全局和底層單元多角度監(jiān)控主機和服務的運行狀況告警管理設置告警策略，告警發(fā)送到用戶短信或郵箱開發(fā)集成由代碼倉庫和項目管理組成，通過關聯Gitlab上的項目在CaaS上走CI流程構建可部署的項目鏡像。代碼倉庫?功能說明將Gitlab上具有權限的項目做關聯，自動生成Gitlab的webhook，用于代碼提交后自動觸發(fā)CI構建流程。關聯的項目用于項目構建鏡像時選用。關聯代碼庫：選擇需要構建鏡像的項目代碼庫，關聯后自動生成Gitlab的webhook。查看webhook:查看設置到gitlab上的webhook信息。項目管理功能說明項目是一組工程的集合，是管理需要構建鏡像的項目以及構建鏡像配置。新增項目：新增項目信息。項目成員：管理成員對項目的權限。刪除項目：刪除已創(chuàng)建的項目信息。工程管理功能說明對項目的所有工程進行管理，管理工程構建配置以及構建記錄等。新建工程：創(chuàng)建工程構建配置信息。用戶可選擇使用代碼倉庫進行構建，也可以不使用代碼倉庫構建。創(chuàng)建的工程配置用于生成dockerfile文件。刪除工程：刪除已創(chuàng)建的工程構建配置信息。工程構建：點擊構建按鈕，選擇代碼倉庫的分支以及版本，點擊確定后將使用工程構建配置生成的dockerfile生成項目鏡像并存儲到docker倉庫中。工程詳情：列出工程的基本信息、構建配置以及構建記錄。構建記錄：列出手工構建或者自動觸發(fā)構建的記錄，每條記錄可以查看構建日志以及停止構建操作。應用管理用于將項目生成的鏡像部署到測試環(huán)境或生產環(huán)境上，鏡像升級可自動觸發(fā)升級，對于運行的鏡像可停止、擴縮容、升級回滾等操作。應用管理?功能說明應用是一組服務的集合，集群采用Kubernetes作為分布式容器管理工具，用戶可以將應用的鏡像部署到生產或測試環(huán)境中。用戶可以管理正在運行的業(yè)務，進行升級回滾、擴容縮容、日志查看、異?；謴?、啟動停止等操作。新建應用：新建應用信息，并添加成員的權限。刪除應用：刪除已定義的應用。應用詳情：點擊詳情進入應用管理界面，可新增應用的服務以及管理應用的部署配置和運維操作。下圖為應用詳情界面。服務管理功能說明列出所有應用的服務，并對服務的部署配置進行管理。新增服務：新增服務信息，填寫部署到集群環(huán)境的K8S部署配置以及負載均衡信息。刪除服務：修改已創(chuàng)建的服務信息以及部署配置信息。重啟服務：重啟正在運行的服務。停用流服務：停用正在運行的服務。啟用服務：啟用停用的服務。升級/回滾：鏡像升級可觸發(fā)自動升級，升級后可回滾到指定舊版本的配置。修改部署配置后保存就對部署配置版本升級一個新版本，會提示用戶是否升級。擴容/縮容：正在運行的服務可點擊擴容縮容按鈕對實例進行手動伸縮服務的實例數量。填寫伸縮實例的數量即可完成伸縮功能。自動伸縮：填寫是否開啟自動伸縮的開關以及CPU或內存的閾值，當業(yè)務訪問需求變化觸發(fā)閾值則進行實例的自動伸縮以滿足業(yè)務需求。部署詳情：展示部署的信息，列表顯示部署觸發(fā)的事件以及錯誤信息。容器管理功能說明管理所有服務部署產生的所有容器實例?？梢圆榭慈萜魅罩疽约安捎脀eb界面ssh登錄到容器的控制臺。日志查看：查看容器內服務產生的日志。控制臺：點擊控制臺則以root身份ssh登錄到容器的控制臺查看容器內服務狀態(tài)。交付中心基礎鏡像功能說明添加用于構建項目鏡像的基礎鏡像，以滿足項目工程構建的需求。新增基礎鏡像：新增基礎鏡像，添加的信息有基礎鏡像的倉庫地址、鏡像名稱和版本。刪除基礎鏡像：刪除基礎鏡像。項目鏡像?功能說明列表顯示通過項目管理中通過項目構建配置產生的鏡像，按項目名分類管理該項目所有工程所有分支以及各個版本的鏡像。刪除鏡像：刪除項目下某個分支某個版本的鏡像。原則上不允許刪除鏡像，以免回滾操作找不到鏡像導致回滾失敗。因此刪除鏡像需在系統(tǒng)配置中配置私有倉庫的token認證才允許刪除。其他鏡像：在私有倉庫中無法進行分類的鏡像全部劃分到其他鏡像列表中。應用市場功能說明由奕云發(fā)布或第三方發(fā)布的可一鍵部署的應用。通常為已寫好K8S編排文件的應用。部署：應用市場上的應用可點擊部署按鈕一鍵或少量修改后進行部署，填寫應用名稱，修改并確認編排文件無誤后即刻創(chuàng)建應用。發(fā)布應用：發(fā)布到應用市場的應用通常包括應用的圖標、市場分類、編排文件、項目鏡像，按文件夾形成規(guī)范，將具備規(guī)范的軟件包放置于指定目錄即可將應用發(fā)布到應用市場上。首先從公網上加載奕云發(fā)布的官方應用，然后再加載指定目錄上的第三方應用。下圖為應用市場界面。運維管理集群管理功能說明管理多個K8S集群，對于擁有developer權限以上的用戶，可以為該集群添加主機并設置主機的工作場景、主機標簽、是否用于構建等信息。新增集群：新增集群信息，填寫K8S集群的APISERVER、etcd、dns、日志開啟等信息。集群設置：對添加的集群信息進行查看和修改。刪除集群：刪除已定義的集群信息。命名空間：添加集群命名空間，不同團隊可以擁有不同的命名空間，不同命名空間的服務名、部署名、POD名稱可以相同。集群成員：添加成員并設置集群成員的權限。主機管理功能說明維護集群中的節(jié)點，可添加K8S節(jié)點以及管理節(jié)點標簽。添加主機：通過選擇主機類型是centos或ubuntu類型，將生成的命令拷貝到主機上執(zhí)行即添加一個K8S的節(jié)點。標簽設置：管理該主機的標簽，可添加、刪除用于該主機的標簽，用于服務部署時編排到該主機。主機設置：設置該主機的工作環(huán)境是測試環(huán)境還是正式生產環(huán)境以及是否用于CI構建鏡像。實例列表：列出運行于該主機的容器實例，可以查看該實例的日志和ssh進日控制臺查看服務狀態(tài)。監(jiān)控管理功能說明奕云監(jiān)控管理提供多維度的主機和運行實例的監(jiān)控，通過列表和圖表方式呈現給用戶。監(jiān)控列表：列出主機或容器的資源占比，監(jiān)控指標有CPU占用、內存占用、磁盤讀寫占用、網絡流入流出占用比。圖標監(jiān)控：以曲線圖和餅狀圖方式呈現的監(jiān)控數據。告警管理功能說明告警管理用于添加報警策略，用戶可以自定義主機組以及用戶組，當主機組滿足告警策略定義的閾值時，發(fā)送郵件或短信給用戶組中定義的用戶。新建模板：新建告警策略模板，用戶可選擇主機或容器實例進行監(jiān)控，設置告警邏輯，當告警產生時發(fā)送的郵件模板和用戶組。添加主機組：添加運用于告警模板的主機組合。對不同的主機組可設置不同的告警策略模板。添加用戶組：添加接收告警郵件或短信的用戶組。未恢復告警：列表顯示未恢復的告警，只有master權限才可以刪除未恢復的告警。運行環(huán)境服務器環(huán)境要求CaaS平臺可以直接部署于物理機上，也可以部署于虛擬機上。普通方案如下：角色建議配置數量備注K8S主控制器CaaS服務Etcd服務CPU4核以上，內存8G+，硬盤200G+，os:Centos7+ 或ubuntu16.4+1臺主控制服務器，用于編排管理調度，需定期備份etcd數據CI自動構建系統(tǒng)CPU4核以上，內存4G+，硬盤100G+，os:Centos7+ 或ubuntu16.4+1臺+CI流程構建鏡像，如無需構建可忽略Docker倉庫CaaS數據庫CPU4核以上，內存4G+，硬盤500G以上，os：Centos7+ 或ubuntu16.4+1臺鏡像存儲以及mysql數據存儲K8S服務節(jié)點CPU4核以上，內存16G以上，硬盤100G+，os：Centos7+或ubuntu16.4+3臺+K8S節(jié)點，業(yè)務承載節(jié)點，視業(yè)務規(guī)模而定，訪問量并發(fā)量大的應用需適當增加

內存或服務器。業(yè)務承載存儲CPU4核以上，內存4G以上，硬盤容量視業(yè)務而定，os：Centos7+或ubuntu16.4+業(yè)務數據存儲，如果已有數據存儲系統(tǒng)如oracle數據等則可忽略高可用方案如下:角色建議配置數量備注K8S主控制器CaaS服務Etcd服務Haproxy代理CPU4核以上，內存8G+，硬盤100G+，os:Centos7+ 或ubuntu16.4+1臺主控制服務器，用于編排管理調度，三臺K8S主控制器只有一臺正常使用。K8S