大數(shù)據(jù)云原生運維平臺實踐

?數(shù)據(jù)云原?運維平臺實踐

?錄

contents背景與挑戰(zhàn)云原?演進路線?數(shù)據(jù)云原?運維平臺實踐123

PART1背景與挑戰(zhàn)業(yè)務(wù)背景：超?規(guī)模集群運維

8?數(shù)據(jù)產(chǎn)品-----MaxComputeFlinkHologresDatahubPAI---DataWorksEMRElasticsearch-

國內(nèi)-

海外-

專有域

10+數(shù)據(jù)中?1K+

集群----集群規(guī)模差異?集群技術(shù)差異?全托管半托管-

物理機-

虛擬機-

容器100K+

節(jié)點業(yè)務(wù)挑戰(zhàn)：有限的資源

vs

增?的需求VS穩(wěn)定性?

?量升級變更與穩(wěn)定性管控沖突?

單機故障在?規(guī)模集群中的必然性?

集群復(fù)雜性帶來的監(jiān)控難度與故障恢復(fù)難度成本效率?

?戶需求超過資源供給能??

資源需求的峰?變化導(dǎo)致的閑置浪費?

?量瑣碎?戶咨詢影響?作效率?

?法清晰定義運維團隊活動的價值

PART2云原?演進路線演進歷史:

云原?發(fā)展時間線從集裝箱發(fā)展史看云原?容器化變遷1956年

理想六號卸貨時間

7天

→

15?時

(下降90%)1921年美國紐約鐵路運輸總公司集裝箱物流體系2013年Docker

容器鏡像(container)打包2014年Kubernetes發(fā)布，以Pod作為最?調(diào)度單位PodInfra

ContainerContainer

AContainer

BVolumeNodePodPodPodPodPodNodePodPodPodPodPodNodePodPodPodPodPodNodePodPodPodPodPod云原?體系進程從集裝箱發(fā)展史看云原?容器化變遷1956年

理想六號1921年2013年Docker

容器鏡像(container)打包2014年Kubernetes發(fā)布，以Pod作為最?調(diào)度單位Container

AContainer

BVolumePodPodPodPod

Pod

Node集裝箱物流體系

Pod

Pod

Pod

Pod

Pod

NodeNodePodPodPodPodPodNodePodPodPodPodPod云原?體系進程美國紐約鐵路運輸總公司

卸貨時間

7天

→

15?時

(下降90%)

集裝箱物流體系促使了全球化貿(mào)易，

云原?體系會給我們來帶

Pod

么？

Infra

Container什什么是云原?應(yīng)?？云原?應(yīng)?

??要素

代碼庫(Code

base)?份基準代碼，多份部署

依賴關(guān)系(Dependencies)顯式聲明并隔離依賴關(guān)系

配置(Config)在環(huán)境中存儲配置

后端服務(wù)(Backing

services)把后端服務(wù)當做附加資源構(gòu)建、發(fā)布和運?(Build,

release,

run)

完全獨?的構(gòu)建和運?階段

進程(Processes)

基于?個或多個?狀態(tài)進程運?端?綁定(Port

binding)通過端?綁定提供服務(wù)

并發(fā)(Concurrency)通過進程模型擴展

易處理(Disposability)通過快速啟動和優(yōu)雅停?來最?程度地提?健壯性環(huán)境等價(Dev/prod

parity)保持開發(fā)和?產(chǎn)環(huán)境的

?致性

管理進程(Admin

processes)

后端管理任務(wù)當作?次

性進程運?

?志(Logs)將?志處理作為事件流云原?化的開發(fā)模式

開發(fā)-

在測試云原?環(huán)

境驗證容器鏡像

(Dockerfile)-

集成并驗證第三

?helm包

構(gòu)建-

容器化構(gòu)建作業(yè)(Job)-

構(gòu)建時從遠程倉庫拉

取源碼

部署-

OAM標準模型部署-

運維特性trait市場-

helm包更新部署

云原?架構(gòu)

云原?理念交付監(jiān)測管理控制運營服務(wù)云原??程能?沉淀

PART3?數(shù)據(jù)云原?運維平臺實踐云原?運維平臺

為了提效、解耦?整合在云原?控制平?上的中間組織，能夠為不同運維產(chǎn)品提供公共資源。們在上?的時候，建?、維護、釋放與?絡(luò)間的鏈路時，都是通過控制平?來完成的。運維平臺為了提效、解耦?整合的中間組織，能夠為不同運維產(chǎn)品提供公共資源。

控制平?釋義:

控制平?是相對于數(shù)據(jù)平???的。最初的控制平?概念

來?于通信領(lǐng)域。?如:“傳輸信令信息的叫做控制平?，控

制平?上承載的是?戶和?絡(luò)的交互控制信息。例如，我?數(shù)據(jù)運維平臺云原?運維平臺演進

PaaS平臺服務(wù)

SaaS運維應(yīng)?交付團隊管理集群管理應(yīng)?管理監(jiān)測事件中?告警分析?險巡檢異常診斷故障統(tǒng)計k8s

apiserverkubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點管理變更管理存儲管理預(yù)算管理控制智能?愈彈性伸縮編排均衡運營質(zhì)量運營成本運營效率運營服務(wù)運維搜索?助答疑

IaaS基礎(chǔ)設(shè)施前端?程框架

appmanager

多集群部署

路由?關(guān)Helm包適配部署

發(fā)現(xiàn)服務(wù)kaniko鏡像構(gòu)建

鑒權(quán)服務(wù)OAM標準模型

應(yīng)?腳?架trait運維特性市場運維應(yīng)?多元化平臺服務(wù)標準化基礎(chǔ)設(shè)施歸?化實踐1:

企業(yè)應(yīng)?交付

PaaS平臺服務(wù)

SaaS運維應(yīng)?交付團隊管理集群管理應(yīng)?管理監(jiān)測事件中?告警分析?險巡檢異常診斷故障統(tǒng)計k8s

apiserverkubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點管理變更管理存儲管理預(yù)算管理控制智能?愈彈性伸縮編排均衡運營質(zhì)量運營成本運營效率運營服務(wù)運維搜索?助答疑

IaaS基礎(chǔ)設(shè)施前端?程框架

appmanager

多集群部署

路由?關(guān)Helm包適配部署

發(fā)現(xiàn)服務(wù)kaniko鏡像構(gòu)建

鑒權(quán)服務(wù)OAM標準模型

應(yīng)?腳?架trait運維特性市場運維應(yīng)?多元化平臺服務(wù)標準化基礎(chǔ)設(shè)施歸?化收集需求應(yīng)?設(shè)計應(yīng)?開發(fā)應(yīng)?測試應(yīng)?部署實踐1:

企業(yè)應(yīng)?交付

-

利?云原?技術(shù)快速構(gòu)建應(yīng)?技術(shù)棧-

?持企業(yè)按照?身需求對應(yīng)?交付流程進

?深度定制改造-

引導(dǎo)企業(yè)在云原?模式下開發(fā)迭代演進---Trait

通常由應(yīng)?運維?員定義和維護，?不需要應(yīng)?開發(fā)?員參與，應(yīng)?開發(fā)?員對

Trait

可能?感知，減輕了應(yīng)?開發(fā)?員的負擔；Trait

將云原?應(yīng)?程序的?些通?運維屬性從應(yīng)?配置中剝離出來，??提?了運維邏輯的可復(fù)?性；應(yīng)?

Trait

組合前進?運維特性檢查，可以有效防?配置沖突和?法預(yù)期的情況發(fā)?；實踐1:

企業(yè)應(yīng)?交付

—

OAM模型標準化

ApplicationConfiguration

Component

Component

Trait

Trait實踐2:

健康管理體系

PaaS平臺服務(wù)

SaaS運維應(yīng)?交付團隊管理集群管理應(yīng)?管理監(jiān)測事件中?告警分析?險巡檢異常診斷故障統(tǒng)計k8s

apiserverkubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點管理變更管理存儲管理預(yù)算管理控制智能?愈彈性伸縮編排均衡運營質(zhì)量運營成本運營效率運營服務(wù)運維搜索?助答疑

IaaS基礎(chǔ)設(shè)施前端?程框架

appmanager

多集群部署

路由?關(guān)Helm包適配部署

發(fā)現(xiàn)服務(wù)kaniko鏡像構(gòu)建

鑒權(quán)服務(wù)OAM標準模型

應(yīng)?腳?架trait運維特性市場運維應(yīng)?多元化平臺服務(wù)標準化基礎(chǔ)設(shè)施歸?化實踐2:

健康管理體系

故障異常

告警

?險事件

持續(xù)?定時間的?戶使?異常。

?戶側(cè)使?體感下降（包括不可?或性能下降）。

某些功能處于?預(yù)期狀態(tài)，需要?即處理。

某些數(shù)值?定程度偏離基線，提醒運維同學(xué)關(guān)注。某個時間點對于某個?為的客觀描述，沒有好壞之分。

PaaS平臺服務(wù)

SaaS運維應(yīng)?交付團隊管理集群管理應(yīng)?管理監(jiān)測事件中?告警分析?險巡檢異常診斷故障統(tǒng)計k8s

apiserverkubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點管理變更管理存儲管理預(yù)算管理控制智能?愈彈性伸縮編排均衡運營質(zhì)量運營成本運營效率運營服務(wù)運維搜索?助答疑

IaaS基礎(chǔ)設(shè)施前端?程框架

appmanager

多集群部署

路由?關(guān)Helm包適配部署

發(fā)現(xiàn)服務(wù)kaniko鏡像構(gòu)建

鑒權(quán)服務(wù)OAM標準模型

應(yīng)?腳?架trait運維特性市場運維應(yīng)?多元化平臺服務(wù)標準化基礎(chǔ)設(shè)施歸?化實踐3:

變更管理實踐3:

變更管理變更檢測變更檢測變更檢測第?批:

觀察30分鐘第?批:

觀察10分鐘第三批:

觀察5分鐘

…----指定時間窗??動執(zhí)?按實體分批執(zhí)?批次間穩(wěn)定性觀察?預(yù)期變更?動停?/報警/回滾

PaaS平臺服務(wù)

SaaS運維應(yīng)?交付團隊管理集群管理應(yīng)?管理監(jiān)測事件中?告警分析?險巡檢異常診斷故障統(tǒng)計k8s

apiserverkubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點管理變更管理存儲管理預(yù)算管理控制智能?愈彈性伸縮編排均衡運營質(zhì)量運營成本運營效率運營服務(wù)運維搜索?助答疑

IaaS基礎(chǔ)設(shè)施前端?程框架

appmanager

多集群部署

路由?關(guān)Helm包適配部署

發(fā)現(xiàn)服務(wù)kaniko鏡像構(gòu)建

鑒權(quán)服務(wù)OAM標準模型

應(yīng)?腳?架trait運維特性市場運維應(yīng)?多元化平臺服務(wù)標準化基礎(chǔ)設(shè)施歸?化實踐4:

智能?愈閉環(huán)實踐4:

智能?愈閉環(huán)系統(tǒng)檢測告警分析

?例智能?愈閉環(huán)流程示意異常診斷-

巡檢任務(wù)-

異常檢測-

檢測出告警

-

關(guān)聯(lián)分析

-

報警壓縮

-

分析出異常

-

根因分析-

診斷出新異常異常診斷

決策執(zhí)?-

診斷樹-

診斷出根因

-

恢復(fù)作業(yè)

-

變更通知

PaaS平臺服務(wù)

SaaS運維應(yīng)?交付團隊管理集群管理應(yīng)?管理監(jiān)測事件中?告警分析?險巡檢異常診斷故障統(tǒng)計k8s

apiserverkubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點管理數(shù)據(jù)運維智能運維作業(yè)管理控制智能?愈容量維持彈性伸縮運營質(zhì)量運營成本運營效率運營服務(wù)運維搜索?助答疑

IaaS基礎(chǔ)設(shè)施前端?程框架

appmanager

多集群部署

路由?關(guān)Helm包適配部署

發(fā)現(xiàn)服務(wù)kaniko鏡像構(gòu)建

鑒權(quán)服務(wù)OAM標準模型

應(yīng)?腳?架trait運維特性市場運維應(yīng)?多元化平臺服務(wù)標準化基礎(chǔ)設(shè)施歸?化實踐5:

運維低