伏燁小米運(yùn)維系統(tǒng)發(fā)展之路課件

小米運(yùn)維系統(tǒng)發(fā)展之路伏曄小米小米運(yùn)維系統(tǒng)發(fā)展之路伏曄1運(yùn)維壓力業(yè)務(wù)發(fā)展得很快，而運(yùn)維處在產(chǎn)品末端，將全周期地承受著產(chǎn)品與缺陷帶來(lái)全部壓力任何產(chǎn)品，需求、設(shè)計(jì)、測(cè)試的周期都是有限的，但是其運(yùn)維周期是無(wú)限的在上游引入的任何缺陷，最終都由運(yùn)維承擔(dān)；但上游是無(wú)法感受到運(yùn)維壓力的隨著業(yè)務(wù)增長(zhǎng)，產(chǎn)品與缺陷帶來(lái)了極大的運(yùn)維壓力HOW?運(yùn)維壓力業(yè)務(wù)發(fā)展得很快，而運(yùn)維處在產(chǎn)品末端，將全周期地承受著2系統(tǒng)挑戰(zhàn)復(fù)雜和龐大的業(yè)務(wù)系統(tǒng)動(dòng)態(tài)的業(yè)務(wù)運(yùn)行狀態(tài)業(yè)務(wù)系統(tǒng)的操控效率面向新人的傳承系統(tǒng)挑戰(zhàn)復(fù)雜和龐大的業(yè)務(wù)系統(tǒng)3實(shí)例與服務(wù)器手工操作foriin`catIDC1-XIAOMI-A`;doscpA$i:/home/work/muc/bin/A.new;doneforiin`catIDC1-XIAOMI-A`;dossh$i:`cd/home/work/muc/bin;cpAA.20140101;mvA.newA;md5sumA`;done各種機(jī)器列表對(duì)機(jī)器列表的管理關(guān)注機(jī)器->關(guān)注服務(wù)IDC1-XIAOMI-AIDC1-XIAOMI-BIDC1-XIAOMI-CIDC1-XIAOMI-ALLIDC2-XIAOMI-AIDC2-XIAOMI-B刪除IDC1-XIAOMI-A00IDC1-XIAOMI-AIDC1-XIAOMI-ALL實(shí)例與服務(wù)器手工操作IDC1-XIAOMI-A刪除IDC1-4實(shí)例與服務(wù)器Cop：公司Owt：部門(mén)Pdl：產(chǎn)品Cluster：集群類型Service：服務(wù)名稱Job：實(shí)例名稱Status：狀態(tài)Loc：位置Idc：IDCTAG串：lg-ac-mt06.bj(cop.xiaomi_iao_pdl.account_duction-lg_service.database-change-handler_job.database-change-handler_status.service_loc.bj_idc.lg)核心功能關(guān)聯(lián)各系統(tǒng)機(jī)器列表實(shí)例與服務(wù)器Cop：公司核心功能5部署與控制部署與控制6部署與控制JOBNAMEjob.database-change-handler_duction-lg_pdl.account_iao_cop.xiaomi實(shí)例管理god

instances

start\stopCron管理Cron描述放置到/etc/cron.d，命名同jobname部署與控制JOBNAME7部署與控制部署與控制8部署與控制部署與控制9部署與控制部署與控制10超級(jí)客戶端FriggaGOD監(jiān)控Frigga監(jiān)控GOD超級(jí)客戶端FriggaGOD監(jiān)控Frigga監(jiān)控GOD11關(guān)聯(lián)關(guān)系A(chǔ)ABBBA關(guān)聯(lián)關(guān)系A(chǔ)ABBBA12關(guān)聯(lián)關(guān)系A(chǔ)ABBBB意義最重要的運(yùn)維基礎(chǔ)設(shè)施之一，對(duì)自動(dòng)運(yùn)維有很重要的意義，可解決配置關(guān)聯(lián)解耦、故障時(shí)內(nèi)部路由切換、數(shù)據(jù)挖掘關(guān)聯(lián)關(guān)系圖譜等配置分離功能邏輯配置–

package開(kāi)關(guān)類配置-zookeeper模塊間RPC配置–namingservice關(guān)聯(lián)關(guān)系A(chǔ)ABBBB意義13關(guān)聯(lián)關(guān)系LVSDNS-inETCDETCDETCDA1A2A3GOD進(jìn)程監(jiān)控注冊(cè)/刪除TAG關(guān)聯(lián)公司(cop)、部門(mén)(owt)、產(chǎn)品線(pdl)、服務(wù)(service)、實(shí)例(job)cop.xiaomi_iao_pdl.account_duction-lg_service.database-change-handler_job.database-change-handler關(guān)聯(lián)關(guān)系LVSDNS-inETCDETCDETCDA1A2A14關(guān)聯(lián)關(guān)系前端接入配置由靜態(tài)文件形式轉(zhuǎn)為動(dòng)態(tài)存儲(chǔ)自動(dòng)部署過(guò)程中通過(guò)httpapi方式提交變更周期性將配置dump生成keepalived所需的靜態(tài)配置形式，

由keepalivedreload生效關(guān)聯(lián)關(guān)系前端接入15資源隔離CBAdeploy優(yōu)點(diǎn)部署動(dòng)作簡(jiǎn)單不污染系統(tǒng)及其業(yè)務(wù)問(wèn)題root權(quán)限公有、私有runtime解法DockerRuntimePHP-5.5.09RuntimeNGINX-1.4.3RuntimeRedis-2.8.8ServicePackageABAonlineonlineBAonline資源隔離CBAdeploy優(yōu)點(diǎn)RuntimeRuntimeR16機(jī)器管理觸發(fā)方式工單觸發(fā)運(yùn)維系統(tǒng)自動(dòng)觸發(fā)備機(jī)池公司備機(jī)池產(chǎn)品線備機(jī)池狀態(tài)機(jī)Offline–裸機(jī)，未裝系統(tǒng)Initialized

–系統(tǒng)安裝完成Unuse

–備機(jī)狀態(tài)，但保留原有環(huán)境Service

–線上服務(wù)中Problem

–故障中機(jī)器管理觸發(fā)方式17機(jī)器管理工單觸發(fā)自動(dòng)運(yùn)維系統(tǒng)觸發(fā)機(jī)器管理工單觸發(fā)18調(diào)度系統(tǒng)機(jī)架機(jī)房網(wǎng)段服務(wù)器負(fù)載業(yè)務(wù)特性……調(diào)度系統(tǒng)機(jī)架19階段回顧全量部署機(jī)器管理動(dòng)態(tài)調(diào)度資源定位資源隔離服務(wù)管理階段回顧全量部署機(jī)器管理動(dòng)態(tài)調(diào)度資源定位資源隔離服務(wù)管理20資源數(shù)據(jù)庫(kù)調(diào)度器創(chuàng)建容器Naming部署系統(tǒng)監(jiān)控系統(tǒng)最終目標(biāo)資源數(shù)據(jù)庫(kù)調(diào)度器創(chuàng)建容器Naming部署系統(tǒng)監(jiān)控系統(tǒng)最終目標(biāo)21http://noops.meThankyou!http://noops.me22演講完畢，謝謝觀看！演講完畢，謝謝觀看！23小米運(yùn)維系統(tǒng)發(fā)展之路伏曄小米小米運(yùn)維系統(tǒng)發(fā)展之路伏曄24運(yùn)維壓力業(yè)務(wù)發(fā)展得很快，而運(yùn)維處在產(chǎn)品末端，將全周期地承受著產(chǎn)品與缺陷帶來(lái)全部壓力任何產(chǎn)品，需求、設(shè)計(jì)、測(cè)試的周期都是有限的，但是其運(yùn)維周期是無(wú)限的在上游引入的任何缺陷，最終都由運(yùn)維承擔(dān)；但上游是無(wú)法感受到運(yùn)維壓力的隨著業(yè)務(wù)增長(zhǎng)，產(chǎn)品與缺陷帶來(lái)了極大的運(yùn)維壓力HOW?運(yùn)維壓力業(yè)務(wù)發(fā)展得很快，而運(yùn)維處在產(chǎn)品末端，將全周期地承受著25系統(tǒng)挑戰(zhàn)復(fù)雜和龐大的業(yè)務(wù)系統(tǒng)動(dòng)態(tài)的業(yè)務(wù)運(yùn)行狀態(tài)業(yè)務(wù)系統(tǒng)的操控效率面向新人的傳承系統(tǒng)挑戰(zhàn)復(fù)雜和龐大的業(yè)務(wù)系統(tǒng)26實(shí)例與服務(wù)器手工操作foriin`catIDC1-XIAOMI-A`;doscpA$i:/home/work/muc/bin/A.new;doneforiin`catIDC1-XIAOMI-A`;dossh$i:`cd/home/work/muc/bin;cpAA.20140101;mvA.newA;md5sumA`;done各種機(jī)器列表對(duì)機(jī)器列表的管理關(guān)注機(jī)器->關(guān)注服務(wù)IDC1-XIAOMI-AIDC1-XIAOMI-BIDC1-XIAOMI-CIDC1-XIAOMI-ALLIDC2-XIAOMI-AIDC2-XIAOMI-B刪除IDC1-XIAOMI-A00IDC1-XIAOMI-AIDC1-XIAOMI-ALL實(shí)例與服務(wù)器手工操作IDC1-XIAOMI-A刪除IDC1-27實(shí)例與服務(wù)器Cop：公司Owt：部門(mén)Pdl：產(chǎn)品Cluster：集群類型Service：服務(wù)名稱Job：實(shí)例名稱Status：狀態(tài)Loc：位置Idc：IDCTAG串：lg-ac-mt06.bj(cop.xiaomi_iao_pdl.account_duction-lg_service.database-change-handler_job.database-change-handler_status.service_loc.bj_idc.lg)核心功能關(guān)聯(lián)各系統(tǒng)機(jī)器列表實(shí)例與服務(wù)器Cop：公司核心功能28部署與控制部署與控制29部署與控制JOBNAMEjob.database-change-handler_duction-lg_pdl.account_iao_cop.xiaomi實(shí)例管理god

instances

start\stopCron管理Cron描述放置到/etc/cron.d，命名同jobname部署與控制JOBNAME30部署與控制部署與控制31部署與控制部署與控制32部署與控制部署與控制33超級(jí)客戶端FriggaGOD監(jiān)控Frigga監(jiān)控GOD超級(jí)客戶端FriggaGOD監(jiān)控Frigga監(jiān)控GOD34關(guān)聯(lián)關(guān)系A(chǔ)ABBBA關(guān)聯(lián)關(guān)系A(chǔ)ABBBA35關(guān)聯(lián)關(guān)系A(chǔ)ABBBB意義最重要的運(yùn)維基礎(chǔ)設(shè)施之一，對(duì)自動(dòng)運(yùn)維有很重要的意義，可解決配置關(guān)聯(lián)解耦、故障時(shí)內(nèi)部路由切換、數(shù)據(jù)挖掘關(guān)聯(lián)關(guān)系圖譜等配置分離功能邏輯配置–

package開(kāi)關(guān)類配置-zookeeper模塊間RPC配置–namingservice關(guān)聯(lián)關(guān)系A(chǔ)ABBBB意義36關(guān)聯(lián)關(guān)系LVSDNS-inETCDETCDETCDA1A2A3GOD進(jìn)程監(jiān)控注冊(cè)/刪除TAG關(guān)聯(lián)公司(cop)、部門(mén)(owt)、產(chǎn)品線(pdl)、服務(wù)(service)、實(shí)例(job)cop.xiaomi_iao_pdl.account_duction-lg_service.database-change-handler_job.database-change-handler關(guān)聯(lián)關(guān)系LVSDNS-inETCDETCDETCDA1A2A37關(guān)聯(lián)關(guān)系前端接入配置由靜態(tài)文件形式轉(zhuǎn)為動(dòng)態(tài)存儲(chǔ)自動(dòng)部署過(guò)程中通過(guò)httpapi方式提交變更周期性將配置dump生成keepalived所需的靜態(tài)配置形式，

由keepalivedreload生效關(guān)聯(lián)關(guān)系前端接入38資源隔離CBAdeploy優(yōu)點(diǎn)部署動(dòng)作簡(jiǎn)單不污染系統(tǒng)及其業(yè)務(wù)問(wèn)題root權(quán)限公有、私有runtime解法DockerRuntimePHP-5.5.09RuntimeNGINX-1.4.3RuntimeRedis-2.8.8ServicePackageABAonlineonlineBAonline資源隔離CBAdeploy優(yōu)點(diǎn)RuntimeRuntimeR39機(jī)器管理觸發(fā)方式工單觸發(fā)運(yùn)維系統(tǒng)自動(dòng)觸發(fā)備機(jī)池公司備機(jī)池產(chǎn)品線備機(jī)池狀態(tài)機(jī)Offline–裸機(jī)，未裝系統(tǒng)Initialized

–系統(tǒng)安裝完成Unuse

–備機(jī)狀態(tài)，但保留原有環(huán)境Service

–線上服務(wù)中Problem

–故障中機(jī)器管理觸發(fā)方式40機(jī)器管理工單觸發(fā)自動(dòng)運(yùn)維系統(tǒng)觸發(fā)機(jī)器管理工單觸發(fā)41調(diào)