構(gòu)建企業(yè)DevOps的度量體系

1、DevOps驅(qū)動(dòng)價(jià)值的交付構(gòu)建企業(yè)DevOps的度量體系目錄度量=銅鏡1建立引領(lǐng)性度量指標(biāo)體系2DevOps度量領(lǐng)域落地實(shí)踐3總結(jié)4 以銅鏡為鑒,可以正衣冠相對(duì)個(gè)體，更希望了解團(tuán)隊(duì)的生產(chǎn)力Q1 目前20應(yīng)用狀況怎么樣?與20個(gè)PM溝通后3天后給領(lǐng)導(dǎo)一份報(bào)告Q2 3天后能否上線?應(yīng)該可以吧估計(jì)差不多吧 量化理性感性屬性理性度量可靠性 (Reliability)宕機(jī)數(shù)，不可用時(shí)間可測試性 (Testability)測試用例被打回?cái)?shù)易用性 (Usability)平均用戶請(qǐng)求幫助數(shù)魯棒性 (Robustness)資源超過平均值時(shí)響應(yīng)數(shù)可用性 (Availability)每月維護(hù)時(shí)間數(shù)據(jù)度量是認(rèn)清、改進(jìn)

2、團(tuán)隊(duì)的基礎(chǔ)軟件度量的強(qiáng)弱對(duì)項(xiàng)目影響的分析強(qiáng)弱按時(shí)交付率75%45%項(xiàng)目延遲率20%40%項(xiàng)目中止率5%15%缺陷移除效率95% 85%資源評(píng)估準(zhǔn)確過于樂觀的客戶滿意度更高更低員工士氣更高更低度量生產(chǎn)力的企業(yè)占財(cái)富五百強(qiáng)比例:30%度量質(zhì)量的企業(yè)占財(cái)富五百強(qiáng)比例:45%具備完整度量體系的企業(yè)占財(cái)富五百強(qiáng)比例:15%應(yīng)用度量的軟件項(xiàng)目數(shù):160,000沒有應(yīng)用度量的軟件項(xiàng)目數(shù):50,000,000來 源 : Capers Jones, Measurement, Metrics and Industry Leadership, 2009 and Software Engineering Best P

3、ractices, McGraw Hill, 2010 度量的三位一體：點(diǎn)、線、面點(diǎn)幫助個(gè)體、團(tuán)隊(duì)提升交付能力某個(gè)時(shí)間點(diǎn)目標(biāo)達(dá)成情況線控制風(fēng)險(xiǎn)一段時(shí)間內(nèi)，工作狀態(tài)和發(fā)展趨勢(shì)面梳理標(biāo)桿、幫扶落后個(gè)體、團(tuán)隊(duì)、組織的橫向比較 等級(jí) 組織與文化產(chǎn)品與項(xiàng)目管理 開發(fā)與測試管理配置管理持續(xù)集成與 部署流水線運(yùn)維監(jiān)控基礎(chǔ)設(shè)施度量與跟蹤5級(jí) 精益階段對(duì)整個(gè)工程體系能夠持續(xù)度量優(yōu)化， 數(shù)字化展示過程與結(jié)果以業(yè)務(wù)的成功評(píng)估團(tuán)隊(duì)的成功；估；統(tǒng)優(yōu)化的行為；自動(dòng)估算項(xiàng)目周期；任何階段的任何變更 自動(dòng)發(fā)現(xiàn)項(xiàng)目風(fēng)險(xiǎn)；的影響分析，共同評(píng) 對(duì)關(guān)鍵人和問題有快速識(shí)別的能力；團(tuán)隊(duì)有自主的驅(qū)動(dòng)系 驅(qū)動(dòng)產(chǎn)品或項(xiàng)目的持續(xù)迭代；實(shí)時(shí)監(jiān)測債

4、務(wù)，給出有效 建議；測試驅(qū)動(dòng)開發(fā)；力；有一定智能開發(fā)和測試能 理項(xiàng)；隨時(shí)重塑交付過程；自動(dòng)發(fā)現(xiàn)關(guān)聯(lián)，業(yè)務(wù)優(yōu)化反饋；自動(dòng)建立配置管 隨時(shí)構(gòu)建、完全自助化； 基于機(jī)器學(xué)習(xí)等技 云上云下一體化術(shù)的智能運(yùn)維監(jiān)控； 公有私有融合；基于度量結(jié)果，自動(dòng)給出包括對(duì) 組織、對(duì)人、對(duì)技術(shù)的優(yōu)化建議， 形成可持續(xù)閉環(huán)；4級(jí) 改進(jìn)階段規(guī)范執(zhí)行、有效檢查、發(fā)現(xiàn)問題，通過引入更優(yōu)的工具、平臺(tái)，來補(bǔ)充整個(gè)工程交 付鏈團(tuán)隊(duì)有意識(shí)的通過工 以敏捷的方式進(jìn)行迭代管能力，流程合理清晰； 將項(xiàng)目工具與代碼庫等工所有人清楚工作的職 具打通，形成更有效數(shù)據(jù)責(zé)與影響；分析；以自動(dòng)化為主；全打通建立基線平臺(tái)，服務(wù)化； 一切皆版本，原分析；部

5、門間有很好的協(xié)作 故事地圖的實(shí)時(shí)查看跟蹤； 統(tǒng)一開發(fā)測試工具，測試 周期可追溯；動(dòng)態(tài)可配；具來完成日常工作； 控；子化變更，生命 環(huán)境、環(huán)節(jié)、觸發(fā)點(diǎn)支持 有一定的自動(dòng)化干變更影響自動(dòng)化 藍(lán)綠切換、灰度等機(jī)制； 角；預(yù)能力；基礎(chǔ)設(shè)施版本化自定義指標(biāo)，自定義視圖；與持續(xù)集成、自動(dòng)部署完 基于關(guān)聯(lián)配置， 可靠保障機(jī)制，支持回滾， 可視化的全資產(chǎn)視 按需自動(dòng)調(diào)整； 與監(jiān)控預(yù)警等無縫打通；3級(jí) 控制階段已有明確的規(guī)范與過程管理，通過傳統(tǒng)的質(zhì)量管理等方式，對(duì)工程的一些關(guān)鍵點(diǎn)進(jìn) 行審查付物標(biāo)準(zhǔn)；目指導(dǎo)；有嚴(yán)格的階段評(píng)審和 驗(yàn)收標(biāo)準(zhǔn)；有明確的里程碑和交 有對(duì)產(chǎn)品、項(xiàng)目的合理規(guī)有專人或團(tuán)隊(duì)深入項(xiàng) 劃與路線圖定義

6、；通過jira、zentao等管理 issue；團(tuán)隊(duì)角色和責(zé)任清晰；統(tǒng)一架構(gòu)，有一定的組件 依賴管理，標(biāo)識(shí) 支持多策略構(gòu)建觸發(fā)；復(fù)用度；索引；自動(dòng)化部署；回歸測試主要靠自動(dòng)化； 數(shù)據(jù)的版本控制 支持部署環(huán)境流水線；平臺(tái)；器等新技術(shù)相結(jié)對(duì)日常問題有完善 合；有標(biāo)準(zhǔn)的代碼庫使用策略； 和統(tǒng)一管控；細(xì)粒度的部署權(quán)限配置； 的分析處理能力； 資源使用自助化有統(tǒng)一的監(jiān)控預(yù)警 傳統(tǒng)虛擬化與容 全生命周期度量，覆蓋從需求到最終交付；各階段常用報(bào)表內(nèi)置，快速導(dǎo)出；2級(jí) 定義階段但大部分指標(biāo)還沒有標(biāo)準(zhǔn)化建立處于規(guī)范建立階段，有一定的工程化思路， 一些溝通總結(jié)；點(diǎn)上統(tǒng)計(jì)匯報(bào)；靠人在一些重要時(shí)間 通過word、ex

7、cel等工具管理項(xiàng)目有一定的知識(shí)分享機(jī) 有產(chǎn)品或項(xiàng)目驅(qū)動(dòng)的流程， 有一定的架構(gòu)統(tǒng)一；制，項(xiàng)目間會(huì)定期做有專門人員進(jìn)行配置管理； 工件有版本管理；指標(biāo)；隔離；建立版本庫控制； 手工觸發(fā)構(gòu)建，無固定頻有嚴(yán)格的需求與計(jì)劃管理； 手工測試與自動(dòng)測試結(jié)合； 環(huán)境有合理的定 率；環(huán)境管理粗粒度化；有單元測試、代碼效率等 義，物理與邏輯 有一定的自動(dòng)化部署腳本； 多渠道通知；有虛擬化平臺(tái)監(jiān)控作為常態(tài)化運(yùn) （云資源管理平維保障工作，支持 臺(tái)）；支持對(duì)基礎(chǔ)設(shè)施理；對(duì)進(jìn)度、質(zhì)量等有一定的分析能力；的全生命周期管 支持多維查詢和下攥；1級(jí) 原始階段完全無統(tǒng)一規(guī)范標(biāo)準(zhǔn)遞；無統(tǒng)一協(xié)作目標(biāo)；無知識(shí)積累、知識(shí)傳 完全被需求

8、驅(qū)動(dòng)，沒有正確的識(shí)別能力；工程實(shí)施比較無序，各項(xiàng)目完全自成體系， 無部門間合作標(biāo)準(zhǔn)； 缺少評(píng)審納入機(jī)制，沒有項(xiàng)目團(tuán)隊(duì)成立后，完 合理的需求bac klog和計(jì)全是自成計(jì)劃和體系， 劃制定；技術(shù)架構(gòu)多而亂；理無版本管理；純手工測試；工件由個(gè)人非正 手工構(gòu)建，過程冗長；代碼庫、文檔庫的無序管 式化管理；手工部署；維；物理機(jī)為主；人工監(jiān)控，手工運(yùn) 有一定的虛擬化技術(shù)引入；簡單的疊加計(jì)算，人工統(tǒng)計(jì)；度量的五級(jí)成熟度模型新特性是否知道運(yùn)行在哪些機(jī)器上？功能是否知道有多少人花了多少代碼完成的？設(shè)計(jì)的架構(gòu)和實(shí)際部署的架構(gòu)是有有偏離？代碼庫與介質(zhì)庫、組件與介質(zhì)庫的元信息關(guān)聯(lián)？項(xiàng)目風(fēng)險(xiǎn)到底是什么造成的？管理能否

9、前移？DevOps：數(shù)據(jù)打通，隨時(shí)獲取，基于度量引領(lǐng)優(yōu)化12345軟 件 研 發(fā) 協(xié) 作 統(tǒng) 一 平 臺(tái)實(shí) 施 效 果 目錄度量=銅鏡1建立引領(lǐng)性度量指標(biāo)體系2DevOps度量領(lǐng)域落地實(shí)踐3總結(jié)4 來源:2017 DevOps現(xiàn)狀調(diào)查報(bào)告DevOps以業(yè)務(wù)價(jià)值為目標(biāo)的度量業(yè)務(wù)價(jià)值 度量類型度量指標(biāo)優(yōu)先級(jí)指標(biāo)的定義（規(guī)則）計(jì)算公式工程 效率Mean time to restore service(MTTRS)問題平均恢復(fù)時(shí)長高問題在JIRA中從創(chuàng)建到關(guān)閉的時(shí)長H=關(guān)閉時(shí)間 創(chuàng)建時(shí)間變更交付周期高變更在JIRA中從創(chuàng)建到關(guān)閉的時(shí)間。H=關(guān)閉時(shí)間 創(chuàng)建時(shí)間需求交付時(shí)長高需求在JIRA中從創(chuàng)建到交付上

10、線時(shí)間H=關(guān)閉時(shí)間 創(chuàng)建時(shí)間構(gòu)建頻率引領(lǐng)性指標(biāo)統(tǒng)計(jì)每天構(gòu)建的次數(shù)，求平均值每天構(gòu)建次數(shù)的平均數(shù)構(gòu)建時(shí)間引領(lǐng)性指標(biāo)統(tǒng)計(jì)每次構(gòu)建的時(shí)間，求平均值每次構(gòu)建時(shí)間的平均值構(gòu)建平均恢復(fù)時(shí)長引領(lǐng)性指標(biāo)統(tǒng)計(jì)每次構(gòu)建恢復(fù)時(shí)間，求平均值每次構(gòu)建恢復(fù)時(shí)間的平均值驗(yàn)證測試時(shí)長高統(tǒng)計(jì)系統(tǒng)交付測試到系統(tǒng)上線間的時(shí)長每次系統(tǒng)驗(yàn)證測試的平均時(shí)長部署頻率引領(lǐng)性指標(biāo)統(tǒng)計(jì)每個(gè)版本/產(chǎn)品的部署頻率每個(gè)版本/產(chǎn)品的部署頻率部署時(shí)長引領(lǐng)性指標(biāo)統(tǒng)計(jì)每次部署的時(shí)間，求平均值每次部署時(shí)間的平均值工程 質(zhì)量周期內(nèi)生產(chǎn)事故數(shù)量（半年高大版本上線后半年的生產(chǎn)事故數(shù)統(tǒng)計(jì)改時(shí)間段的生產(chǎn)事故數(shù)缺陷移除率高大版本上線后半年為單位，統(tǒng)計(jì)UAT環(huán)境+生產(chǎn)環(huán)境問

11、題占該 版本總?cè)毕莸恼急龋║AT+PRO）/ ALL defects構(gòu)建成功率高統(tǒng)計(jì)大版本中構(gòu)建成功的次數(shù)占總次數(shù)的比例構(gòu)建成功數(shù)/構(gòu)建總數(shù)部署成功率高統(tǒng)計(jì)大版本中部署成功的次數(shù)占總次數(shù)的比例部署成功數(shù)/部署總數(shù)特定版本中的Bug#高一個(gè)大版本周期內(nèi)的Bug數(shù)Bug數(shù)量累加特定版本中嚴(yán)重Bug 占比中一個(gè)大版本周期內(nèi)嚴(yán)重Bug占總Bug數(shù)的比例嚴(yán)重Bug數(shù)/總Bug數(shù)代碼掃描檢測率中根據(jù)Sonarqube掃描情況統(tǒng)計(jì)/特定版本中通過用例占比中一個(gè)大版本周期內(nèi)通過用例占總用例數(shù)的比例Passed cases/ All cases需求覆蓋率中一個(gè)大版本周期內(nèi)測試用例對(duì)需求的覆蓋已覆蓋需求/總需求工

12、程 進(jìn)度任務(wù)進(jìn)度偏差高統(tǒng)計(jì)一個(gè)項(xiàng)目中，所分配任務(wù)的進(jìn)度偏差，未按時(shí)完成任務(wù)的 占比按時(shí)完成任務(wù)數(shù)/總?cè)蝿?wù)數(shù)項(xiàng)目進(jìn)度偏差高統(tǒng)計(jì)一個(gè)項(xiàng)目中各個(gè)時(shí)間節(jié)點(diǎn)的進(jìn)度偏差，未按時(shí)完成的項(xiàng)目 節(jié)點(diǎn)占比按時(shí)完成時(shí)間節(jié)點(diǎn)數(shù)/總節(jié)點(diǎn) 數(shù)任務(wù)滯留時(shí)間低統(tǒng)計(jì)一個(gè)項(xiàng)目中，任務(wù)從創(chuàng)建到進(jìn)行中的時(shí)間，求平均數(shù)每個(gè)任務(wù)的滯留平均時(shí)間全生命周期效率、質(zhì)量、進(jìn)度用戶體驗(yàn)DevOps覆蓋全生命周期數(shù)據(jù)打通與多維度量12成員、團(tuán)隊(duì)、組織34 引領(lǐng)性指標(biāo)定義了那些和達(dá)成最終目標(biāo)關(guān)系最為重要的行 動(dòng)。要在可以驅(qū)動(dòng)你的引領(lǐng)性指標(biāo)的事情上傾斜資源，這 樣就可以為實(shí)現(xiàn)滯后性指標(biāo)提供支撐。DevOps度量指標(biāo)篩選原則-引領(lǐng)性指標(biāo)預(yù)見性關(guān)鍵 任務(wù)關(guān)

13、鍵 任務(wù)巨石（最重要目標(biāo)）（滯后性指標(biāo)） 2滯后性指標(biāo)（lead measure）讓小明考試得100分引領(lǐng)性指標(biāo)（lag measure）每天晨讀30分鐘每周刷5套題What 引領(lǐng)性指標(biāo)1 目標(biāo)是否完成滯后性：得到結(jié)果已經(jīng)over是跟蹤性指標(biāo)數(shù)據(jù)容易獲得目標(biāo)怎樣完成預(yù)見性：可以促進(jìn)滯后性目標(biāo)達(dá)成是幫助團(tuán)隊(duì)得逞目標(biāo)的關(guān)鍵行為數(shù)據(jù)難獲得引領(lǐng)性指標(biāo)是改進(jìn)的手段，滯后性指標(biāo)是量化目標(biāo)引領(lǐng)性 指標(biāo)滯后性 指標(biāo) 目的引領(lǐng)性指標(biāo)滯后性指標(biāo)提高生產(chǎn)力每個(gè)沖刺Backlog放棄的工作項(xiàng)比例 (目標(biāo) 5%-15%)每個(gè)開發(fā)者交付的功能數(shù)量(目標(biāo)為 20%增長)周末commit代碼比例(目標(biāo)低于5%)更高的質(zhì)量持續(xù)

14、集成的測試通過率(目標(biāo)是95%)生產(chǎn)環(huán)境缺陷逃逸率(發(fā)布30天內(nèi)) (目標(biāo)是50%減少)開發(fā)階段發(fā)現(xiàn)70%的產(chǎn)品缺陷更快的 發(fā)布速度在每個(gè)項(xiàng)目產(chǎn)生和展示燃盡圖(目標(biāo) 為100%至少每季度進(jìn)行一次主版本發(fā)布 引導(dǎo)團(tuán)隊(duì)梳理引領(lǐng)性指標(biāo)G : 提升代碼質(zhì)量Q : 如何將代碼缺 陷率降低到10%？M :（人）提高 單元測試覆蓋 率到95%M : （事）開發(fā) 周期內(nèi)完成的交 付物數(shù)目降低5%M : （物）缺陷類 型服務(wù)端、UI密度 分別降低5%，10%G: 目標(biāo)Q: 問題1Q: 問題2M: 度量1M: 度量2M: 度量3e.g.基于GQM法則量化梳理度量點(diǎn)11.目標(biāo)/問題/度（Goal/Question/

15、Metric）： 確定目標(biāo)，使用量化的形式表示問題，并且建立度量。22.度量一定由企業(yè)的商業(yè)目標(biāo)和問題驅(qū)動(dòng)33.好的產(chǎn)品質(zhì)量是通過控制產(chǎn)品開發(fā)過程的 質(zhì)量而獲得的 健康容忍不健康度量類型狀態(tài)趨勢(shì)當(dāng)前 狀況上升 趨勢(shì)穩(wěn)定 趨勢(shì)下降 趨勢(shì)數(shù)值表示86%分值4.3業(yè)務(wù)值時(shí)效表示每小時(shí)每半天每天每周每月自定義86%+= 4.3度量數(shù)據(jù)的表示模型 度量=銅鏡1建立引領(lǐng)性度量指標(biāo)體系2DevOps度量領(lǐng)域落地實(shí)踐3總結(jié)4 目錄建立組織的IT基線數(shù)據(jù)，量化管理并持續(xù)優(yōu)化 通過DevOps平臺(tái)：工件打通，連接需求到基礎(chǔ)設(shè)施用戶故事任務(wù)/用例/缺陷storyAstoryBtask taskcase case b

16、ugbugtask task casecasebug bug代碼commit commit commit commit commit commit commit commitcommit commit commit commit commit commit commit commit介質(zhì)環(huán)境基礎(chǔ)設(shè)施1.01.12.02.1容器空間虛機(jī)虛機(jī)容器空間虛機(jī)虛機(jī)物理機(jī)物理機(jī)物理機(jī)物理機(jī) 開發(fā)環(huán)境測試環(huán)境生產(chǎn)環(huán)境開發(fā)環(huán)境測試環(huán)境生產(chǎn)環(huán)境示例：以需求為主線建立數(shù)據(jù)關(guān)聯(lián)D01S通過用戶故事，拆 分相關(guān)任務(wù)，建立 關(guān)聯(lián)通過提交模板建立 com mit與任務(wù)或問題 的關(guān)聯(lián)關(guān)系查詢出本次構(gòu)建的 提交歷史列表，打

17、通關(guān)聯(lián)部署時(shí)，通過介質(zhì)坐標(biāo) 配置，建立發(fā)布物與目 標(biāo)資源的關(guān)聯(lián)名稱雪沖 剌 ms , , ., 示 例/ tlt lc, b )$Loon .Coot rnll ccI, 修復(fù)登錄失敗界面崩誤的 fl bcyd 修復(fù)登錄失敗界面崩潰的OUG, 轄出異常類型轉(zhuǎn)換錯(cuò)誤， 便月約定的異常類型/ ho,g, 1001 ,1001 ,1003t tasc 1001, 2001巳tl ect嚇心 芩心I, II or 1nlpoc_s hango1201705 密碼策路頁面提示中 調(diào)整密碼策略頁面樣式調(diào)整岱碼策略頁面樣式Update 數(shù)據(jù)備份UTFB, 讀寫文件關(guān)閉控制臺(tái)輸出Update 修改代碼分析超時(shí)

18、時(shí)間Merge branch poc_shangq 1201705 of http,/10橾作日志詳情頁面樣式誚整Update 數(shù)據(jù)備份增加對(duì)特殊字符的轉(zhuǎn)義資源選擇n 資源名稱ti node146ti node149資源地址4649body,taskspnng boot.app_url533:8 081/repository/devops-snapshotDevOps 國際峰會(huì)2 0 1 8 深圳站交付速度工程質(zhì)量運(yùn)維保障用戶體驗(yàn)建立引領(lǐng)性度量指標(biāo)的四個(gè)維度業(yè)務(wù)價(jià)值 某金融客戶：引領(lǐng)性度量指標(biāo) 某金融客戶：公示但不排名，團(tuán)隊(duì)的鯰魚效應(yīng)615版本萬達(dá)財(cái)富630版本萬達(dá)貸0601版本統(tǒng)一賬戶601版本統(tǒng)一支付615版本統(tǒng)一消息0525版本統(tǒng)一客服URP 2.0版本統(tǒng)一風(fēng)控需求覆蓋率100%100%100%100%100%100%100%構(gòu)建成功率80%70%90%85%70%75%80%單元測試覆蓋率30%20%30%25%20%10%15%部署成功率90%92%95%90%88%85%90%技術(shù)債務(wù)比率35%40%30%28%60%30%36%Reopen缺陷占比2.00%3.00%0.00%0.00%2.50%5.00%2.00%缺陷逃逸率5%8%2%3%6%10%3%生產(chǎn)環(huán)境Bug2311381缺陷密度1.21.8