華為云DevSecOps質量效能白皮書

HUAWEI華為云DevSecOps質量效能白皮書有質量的效率，有效率的質量，使能企業(yè)價值創(chuàng)造0010100000010111100101111111010100000000111011101110000010011012023年7月CONTENTS01華為云DevSecOps質量效能體系綜述1.1DevSecOps質量效能簡述1.2DevSecOps質量效能現(xiàn)狀1.3華為云DevSecOps質量效能方法論模型1.4基于價值流創(chuàng)造的華為云DevSecOps質量效能體系及特點02價值流定義：快速識別企業(yè)質量效能關鍵要素020404062.1華為云DevSecOps價值流簡述2.2DevSecOps價值流質量效能要素2.3通過流程引擎實現(xiàn)價值流快速IT化03價值流實現(xiàn)：高質高效實現(xiàn)業(yè)務價值交付08093.1正確實施DevSecOps的關鍵是質量效能雙贏3.2快軌：基于Q點自動檢查的大吞吐量高速上線3.3慢軌：基于發(fā)布計劃自動抬桿的內建質量防護網(wǎng)快速路3.4通過灰度發(fā)布降低全網(wǎng)質量風險和問題影響度04價值流表征：通過三層指標管理邏輯及模型化實現(xiàn)業(yè)務評估4.1通過有效數(shù)據(jù)度量實現(xiàn)價值流表征4.2DevSecOps質量效能指標管理邏輯4.3基于指標的質量效能度量和評估4.4如何開展基于業(yè)務的質量效能管理05價值流洞察：快速有效識別質量效能風險短板5.1DevSecOps質量效能“診療”思路195.2“診”：DevSecOps質量效能風險洞察服務205.3“診”：DevSecOps質量效能運營服務2106價值流增值：依托質量效能風險洞察&運營服務實現(xiàn)組織、團隊及個人持續(xù)改進6.1質量效能持續(xù)改進簡述6.2“療”：質量效能策劃改進雙循環(huán)07華為云DevSecOps質量效能實踐分享22237.1華為云DevSecOps質量效能實踐概述247.2華為云DevSecOps質量管理總結247.3華為云DevSecOps效能管理總結257.4實踐一：構建華為云DevSecOps質量效能數(shù)字化評估模型277.5實踐二：基于質量效能管理模型洞察&運營價值流風險317.6實踐三：持續(xù)改進雙向雙循環(huán)337.7實踐四：華為云DevSecOps質量效能評估3608愿景與展望華為云DevSecOps質量效能體系綜述數(shù)字經(jīng)濟時代已然來臨，企業(yè)數(shù)字化轉型如火如荼，所有企華為云DevSecOps質量效能體系綜述數(shù)字經(jīng)濟時代已然來臨，企業(yè)數(shù)字化轉型如火如荼，所有企業(yè)都希望抓住未來產(chǎn)業(yè)高速發(fā)展的機遇，成為數(shù)字化變革浪潮中的一員，通過自動化、信息化、數(shù)據(jù)化的數(shù)字化基座來承載自身業(yè)務創(chuàng)新和發(fā)展。《“十四五”軟件和信息技術服務業(yè)發(fā)展規(guī)劃》中明確指出，到2025年規(guī)模以上企業(yè)軟件業(yè)務收入突破14萬億元，年均增長12%以上，而五大任務之一即提升產(chǎn)業(yè)基礎保障水平，囊括了提升軟件工程化能力、提升軟件產(chǎn)品和數(shù)據(jù)能力、提升軟件質量管理能力、提升軟件價值保障能力是重要的發(fā)力方向。在這一趨勢下，企業(yè)產(chǎn)品研發(fā)的交付能力面臨巨大挑戰(zhàn)，產(chǎn)品研發(fā)的交付實踐和方法亟待變革。圍繞DevSecOps價值流所構建的研發(fā)質量效能管理體系將是這一變革的破局之道。基于20年的數(shù)字化實踐和數(shù)百萬企業(yè)客戶的服務經(jīng)驗，華為云吸收業(yè)界先進DevSecOps理念精華，提煉出DevSecOps質量效能管理體系典型特征，同時以價值流創(chuàng)造為核心，摸索出了一套行之有效的質量效能方法論和最佳實踐。藉此，華為云推出《DevSecOps質量效能：有質量的效率，有效率的質量，使能企業(yè)價值創(chuàng)造》白皮書，與業(yè)界分享華為云對DevSecOps質量效能體系的深刻理解，與業(yè)界共享華為云積累的豐富實踐經(jīng)驗。全篇共計1萬多字并整理成冊，以期攜手各方共同推動云計算行業(yè)的開放與發(fā)展。02有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造華為云DevSecOps質量效能體系綜述1.11.1DevSecOps質量效能簡述當今市場經(jīng)濟競爭激烈，市場先機稍縱即逝，速度就成為了獲勝的關鍵因素之一，此時市場的成敗，就不僅僅是大魚吃小魚，而是快魚吃慢魚，這就是快魚法則。有這樣一個故事：兩個人在樹林里過夜。早上，突然樹林里跑出一頭大黑熊，兩個人中的一個忙著穿球鞋。另一個人對他說：“你把球鞋穿上有什么用？我們反正跑不過熊?。　泵χ┣蛐娜苏f：“我不是要跑得快過熊，我是要跑得快過你?！惫适侣犉饋碛悬c無情，但競爭就是如此殘酷。因為，我們面對的世界，是一個充滿變數(shù)并且競爭非常激烈的世界，比跑得快不快，很可能成為決定成功與失敗的關鍵。在互聯(lián)網(wǎng)+時代“快魚法則”強調了對市場機會和客戶需求的快速反應。03軟軟件件規(guī)的模復的復雜雜度度與勢趨的務業(yè)人員規(guī)模軟軟件件規(guī)的模復的復雜雜度度與勢趨的務業(yè)人員規(guī)模有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造華為云DevSecOps質量效能體系綜述隨著業(yè)務的發(fā)展，軟件的演進加入更多的功能點，各個模塊（Module）間存在著各種微妙的依賴關系，系統(tǒng)變得越來越復雜。對于程序員來說，修改系統(tǒng)時考慮周全所有的相關因素變得越來越困難，使軟件開發(fā)進度變緩慢，并且引入Bug，從而導致會進一步延緩開發(fā)進度，增加開發(fā)成本。在任何一個系統(tǒng)的生命周期中，復雜性不可避免會增加，系統(tǒng)越大，需要更多的人開發(fā)，管理系統(tǒng)復雜性的工作就越困難，研發(fā)的質量效能也越來越達不到理想水平。 研發(fā)效能的鴻溝而這些趨勢變化都預示著，我們要有匹配的方法論和實踐，來指引軟件生產(chǎn)力得到持續(xù)提升，并最終支撐高質高效價值交付?；仡櫲A為研發(fā)模式演進歷程，對研發(fā)效率提升的訴求日益迫切，研發(fā)模式持續(xù)演進，使云化/服務化/自動化/數(shù)據(jù)驅動成為必然，也催熟了華為云DevSecOps質量效能方法論和管理體系，以及在此之上卓有成效的實04有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造華為云DevSecOps質量效能體系綜述1.21.2DevSecOps質量效能現(xiàn)狀那么想要有質量有效率的提升DevSecOps研發(fā)生產(chǎn)力，實現(xiàn)價值交付，企業(yè)有哪些痛點？我們從五個部圍繞價值流創(chuàng)造持續(xù)高質高效交付是企業(yè)的核心競爭力，首先要能清晰識別企業(yè)的產(chǎn)品價值流向，尋找從客戶要求到客戶滿意全流程最佳路徑和關鍵要素。但現(xiàn)實中很多企業(yè)用戶由于缺乏端到端價值流梳理，DevSecOps演變成產(chǎn)品交付的快速迭代而非價值創(chuàng)造的快速迭代；同時習慣聚焦于開發(fā)效率、運維效率的局部分析及提升，沿價值流核心要素未系統(tǒng)梳理有效洞察，不利于組織質量效能的持續(xù)提升。關鍵點就在于要以全局最優(yōu)代替局部最優(yōu)，并在此基礎上牽牛鼻子。其次，價值流變現(xiàn)最重要的載體就是DevSecOps工具鏈，然而現(xiàn)階段的用戶應用大多仍建立在傳統(tǒng)IT技術之上，應用架構耦合性強、復雜度高，導致技術債務重、部署速度慢等問題日益凸顯；同時開發(fā)模式落后，存在部門墻嚴重、開發(fā)運維割裂的問題，致使研運協(xié)同困難、發(fā)布周期長且不可控，如何快速在企業(yè)實現(xiàn)DevSecOps價值流IT化承載以及在此之上如何內建“有質量的效率、有效率的質量”是一個值得思考的問價值流一方面通過IT化承載，另一方面則通過數(shù)據(jù)來表征，如何實時監(jiān)控產(chǎn)品交付的質量和效率，及時識別交付中的風險短板，傳統(tǒng)的做法就是通過指標度量分析，但單純基于指標的管理容易偏離目標，需要考慮采取更有效的價值流表征方式來實現(xiàn)。通過數(shù)據(jù)表征價值流，衍生出一個新的命題，即在大量的指標和數(shù)據(jù)模型中，如何識別出價值流交付中關鍵的質量效能風險及短板，并能夠通過合適的方式產(chǎn)生預警和策略應對，實現(xiàn)交付數(shù)據(jù)的風險洞察和運營，為團隊價值流交付尋找最優(yōu)解?；趦r值流作業(yè)的洞察改進不足以支撐整個組織的質量效能持續(xù)提升，通常的做法是：作業(yè)指標度量分析改進，四步質量效能管理過程，這種方式對改進價值流形成閉環(huán)有所欠缺，同時改進更強調的是團隊/個人改進，組織級能力沉淀固化是短板。從實踐來看PDCA持續(xù)改進是改善價值流、提升組織級能力的重要手段。1.31.3華為云DevSecOps質量效能方法論模型結合DevSecOps質量效能現(xiàn)狀分析，華為云提出了“有質量的效率，有效率的質量，使能企業(yè)價值創(chuàng)造”方法論價值流5V模型（價值流定義、價值流實現(xiàn)、價值流表征、價值流洞察、價值流增值）：05價值流表征義定流值價察洞流值價價值流實現(xiàn)價值流增值流程效能數(shù)據(jù)作業(yè)質量診斷價值流表征義定流值價察洞流值價價值流實現(xiàn)價值流增值流程效能數(shù)據(jù)作業(yè)質量診斷有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造華為云DevSecOps質量效能體系綜述改進改進華為云DevSecOps質量效能方法論模型的關鍵特征包括以下幾點：服務于價值創(chuàng)造質量與效能雙贏善用指標度量，不能以指標代替目標管理全棧多維度風險自動冒泡運營使能，兩層雙循環(huán)持續(xù)改進一個方法論、一套管理框架、一組行之有效的質量效能實踐商業(yè)環(huán)境利益相關方客戶利益相關方客戶價值流增值價值流洞察商業(yè)環(huán)境價值流表征價值流實現(xiàn)要求滿意價值流定義商業(yè)環(huán)境利益相關方客戶利益相關方客戶價值流增值價值流洞察商業(yè)環(huán)境價值流表征價值流實現(xiàn)要求滿意價值流定義有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造華為云DevSecOps質量效能體系綜述1.41.4基于價值流創(chuàng)造的華為云DevSecOps質量效能體系及特點華為云DevSecOps質量效能方法論模型，以客戶要求到客戶滿意為起止點，圍繞價值流定義、價值流實現(xiàn)、價值流表征、價值流洞察以及價值流增值，內建質量效能體系框架。華為云華為云DevSecOps質量效能理論體系有質量的效率，有效率的質量質量效能質量效能OBP策劃(O)組織級能力改進風險冒泡預警基于業(yè)務的效能管理體系快速發(fā)布通路（兩種模式）持續(xù)規(guī)劃發(fā)布計劃持續(xù)計劃&構建持續(xù)測試持續(xù)發(fā)布部署上線持續(xù)運維&運營流程轉作業(yè)引擎持續(xù)運維(SRE)&運營流程基于業(yè)務的質量管理體系標的質結果質量評估|過程質量評估持續(xù)規(guī)劃與組合管理流程持續(xù)開發(fā)與發(fā)布流程效能評估模型質量評估模型質量策劃(S)運營使能灰度發(fā)布組織能力沉淀組織能力沉淀價值流定義：沿產(chǎn)品交付價值流流轉全流程，梳理DevSecOps持續(xù)規(guī)劃與組合管理流程、持續(xù)開發(fā)與發(fā)布流程、持續(xù)運維（SRE）&運營流程，確保產(chǎn)品交付全鏈路無死角無斷點、敏捷高效；其次識別質量效能關鍵要素作為質量效能體系開展工作的錨點；另外通過流程引擎服務快速將流程設計轉化為IT作業(yè)，實現(xiàn)價值流定義與價值流實現(xiàn)的無縫銜接。0607有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造華為云DevSecOps質量效能體系綜述價值流實現(xiàn)：DevSecOps持續(xù)發(fā)布流水線通過兩種發(fā)布快速通路實現(xiàn)質量效率的均衡，一種是以自動Q點（質量檢查點）檢查快速上線方式，另一種是在規(guī)劃階段基于服務發(fā)布計劃開展質量策劃，以開發(fā)交付QCP、Q檢查點內建質量防護網(wǎng)，以及后端持續(xù)運維&運營、PRR/ORR檢查確保最終產(chǎn)品上線質量。核心原則是自動放通不影響效率，例外上升確保質量。價值流表征：以質量效能指標度量（體檢項）為基礎，圍繞三層指標管理邏輯，構建質量效能成熟度評估體系（體檢報告），在此之上實現(xiàn)基于業(yè)務的質量效能管理，不唯指標論。其中效能評估模型按照人（人員效率）、機（工具效率）、料（業(yè)務效率）、法（流程效率）、環(huán)（組織效率）五個要素展開度量評估。價值流洞察：通過構建風險洞察&運營服務，圍繞價值流全棧質量效能短板識別和預警，驅動產(chǎn)品交付作業(yè)質量短板和效能瓶頸點改進。價值流增值：團隊改進舉一反三，基于發(fā)布計劃對團隊/個人的風險短板自動進入DevSecOps作業(yè)小閉環(huán)，識別組織級關鍵效能短板，對于共性/重大風險則由組織級OBP質量效能策劃后進入作業(yè)，并最終形成組織效能資產(chǎn)，風險消減的同時實現(xiàn)組織能力沉淀。0202價值流定義：快速識別企業(yè)質量效能關鍵要素2.12.1華為云DevSecOps價值流簡述華為云DevSecOps價值流主要包括持續(xù)規(guī)劃與組合管理、持續(xù)開發(fā)與發(fā)布、持續(xù)運維&運營。持續(xù)規(guī)劃與組合管理流程：依托OBP流程實現(xiàn)產(chǎn)品及產(chǎn)品組合的業(yè)務管理，同時建立高效、主動、與相關流程緊密配合的需求管理體系，是價值流的龍頭。持續(xù)開發(fā)與發(fā)布流程：華為云DevSecOps強調開發(fā)、運維/運營、安全團隊的融合協(xié)作，依托“技術+工具”，將質量、效率、可信軟件工程能力、安全、開源/第三方管理的要求，通過規(guī)范、軟件/API、用例、工具固化到DevSecOps生產(chǎn)線，自動化的、透明的融入到產(chǎn)品管理全生命周期，在保證安全可信的同時又不會妨礙靈活性，達成產(chǎn)品的“穩(wěn)定可靠、安全可信”。0809流程流程作業(yè)引擎2系統(tǒng)設計與系統(tǒng)實現(xiàn)之間的偏差如產(chǎn)品特性設計與最終上線交付間存在GAP，需要考慮在流程及IT銜接點中進行檢查。有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造價值流定義，快速識別企業(yè)質量效能關鍵要素持續(xù)運維（SRE）&運營流程：實現(xiàn)服務上/下架、生命周期管理、現(xiàn)網(wǎng)變更、監(jiān)控、告警、事件、問題等運維運營等關鍵活動流程定義。2.22.2DevSecOps價值流質量效能要素持續(xù)運維（持續(xù)運維（SRE）&運營流程高可用及時發(fā)現(xiàn)持續(xù)規(guī)劃與組合管理流程持續(xù)開發(fā)與發(fā)布流程需求質量設計質量落差PONC一致性落差承諾兌現(xiàn)部署頻率及時恢復及時解決變更前置時間服務恢復時間變更失敗率響應力交付力價值流定義通過梳理DevSecOps價值流質量效能要素，識別關鍵業(yè)務痛點及著力點：價值流定義中的質量要素（3+2價值流定義中的質量要素（3+2）：重點關注需求質量，建立需求質量互鎖模型，代表客戶/行業(yè)的重點關注需求質量，建立需求質量互鎖模型，代表客戶/行業(yè)的提出方組織給出需求排序，產(chǎn)品側根據(jù)歷史周期上線需求價值評估向對應提出組織賦權值，兩者擬合對需求自動初始排序后進入需求決策及開發(fā)管道。持續(xù)規(guī)劃與組合管理1根據(jù)業(yè)界10倍缺陷成本法則，流程要素重點考慮消減根據(jù)業(yè)界10倍缺陷成本法則，流程要素重點考慮消減PONC，通過Q點檢查實現(xiàn)缺陷左移。持續(xù)開發(fā)與發(fā)布流程233重點關注產(chǎn)品在現(xiàn)網(wǎng)高可用。持續(xù)運維（SRE）重點關注產(chǎn)品在現(xiàn)網(wǎng)高可用。&運營流程客戶滿意的質量落差：在三個流程銜接點上存在兩個質量落差點11客戶期望與系統(tǒng)設計之間的偏差如客戶的潛藏訴求中可能包含DFX全要素，產(chǎn)品側設計時只考慮到功能和性能規(guī)格。有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造價值流定義，快速識別企業(yè)質量效能關鍵要素價值流定義中的效能要素（3+4+3價值流定義中的效能要素（3+4+3客戶滿意三元素：響應力（快速響應市場/客戶需求）、交付力（需求交付能力及交付周期）以及基于前兩者的承諾兌現(xiàn)（客戶需求按時上線驗收，尤其是關鍵承諾需求）。DevSecOps黃金四指標：借鑒基于業(yè)界通用衡量DevOps成熟度觀察項，包括部署頻率、變更前置時間、服務恢復時間、變更失敗率，同時基于價值流交付梳理出效能短板改進擴展要素?，F(xiàn)網(wǎng)高可用效率三板斧：基于監(jiān)控告警的及時發(fā)現(xiàn)、基于故障容災機制的及時恢復、基于OPS驅動的問題及時解決。2.32.3通過流程引擎實現(xiàn)價值流快速IT化傳統(tǒng)模式下流程行管定義標準流程要求，經(jīng)評審發(fā)布后形成正式流程發(fā)文，由IT工具承載流程從而“流程BuildIN工具”，最后產(chǎn)生作業(yè)流、信息流、數(shù)據(jù)流等業(yè)務IT。華為云通過打造數(shù)字化流程引擎，基于此承載DevSecOps全生命周期內對象業(yè)務流程，實現(xiàn)了“流程流程即服務能力：數(shù)字化流程引擎帶來模式革新，由流程行管定義流程規(guī)范要求、流程定義、發(fā)文等內容沉淀至流程引擎，評審基線發(fā)布之后即可產(chǎn)生標準作業(yè)流、信息流、數(shù)據(jù)流等業(yè)務IT，達到線上“流程即服務”；后續(xù)流程發(fā)文變更后業(yè)務對象字段枚舉、是否必填、狀態(tài)聯(lián)動、可編輯等均可在系統(tǒng)中聯(lián)動。分層流程協(xié)同：企業(yè)信息樹中上層組織流程Owner定義標準流程并沉淀流程市場，下層組織流程Owner基于標準流程進行繼承、擴展、重寫和發(fā)布（OOP），達到流程編排的高效協(xié)同；流程實例作業(yè)過程中狀態(tài)信息依據(jù)流程引擎分層協(xié)同配置，下層自定義擴展狀態(tài)節(jié)點被上層卷積時進行狀態(tài)信息映射轉化，呈現(xiàn)上層節(jié)點空間對應的標準狀態(tài)信息，每層組織空間內角色只關注本層關聯(lián)的狀態(tài)信息，上下層節(jié)點空間內的流程實例信息在樹形結構中順暢運轉；同時不同層級流程管理員、業(yè)務各角色在流程作業(yè)過程中進行高效協(xié)同。價值流實現(xiàn)：高質高效實現(xiàn)業(yè)務價值交付價值流實現(xiàn)：高質高效實現(xiàn)業(yè)務價值交付03033.13.1正確實施DevSecOps的關鍵是質量效能雙贏通過梳理企業(yè)價值交付流以及通過IT承載作業(yè)后，是不是就意味著實現(xiàn)了高質高效的業(yè)務價值交付呢？據(jù)Veritis發(fā)布的《2019年DevOps狀況報告》顯示，正確實施DevOps的組織有著明顯的競爭優(yōu)勢：軟件部署頻率提高208倍，事件恢復速度提高2604倍，變更失敗率降低7倍。這項結果讓更多企業(yè)看到了DevOps的高效之處，同時也使得DevOps在近年來慢慢有成為主流的趨勢。要實現(xiàn)DevOps的高質高效前提即是正確實施，但實際情況是很多企業(yè)在部署DevOps作業(yè)時通常會犧牲質量以換取速度。TechstrongResearch和Testlio對1000多名工程師和DevOps專業(yè)人士進行的調查結果也印證了這一現(xiàn)實。比如為了節(jié)省時間，在發(fā)布前進行不完整或表面測試，這樣開發(fā)出來的軟件，雖然可以實現(xiàn)灰度發(fā)布、快速上線、快速回滾但并不能達到最終用戶對軟件質量的整體預期，尤其是在涉及國計民生千行百業(yè)的政企、互聯(lián)網(wǎng)行業(yè)所不能容忍，隨著時間推移，潛藏的質量問題最終會暴露出來，從而造成最終用戶的不信任甚至流失。有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造價值流實現(xiàn)，高質高效實現(xiàn)業(yè)務價值交付另一方面，從軟件開發(fā)生命周期（SDLC）來看，檢測和修復軟件缺陷的成本隨時間呈指數(shù)增長。越在開發(fā)過程的早期測試修復問題，問題左移對成本的降低越顯著。它通過代碼的早期檢查減少初始開發(fā)階段的錯誤，問題在剛發(fā)現(xiàn)時就被有效處理，而不是在最終上線或上線之后才被發(fā)現(xiàn)和修復，以此節(jié)省維修成本和寶貴的開發(fā)時間。那么，如何正確實施，如何實現(xiàn)DevSecOps持續(xù)交付的高效和高質量則是價值流實現(xiàn)中的一個需要解答的問題，兩者是背離的還是可以實現(xiàn)雙贏呢？從華為云DevSecOps質量效能實踐來看，在高度優(yōu)化的軟件開發(fā)模式中，開發(fā)速度和軟件質量應該共同發(fā)展，并最終實現(xiàn)“有質量的效率、有效率的質量”。解題的思路即基于Q點自動檢查的大吞吐量高速上線，以及基于發(fā)布計劃自動抬桿的內建質量防護網(wǎng)快速流水線持續(xù)規(guī)劃發(fā)布計劃持續(xù)設計持續(xù)規(guī)劃發(fā)布計劃持續(xù)設計持續(xù)開發(fā)&構建持續(xù)測試持續(xù)發(fā)布部署上線持續(xù)運維&運營QCP1發(fā)布計劃基線QCP2生產(chǎn)準入自動抬桿QCP1發(fā)布計劃基線QCP2生產(chǎn)準入自動抬桿灰度發(fā)布質量設計評審開發(fā)門禁測試評估快軌效能慢軌序號價值要素控制點關鍵要求QCP1：保證在項目需求基線時，OBP規(guī)劃中的需求、1致性落差、高可用兩個QCP點各需求方角色代表所提需求按時落入發(fā)布計劃。QCP2：保證產(chǎn)品包在上線發(fā)布前已通過生產(chǎn)發(fā)布準入2PONC三層質量要求云服務底線質量要求、專項質量要求、產(chǎn)品部加嚴質量要求?！じS年度OBP節(jié)奏明確，在CloudDevOps進行質量策略配置，工具自動檢查?！ぁた燔墸喝粘Ｐ〉?Bug修復版本，通過流水線的質量門禁和生產(chǎn)發(fā)布準入門禁保證質量。慢軌：多服務多平臺集成交付版本，在流水線質量要求外增加其他非自動化質量加固活動，如全量集成驗證。發(fā)布計劃基線時明確快慢軌，各服務每年至少2次慢軌，間隔3個月以上。效能全要素快慢軌機制3有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造價值流實現(xiàn)，高質高效實現(xiàn)業(yè)務價值交付3.23.2快軌：基于Q點自動檢查的大吞吐量高速上線維基百科中定義DevOps為透過自動化“軟件交付”和“架構變更”的流程，來使得構建、測試、發(fā)布軟件能夠更加地快捷、頻繁和可靠。這里面的核心就是通過自動化流水線作業(yè)，裝載解耦為微服務的單體軟件進行持續(xù)設計、持續(xù)開發(fā)、持續(xù)構建、持續(xù)測試(α/β/γ/灰度等），以及快速交付部署、秒級回滾無損變更以及Ops的快速反饋能力，在構建DevSecOps高速通路基礎上，華為云通過引入Q質量檢查點概念，通過一組Q點對關鍵開發(fā)活動的自動檢查評估，實現(xiàn)對微服務/組件開發(fā)過程中的正常自動放通，例外預警/回退修復，從而實現(xiàn)有一定質量保證的高效率上線。周而復始的DevSecOps交付在過程中會基于數(shù)據(jù)洞察識別團隊/個人質量改進點和效率瓶頸點，在結果上對承諾按計劃達成情況、現(xiàn)網(wǎng)問題反饋，這兩者都會重新進入流水線作業(yè)加以改進，并沉淀優(yōu)秀實踐及COE案3.33.3慢軌：基于發(fā)布計劃自動抬桿的內建質量防護網(wǎng)快速路那么華為云為什么要引入基于發(fā)布計劃自動抬桿的內建質量防護網(wǎng)快速通路呢？為了實現(xiàn)持續(xù)迭代快速交付部署，架構解耦將單一應用程序劃分成一組微服務，服務之間互相協(xié)調、互相配合，為用戶提供最終價值。顯而易見，基于微服務/組件Release包的版本和迭代計劃粒度太細，無法有效開展諸如DFX需求及關鍵大顆粒特性基線、質量效能策劃執(zhí)行評估、產(chǎn)品基線版本配套等一系列問題，同時基于微服務粒度收編，因為無法有效協(xié)同配套，易引發(fā)特性不一致問題，華為云借鑒了IPD對質量管理的優(yōu)秀實踐，引入發(fā)布計劃概念，通過2個QCP點實現(xiàn)對重點產(chǎn)品關鍵特性能力的質量保證，消除質量落差，確?？蛻魸M意。策略上，QCP點設置通過低頻度、自動抬桿實現(xiàn)重載不降效。3.43.4通過灰度發(fā)布降低全網(wǎng)質量風險和問題影響度全面實現(xiàn)灰度發(fā)布能力，逐步收編手動變更場景，服務上線落實友好客戶驗證、切流灰度驗證、Ring環(huán)發(fā)布，通過灰度發(fā)布降低全網(wǎng)質量風險和問題影響度?；谶\維工具的自動化變更，建立分層分級的灰度能力（Ring環(huán)、藍綠、金絲雀），目標實現(xiàn)端到端的分批升級，逐步放量，控制全網(wǎng)質量風險；通過低V客戶應用場景，攔截新版本上線、現(xiàn)網(wǎng)運維變更實施等場景基礎質量問題，降低問題影響度。流量結果 Region級灰度（Ring環(huán)）發(fā)布流水線BuildGamma測試Beta測試Alpha測試變更評審灰度測試靜態(tài)檢查發(fā)布分支華為云節(jié)點級灰度（金絲雀）LB流量結果 Region級灰度（Ring環(huán)）發(fā)布流水線BuildGamma測試Beta測試Alpha測試變更評審灰度測試靜態(tài)檢查發(fā)布分支華為云節(jié)點級灰度（金絲雀）LB用戶......V2V1V2有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造價值流實現(xiàn)，高質高效實現(xiàn)業(yè)務價值交付價值特性在線試驗局，通過用戶精準分流，控制版本/特性呈現(xiàn)對象，降低問題影響。建立分層分級的灰度能力建立分層分級的灰度能力Ring0Ring0Ring1Ring2Ring3Ring4用戶切流用戶切流綠集群藍集群LB流量收集流量入庫實時驗證檢查點任務調度流量收集流量入庫實時驗證檢查點任務調度流量匹配場景用例用例執(zhí)行用例設計用戶用戶V10404價值流表征：通過三層指標管理邏輯及模型化實現(xiàn)業(yè)務評估4.14.1通過有效數(shù)據(jù)度量實現(xiàn)價值流表征如何通過數(shù)據(jù)如實表征價值流健康狀態(tài)，通常的做法就是基于指標來實現(xiàn)，然而單純的指標并不能完整呈現(xiàn)價值流，而且很多時候在指標的強牽引下，很多工作都會因為趨利避害而產(chǎn)生變形，甚至適得其反。所以關鍵在于要善用指標，結合有效性、完備性、業(yè)務性，構筑DevSecOps質量效能評估能力。有效性一致性完備性評估模型指標集數(shù)據(jù)結果指標支撐結果指標的過程度量工程活動有效性分析DevSecOps數(shù)據(jù)流水線數(shù)據(jù)獲取，數(shù)據(jù)治理數(shù)據(jù)底座：云數(shù)據(jù)湖、大數(shù)據(jù)分析等能力DevSecOps模型和衡量標準：如業(yè)界標準的效能黃金指標基于數(shù)據(jù)的持續(xù)運營，智能分析，閉環(huán)改進有效性一致性完備性評估模型指標集數(shù)據(jù)結果指標支撐結果指標的過程度量工程活動有效性分析DevSecOps數(shù)據(jù)流水線數(shù)據(jù)獲取，數(shù)據(jù)治理數(shù)據(jù)底座：云數(shù)據(jù)湖、大數(shù)據(jù)分析等能力DevSecOps模型和衡量標準：如業(yè)界標準的效能黃金指標基于數(shù)據(jù)的持續(xù)運營，智能分析，閉環(huán)改進有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造價值流表征，通過三層指標管理邏輯及模型化實現(xiàn)業(yè)務評估業(yè)務性業(yè)務性業(yè)務管理有效性有效性指標管理邏輯價值流實現(xiàn)（價值流實現(xiàn)（DevSecOps作業(yè)）4.24.2DevSecOps質量效能指標管理邏輯Google使用GSM框架來指導目標導向型指標的設置和管理，首先建立目標（Goals），然后選擇可以顯示目標成功與否的信號（Signals可能無法測量），最后選擇適當?shù)臄?shù)據(jù)指標（Metrics量化指標）進行表征和過程管理。這套框架可以防止“路燈效應”。（注：路燈效應：“在路燈下尋找鑰匙”，如果只考慮可以看到的地方，則可能找不到鑰匙的真正所在。）華為云根據(jù)自身業(yè)務特點和成功實踐，建立了DevSecOps質量效能指標體系三層管理邏輯，確保指標牽引和目標達成有效及一致。通過三層管理邏輯，確保指標牽引和目標達成協(xié)同和一致通過三層管理邏輯，確保指標牽引和目標達成協(xié)同和一致定義：目標達成的關鍵結果性指標定義：目標達成的關鍵結果性指標特征：客觀、明確、精簡（北極星指標）定義：支撐結果性指標達成的過程度量指標定義：支撐結果性指標達成的過程度量指標特征：邏輯承接、識別過程核心要素，充分必要定義：過程度量所表征的工程活動開展的有效性定義：過程度量所表征的工程活動開展的有效性特征：打開過程度量指標，對業(yè)務流關鍵要素進行剖析和運營，對真實性和有效性負責DevSecOpsDevSecOps流水線作業(yè)有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造價值流表征，通過三層指標管理邏輯及模型化實現(xiàn)業(yè)務評估DevSecOps流水線作業(yè)產(chǎn)生的數(shù)據(jù)經(jīng)過治理，根據(jù)價值流要素定義的指標字典，形成質量效能指標庫。那么如何通過三層指標管理邏輯來牽引目標達成：L1層：以客觀、明確、精簡（北極星指標）為標準，識別目標達成的關鍵結果性指標，通過這一組結果性指標來對目標進行描述，以此作為目標狀態(tài)的晴雨表。L2層：確定支撐結果性指標達成的過程度量指標，這些指標的選取要遵循上下指標邏輯，要承接且充分必要、衡量對象為過程核心要素等原則，作為目標結果指標與實際作業(yè)的有效銜接，一方面能支撐結果指標的達成，另一方面是對工程活動的直接呈現(xiàn)。L3層：要對過程度量所表征的工程活動開展的有效性做評估，需要打開過程度量指標，對其表征的業(yè)務流關鍵要素進行具象化剖析和運營，目的是確保指標度量的真實性和有效性。4.34.3基于指標的質量效能度量和評估通過三層指標管理邏輯可以實現(xiàn)目標、指標及活動的一致性和有效性，但單一/少量指標準確有效且達標，不一定帶來目標的達成。比如一個人要達成身體健康的目標，他給自己定的結果指標中有一項是BMI指數(shù)正常，過程度量指標中有一項是每天一萬步，我們也證實了他這一萬步是確實存在的，而不是搖步器搖出來的，但這不能說明他一定能達成身體健康的目標，是否健康需要完整的體檢報告做依據(jù)。這也是除了指標度量，合理成熟度評估的重要性。華為云DevSecOps定義并踐行了質量效能基于指標的成熟度評估體系。質量效能結果成熟度評估質量效能結果成熟度評估質量效能過程成熟度評估基于價值流的質量效能過程度量風險運營及分析服務指標風險預警策略服務作業(yè)流改進質量效能指標庫LOWCODE平臺質量效能要點一：沿著DevSecOps價值流對質量效能全鏈路要素進行刻畫，在此基礎上構建成熟度模型。要點二：根據(jù)業(yè)務特點，通過指標風險預警策略服務自定義自動預警指標項、規(guī)則、組織層級、干系人等。要點三：實現(xiàn)風險的自動識別及推送，冒泡出的風險自動創(chuàng)建改進作業(yè)。要點四：進入研發(fā)管道的改進項在完成改進后形成閉環(huán)，并體現(xiàn)在結果/過程成熟度評估中。有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造價值流表征，通過三層指標管理邏輯及模型化實現(xiàn)業(yè)務評估4.44.4如何開展基于業(yè)務的質量效能管理基于價值流的質量效能管理兩種方式：第一種即按照業(yè)務流關鍵環(huán)節(jié)/專題進行專項運營管理，這種一般適用于新環(huán)境新場景或者需要重點看護的內容，不僅關注對應環(huán)節(jié)/專題指標，更要關注指標涉及價值流交付活動的實際開展情況，確保目標、指標、活動一致性和有效性，方式有成立專題運營組或者進行全流程自動運營，根據(jù)場景及成熟度不同進行選擇；另一種則是通過價值流表征的質量效能評估體系發(fā)現(xiàn)風險異常后，再深入剖析識別改進點，形成改進專題，進入改進循環(huán)。兩種方式相輔相成，互相轉化，也是確保質量效能工作發(fā)揮真正價值的有效手段。0505價值流洞察：快速有效識別質量效能風險短板5.15.1DevSecOps質量效能“診療”思路通過價值流表征，我們實現(xiàn)了對DevSecOps質量效能的度量和評估，讓數(shù)據(jù)能夠近乎精準表述作業(yè)，那么如何通過這份“體檢報告”找到“病灶”，并決定是通過“吃藥”還是“手術”來解除“病痛”，這就是5、6兩個章節(jié)所要討論的主要問題，包括“診”“療”兩部分內容。20完備性指標指標集風險冒泡針對性風險洞察評估模數(shù)據(jù)提取點瞄準移動靶型DevSecOps作業(yè)流持續(xù)改進流水線作業(yè)指標管理邏輯結果指標管理過程度量管理指標有效性運營指標生成標簽化質量效能指標庫指標引擎數(shù)據(jù)寬表完備性指標指標集風險冒泡針對性風險洞察評估模數(shù)據(jù)提取點瞄準移動靶型DevSecOps作業(yè)流持續(xù)改進流水線作業(yè)指標管理邏輯結果指標管理過程度量管理指標有效性運營指標生成標簽化質量效能指標庫指標引擎數(shù)據(jù)寬表有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造價值流洞察，快速有效識別質量效能風險短板數(shù)據(jù)改進點數(shù)據(jù)改進點組織能力沉淀組織能力沉淀5.25.2“診”：DevSecOps質量效能風險洞察服務通過風險洞察服務識別關鍵問題根源：建立度量和評估模型預警&風險冒泡規(guī)則，自動識別質量效能短板和問題點。一般方法有基于預警閾值的度量指標風險識別、基于評估模型的雷達圖短板識別、基于鏈路洞察的多維風險識別、基于風險場景的冒泡提示（高風險代碼函數(shù)/二方/三方件、COE案例&最佳實踐）、基于規(guī)則的飛檢風險發(fā)現(xiàn)、基于代碼價值流覆蓋評估預警等等。 洞察 改進 洞察 改進 表征質量效能管理質量效能管理質量效能評估模型質量效能評分趨勢部門風險問題洞察質量效能流分析三層指標下鉆全棧風險冒泡風險多維洞察模型理想狀態(tài)能營使理想狀態(tài)能營使有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造價值流洞察，快速有效識別質量效能風險短板5.35.3“診”：DevSecOps質量效能運營服務通過風險運營服務推送預警風險：風險識別后如何將風險和問題傳遞給對應責任組織/人也是一個關鍵點，這里有兩個途徑，首先是通過分層級分類自動報告、警示函、研發(fā)桌面、改進任務項等驅動日常改進；還有一個途徑就基于決策的運營，管理者介入重大系統(tǒng)性問題風險是組織級改進取得成效的重要因素，通過可視化系統(tǒng)風險報告、高層級會議通報決策，牽動資源，策劃專項改進。組織規(guī)劃業(yè)務目標實際執(zhí)行業(yè)務目標業(yè)務目標運風險運營專項專題SL輪盤轉專項專題SL輪盤轉業(yè)務ST質量效能月報PMTPMTOBP質量策劃質量COE質量COE例會行業(yè)例會COO推廣客滿...專項例會客滿...專項例會硬件賦能宣傳賦能宣傳工具結對試點系列宣傳(郵件、應用號)工具能力直播課Welink工具運營群專家案例評選進展&風險通報進展&風險通報NA客戶預警函風險服務預警函考核&度量牽引各專題月報質量效能周預警風險專題日報0606價值流增值：依托質量效能風險洞察&運營服務實現(xiàn)組織、團隊及個人持續(xù)改進6.16.1質量效能持續(xù)改進簡述識別組織級關鍵質量效能短板，同時對團隊改進舉一反三，最終形成組織質量效能資產(chǎn)，并固化進流程IT、知識等，驅動持續(xù)改進，實現(xiàn)“上醫(yī)治未病，中醫(yī)治欲病，下醫(yī)治已病”。通過質量效能PDCA改進雙循環(huán)，對應風險運營服務推送的兩個途徑，開展分層“治療”，進行系統(tǒng)性組織改進和具體問題個性改進，改進要再入作業(yè)，形成完整閉環(huán)，并持續(xù)積累組織資產(chǎn)（要求、流程、IT、知識案例等），提升組織能力。22滿意商業(yè)環(huán)境客戶利益相關方客戶風險管理體系質量成熟度評估體系效能成熟度評估體系可信Built-IN管理體系全鏈路風險洞察模型管理體系持續(xù)改進能績效評估研發(fā)外包管理體系理體系要求商業(yè)環(huán)境客戶利益相關方1457質量回溯持續(xù)改進APCD立項決策停售決策停服決策云服務持續(xù)規(guī)劃上線OBP立項服務研發(fā)服務下線友好用戶測試服務停售戰(zhàn)略規(guī)劃制定年度業(yè)務計劃與預算管理執(zhí)行與監(jiān)控戰(zhàn)略評估獎項管理KPIOKR戰(zhàn)略管理8XX規(guī)劃戰(zhàn)略解碼【戰(zhàn)略專題】【業(yè)務組合策略及計劃】重點工作戰(zhàn)略舉措2決策支撐質量效能指標庫流程規(guī)范物料資產(chǎn)外包管理質量效能風險控制可視化自動分析預警實時質量策略調整運營使能質量效能在線報告質量效能評估質量效能KPI考核質量度量、晾曬、警示函績效排名質量效能策劃質量效能管理體系改進領導力質量戰(zhàn)略、方針、目標質量政策、規(guī)則、標準質量大會，質量研討質量文化質量激勵、問責業(yè)務目標結果指標過程指標關鍵措施進任務進作業(yè)6持續(xù)規(guī)劃持續(xù)發(fā)布持續(xù)運維持續(xù)運營持續(xù)改進組織能力3服務現(xiàn)網(wǎng)部署結果質量管理現(xiàn)網(wǎng)問題分析客戶質量管理滿意商業(yè)環(huán)境客戶利益相關方客戶風險管理體系質量成熟度評估體系效能成熟度評估體系可信Built-IN管理體系全鏈路風險洞察模型管理體系持續(xù)改進能績效評估研發(fā)外包管理體系理體系要求商業(yè)環(huán)境客戶利益相關方1457質量回溯持續(xù)改進APCD立項決策停售決策停服決策云服務持續(xù)規(guī)劃上線OBP立項服務研發(fā)服務下線友好用戶測試服務停售戰(zhàn)略規(guī)劃制定年度業(yè)務計劃與預算管理執(zhí)行與監(jiān)控戰(zhàn)略評估獎項管理KPIOKR戰(zhàn)略管理8XX規(guī)劃戰(zhàn)略解碼【戰(zhàn)略專題】【業(yè)務組合策略及計劃】重點工作戰(zhàn)略舉措2決策支撐質量效能指標庫流程規(guī)范物料資產(chǎn)外包管理質量效能風險控制可視化自動分析預警實時質量策略調整運營使能質量效能在線報告質量效能評估質量效能KPI考核質量度量、晾曬、警示函績效排名質量效能策劃質量效能管理體系改進領導力質量戰(zhàn)略、方針、目標質量政策、規(guī)則、標準質量大會，質量研討質量文化質量激勵、問責業(yè)務目標結果指標過程指標關鍵措施進任務進作業(yè)6持續(xù)規(guī)劃持續(xù)發(fā)布持續(xù)運維持續(xù)運營持續(xù)改進組織能力3服務現(xiàn)網(wǎng)部署結果質量管理現(xiàn)網(wǎng)問題分析客戶質量管理OBP競爭力規(guī)劃財務目標運營目標商業(yè)設計事件技術地圖產(chǎn)品事件分析COE案例消費積分賽馬云服務成熟度個人能力評估服務間需求協(xié)同云服務概覽過程質量云服務效能云服務可信商業(yè)目標達成運營目標達成關鍵投訴云服務體驗流程運營有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造價值流增值，依托質量效能風險洞察&運營服務實現(xiàn)組織、團隊及個人持續(xù)改進6.26.2“療”：質量效能策劃改進雙循環(huán)團隊/個人改進：針對單點問題在作業(yè)流中通過Ops快速閉環(huán)，并在此基礎上基于快速分析回溯流，舉一反三，形成改進任務進作業(yè)，沉淀知識。系統(tǒng)性組織改進：1、基于日常風險識別，在月度發(fā)布計劃承載質量策劃（關鍵質量效能屬性需求包特性樹+過程度量指標體系），自動出評估報告（指標評估+特性評估）。2、基于共性問題風險識別，開展OBP質量效能策劃，年初拆解內部規(guī)劃需求、結果指標、度量指標、事務分別接入作業(yè)、質量效能指標庫、戰(zhàn)略執(zhí)行管理跟蹤，過程可視風險冒泡，結果自動評估華為云質量效能持續(xù)改進管理體系及PDCA改進環(huán)。高質高效客戶滿意高質高效客戶滿意管理戰(zhàn)略舉措和重點工作管理戰(zhàn)略舉措和重點工作專項改進管理業(yè)務組合預核算管理管理績效運營服務產(chǎn)品績效服務協(xié)同重點工作關鍵事件任務令管理高效運作（決策支撐）組織與能力支撐組織與能力支撐（質量與運營組織/能力建設/知識管理/23華為云DevSecOps質量效能實踐分享華為云DevSecOps質量效能實踐分享07077.17.1華為云DevSecOps質量效能實踐概述前面幾個章節(jié)圍繞“價值流定義、價值流實現(xiàn)、價值流表征、價值流洞察、價值流增值”詳細闡述了華為云在DevSecOps質量效能領域的方法論和理念，本章先從質量視角、效能視角對價值流五分層進行總結回顧，然后選取部分典型實踐來解讀質量效能方法論理念如何在華為云落地。7.27.2華為云DevSecOps質量管理總結華為云DevSecOps質量管理圍繞QCP消除客戶質量落差，Q檢查點消減PONC，基于風險運營的過程&結果質量可視可評估，實現(xiàn)PDCA環(huán)持續(xù)改進及組織能力沉淀固化。24質量評估質量策劃共性問題個性問題質量評估質量策劃共性問題個性問題有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造華為云DevSecOps質量效能實踐分享質量持續(xù)改進（進作業(yè)）質量持續(xù)改進（進作業(yè)）風險運營業(yè)務業(yè)務STPMTPMTOBP質量策劃進展&風險通報進展&風險通報NA客戶預警函風險服務預警函考核&度量牽引各專題月報質量效能周預警風險專題日報工單VOC投訴需求事件Bug質量效能月報專項專題SL輪盤轉行業(yè)例會專項例會COO推廣質量COE例會硬件客滿...賦能宣傳賦能宣傳工具結對試點系列宣傳(郵件、應用號)工具能力直播課Welink工具運營群專家案例評選風險冒泡&自動洞察風險冒泡&自動洞察質量監(jiān)控過程質量成熟度模型指標管理邏輯結果質量成熟度模型組織質量場景發(fā)布計劃質量場景現(xiàn)網(wǎng)包質量場景質量效能指標庫（KPI&度量）測試發(fā)布編碼生產(chǎn)需求設計構建基于指標的質量管理過程質量成熟度模型指標管理邏輯結果質量成熟度模型組織質量場景發(fā)布計劃質量場景現(xiàn)網(wǎng)包質量場景質量效能指標庫（KPI&度量）測試發(fā)布編碼生產(chǎn)需求設計構建L1牽引目標L1牽引目標L2支撐目標的過程度量L2支撐目標的過程度量L3工程活動有效性分析L3工程活動有效性分析特性設計白盒測試底線門禁現(xiàn)網(wǎng)問題現(xiàn)網(wǎng)全景客戶投訴賠償分析問題反復發(fā)生分析特性設計白盒測試底線門禁現(xiàn)網(wǎng)問題現(xiàn)網(wǎng)全景客戶投訴賠償分析問題反復發(fā)生分析現(xiàn)網(wǎng)事件多維分析硬件三維多路徑追溯代碼Clean缺陷管理例外管理現(xiàn)網(wǎng)微服務包版本現(xiàn)網(wǎng)問題函數(shù)流轉追溯數(shù)據(jù)探針數(shù)據(jù)探針質量控制持續(xù)規(guī)劃發(fā)布計劃持續(xù)設計持續(xù)開發(fā)&構建持續(xù)測試持續(xù)發(fā)布部署上線持續(xù)運維&運營持續(xù)運維&運營設計落差與需求理解不正確或設計不滿足設計落差與需求理解不正確或設計不滿足期望有關(設計)QCP1發(fā)布計劃基線1.OBP規(guī)劃分解2.可信及DFX落管道3.質量策劃(含可信)QCP2生產(chǎn)準入自動抬桿1.生產(chǎn)發(fā)布門禁(含開源、漏洞、測試等)2.遺留DI3.合規(guī)檢查4.ICSL稽查一致性落差系統(tǒng)實現(xiàn)與系統(tǒng)設計、客戶權益不一致(交付)設計評審1.可信實施策略評審設計評審1.可信實施策略評審2.架構設計評審3.特性設計評審4.測試策略評審5.測試設計評審測試評估1.測試報告2.專項評估(安1.代碼Review全、DFX、可全、DFX、可用、用戶體驗、資料等)3.構建門禁4.合規(guī)門禁5.DT門禁(含UT、API等)質量理念設計落差一致性落差客戶期望承諾給客戶的客戶獲得的客戶權益開發(fā)測試上網(wǎng)10倍缺陷成本法則-流水線Q檢查點設計落差一致性落差客戶期望承諾給客戶的客戶獲得的客戶權益開發(fā)測試上網(wǎng)10倍缺陷成本法則-流水線Q檢查點 質量落差-2個QCP控制7.37.3華為云DevSecOps效能管理總結通過效能成熟度評估對組織DevSecOps效能開展水平進行定級，識別未來一段時間提升方向及目標?？紤]到各行業(yè)產(chǎn)品交付的差異化，綜合普適性和有指導意義，華為云DevSecOps效能成熟度評估模型圍繞價值流5V模型開展梳理，形成五級效能成熟度模型：入門級：價值流標準化、流程化，有完備清晰的DevSecOps價值流定義，并在產(chǎn)品交付中遵從，要點是流程無斷點、非開環(huán)。25有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造華為云DevSecOps質量效能實踐分享基礎級：DevSecOps交付自動化、IT化，基于價值流定義，具備E2E產(chǎn)品交付工具鏈，能實現(xiàn)快速上線，要點是工具鏈無縫銜接，交付效率滿足業(yè)務訴求。進階級：效能評估數(shù)據(jù)化、模型化，通過對作業(yè)數(shù)據(jù)指標化、數(shù)字化建模有效表征產(chǎn)品交付過程。要點是具備效能數(shù)字化評估的有效性、一致性，具備初步的數(shù)據(jù)分析改進能力。高階級：效能風險洞察服務化，具備圍繞價值流全棧能力效率短板洞察和預警能力，并能驅動產(chǎn)品交付效率瓶頸點改進。要點是自動識別短板、風險冒泡預警、團隊級效能改進。專業(yè)級：具備效能組織級持續(xù)改進，識別組織級關鍵效能短板，同時對團隊改進舉一反三，并最終形成組織效能資產(chǎn)，并沉淀進流程IT、知識等，驅動持續(xù)改進。專業(yè)級高階級同時對團隊改進舉一反三，并最終率短板洞察和預警能力，并能驅動產(chǎn)品交付效率瓶頸點改進。進階級組織效能資產(chǎn)沉淀進流程IT、知識等，驅動持續(xù)改進。進階級基礎級字化建模有效表征產(chǎn)品交付過程。基礎級字化建模有效表征產(chǎn)品交付過程。警、團隊級效能改進。入門級入門級定義：基于價值流定義，具備E2E產(chǎn)品交付工具鏈，能實現(xiàn)快速上線。滿足業(yè)務訴求。滿足業(yè)務訴求。定義：有完備清晰的DevSecOps價值流定義，并在產(chǎn)品交付中遵從。不同于效能成熟度的一次性/低頻評估，效能度量診斷是通過對作業(yè)流效能的持續(xù)不間斷的分析洞察和短板改進，驅動團隊效能提升在平時。華為云以關鍵能力使能效率，基于人機料法環(huán)五要素展開效能洞察，基于效能度量診斷驅動業(yè)務、流程&IT、組織、人員效率提升，實現(xiàn)整體效能持續(xù)改善。26效能度量診斷效能五維分解作業(yè)效能效能度量診斷效能五維分解作業(yè)效能有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造華為云DevSecOps質量效能實踐分享效能度量診斷模型五維度量分析三層指標下鉆五維度量分析三層指標下鉆二分離（度量/牽引）趨勢分析洞察分析趨勢分析洞察分析效能流分析效能成熟度評估效能成熟度評估組織效率流程效率業(yè)務效率工具效率人員效率需求TTM需求TTM需求及時答復率承諾需求及時上線率需求數(shù)量服務平均上線時長缺陷階段攔截占比代碼量統(tǒng)計服務平均上線時長缺陷階段攔截占比代碼量統(tǒng)計回歸不通過構建包發(fā)布上線E2E周期自動化測試比例變更頻率事件及時恢復率現(xiàn)網(wǎng)問題及時解決率變更失敗率變更頻率事件及時恢復率現(xiàn)網(wǎng)問題及時解決率變更失敗率監(jiān)控告警發(fā)現(xiàn)故障率流程卡點數(shù)量卡點自動化率流程卡點數(shù)量卡點自動化率卡點自動化率流程卡點數(shù)量卡點自動化率流程卡點數(shù)量卡點自動化率流程卡點數(shù)量卡點自動化率流程卡點數(shù)量需求管道占比高價值需求實現(xiàn)率需求管道占比高價值需求實現(xiàn)率需求類型分析低價值需求分析人工等待時長平均變更等待時長問題單掛起比例/時長事件單掛起比例/時長平均變更等待時長問題單掛起比例/時長事件單掛起比例/時長告警處理及時性規(guī)劃IT規(guī)劃IT支撐度規(guī)劃IT支撐滿意度規(guī)劃IT支撐效率持續(xù)開發(fā)IT持續(xù)開發(fā)IT支撐度持續(xù)開發(fā)IT滿意度持續(xù)開發(fā)IT支撐效率工具變更比率告警有效率工具變更比率告警有效率需求工作量設計文檔統(tǒng)計測試效率代碼缺陷密度設計文檔統(tǒng)計測試效率代碼缺陷密度MR成功率開發(fā)代碼量發(fā)布計劃準點率現(xiàn)網(wǎng)問題及時解決OBPOBP規(guī)劃需求接納需求規(guī)劃市場/客戶/自規(guī)劃持續(xù)規(guī)劃持續(xù)發(fā)布部署&變更管理持續(xù)設計持續(xù)開發(fā)持續(xù)構建持續(xù)測試持續(xù)發(fā)布部署&變更管理持續(xù)設計持續(xù)開發(fā)持續(xù)構建持續(xù)測試持續(xù)監(jiān)控告警管理事件管理問題管理持續(xù)開發(fā)與上市持續(xù)運維快速交付快速交付(TTM)積極響應使諾必達SOFTWAREDEVELOPMENTSERVICESOFTWAREDEVELOPMENTSERVICEOPERATIONPERFORMANCEMETAICSSOFTWARESOFTWAREDEPLOYMENT 現(xiàn)網(wǎng)可用 現(xiàn)網(wǎng)可用及時發(fā)現(xiàn)及時恢復及時解決7.47.4實踐一：構建華為云DevSecOps質量效能數(shù)字化評估模型步驟一步驟一：通過指標引擎實現(xiàn)數(shù)據(jù)寬表快速生成指標指標生成的主要痛點：固化的指標看板不能滿足多變的數(shù)據(jù)應用場景：基于不同應用場景，指標口徑多變。數(shù)據(jù)分析的兩難：手動分析數(shù)據(jù)分析周期長，工作量大；通過看板自動分析投入產(chǎn)出不高。數(shù)據(jù)定義和數(shù)據(jù)實現(xiàn)兩張皮，指標生成過程漫長割裂，所見非所得。27有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造華為云DevSecOps質量效能實踐分享基于寬表的典型指標模板化，關鍵字段過濾條件自定義，適應各種指標口徑數(shù)據(jù)及時獲取。指標即代碼，質量效能指標通過指標流水線生成并基線，納入指標庫。指標全生命周期可視，所見即所得，解決指標字典與指標實現(xiàn)不同步常見問題。 BeforeNow 步驟二：構筑質量效能指標庫支撐價值流全鏈路表征在步驟一中快速生成的指標會納入到質量效能指標庫統(tǒng)一管理，同時按照價值流全鏈路分解展開，形成對DevSecOps價值流質量效能的全面表征，各部門/團隊可以根據(jù)自身業(yè)務特點擴展表征指標集以及指標自動告警推送閾值。【交付過程指標表征】【質量效能指標庫】指標持續(xù)更新2829交付關聯(lián)用例的特性占比需求 需求Alpha特性關聯(lián)設計文檔比例特性設計文檔評審比例設計評審評審無檢視/自提檢視MR占比代碼合入保障率Committer審核拒絕率代碼用例 Beta過程質量評估 編碼測試白盒測試用例通過率全量代碼行覆蓋率全量代碼分支覆蓋率 預發(fā)檢查編碼與缺陷檢查結果達標率靜態(tài)開源安全合規(guī) 構建發(fā)布測試撥測測試通過率在線生產(chǎn)變更失敗率 變更交付關聯(lián)用例的特性占比需求 需求Alpha特性關聯(lián)設計文檔比例特性設計文檔評審比例設計評審評審無檢視/自提檢視MR占比代碼合入保障率Committer審核拒絕率代碼用例 Beta過程質量評估 編碼測試白盒測試用例通過率全量代碼行覆蓋率全量代碼分支覆蓋率 預發(fā)檢查編碼與缺陷檢查結果達標率靜態(tài)開源安全合規(guī) 構建發(fā)布測試撥測測試通過率在線生產(chǎn)變更失敗率 變更有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造華為云DevSecOps質量效能實踐分享步驟三：質量成熟度評估維度模型（示例指標）步驟三：質量成熟度評估維度模型（示例指標）為了更好在組織層面牽引質量和效能，在步驟二的基礎上選取充分必要指標形成質量/效能的成熟度評估模過程質量成熟度評估模型：用例用例 設計用例用例發(fā)布發(fā)布TTM需求一線需求TTM需求吞吐量（流速率）一線需求開發(fā)TTMOBP對標需求及時上線率一線需求及時答復率需求及時答復率需求開發(fā)TTM需求按時交付率流效率需求顆粒度需求變更率 需求 測試APIFirstDevSecOps效能指標體系特性關聯(lián)設計文檔比例特性設計文檔評審比例ServiceOnService十統(tǒng)一規(guī)范滿足度TTM需求一線需求TTM需求吞吐量（流速率）一線需求開發(fā)TTMOBP對標需求及時上線率一線需求及時答復率需求及時答復率需求開發(fā)TTM需求按時交付率流效率需求顆粒度需求變更率 需求 測試APIFirstDevSecOps效能指標體系特性關聯(lián)設計文檔比例特性設計文檔評審比例ServiceOnService十統(tǒng)一規(guī)范滿足度變更 設計部署頻率代碼量代碼提交頻率代碼合并頻率檢視代碼行檢視問題密度構建頻率構建時長構建成功率部署時長部署成功率 生產(chǎn)有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造華為云DevSecOps質量效能實踐分享效能成熟度評估模型：缺陷解決率缺陷解決率測試用例數(shù)量測試自動化率回歸不通過率自動化測試執(zhí)行時長Alpha環(huán)境缺陷攔截占比Beta環(huán)境缺陷攔截占比預發(fā)環(huán)境缺陷攔截占比缺陷缺陷TTR服務變更頻次失敗率服務工具變更比例發(fā)布發(fā)布構建包發(fā)布上線E2E時長服務上線時長（首Region）服務上線時長（首Region去掉人工卡點）置時長變更前置時長 開發(fā)監(jiān)控告警發(fā)現(xiàn)故障比例P3以上事件及時恢復率現(xiàn)網(wǎng)事件 恢復時長公有云現(xiàn)網(wǎng)問題及時解決率30事件及時恢復率降低，系統(tǒng)預警事件及時恢復率降低，系統(tǒng)預警一線需求答復不及時，系統(tǒng)預警需接納后排隊時間過長，系統(tǒng)預警有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造華為云DevSecOps質量效能實踐分享 步驟四：基于評估模型的質量效能管理樣例按照質量效能成熟度模型，根據(jù)算法規(guī)則按照趨勢和部門維度進行管理評分，用以牽引能力提升，同時作為風險短板識別，深入洞察的輸入。7.57.5實踐二：基于質量效能管理模型洞察&運營價值流風險 步驟一：作業(yè)流數(shù)據(jù)狀態(tài)燈及風險環(huán)節(jié)識別對于趨勢/部門評分出現(xiàn)異常時，需要按照周期/組織維度展開流分析，在流分析中識別異常環(huán)節(jié)，并對異常環(huán)節(jié)進行風險提示。作業(yè)流環(huán)節(jié)數(shù)據(jù)出現(xiàn)異常，系統(tǒng)自動告警需求規(guī)劃周期過長需求規(guī)劃周期過長有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造華為云DevSecOps質量效能實踐分享需求接納后，規(guī)劃需求接納后，規(guī)劃排隊時間過長 步驟二：華為云DevSecOps質量效能風險環(huán)節(jié)要素洞察模型對識別出的風險環(huán)節(jié)則需要通過多維風險要素對其進行洞察分析，識別關鍵路徑并風險冒泡。在日常質量效能數(shù)據(jù)分析中，尋找關鍵瓶頸點經(jīng)常事倍功半，問題追溯鏈路長路徑多，每次都需要在不斷的數(shù)據(jù)分析摸索中抽絲剝繭，如果靠人力意味著巨大的分析工作量，如果期望用工具則意味著不斷延伸積累的各類看板，缺乏靈活性和可觀測性，對投入產(chǎn)出亦是巨大挑戰(zhàn)，同時數(shù)據(jù)與作業(yè)割裂，是一個開環(huán)系統(tǒng)，不利于組織持續(xù)改進和能力提升。華為云通過實踐對多維度線索追蹤，識別關鍵路徑因素，冒泡風險進作業(yè)，沉淀經(jīng)驗&知識，持續(xù)改進優(yōu)化業(yè)務流，達成較好改進效果。以需求TTM實現(xiàn)周期長短為分析對象，首先定義影響需求TTM的維度并建模（為提高分析效果實現(xiàn)多維度可編排、關鍵路徑標定、關鍵路徑節(jié)點風險下鉆/趨勢分析），如需求類型、需求價值分層、需求處理階段、需求責任團隊、需求處理時長等維度，遍歷多維度全路徑，按照權值對關鍵效率瓶頸點冒泡，自動流轉進流水線作業(yè)任務，分析問題點并加以改進，同時積累沉淀組織級場景模式庫并用于指導后續(xù)設計?？蜐M分析質量分析......項目分析營收分析人力分析費用分析應用場景客滿分析質量分析......項目分析營收分析人力分析費用分析效能分析改進評估風險識別數(shù)據(jù)分析數(shù)據(jù)治理數(shù)字化分析改進評估全路徑改進評估關鍵路徑風險自動冒泡洞察全路徑風險窮舉信息作業(yè)流進任務任務分發(fā)分析改進閉環(huán)閉環(huán)嵌套分析模型關鍵路徑標定路徑風險趨勢/下鉆二維......N維場景模式數(shù)據(jù)源2......數(shù)據(jù)源N嵌套分析模型關鍵路徑標定路徑風險趨勢/下鉆二維......N維場景模式數(shù)據(jù)源2......數(shù)據(jù)源N流轉分析模型多維編排一維數(shù)據(jù)寬表數(shù)據(jù)治理數(shù)據(jù)源1數(shù)據(jù)采集場景模式庫進作業(yè)設計開發(fā)驗證發(fā)布上線3233改進進作業(yè)流客戶反饋產(chǎn)品能力組織能力沉淀專家積分能力評估任職資格人員能力提升聲音分析進需求事件回溯指標衡量進任務改進進作業(yè)流客戶反饋產(chǎn)品能力組織能力沉淀專家積分能力評估任職資格人員能力提升聲音分析進需求事件回溯指標衡量進任務有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造華為云DevSecOps質量效能實踐分享 步驟三：對洞察出的質量效能全鏈路風險冒泡并IT化運營，讓價值流RUN起來通過風險洞察我們找到了關鍵問題點，一方面通過中高層、基層自動化報告觸發(fā)領導層關注、基層風險及時識別，同時通過IT話自動運營分發(fā)把具體問題推送給當前責任人，并進入改進作業(yè)，雙管齊下運營驅動?！举|量效能分層實時可視洞察】【IT化自動運營分發(fā)（Welink、OutLook、IDE）】7.67.6實踐三：持續(xù)改進雙向雙循環(huán) 步驟一：梳理華為云DevSecOps質量效能持續(xù)改進框架（2+2）持續(xù)改進雙向閉環(huán)：面向作業(yè)流的改進閉環(huán)，面向能力沉淀的改進閉環(huán)。持續(xù)改進雙循環(huán)：組織級改進循環(huán)（組織分層）、團隊/個人改進循環(huán)。DevSecOps質量效能公共專項產(chǎn)品部OBP質量策劃基于發(fā)布計劃的產(chǎn)品質量改進組織改進持續(xù)改進流持續(xù)改進流技術改進地圖團隊/個人改進Ops驅動改進（需求、問題、任務）DevSecOps作業(yè)流DevSecOps作業(yè)流34有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造華為云DevSecOps質量效能實踐分享步驟二：組織級質量效能改進步驟二：組織級質量效能改進PDCA環(huán)三橫三縱邏輯展開（策劃-進作業(yè)-評估）云服務產(chǎn)品部/服務產(chǎn)品部組織OBP質量策劃，年初拆解內部規(guī)劃需求、結果指標、度量指標、事務分別接入作業(yè)、質量效能指標庫、戰(zhàn)略執(zhí)行管理跟蹤，過程可視風險冒泡，結果自動評估。云服務基于發(fā)布計劃承載質量策劃（關鍵質量屬性需求包特性樹+過程度量指標體系），自動出評估報告（指標評估+特性評估）。流程SPBPOBP對標質量策劃策劃SPBPOBP對標質量策劃OBP立項執(zhí)行評估質量策略執(zhí)行&監(jiān)控預警OBP審視質量策略執(zhí)行&監(jiān)控預警OBP審視OBP結項質量評估OBP結項質量評估作業(yè)不可衡量可衡量客觀有效性關鍵舉措分解分解過程度量分解關鍵結果結果指標評估模型不可衡量可衡量客觀有效性關鍵舉措分解分解過程度量分解關鍵結果結果指標評估模型進任務進任務階段風險管理主觀評價與布署發(fā)部務服服務測試續(xù)持服務構建計設務服服發(fā)開務服進需求規(guī)劃服務研發(fā)友好用戶測試公測服務停售服務下線指標衡量規(guī)劃務構建與布署發(fā)部務服服務測試續(xù)持服務構建計設務服服發(fā)開務服進需求規(guī)劃服務研發(fā)友好用戶測試公測服務停售服務下線指標衡量規(guī)劃務構建商用質量效能指標庫客觀評價工具可視E2E可視化(策劃、監(jiān)控執(zhí)行&風險預警、結果自動評估) 步驟三：團隊/個人持續(xù)改進流及技術能力地圖為保證組織級持續(xù)有效開展，減少大量無效的手工分析工作量，實現(xiàn)產(chǎn)品問題的聚類及關鍵共性問題自動提取，華為云統(tǒng)一構建了問題/事件技術根因樹，通過機器學習一次自動默認分類，二次人工校準，形成產(chǎn)品部事件問題分類全景圖，支撐產(chǎn)品研發(fā)快速分析改進。目產(chǎn)品事件分析流產(chǎn)品技術根因樹（歸因）產(chǎn)品技術根因樹（歸因） 服務產(chǎn)品部月度校準 分層/同比/環(huán)比自動風險識別IT工具承載流 ML大數(shù)據(jù)分類標記 事件持續(xù)改進電子流 產(chǎn)品事件分類全景視圖35有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造華為云DevSecOps質量效能實踐分享通過風險洞察我們找到了關鍵問題點，一方面通過中高層、基層自動化報告觸發(fā)領導層關注、基層風險及時識別，同時通過IT話自動運營分發(fā)把具體問題推送給當前責任人，并進入改進作業(yè)，雙管齊下運營驅動。構建云服務產(chǎn)品類事件持續(xù)改進流。通過P事件實時同步、改進過程流程化/結構化、改進措施進入作業(yè)流以及改進報告一鍵生成等能力，提供了輕量、便捷和高效的質量持續(xù)改進流程，提升持續(xù)改進的運作效率和統(tǒng)一現(xiàn)網(wǎng)事件技術根因分類樹，結合機器學習算法實現(xiàn)自動一次分類，QEA組織二次校準，形成事件全景圖，通過多維度自動對比對重點風險改進項，牽引云服務持續(xù)改進。各產(chǎn)品部組建持續(xù)改進小組，構筑組織級負向改進能力。QEA組織負向分析現(xiàn)網(wǎng)事件，并促進改進措施閉環(huán)，推動負向改進案例消費。步驟四：持續(xù)改進組織及人員能力建設步驟四：持續(xù)改進組織及人員能力建設黑格爾說過：“人類從歷史中學到的唯一教訓，就是人類無法從歷史中學到任何教訓”，因為那段歷史發(fā)生在了別人身上，只有我們感受到了其中的切膚之痛，于是開始調整行為，就像孩子要被燙過一次才懂得遠離火焰一樣。這份疼痛常常要親歷，才足夠猛烈到促成改變。如何避免重蹈覆轍，讓問題不重犯，舉一反三，減COE作為一種有效的業(yè)務改進的方式，目的在于研發(fā)團隊可以找到問題背后深層次的技術和管理根因，制訂有效的糾正和預防措施并快速實施，從而在源頭上進行根治和預防，徹底杜絕同類問題再次發(fā)生，并且積累沉淀為知識庫經(jīng)驗用以分享和傳承。36有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造華為云DevSecOps質量效能實踐分享華為云通過打造統(tǒng)一完整的COE作業(yè)流平臺，將質量工具方法、會議評審IT化，通過COE作業(yè)流平臺，讓每個員工知道針對什么問題，在什么地方、怎么做COE回溯，并如何改進，從而持續(xù)提升COE分析和改進的能力；通過COE分析作業(yè)流，實現(xiàn)COE報告自動輸出，并持續(xù)沉淀為組織資產(chǎn)，避免COE分析結果碎片化、零散化，無法隨取隨用；通過引入大數(shù)據(jù)智能分析算法，實現(xiàn)共性和典型問題的及時預警，和改進措施的自動推薦，避免類似問題重犯。COE案例發(fā)揮價值的關鍵點在于如何實現(xiàn)有價值的總結和有結果的消費，為此華為云引入了專家積分評估模型，綜合了案例輸出&消費、方案評審、代碼檢視等維度，牽引專家員工貢獻高質量的案例，鼓勵學習他人案例后能生成任務項改進自身工作，同時提升對方案、代碼的評審參與度及價值。持續(xù)改進案例庫持續(xù)改進案例庫9999+篇主動改進案例持續(xù)運營優(yōu)秀案例評選/宣傳：9999+篇優(yōu)秀個人評選/宣傳：9999+人優(yōu)秀團隊評選/宣傳：9999+個專家積分總積分：9999+人均積分：9999+P3+事件9999+篇現(xiàn)網(wǎng)事件回溯基于主動改進案例、現(xiàn)網(wǎng)關鍵問題歷史經(jīng)驗教訓，從根因歸類、根因服務和故障模式三種視圖提供通用持續(xù)改進案例，鼓勵團隊經(jīng)驗總結并分享，建立持續(xù)改進氛圍，幫助橫向分析和排查共性問題。結合故障案例庫，牽引前端設計評審、過程代碼檢視、后端案例貢獻及消費，生產(chǎn)和消費活動轉換為“專家積分”，對案例輸出達人、優(yōu)秀團隊、優(yōu)秀學習個人持續(xù)評選宣傳，并納入專家任職資格標準，加強質量效能改進文化和能力建設。7.77.7實踐四：華為云DevSecOps質量效能評估 場景一：基于作業(yè)的團隊及個人能力評估示例為有效評估團隊及個人能力，華為云通過洞察業(yè)界，結合華為云業(yè)務特點，構建DevSecOps團隊及個人績效五步法，瞄準高效能團隊構建，牽引團隊和個人實現(xiàn)能力、責任、貢獻、專業(yè)、協(xié)同五維提升，以能力構建為例，梳理并應用團隊能力評估模型、個人能力評估模型：團隊能力評估模型：包含團隊模型、持續(xù)部署、持續(xù)集成、可信構建和發(fā)布、質量控制、工程效率、標個人能力評估模型：工作產(chǎn)出、工作質量、工作效率、個人能力。工作產(chǎn)出工作質量工作效率個人能力需求交付|代碼產(chǎn)出|測試|生產(chǎn)部署代碼質量|測試質量|部署質量生產(chǎn)流水線質量|變更質量工作產(chǎn)出工作質量工作效率個人能力需求交付|代碼產(chǎn)出|測試|生產(chǎn)部署代碼質量|測試質量|部署質量生產(chǎn)流水線質量|變更質量|問題單質量代碼效率|生產(chǎn)流水線發(fā)布效率|需求單效率變更效率|問題單效率開發(fā)能力|構建能力|測試能力灰度策略使用能力|掃描能力|部署能力個人能力評估有質量的效率有效率的質量使能企業(yè)價值創(chuàng)造華為云DevSecOps質量效能實踐分享對他人貢獻借助他人幫助做的更好專家積分、專業(yè)回饋戰(zhàn)略目標承重（對