測試部門通過持續(xù)集成的破局之路TBD

測試部門通過持續(xù)集成的破局之路甘暉@阿里游戲項目背景多團隊協(xié)同功能繁復(fù)迎合市場節(jié)奏

壓縮開發(fā)周期原開發(fā)流程需求開發(fā)合并測試灰度發(fā)布需求PK需求評審設(shè)計評審編碼研發(fā)自測拉取主干代碼合并系統(tǒng)測試專項測試發(fā)布性驗證Bugfix驗證指標合并主干版本發(fā)布原開發(fā)流程需求開發(fā)合并測試灰度發(fā)布需求PK需求評審設(shè)計評審編碼研發(fā)自測拉取主干代碼合并系統(tǒng)測試專項測試發(fā)布性驗證Bugfix發(fā)布指標合并主干版本發(fā)布代碼沖突依次阻塞測試消耗結(jié)果滯后運維消耗難以排查慘狀功能回歸需3人日6輪回歸線上問題比例12%核心指標跳水不是正在回滾就是在回滾的路上時間不可控質(zhì)量不可控解決思路提交代碼構(gòu)建測試反饋改進品質(zhì)并減少風(fēng)險化整為零分而治之持續(xù)集成ContinuousIntegration解決思路進一步編譯代碼構(gòu)建測試部署灰度/發(fā)布反饋改進品質(zhì)并減少風(fēng)險快速驗證快速反饋持續(xù)交付ContinuousDelivery持續(xù)交付

實施措施代碼管理自測通過方可提交日合主干構(gòu)建自動構(gòu)建靜態(tài)測試測試自動化測試功能體驗灰度發(fā)布一鍵部署平滑灰度數(shù)據(jù)收集反饋自動化工具/測試是持續(xù)集成的基礎(chǔ)持續(xù)構(gòu)建本地自測每日提交及時合并觸發(fā)構(gòu)建拉取編譯檢查反饋質(zhì)量生成部署包持續(xù)集成利器Jenkins持續(xù)構(gòu)建最佳實踐分而治之小步快跑持續(xù)測試自動化，讓測試高頻、低成本地持續(xù)進行代碼編譯靜態(tài)檢查服務(wù)部署運行自動化功能專項測試內(nèi)部體驗持續(xù)測試最佳實踐UI測試自動提交bug數(shù)據(jù)收集反饋功能測試流程自動化測試專項指標測試服務(wù)層測試接口自動化測試數(shù)據(jù)檢查代碼層測試自動構(gòu)建靜態(tài)代碼掃描白盒測試代碼層測試服務(wù)層測試功能測試觸發(fā)測試工具觸發(fā)功能自動化測試匯總測試結(jié)果持續(xù)發(fā)布持續(xù)集成持續(xù)交付數(shù)據(jù)采集一鍵部署/平滑發(fā)布灰度控制系統(tǒng)名字服務(wù)調(diào)度立體化分層監(jiān)控業(yè)務(wù)指標報表用戶行為收集編譯構(gòu)建自動化測試審查評估反饋達標用戶自動化是持續(xù)發(fā)布的基石持續(xù)交付交付是DevOps的核心能力持續(xù)反饋持續(xù)反饋反饋是PDCA的下一個開始實施方案雙重持續(xù)交付主干分支1拉取主干2

分支持續(xù)交付4

合入主干5主干持續(xù)交付3分支灰度通過缺陷難以收斂發(fā)現(xiàn)bug滯后回歸工作量大合并效率低質(zhì)量不可評估完成度未知指標無法收集破局效果如期高效高質(zhì)發(fā)布質(zhì)量線上問題：-33%核心指標：穩(wěn)定更好發(fā)布效率如期發(fā)布：80%測試周期：-30%更高交付成本業(yè)務(wù)運維：6

->0.5部署時間：15->1回滾次數(shù)：5->0更低實踐小結(jié)目標發(fā)布時間發(fā)布質(zhì)量資源消耗方案工程化持續(xù)交付關(guān)鍵行為自動化雙重灰度數(shù)據(jù)反饋結(jié)果如期高質(zhì)高效破局的思考專業(yè)化（技術(shù)反哺業(yè)務(wù)）數(shù)據(jù)化（提