手機客戶端多級發(fā)布體系及云分析測試系統(tǒng)

1、移動客戶端多級發(fā)布體系及云分析測試系統(tǒng)目錄? 移動應用現(xiàn)狀? 移動應用質量保障的挑戰(zhàn)? 趕集網移動應用質量保障體系? 整體架構及應用流程? 關鍵系統(tǒng)介紹移動設備碎片化操作系統(tǒng)多重長尾來自于趕集的數(shù)據3401廠商20370型號416分辨率燒錢的時代用戶獲取成本高昂質量關鍵指標62%遭遇過crash47%遇到過加載慢26%因質量問題差評79%首次使用卸載O2O產品特性地理位置支付快速發(fā)布流程場景開發(fā)代碼提交手工打包測試發(fā)布?代碼及工程缺陷?前后端聯(lián)調困局傳統(tǒng)的質量保障流程?開發(fā)成為流程關鍵路徑?開發(fā)資源占用?人為缺陷?流程效率瓶頸?測試方法低效單一?非功能質量缺陷?人工發(fā)布?線上監(jiān)控缺失?用戶反饋

2、收集成本較高移動應用質量保障的挑戰(zhàn)節(jié)奏變快，壓力變大需求及市場運營層面對研發(fā)體系提出了更高的要求 難度及成本增加劇增的終端設備、系統(tǒng)類型，使得非功能測試的成本及難度都成倍增加 復雜度增加相對于傳統(tǒng)的移動應用，O2O 的應用場景使得功能測試的復雜度增加項目功能非功能無線質量保障分層體系測試流程自動化線上質量服務接口自動化API AUTOMATION核心功能自動化UI AUTOMATION灰度數(shù)據分析GRAY RELEASED穩(wěn)定性測試STABILITY性能測試PERFORMANCE兼容性測試COMPATIBILITY第三方服務CLOUD3rdPartyService Provider非功能性自動

3、化線上質量分析QUALITY ANALYSIS BigDataService線上缺陷監(jiān)控ONLINE MONITORCloudMonitor Service功能性自動化構建中心持續(xù)集成測試打包缺陷檢測渠道打包流程控制渠道包校驗敏捷支持自動發(fā)布缺陷管理架構拓撲圖Svn/gitcheck indaily buildbuild靜態(tài)掃描負載均衡&任務隊列Android集群ios集群渠道&證書維護測試包處理渠道包校驗Device masterApi提交集群dbhadoop集群實時統(tǒng)計離線統(tǒng)計反解混淆分析平臺任務調度Case中心測試回歸線上監(jiān)控Open api訂閱服務策略服務分析服務報警服務接口維護&訂閱

4、接口測試框架在線調試Case維護線上監(jiān)控線上監(jiān)控測試回歸jira度量分析接口自動化平臺編譯配置sdk植入編譯打包信息存儲構建中心持續(xù)集成質量跟蹤離線聚合線上監(jiān)控平臺SDK平臺功能&非功能自動化平臺缺陷報告設備中心穩(wěn)定性報告性能報告功能報告包驗證報告質量&效率報告平臺間數(shù)據流平臺內數(shù)據流線下bug數(shù)據流線上問題數(shù)據流質量報告數(shù)據流 30% 1 /5 600% 90 21%功能性bug分層體系下的流程實踐 開發(fā) Story測試 集成測試 內測/灰度 發(fā)布 一鍵內測/灰度 灰度質量報告 自動發(fā)布 接口 自動化 接口測試前置 服務端bug 缺陷掃描 bug 次構建 準入測試(70%自動化)45%提測質

5、量提升 測試包推送效率提升 STORY功能驗證73%功能性bug專項自動化測試89%非功能性bugUI 自動化 核心功能自動化回歸 min1次提測 集成功能驗證 4%功能性bug11%非功能性bug線上監(jiān)控95%質量報告線上問題構建中心?測試包推送?灰度、渠道包自動驗證流程支持編譯?混淆文件關聯(lián)?代碼版本信息關聯(lián)?SDK套件植入及狀態(tài)配置?測試包推送自動化測試平臺SDK測試套件2.13人天/版本?工程缺陷檢測?釋放打包人力?一鍵內測/灰度?iOS內測解決方案500%效率提升?渠道維護?自動發(fā)布存儲400%效果提升40+小時/版本非功能自動化方案 穩(wěn)定性提升82%兼容問題減少30%性能提升75%SDKStory測試集成測試灰度發(fā)布線上tag開關功能功能 monkey用戶用戶非功能自動化之crash分析服務(1)混淆文件代碼信息構建中心分析平臺Story測試報告集成測試報告灰度監(jiān)控、標準判斷、報告線上監(jiān)控、報告Bug系統(tǒng)監(jiān)控系統(tǒng)? 線上監(jiān)控實時? 線上概覽實時實時計算非線上數(shù)據指標統(tǒng)計數(shù)據列表數(shù)據? 問題宏觀統(tǒng)計? 問題定位效率? 問題發(fā)展趨勢離線計算混淆堆棧反解堆棧特征聚合指標數(shù)據趨勢場景統(tǒng)計聚合? 性能&數(shù)據均衡分析平臺控制系統(tǒng)數(shù)據項開關用戶精準控制非功能自動化之crash分析服務(2)