終端自動(dòng)化測試探索之路

1、魅族終端自動(dòng)化測試探索之路技術(shù)創(chuàng)新 變革未來摘要 MEIZU Android自動(dòng)化測試系統(tǒng)通過對測試框架的反思擴(kuò)展和對測試流程的提煉優(yōu)化，用平臺(tái)打破了固件、設(shè)備（手機(jī)測試儀器）、測試腳本、測試報(bào)告 等各項(xiàng)資源間的隔離，構(gòu)建了一個(gè)完整、易擴(kuò)展、可配置的自動(dòng)化測試體系。 在方便自動(dòng)化測試的同時(shí)，也為其他非測試人員提供了一個(gè)了解項(xiàng)目質(zhì)量概況的捷徑，為自動(dòng)化測試在整個(gè)部門的普及與規(guī)范節(jié)約了大量的成本。魅族終端自動(dòng)化測試案例特點(diǎn) 一套完整的自動(dòng)化測試系統(tǒng)，MEIZU全機(jī)型自動(dòng)化測試覆蓋。 UiAutomation、Instrumentation、Monkey穩(wěn)定性測試、OTA升級(jí)、RECOVERY互刷、

2、單元測試自動(dòng) 調(diào)度、固件基礎(chǔ)性能、安全掃描和專項(xiàng)測試。 WIFI / USB / 串口等方式調(diào)度任務(wù)。 云測平臺(tái)（ATS）打通了與終端的通訊、提供了報(bào)告的收集與整合、測試代碼的質(zhì)量管控，以及提 供了內(nèi)部眾測的問題反饋渠道和項(xiàng)目管理等功能。成果ATSUIpm眾測專項(xiàng)MonkeyOTA安全Recovery單元測試Case 覆蓋低CASE 質(zhì)量差固件迭代快機(jī)型多缺少統(tǒng)一調(diào)度任務(wù)類型多無專項(xiàng)自動(dòng)化固件升級(jí)引入案例來源業(yè)界有沒有解決的方法 業(yè)界有很多出色的云測平臺(tái)，但是魅族需要的是適合手機(jī)廠商、適合自身業(yè)務(wù)和測試流程的整套測試系統(tǒng)。業(yè)界的辦法不適用 業(yè)界提供的云測服務(wù)更多聚焦在應(yīng)用方面，而魅族的自動(dòng)化測

3、試是從應(yīng)用到固件全覆蓋的。而且定制化需求高，機(jī)型信息需要保密等原因。引入案例來源測試框架平臺(tái)開發(fā)Android源碼Java、PythonJavaScript、C+Android結(jié)合業(yè)務(wù)平臺(tái)化產(chǎn)品化培訓(xùn)技術(shù)支持優(yōu)化研究技術(shù)經(jīng)驗(yàn)服務(wù)怎么做到的測試場景未恢復(fù)，影響其他腳本容錯(cuò)性差，不穩(wěn)定，執(zhí)行效果差造了太多輪子（各自實(shí)現(xiàn)了一系列通用操作）部分前置條件需要手工構(gòu)造依賴USB連接原始的測試log簡陋，缺少操作步驟、預(yù)期結(jié)果沒有捕獲CRASH、ANR、無響應(yīng)等異常腳本質(zhì)量測試報(bào)告那些年踩過的坑不同機(jī)型需要多份代碼或大量邏輯判斷，維護(hù)成本高需要人工升級(jí)固件，然后才能進(jìn)行自動(dòng)化測試需要人工啟動(dòng)守護(hù)APP，選擇

4、模塊進(jìn)行自動(dòng)化測試需要人工確認(rèn)失敗用例那些年踩過的坑配置化自動(dòng)化測試任務(wù)類型多，腳本類型多樣，調(diào)度復(fù)雜固件迭代快，編譯周期不固定，需要及時(shí)自動(dòng)執(zhí)行那些年踩過的坑任務(wù)化實(shí)踐三實(shí)踐一實(shí)踐二實(shí)踐三規(guī)范腳本整合報(bào)告 配置化 自動(dòng)化實(shí)踐四先定個(gè)小目標(biāo) 任務(wù)化 項(xiàng)目管理守護(hù)APP監(jiān)控運(yùn)行時(shí)異常跟業(yè)務(wù)確定字段、格式Gerrit，Jenkins注解對接缺陷平臺(tái)實(shí)踐 1規(guī)范腳本 & 整合報(bào)告規(guī)范報(bào)告審核、構(gòu)建規(guī)范腳本異常捕獲，合入報(bào)告報(bào)告對接缺陷管理平臺(tái)規(guī)范Ant & Gradle打包資源 Review & 版本控制/merge/abandonLINT掃描 &編譯打包 & case 信息入庫拉取腳本 & 選擇模

5、塊執(zhí)行 & 異常監(jiān)控守護(hù)APP代碼GERRITJENKINS守護(hù)APPWEB實(shí)踐 1規(guī)范腳本 & 整合報(bào)告整合并上傳結(jié)果 & 展示報(bào)告自動(dòng)化腳本守護(hù)APPWEB1.步驟2.期望1.調(diào)用腳本2.GIF截圖3.CRASH4.ANR5.無響應(yīng)6. MEIZU重啟7.FLYME 重啟8.全局LOG1.存儲(chǔ)結(jié)果2.頁面顯示3.缺陷對接實(shí)踐 1規(guī)范腳本 & 整合報(bào)告實(shí)踐 1規(guī)范腳本 & 整合報(bào)告測試報(bào)告GERRIT進(jìn)行代碼審核、Jenkins 統(tǒng)一構(gòu)建、Case信息入庫要求腳本結(jié)束有效清理資源（賬戶、設(shè)置、黑白名單等）由守護(hù)APP調(diào)用腳本 ( 脫離USB執(zhí)行 )腳本通過注解提供操作步驟、期望等信息實(shí)踐 1

6、規(guī)范腳本 & 整合報(bào)告對操作過程GIF錄制截圖監(jiān)控CRASH、ANR、無響應(yīng)等異常，并收集運(yùn)行時(shí)Log無須人工干預(yù)的自動(dòng)化（任務(wù)調(diào)度計(jì)劃）統(tǒng)一匯總測試資源通過模塊配置適配不同機(jī)型不同類型固件模塊配置抽象設(shè)備池平臺(tái)調(diào)度實(shí)踐 2配置化 & 自動(dòng)化實(shí)踐 2配置化 & 自動(dòng)化倉庫Flyme5 Flyme6Flyme5模塊B模塊C模塊A聯(lián)通版公開版電信版實(shí)踐 2配置化 & 自動(dòng)化模塊引入“倉庫”概念，對應(yīng)一個(gè)模塊集抽象設(shè)備池，集中資源（物理式集中局域網(wǎng)集中）守護(hù)APP添加推送功能，做任務(wù)分發(fā)、固件升級(jí)、用例執(zhí)行實(shí)踐 2配置化 & 自動(dòng)化自動(dòng)錯(cuò)例重跑通過模塊化、配置化 提高腳本的健壯性和兼容性WEB端從一

7、個(gè)單純的報(bào)告展示改造為任務(wù)中心，推送任務(wù)Drozer改造漏洞case化串口開發(fā)固件層面Monkey改造專項(xiàng)測試任務(wù)升級(jí)測試任務(wù)性能測試任務(wù)穩(wěn)定性測試任務(wù)安全測試任務(wù)實(shí)踐3-任務(wù)化調(diào)度儀器設(shè)備APP 探針應(yīng)用穩(wěn)定性固件穩(wěn)定性指定時(shí)長指定機(jī)器種子執(zhí)行CRASH ANRMEIZU重啟FLYME 重啟NORESPONSE基本性能監(jiān)控Monkey實(shí)踐3-任務(wù)化穩(wěn)定性測試實(shí)踐3-任務(wù)化穩(wěn)定性測試實(shí)踐3-任務(wù)化穩(wěn)定性測試固件的大小趨勢監(jiān)控開機(jī)啟動(dòng)線程數(shù)監(jiān)控應(yīng)用啟動(dòng)時(shí)間性能測試實(shí)踐3-任務(wù)化監(jiān)控Native/Persistent/System/Cached/Foreground等分類內(nèi)存的新增/減少開機(jī)時(shí)間開

8、機(jī)內(nèi)存實(shí)踐3-任務(wù)化性能測試升降交叉升級(jí)校驗(yàn)升級(jí)測試圖表檢查整包/增量固件質(zhì)量固件升級(jí)歷史測試結(jié)果對比校驗(yàn)升級(jí)前后基帶/recovery/kernel是否正確，評(píng)估升級(jí)時(shí)間實(shí)踐3-任務(wù)化不同RECOVERY 互刷升級(jí)實(shí)踐3任務(wù)化升級(jí)測試掃描Activity/Service組件暴露同步安全信息至缺陷平臺(tái)構(gòu)造Intent檢查組件安全性 云測平臺(tái)ATS自動(dòng)安全復(fù)測Text in hereText in here實(shí)踐3-任務(wù)化掃描ContentProvider/BroadCastReceiver組件暴露安全測試實(shí)踐3任務(wù)化安全測試專項(xiàng)測試（非儀器）UI卡頓onCreateonStartonResume

9、LayoutHandler網(wǎng)絡(luò)請求內(nèi)存泄露電量WebViewNavigation timingResource timingJS errors實(shí)踐3任務(wù)化依據(jù)不同的任務(wù)類型在守護(hù)APP端執(zhí)行不同的邏輯 專項(xiàng)測試主要采用動(dòng)態(tài)代理技術(shù) hook關(guān)鍵API儀器調(diào)度 生成各個(gè)任務(wù)類型報(bào)告上傳服務(wù)端展示從調(diào)度層次增加任務(wù)類型概念統(tǒng)計(jì)各數(shù)據(jù)項(xiàng)并生成圖表實(shí)踐3-任務(wù)化實(shí)踐小結(jié)終端管理功能內(nèi)部眾測功能VCC管理功能實(shí)踐4-項(xiàng)目管理試用、反饋、績效機(jī)型項(xiàng)目進(jìn)度管理獨(dú)立應(yīng)用進(jìn)度管理測試執(zhí)行可以自動(dòng)化，測試管理也可以自動(dòng)化用平臺(tái)方式解決項(xiàng)目管理過程復(fù)雜，信息滯后不同步的問題實(shí)踐4-項(xiàng)目管理實(shí)踐小結(jié)幫助各VCC負(fù)責(zé)人，測試項(xiàng)目經(jīng)理和PMO團(tuán)隊(duì)簡化工作流程減少溝通成本，提高工作效率目標(biāo)實(shí)現(xiàn)了合理分配資源，保證設(shè)備池高效利用減少和降低自動(dòng)化的使用限制，提高自動(dòng)化效率和覆蓋率魅族測試部團(tuán)隊(duì)500+,日常使用案例提供服務(wù)人數(shù)280+案例ROI分析案例啟示、整合&強(qiáng)化測試框架，提高覆蓋率、提供易用配置，增強(qiáng)腳本對不同設(shè)備、不同系統(tǒng)、不同應(yīng)用版本和不同測 試任務(wù)類型適配，增強(qiáng)腳本的健壯性、“自動(dòng)化