移動端APP自動化兼容性測試的提效之路

1、移動端APP自動化兼容性測試的提效之路CONTENTS0102兼容性測試的需求和問題自動化兼容性測試的設(shè)計和實現(xiàn)自動化兼容性測試的提效之路0301兼容性測試的需求和問題移動App兼容性測試目標(biāo)移動App兼容 性測試硬件兼容操作系統(tǒng)兼容軟件兼容分辨率其它硬件瀏覽器其它軟件iOSAndroid其它運行正常顯示正常測試方式 - 手工測試優(yōu)點簡單、可控容易發(fā)現(xiàn)和確定問題不足測試時長隨機型數(shù)量線性增長無法重用測試方式 自動化測試優(yōu)點部分場景可高并發(fā)執(zhí)行測試可重用不足并非所有場景可實現(xiàn)可能遺漏測試中的問題兼容性測試實施效率設(shè)備任務(wù)人效率：在12天內(nèi)完成Top100的測試任務(wù)工具兼容性測試提效目標(biāo)設(shè)備效率：

2、在12天內(nèi)完成Top100的測試任務(wù)任務(wù)效率：1天內(nèi)完成Top100300的測試任務(wù)人工具兼容性測試提效方式效率：1天內(nèi)完成Top100300的測試任務(wù)工具顯著提效簡單易用測試 工具測試平臺02自動化兼容性測試的實現(xiàn)自動化兼容性測試流程需求分析App試玩測試準(zhǔn)備測試執(zhí)行異常檢查報告匯總測試后測試中測試前自動化兼容性測試 工具本地調(diào)試錄制腳本測試執(zhí)行線上調(diào)試線上執(zhí)行 工具：腳本錄制和調(diào)試自動化兼容性測試工具的設(shè)計目標(biāo)減低腳本編寫和維護門檻在較短時間內(nèi)實現(xiàn)滿足測試需求的自動化腳本產(chǎn)生的自動化腳本應(yīng)能在各種機型上正常運行降低用戶使用工具的成本允許用戶無需具有編程經(jīng)驗用戶容易理解和修改腳本自動化兼容性

3、測試工具 - lyra以錄制方式產(chǎn)生腳本在工具窗口，邊操作邊生成腳本在工具窗口，右鍵插入預(yù)置的通用函數(shù)在手機設(shè)備，錄制多點觸屏操作，并生成腳本lyra工具 腳本展示 & 編輯雙模式展示腳本視圖模式：圖形化展現(xiàn)用戶當(dāng)時的操作腳本模式：允許手動編輯生成的腳本lyra工具 錄制 & 編輯lyra工具 回放查看工具執(zhí)行效果的視頻自動化兼容性測試流程異常檢查報告匯總測試后線上執(zhí)行截屏&錄屏執(zhí)行腳本上報數(shù)據(jù) 平臺：干預(yù)執(zhí)行 & 異常檢查自動化兼容性測試平臺的設(shè)計目標(biāo)允許在執(zhí)行過程中允許人工干預(yù)以解決問題處理兼容性測試過程中的出現(xiàn)的意外過程處理一些復(fù)雜場景，如精確移動到某個位置等自動化兼容性測試平臺的設(shè)計目

4、標(biāo)提供一個平臺檢查執(zhí)行過程中的UI異?；蚱渌鼏栴}用戶可以方便查看自動化執(zhí)行過程中的截屏或錄屏自動化兼容性測試平臺 - ITA“手自一體”的兼容性測試方案手自一體測試注冊任務(wù)手自一體測試查看異常設(shè)備列表手自一體測試干預(yù)異常設(shè)備自動化兼容性測試平臺 - ITA以設(shè)備為單位的操作圖片展示自動化兼容性測試平臺 - ITA優(yōu)點：支持干預(yù)，減少腳本修改成本，允許腳本不那么健壯簡單&靈活，滿足快速完成兼容性測試任務(wù)的需求03自動化兼容性測試的提效之路自動化兼容性測試階段耗時需求分析App試玩測試準(zhǔn)備測試執(zhí)行異常檢查報告匯總測試后測試中測試前耗時：70%90%提效一：提高干預(yù)效率自動化兼容性測試階段耗時線上調(diào)

5、試錄制腳本本地調(diào)試測試執(zhí)行線上執(zhí)行截屏&錄屏執(zhí)行腳本上報數(shù)據(jù)耗時：2040%批量干預(yù)選中具有相同異常畫面的設(shè)備，同時進行干預(yù)效率提升 30%50%提效二：更改腳本執(zhí)行方式現(xiàn)有腳本執(zhí)行方式的問題自動化腳本邏輯復(fù)雜非確定行為路徑循環(huán)路徑基于智能探索的腳本執(zhí)行方式自動化執(zhí)行三步驟定義和標(biāo)記場景執(zhí)行測試報告匯總場景標(biāo)記場景操作基于智能探索的腳本執(zhí)行方式定義和標(biāo)記場景基于智能探索的腳本執(zhí)行方式測試執(zhí)行三步驟識別場景選擇操作進行操作基于智能探索的腳本執(zhí)行方式測試執(zhí)行三步驟識別場景選擇操作進行操作基于智能探索的腳本執(zhí)行方式測試執(zhí)行三步驟識別場景選擇操作進行操作基于智能探索的腳本執(zhí)行方式未知場景處理三步驟特征

6、識別圖片監(jiān)控高亮識別基于智能探索的腳本執(zhí)行方式未知場景處理三步驟特征識別圖片監(jiān)控高亮識別基于智能探索的腳本執(zhí)行方式未知場景處理三步驟特征識別圖片監(jiān)控高亮識別智能探索工具優(yōu)點：無需用戶干預(yù)解決了有向路徑圖的邏輯復(fù)雜問題干預(yù) 耗時：0提效三：提升圖片識別準(zhǔn)確性和識別效率現(xiàn)有的圖片識別方案舊有方案基于模版匹配(12s/pic)基于特征匹配(0.30.6s/pic)問題識別準(zhǔn)確性識別時間提升圖片識別準(zhǔn)確性和識別效率識別準(zhǔn)確性準(zhǔn)確率：80% - 95%支持特定對象識別基礎(chǔ)識別模塊特殊識別模塊特征匹配固定位置快速處理特征點快速過濾模板匹配多尺度對象直接定位法特殊對象特殊場景文字動畫透明高亮過場動畫合理校準(zhǔn)檢查模尺度 塊比例相似度識別效率提效四：減少UI異常圖片檢查耗時自動化兼容性測試平臺的實現(xiàn)以設(shè)備為單位的操作圖片展示 & 圖片比較的差異化顯示三萬張圖 片，圖片檢 查時間從23小時縮 小到1小時減小UI異常圖片的檢查時間成效：支持更多圖片檢查，減少圖