自動化測試平臺解決專項方案V

SmartRobot自動化測試處理方案目錄1. 迫切需要處理問題 41.1. 智能移動設(shè)備軟件系統(tǒng)和硬件方案復(fù)雜組合，造成APP實現(xiàn)多機型兼容難度大，投入大。 41.2. 靈敏開發(fā)、迭代開發(fā)，產(chǎn)品追求快速上線，造成回歸測試可靠性測試等任務(wù)重，形成測試工作量波峰。 41.3. 開發(fā)框架多、開發(fā)人員能力不足造成安全漏洞突出 41.4. 市場競爭，產(chǎn)品同質(zhì)化嚴重，追求用戶體驗差異化關(guān)鍵性凸現(xiàn)。 42. 自動化測試平臺整體處理方案 43. 自動化測試平臺實現(xiàn)功效 53.1. 兼容性測試系統(tǒng) 53.1.1. SMART平臺 53.1.2. 智能源碼掃描 73.2. 安全監(jiān)控系統(tǒng) 103.2.1. 高精度電流監(jiān)控 103.2.2. 監(jiān)控應(yīng)用及整機文件系統(tǒng) 113.2.3. 監(jiān)控應(yīng)用及整機數(shù)據(jù)流量監(jiān)控，統(tǒng)計非法數(shù)據(jù)傳輸?shù)惹闆r 123.2.4. 用戶行為跟蹤，監(jiān)控電話、短信、拍照、攝像、錄音等經(jīng)典動作 123.3. 性能測試系統(tǒng) 133.3.1. 響應(yīng)時間測試系統(tǒng) 133.3.2. 流暢度測試系統(tǒng) 16面臨問題智能移動設(shè)備軟件系統(tǒng)和硬件方案復(fù)雜組合，造成APP實現(xiàn)多機型兼容難度大，投入大。靈敏開發(fā)、迭代開發(fā)，產(chǎn)品追求快速上線，造成回歸測試、可靠性測試等任務(wù)重，無法有效應(yīng)對測試工作量波峰。APP開發(fā)框架多、開發(fā)人員能力不足造成安全漏洞突出軟件硬件設(shè)計交叉影響，性能優(yōu)化難度加大。自動化測試平臺整體處理方案為處理移動應(yīng)用開發(fā)商面臨以問題，結(jié)局方案設(shè)計以下?？扇矫嫣幚硪苿討?yīng)用開發(fā)面臨兼容性問題、安全性問題、測試工作量波峰、用戶體驗問題，并全程為移動應(yīng)用開發(fā)保駕護航。整體處理方案兼容性測試系統(tǒng)：智能源碼掃描，即經(jīng)過解析APK文件，將源碼和問題特征庫自動比對，查找兼容性問題，并自動生成測試匯報。SMART平臺，實現(xiàn)被測設(shè)備管理+測試用例制作、管理、自動化實施、并生成測試匯報。可實現(xiàn)APP定制用例多機自動化運行、適配性測試、功效及UI測試；安全監(jiān)控系統(tǒng)：監(jiān)測系統(tǒng)文件改變、監(jiān)測數(shù)據(jù)流量、耗電情況、監(jiān)控非法用戶行為等。性能測試系統(tǒng)：經(jīng)過專業(yè)自動化測試設(shè)備（硬件工具），測量流暢度卡頓數(shù)據(jù)、量化響應(yīng)時間指標，為研發(fā)人員提供毫秒級數(shù)據(jù)，助力改善用戶體驗。處理方案實現(xiàn)兼容性測試系統(tǒng)SMART平臺SMART兼容性測試平臺，提供自動化測試處理方案，提供用例制作、管理、自動化運行、測試結(jié)果自動校驗。無需人員干預(yù)即可實現(xiàn)各類APP自動化用例運行，并自動生成測試匯報。測試步驟測試步驟自動化測試腳本開發(fā)真機運行腳本輸出測試匯報測試框架測試框架經(jīng)過手機usb接口實現(xiàn)對手機控制，完成測試工具及app下發(fā)，運行及測試結(jié)果拉取和展示。測試工具采取lua腳本編寫測試case，經(jīng)過進程注入技術(shù)獲取屏幕顯示信息，結(jié)合Touch事件模擬，能夠?qū)崿F(xiàn)基于控件等級復(fù)雜測試case，測試結(jié)果以Log、屏幕截圖等形式輸出。SMART平臺可實現(xiàn)功效適配性測試：進行被測應(yīng)用安裝、開啟、運行、卸載測試，驗證在不一樣終端類型上是否存在安裝失敗、開啟閃退、運行瓦解等不兼容現(xiàn)象。功效及UI測試：支持遍歷測試和業(yè)務(wù)主步驟腳本測試，驗證應(yīng)用功效，同時檢測是否存在黑邊、白屏、拉伸、混淆、變色等UI問題。系統(tǒng)性能檢測：測試過程中需要獲取移動終端設(shè)備CPU、內(nèi)存、流量耗用、電池性能等數(shù)據(jù)，判定應(yīng)用運行情況，同時包含安裝時間、開啟時間、CPU均值占用、CPU峰值占用、內(nèi)存均值占用、內(nèi)存峰值占用、流量耗用、電池溫度、卸載時間等。測試匯報：所提供測試結(jié)果匯報，直觀全方面，包含原始數(shù)據(jù)、匯總后圖表展示和故障點截圖，對應(yīng)問題log信息，并支持離線閱讀。兼容性測試匯報智能源碼掃描使用該系統(tǒng)在研發(fā)階段即可發(fā)現(xiàn)代碼中兼容性缺點，直接給出問題定位，根源及處理方案。針對源代碼構(gòu)建靜態(tài)語法樹，輔以程序控制流和數(shù)據(jù)流分析，結(jié)合龐大兼容性問題特征庫和處理方案庫，正確定位問題代碼，并直接提供已驗證處理方案。智能源碼掃描適配可覆蓋Android系統(tǒng)全部功效點，涵蓋1300多個兼容性問題特征及處理方案，掃描支持機型超出500款；10w行級源碼45s內(nèi)完成掃描，30w行源碼2分鐘內(nèi)完成掃描，60w行源碼5分鐘內(nèi)完成掃描；包含SDK差異，缺點分析特征庫達成10000條以上。系統(tǒng)架構(gòu)系統(tǒng)架構(gòu)系統(tǒng)包含用戶端和服務(wù)端兩個模塊：服務(wù)端：存放適配問題特征庫和處理方案庫，包含特征庫、處理方案庫、掃描引擎三大模塊。用戶端：經(jīng)過在瀏覽器端上傳源代碼或apk，進行智能源碼掃描，掃描結(jié)果定位問題并給出對應(yīng)處理方案。智能源碼掃描特征庫智能源碼掃描特征庫智能源碼掃描處理方案庫智能源碼掃描處理方案庫智能源碼掃描引擎智能源碼掃描引擎安全監(jiān)控系統(tǒng)安全監(jiān)控系統(tǒng)經(jīng)過實時監(jiān)控終端系統(tǒng)內(nèi)部行為、狀態(tài)等，檢測并發(fā)覺并定位安全問題點，為用戶匯報查找潛在軟硬件設(shè)計中安全漏洞。規(guī)避造成信息泄露、耗用系統(tǒng)流量、文件系統(tǒng)篡改等安全隱患。高精度電流監(jiān)控終端功耗自動化測試模塊是一款經(jīng)過自動化操作手機終端，同時檢測、統(tǒng)計、分析電流改變，該模塊能夠自動測試終端、應(yīng)用電流消耗情況，經(jīng)過正確監(jiān)控手機電流改變，進而輔助分析手機電流改變內(nèi)在原因。該模塊由終端自動化測試模塊及電流監(jiān)控模塊組成。系統(tǒng)可檢測安捷倫等電源設(shè)備輸出電流信息，并結(jié)合測試動作分析，對系統(tǒng)進行復(fù)測，提供測試匯報等智能監(jiān)控安全電流閾值 系統(tǒng)可設(shè)定終端設(shè)備工作時電流閾值，在測試過程中全程監(jiān)控電流值，自動分析并統(tǒng)計超出閾值范圍電流時刻及所運行用例場景，進而確定造成電流異常App及其行為。 系統(tǒng)含有自動調(diào)整測試策略功效，即依據(jù)電流信息反向控制用例實施場景。在發(fā)覺電流異常時自動進行異常處理及缺點判定，系統(tǒng)集成復(fù)測機制可對所運行場景跟蹤測試，進而判定所實施用例場景功耗問題。系統(tǒng)集成測試管理相關(guān)功效，可對測試用例、測試腳本、測試任務(wù)、測試匯報等進行有效管理?？煽焖偕蓽y試用例并投入使用，測試任務(wù)結(jié)束后即時生成測試匯報，直觀顯示功耗測試結(jié)果。監(jiān)控應(yīng)用及整機文件系統(tǒng) 系統(tǒng)對整機文件系統(tǒng)，包含系統(tǒng)文件及存放卡文件全方面進行監(jiān)控，對于系統(tǒng)中植入惡意進程，或惡意APP程序進行監(jiān)測，當系統(tǒng)文件發(fā)生篡改時進行具體統(tǒng)計，最終匯總文件系統(tǒng)變更情況等。監(jiān)控應(yīng)用及整機數(shù)據(jù)流量監(jiān)控，統(tǒng)計非法數(shù)據(jù)傳輸?shù)惹闆r 系統(tǒng)能夠監(jiān)控整機及某個指定應(yīng)用數(shù)據(jù)流量，經(jīng)過監(jiān)控數(shù)據(jù)流量方法，能夠監(jiān)測一些不應(yīng)使用數(shù)據(jù)流量應(yīng)用或時機，經(jīng)過分析這些異常流量指標，進而發(fā)覺系統(tǒng)中對應(yīng)存在使用流量相關(guān)非法操作。用戶行為跟蹤，監(jiān)控電話、短信、拍照、攝像、錄音等經(jīng)典動作 開啟用戶行為跟蹤后，系統(tǒng)將監(jiān)控用戶電話、短信、拍照、攝像、錄音等功效，一旦系統(tǒng)發(fā)生了上述行為，系統(tǒng)將一一統(tǒng)計，如經(jīng)典竊密步驟：經(jīng)過后臺進程以靜默方法開啟錄音，并經(jīng)過數(shù)據(jù)通道傳至某個遠端位置，以后刪除目前錄音。以上三個動作，用戶行為檢測（錄音）、數(shù)據(jù)流量檢測（上傳至遠端位置）、文件檢測（刪除錄音）系統(tǒng)全部能夠一一截取。性能測試系統(tǒng)（FTS系統(tǒng)）性能測試系統(tǒng)采取點擊、滑動、長按、拖拽、按鍵等操作方法。經(jīng)過外置電子眼工業(yè)相機，對操作過程中終端進行高速跟蹤、測試，進而正確度量終端性能指標，有效改善用戶體驗。響應(yīng)時間測試系統(tǒng)（RTS系統(tǒng)）對應(yīng)時間是指移動應(yīng)用對其操作（點擊、拖拽、滑動等）響應(yīng)時間，響應(yīng)時間測試系統(tǒng)采取人工操作加高幀相機方法計算移動應(yīng)用對應(yīng)時間，正確測試了對應(yīng)起始時間，量化移動應(yīng)用響應(yīng)時間。集成電子眼、觸控傳感器等高端設(shè)備正確計算設(shè)備響應(yīng)性能響應(yīng)時間測試系統(tǒng)系統(tǒng)采取電子眼相機并配合觸控傳感器，捕捉用戶操作過程。如用戶需檢測滑屏?xí)r間，只需將設(shè)備置于測試工作臺之上，電子眼自動立即跟蹤設(shè)備界面改變，當用戶完成滑屏動作后，智能分析軟件分析幀圖改變并自動查找動作起始點及結(jié)束點，計算二者之間時間差，最終量化響應(yīng)時間。智能視覺圖像處理技術(shù)，快速、正確識別和分析圖像 電子眼對置于工作平臺上設(shè)備進行監(jiān)控，并逐幀進行圖像抓取，圖像分析模塊對大量圖像數(shù)據(jù)進行比對，智能分析圖像改變，檢索最有價值圖像信息。智能捕捉用戶觸屏過程經(jīng)過高頻手勢感應(yīng)技術(shù)快速捕捉用戶操作過程 系統(tǒng)采取智能觸控傳感器，監(jiān)控用戶對設(shè)備觸控過程，短時間內(nèi)可獲取大量觸控數(shù)據(jù)，并捕捉每一幀數(shù)據(jù)改變。輔以手勢智能分析模塊，對壓力數(shù)據(jù)進行分析，確定觸控數(shù)據(jù)中按下、滑動、抬起等一系列動作，從而確定一組最有效觸控操作過程。高頻手勢感應(yīng)數(shù)據(jù)（手勢為按下后抬起）高速數(shù)據(jù)處理芯片可即時運算電子眼、智能傳感器產(chǎn)生海量數(shù)據(jù)系統(tǒng)采取超高速圖像分析技術(shù)及智能觸控數(shù)據(jù)分析技術(shù)，高速計算圖像及觸控數(shù)據(jù)。高速數(shù)據(jù)處理模塊在確保立即處理數(shù)據(jù)同時，將有效圖像及觸控數(shù)據(jù)進行智能拼接，并以最小內(nèi)存及CPU開銷，最優(yōu)處理方法合理分配資源，并實現(xiàn)數(shù)據(jù)存放。圖像差異識別、智能比對等圖形算法有效確保正確計算設(shè)備響應(yīng)時間經(jīng)過差異化比對方法處理設(shè)備界面改變圖像，以60幀/秒攝像頭為例，每秒鐘捕捉到60張圖片。若無有效差異存放技術(shù)，則每秒鐘需要處理60張圖片，全部圖片均需存放到磁盤用以配合傳感器分析用戶動作及界面響應(yīng)情況，所以磁盤I/O及CPU計算速度會大大影響計算效能。同時，若采取差異化處理方法，只存放改變圖片，會大大降低需要處理圖片數(shù)量，以最少磁盤開銷、I/O寫入頻率及CPU運算速度處理圖片，從而將更多資源留給電子眼及觸控傳感器使用。以確保響應(yīng)時間計算正確性。流暢度測試系統(tǒng)流暢度測試系統(tǒng)完全滿足移動應(yīng)用開發(fā)商對流暢度測試要求，結(jié)合多年圖像處理、軟件算法等眾多領(lǐng)域經(jīng)驗，能夠正確量化手機卡頓過程相關(guān)數(shù)據(jù)，進而正確測量終端流暢度指標。圖像輪廓識別技術(shù)，測量手機流暢度相關(guān)指標，分析手機流暢度瓶頸系統(tǒng)對流暢度測試結(jié)果進行全方位、立體化分析，量化用戶對手機流暢度感知最顯著指標項，如列表滑動時最大連續(xù)卡頓幀數(shù)，滑動過程卡頓總幀數(shù)，和平均卡頓幀數(shù)等數(shù)據(jù)。卡頓幀數(shù)指標匯總系統(tǒng)提供對同一測試場景不一樣測試結(jié)果進行對比分析功效，可逐幀播放，從而查看并對比兩款手機或同一款手機兩次測試結(jié)果流暢度情況，和卡頓點出現(xiàn)位置等。同時逐幀播放測試結(jié)果，對比測試過程同時可對多機型測試結(jié)果進行對比分析，得出相同用例在多個不一樣機型手機上流暢度表現(xiàn)，進而對提升手機流暢度提供數(shù)據(jù)支持。多款機型流暢度指標對比集成電子眼工業(yè)級相機，采集手機界面元素，捕捉運動過程系統(tǒng)集成高幀工業(yè)級電子眼，利用圖像識別技術(shù)，可大大提升圖像對比精度，正確判定、分析手機畫面改變過程。智能視覺圖形處理技術(shù)，快速、正確識別和分析圖像元素輪廓系統(tǒng)內(nèi)置圖形處理技術(shù)，對電子眼拍攝海量數(shù)據(jù)進行掃描分析，圖形處理模塊將圖像進行分解，基于灰度閾值進行圖像分割，利用數(shù)學(xué)形態(tài)學(xué)方法對二值圖像進行缺點修補，經(jīng)過鏈碼跟蹤存放輪廓信息，實現(xiàn)輪廓快速提取和存放，進而判定輪廓位移量及速度等數(shù)據(jù)。智能追蹤畫面元素位移及速度，自動分析運動過程卡幀數(shù)據(jù)電子眼對置于工作平臺上設(shè)備進行拍攝，并逐幀進行圖像抓取，圖形分析模塊對大量圖像數(shù)據(jù)進行分析，統(tǒng)計圖像改變過程。如一個滑屏操作，圖形處理分析模塊智能匹配圖標顯示過程虛影信息，依據(jù)虛影改變過程判定是否發(fā)生卡頓。智能捕捉圖標改