PerfDog系統(tǒng)性能測試方案介紹課件

PerfDog系統(tǒng)性能測試方案介紹PerfDog系統(tǒng)性能測試方案介紹11、為什么越來越重視性能？2、性能實戰(zhàn)中踩過的"坑"？3、前線人員需要什么利器？4、PerfDog技術解析？5、性能專項必備技術能力？6、未來計劃？目錄1、為什么越來越重視性能？目錄21、為什么越來越重視性能？1、為什么越來越重視性能？3用戶關注什么？用戶關注什么？4我們能做什么？我們能做什么？52、性能實戰(zhàn)中踩過的"坑"？2、性能實戰(zhàn)中踩過的"坑"？6痛點？1、ROOT2、準確性3、局限性(復合應用，如微信小程序、小游戲)4、穩(wěn)定性5、易用性1、越獄(iOS11后無法越獄)2、Xcode編譯3、局限性(復合應用，如微信小程序、小游戲)4、易用性iOS無法性能測試(游戲、應用、微信小游戲小程序)iOS無法性能分析(Xcode源碼編譯一天，數(shù)據管理)無法競品性能分析Android不準確(導致大量交叉復測驗證，誤導分析)Android不穩(wěn)定(工具性能消耗太高被kill，無法長時間測試)Android不易用(使用流程很復雜)痛點？1、ROOT1、越獄(iOS11后無法越獄)iOS無法7行業(yè)痛點？騰訊游戲CPTDR標準性能數(shù)據標準手機廠商合作優(yōu)化性能數(shù)據標準普通用戶流暢度降頻性能數(shù)據標準統(tǒng)一標準尺度行業(yè)痛點？騰訊游戲CP手機廠商普通用戶統(tǒng)一標準尺度83、前線人員需要什么利器？3、前線人員需要什么利器？91、ROOT2、準確性3、局限性(復合應用，如微信小程序、小游戲)4、穩(wěn)定性5、易用性1、越獄2、Xcode編譯3、局限性(復合應用，如微信小程序、小游戲)4、易用性需要什么樣工具？1、ROOT1、越獄需要什么樣工具？10PerfDog呼之欲出移動全平臺iOS/Android性能測試、分析工具?？焖俣ㄎ环治鲂阅軉栴}，提升APP應用及游戲的性能和品質。手機無需ROOT/越獄、游戲及APP應用也無需做任何修改。極簡化即插即用全平臺Android/iOS，PC端支持Windows/Mac無需ROOT/越獄Android無需ROOT，iOS無需越獄高效解決IOS測試分析難題局限性(數(shù)據、硬件完整性，復合應用)解決復合應用測試問題(微信小程序、小游戲、入口等)已適配90%Android、iOS系統(tǒng)、機型及應用APP（其他工具涉及機型、系統(tǒng)、應用類型適配，性能參數(shù)不完整）穩(wěn)定性解決系統(tǒng)強制Kill機制，雙重獲取權限機制保證長時間極限穩(wěn)定測試準確性工具本身性能影響極小11%(注：小米五鎖定小核心頻率。GB:20%、其他:28%），參數(shù)統(tǒng)一準確易用性即插即用，無需手工手機安裝APP可編輯統(tǒng)計UI圖表及數(shù)據標準輸出云化管理任務管理、版本對比、數(shù)據傳遞分享、展示編輯查看開發(fā)者社區(qū)提供性能知識和技術支持，與萬千開發(fā)者交流分享PerfDog呼之欲出移動全平臺iOS/Android性能測11PerfDog對比/現(xiàn)狀現(xiàn)狀：500+公司使用

(游戲、應用、微信小游戲)DAU：4000+人

(每天使用人數(shù))累計用戶（開發(fā)和性能專項人員）:10000+金字塔思維開發(fā)同學25%專項同學(35%)外包同學(40%)PerfDog對比/現(xiàn)狀現(xiàn)狀：金字塔思維12PerfDog產品服務云化管理Web展示PerfDogWeb展示自動化、云測等iOSAndroid(Windows、Mac、Linux)(Windows、Mac)iOSAndroidPerfDog

Service(Windows、Mac、Linux)Perf***二次開發(fā)自己工具(Windows、Mac)PerfDog產品服務云化管理Web展示PerfDogWeb13PerfDog-展示PerfDog-展示144、PerfDog技術解析？4、PerfDog技術解析？15iOSPerfAutomation自動化測試AndroidPerfDogSDKPerfDogPerfDog

ServiceUIGRPCGRPCPerf******二次開發(fā)自己性能工具(Windows、Mac、Linux)(Windows、Mac、Linux)(Windows、Mac、Linux)提供調用接口(本地/遠程)(C#、C++、Java、Python、PHP、Go)(Windows、Mac、Linux)PerfDog技術框架Remote

Perf***GRPC/TCP(Windows、Mac、Linux)iOSPerfAutomation自動化測試Andro16iOS技術難點：iOS封閉性，未任何公開資料。協(xié)議格式和XcodeServer架構原理Xcode

Server技術框架解讀PerfDogPDMessageXcodeServerlibpdusbiOS技術難點：PerfDogPDMessageXcode17iOS技術ScreenShotServerLog

ServerXcodeServerConnectionDispatchPerf

ServerGraphicServerNetworkServerActivity/SysmondServerPowerServerTraceServeriOS技術ScreenShotServerLogSer18Android技術PerfDogPerfDogServerPerfDogAPP難點：性能影響最小不同廠商、不同版本系統(tǒng)，參數(shù)API及形式不樣，需要分析源碼未公開API更高效，需要分析系統(tǒng)源碼，進行參數(shù)優(yōu)化及編譯兼容性問題Linux內核APINativeAPI(未公開)JavaAPI(未公開)APPJavaAPPAndroid技術PerfDogPerfDogPerfDog19如何才能專業(yè)測試、分析？賽車運動如何才能專業(yè)測試、分析？賽車運動205、性能專項必備技術能力？5、性能專項必備技術能力？21報告專業(yè)性？專業(yè)知識移動硬件特性硬件參數(shù)系統(tǒng)性能參數(shù)理解游戲性能特性引擎渲染機制報告專業(yè)性專業(yè)工具方法SysTrace/ADB命令Xcode/Instruments高通/Mali

ProflierPerfDogGT案例沉淀小米5機器降頻Mali顯存統(tǒng)計報告專業(yè)性？專業(yè)知識移動硬件特性報告專業(yè)性專業(yè)工具方法案例沉22定義平均幀率瞬時幀率游戲與APP區(qū)別強制刷新DirtyRedraw臟區(qū)重繪fps：1秒內平均畫面刷新次數(shù)fps定義fps：1秒內平均畫面刷新次數(shù)fps23蘋果WWDC18年開發(fā)者大會FramePacingfps=50：前200ms刷新一次，后800ms刷新49幀，幀率是50，但覺得非?？DiOS蘋果WWDCFramePacingfps=50：前200ms24Android4.4流暢度機制黃油計劃-JankGoogle提出JankGoogle

Jank

計算思路：考慮視覺慣性，以硬件vsync時間間隔，連續(xù)1次vsync沒有新畫面刷新，則認為是一次卡頓，也就是說下一次vsync時間點沒有新畫面刷新，則認為是一次Jank。AndroidAndroid4.4GoogleJank計算思路：考慮視25fps與流暢度流暢度

!=

fps流暢度fpsJankPerfDog計算方法：同時滿足兩條件，則認為是一次卡頓Jank.當前幀耗時>前三幀平均耗時2倍。當前幀耗時>兩幀電影幀耗時(1000ms/24*2=84ms)。同時滿足兩條件，則認為是一次嚴重卡頓BigJank.當前幀耗時>前三幀平均耗時2倍。當前幀耗時>三幀電影幀耗時(1000ms/24*3=125ms)。fps與流暢度流暢度!=fpsPerfDog計算方法：26PerfDogJankPerfDogJank27Jank對比可量化量化橫向對比Jank對比可量化28JankJank29Android內存OOM本質？內存形態(tài)？關注那些參數(shù)？地址空間VM

HeapsizeNative

heapsizeLMKPSS/SWAPZram/vnswapAndroid內存OOM本質？30iOS內存OOM本質？FootprintRealMemory？VMShortperLimit地址空間…iOS內存OOM本質？31CPU多核心？核心Usage核心頻率降頻？CPU多核心？核心Usage32能耗本質？CPU/GPU/屏幕？PowerVoltageCurrent性能表現(xiàn)VS能耗？流暢度vs能耗？CPUGPUFPSWakeups能耗本質？33執(zhí)行場景設計？有效性可對比性嚴謹性執(zhí)行場景設計？有效性346、未來計劃？6、未來計劃？35未來計劃—開發(fā)計劃組件服務（PerfDogService）工具功能云端平臺服務自動化測試支持混合程序測試（web程序）更加完善的版本對比功能微信公眾號推送更多的工具技術文章服務二次開發(fā)獲取更多的性能指標持續(xù)更新，支持最新的移動設備……開發(fā)者社區(qū)推送更多的性能專項技術性文章分享更多性能分析優(yōu)化案例……Q&A自助服務……未來計劃—開發(fā)計劃組件服務工具功能云端平臺服務自動化測試支持36未來計劃—合作行業(yè)合作廠商合作引擎合作ARM合作獲取更多底層性能數(shù)據，幫助性能專項人員更好的定位性能問題行業(yè)標準聯(lián)合信通院，計量院等，制定游戲性能度量Benchmarks，建立移動應用性能行業(yè)標準信通院未來計劃—合作行業(yè)合作廠商合作引擎合作ARM合作獲取更多底層37PerfDog系統(tǒng)性能測試方案介紹課件38PerfDog系統(tǒng)性能測試方案介紹PerfDog系統(tǒng)性能測試方案介紹391、為什么越來越重視性能？2、性能實戰(zhàn)中踩過的"坑"？3、前線人員需要什么利器？4、PerfDog技術解析？5、性能專項必備技術能力？6、未來計劃？目錄1、為什么越來越重視性能？目錄401、為什么越來越重視性能？1、為什么越來越重視性能？41用戶關注什么？用戶關注什么？42我們能做什么？我們能做什么？432、性能實戰(zhàn)中踩過的"坑"？2、性能實戰(zhàn)中踩過的"坑"？44痛點？1、ROOT2、準確性3、局限性(復合應用，如微信小程序、小游戲)4、穩(wěn)定性5、易用性1、越獄(iOS11后無法越獄)2、Xcode編譯3、局限性(復合應用，如微信小程序、小游戲)4、易用性iOS無法性能測試(游戲、應用、微信小游戲小程序)iOS無法性能分析(Xcode源碼編譯一天，數(shù)據管理)無法競品性能分析Android不準確(導致大量交叉復測驗證，誤導分析)Android不穩(wěn)定(工具性能消耗太高被kill，無法長時間測試)Android不易用(使用流程很復雜)痛點？1、ROOT1、越獄(iOS11后無法越獄)iOS無法45行業(yè)痛點？騰訊游戲CPTDR標準性能數(shù)據標準手機廠商合作優(yōu)化性能數(shù)據標準普通用戶流暢度降頻性能數(shù)據標準統(tǒng)一標準尺度行業(yè)痛點？騰訊游戲CP手機廠商普通用戶統(tǒng)一標準尺度463、前線人員需要什么利器？3、前線人員需要什么利器？471、ROOT2、準確性3、局限性(復合應用，如微信小程序、小游戲)4、穩(wěn)定性5、易用性1、越獄2、Xcode編譯3、局限性(復合應用，如微信小程序、小游戲)4、易用性需要什么樣工具？1、ROOT1、越獄需要什么樣工具？48PerfDog呼之欲出移動全平臺iOS/Android性能測試、分析工具?？焖俣ㄎ环治鲂阅軉栴}，提升APP應用及游戲的性能和品質。手機無需ROOT/越獄、游戲及APP應用也無需做任何修改。極簡化即插即用全平臺Android/iOS，PC端支持Windows/Mac無需ROOT/越獄Android無需ROOT，iOS無需越獄高效解決IOS測試分析難題局限性(數(shù)據、硬件完整性，復合應用)解決復合應用測試問題(微信小程序、小游戲、入口等)已適配90%Android、iOS系統(tǒng)、機型及應用APP（其他工具涉及機型、系統(tǒng)、應用類型適配，性能參數(shù)不完整）穩(wěn)定性解決系統(tǒng)強制Kill機制，雙重獲取權限機制保證長時間極限穩(wěn)定測試準確性工具本身性能影響極小11%(注：小米五鎖定小核心頻率。GB:20%、其他:28%），參數(shù)統(tǒng)一準確易用性即插即用，無需手工手機安裝APP可編輯統(tǒng)計UI圖表及數(shù)據標準輸出云化管理任務管理、版本對比、數(shù)據傳遞分享、展示編輯查看開發(fā)者社區(qū)提供性能知識和技術支持，與萬千開發(fā)者交流分享PerfDog呼之欲出移動全平臺iOS/Android性能測49PerfDog對比/現(xiàn)狀現(xiàn)狀：500+公司使用

(游戲、應用、微信小游戲)DAU：4000+人

(每天使用人數(shù))累計用戶（開發(fā)和性能專項人員）:10000+金字塔思維開發(fā)同學25%專項同學(35%)外包同學(40%)PerfDog對比/現(xiàn)狀現(xiàn)狀：金字塔思維50PerfDog產品服務云化管理Web展示PerfDogWeb展示自動化、云測等iOSAndroid(Windows、Mac、Linux)(Windows、Mac)iOSAndroidPerfDog

Service(Windows、Mac、Linux)Perf***二次開發(fā)自己工具(Windows、Mac)PerfDog產品服務云化管理Web展示PerfDogWeb51PerfDog-展示PerfDog-展示524、PerfDog技術解析？4、PerfDog技術解析？53iOSPerfAutomation自動化測試AndroidPerfDogSDKPerfDogPerfDog

ServiceUIGRPCGRPCPerf******二次開發(fā)自己性能工具(Windows、Mac、Linux)(Windows、Mac、Linux)(Windows、Mac、Linux)提供調用接口(本地/遠程)(C#、C++、Java、Python、PHP、Go)(Windows、Mac、Linux)PerfDog技術框架Remote

Perf***GRPC/TCP(Windows、Mac、Linux)iOSPerfAutomation自動化測試Andro54iOS技術難點：iOS封閉性，未任何公開資料。協(xié)議格式和XcodeServer架構原理Xcode

Server技術框架解讀PerfDogPDMessageXcodeServerlibpdusbiOS技術難點：PerfDogPDMessageXcode55iOS技術ScreenShotServerLog

ServerXcodeServerConnectionDispatchPerf

ServerGraphicServerNetworkServerActivity/SysmondServerPowerServerTraceServeriOS技術ScreenShotServerLogSer56Android技術PerfDogPerfDogServerPerfDogAPP難點：性能影響最小不同廠商、不同版本系統(tǒng)，參數(shù)API及形式不樣，需要分析源碼未公開API更高效，需要分析系統(tǒng)源碼，進行參數(shù)優(yōu)化及編譯兼容性問題Linux內核APINativeAPI(未公開)JavaAPI(未公開)APPJavaAPPAndroid技術PerfDogPerfDogPerfDog57如何才能專業(yè)測試、分析？賽車運動如何才能專業(yè)測試、分析？賽車運動585、性能專項必備技術能力？5、性能專項必備技術能力？59報告專業(yè)性？專業(yè)知識移動硬件特性硬件參數(shù)系統(tǒng)性能參數(shù)理解游戲性能特性引擎渲染機制報告專業(yè)性專業(yè)工具方法SysTrace/ADB命令Xcode/Instruments高通/Mali

ProflierPerfDogGT案例沉淀小米5機器降頻Mali顯存統(tǒng)計報告專業(yè)性？專業(yè)知識移動硬件特性報告專業(yè)性專業(yè)工具方法案例沉60定義平均幀率瞬時幀率游戲與APP區(qū)別強制刷新DirtyRedraw臟區(qū)重繪fps：1秒內平均畫面刷新次數(shù)fps定義fps：1秒內平均畫面刷新次數(shù)fps61蘋果WWDC18年開發(fā)者大會FramePacingfps=50：前200ms刷新一次，后800ms刷新49幀，幀率是50，但覺得非?？DiOS蘋果WWDCFramePacingfps=50：前200ms62Android4.4流暢度機制黃油計劃-JankGoogle提出JankGoogle

Jank

計算思路：考慮視覺慣性，以硬件vsync時間間隔，連續(xù)1次vsync沒有新畫面刷新，則認為是一次卡頓，也就是說下一次vsync時間點沒有新畫面刷新，則認為是一次Jank。AndroidAndroid4.4GoogleJank計算思路：考慮視63fps與流暢度流暢度

!=

fps流暢度fpsJankPerfDog計算方法：同時滿足兩條件，則認為是一次卡頓Jank.當前幀耗時>前三幀平均耗時2倍。當前幀耗時>兩幀電影幀耗時(1000ms/24*2=84ms)。同時滿足兩條件，則認為是一次嚴重卡頓BigJank.當前幀耗時>前三幀平