騰訊的專項(xiàng)測試體系

1、騰訊的專項(xiàng)測試體系技術(shù)創(chuàng)新，變革未來目錄向您介紹我自己1我們的專項(xiàng)測試方法論2我們自研的平臺工具3成熟的專項(xiàng)團(tuán)隊(duì)測哪些指標(biāo)？4發(fā)布后的全網(wǎng)監(jiān)控5探索性測試自動化分析定位OS源碼提解決方案T3T2/T1外包/實(shí)習(xí)/縱 軸： 級 別 更 高橫軸：難度更高騰訊專項(xiàng)技術(shù)測試員工能力模型速度體驗(yàn)評測模型交互模式舉例用戶預(yù)期成效用戶操作 立即回饋 400ms1.指導(dǎo)測試用例 的編寫2. 性能測試執(zhí) 行可以交給外包3.無標(biāo)準(zhǔn)時(shí)代， 每個性能Bug的 重要性依賴leader判斷?，F(xiàn) 在，開發(fā)不再 PK，聚焦于性 能優(yōu)化。忙模式 4秒進(jìn)度條最多等待4秒， 看到進(jìn)度條前進(jìn)實(shí)時(shí)動畫游戲，視頻等掉幀率0%卡時(shí)間窗口展

2、示后不卡 100K不需要不需要I/O測試、流量測試下載/上傳數(shù)據(jù)量 500K進(jìn)度條不需要下載速度測試代碼結(jié)構(gòu)獨(dú)立的vcproj工程不需要盡量使用靜態(tài)LIB有共享價(jià)值才可用DLL常駐內(nèi)存的數(shù)據(jù)段（static數(shù)據(jù)、一旦申請就不再釋放的邏輯）不需要按需申請、按場景釋放驗(yàn)證內(nèi)存增量/釋放Static類/全局變量不需要非必要情況不要使用驗(yàn)證啟動程序時(shí)/DLL加載時(shí)，不加載此模塊的代碼B/S是否有內(nèi)嵌網(wǎng)頁不需要跨進(jìn)程WEB展現(xiàn)頁面測速/內(nèi)存泄漏測試是否跳轉(zhuǎn)到瀏覽器不需要不需要頁面測速磁盤I/O為界面層提供數(shù)據(jù)查詢/存儲接口（封裝DB、ini、注冊表等）不需要接口查詢效率I/O測試多次磁盤寫操作（移動、復(fù)

3、制、刪除等）不需要不需要I/O測試數(shù)據(jù)遍歷（SQL、復(fù)合文檔、文件系統(tǒng)）需求合理？考慮無遍歷的替代方案I/O測試界面效果有多個同類界面元素（舉例：多個桌面圖標(biāo)）不需要異步界面展示/按需加載設(shè)計(jì)異步展示按需加載I/O測試動畫效果不需要Timer實(shí)現(xiàn)/阻塞式動畫測試FPS關(guān)鍵路徑邏輯是否和關(guān)鍵路徑掛鉤：啟動時(shí)、登錄面板、登錄時(shí)/登錄后、退出不需要按需加載設(shè)計(jì)按需加載關(guān)鍵路徑性能測試目錄向您介紹我自己1我們的專項(xiàng)測試方法論2我們自研的平臺工具3成熟的專項(xiàng)團(tuán)隊(duì)測哪些指標(biāo)？4發(fā)布后的全網(wǎng)監(jiān)控5研發(fā)支撐平臺：CI/合流/發(fā)布安裝包質(zhì)量監(jiān)控：體積、方法數(shù)CodeDog：靜態(tài)代碼掃描C+CppCheckCpp

4、LintAndroAndroid200+項(xiàng)目已接入：給兩個SVN就能從差異中掃出Bug共1731條掃描規(guī)則，其中201條自研規(guī)則idJavaCoverityLintFindBugsC/C+C#JavaScriptObjective CPHPPythonPyLintRubyPerflib & QTA：性能自動化測試New Monkey：穩(wěn)定性測試序號項(xiàng)目名稱部門1手Q即通產(chǎn)品部2空間獨(dú)立版社交平臺部3空間結(jié)合版社交平臺部4QQ Music數(shù)字音樂部5全民K歌數(shù)字音樂部6應(yīng)用寶MIG7騰訊新聞OMG8天天快報(bào)OMG9騰訊視頻OMG10企鵝辦公即通產(chǎn)品部11騰訊課堂即通應(yīng)用部12天天P圖社交平臺部1

5、3Now直播即通應(yīng)用部14企鵝FM社交平臺部15騰訊視頻OEMOMG16騰訊視頻少兒版OMG17花樣直播即通應(yīng)用部18企鵝輔導(dǎo)即通應(yīng)用部19微云云平臺部20企鵝電競增值產(chǎn)品部21閃咖社交平臺部22騰訊直播OMG23音視頻開放SDK音視頻實(shí)驗(yàn)室Magnifier：卡頓監(jiān)控目錄向您介紹我自己1我們的專項(xiàng)測試方法論2我們自研的平臺工具3成熟的專項(xiàng)團(tuán)隊(duì)測哪些指標(biāo)？4發(fā)布后的全網(wǎng)監(jiān)控5專項(xiàng)質(zhì)量體系Windows卡頓時(shí)延CPU句柄頁錯誤IO線程內(nèi)存穩(wěn)定性采集perflib.win全網(wǎng)Crash上報(bào)分析Magnifier + Windows Performance AnalyzerWinDbg外網(wǎng)卡上報(bào)全網(wǎng)

6、性能上報(bào) 哈勃iOS卡頓時(shí)延流暢度CPU內(nèi)存線程IO流量電量穩(wěn)定性采集perflib.iosTCPDump體溫槍New Monkey分析LogApple InstrumentsWireShark外網(wǎng)智子哈勃SNG APMRQDAndroid卡頓電量穩(wěn)定性時(shí)延線程流量流暢度CPU內(nèi)存IODBGC音視頻采集電流儀New Monkeyperflib.android分析LogLogWire SharkTrace View分析云Alloc TraceSNG APM外網(wǎng)智子RQD哈勃SNG APM框架效應(yīng)：這樣PK，效率多低？在實(shí)驗(yàn)室中證明性能Bug這不影響用戶體驗(yàn)吧？我覺得可以接受決策上升要改我的環(huán)境沒

7、這問題測試數(shù)據(jù)穩(wěn)定嗎？你都不復(fù)現(xiàn)，我怎么查限制業(yè)務(wù)規(guī)模延后/預(yù)加載移到子線程要我原子優(yōu)化？你測到不卡就 足夠了，別搞那么復(fù)雜發(fā)布：外網(wǎng)投訴測試不是證明過體驗(yàn)夠好了嗎？這不關(guān)我的事啊，是歷史問題/系統(tǒng)問題無需重現(xiàn)規(guī)律定位隨機(jī)性能Bug卡頓實(shí)驗(yàn)室App Log時(shí)延perflibCPUTraceViewIOIOMonitorGCAllocTraceDBIOMonitor流量TCPDump全網(wǎng)監(jiān)控智子卡頓時(shí)延APMIODB掉幀率流量編碼度量分析解決驗(yàn)證帶分析能力的性能自動化結(jié)果：不吵架了，直接解BugIO太高定位到出問 題的函數(shù)專項(xiàng)分析工具優(yōu)化之誰寫的這么爛的代碼？IO減少30倍 影響90%用戶測試驗(yàn)

8、證CPU測試CPU變頻特 性其他APP串 擾如何判定性 能問題Android 4.x 有BugIO測試Bug：啟動慢至12秒連續(xù)3周沒有分析出原因IO分析2小時(shí)內(nèi)找到某組件最大效率提升60倍內(nèi)存測試緩 存基準(zhǔn)值重復(fù)打開 關(guān)閉泄漏GC測試數(shù)據(jù)規(guī)模優(yōu)化前(ms)優(yōu)化后(ms)性能提升1000027,6352,8539倍20000164,2354,38036倍30000789,6006,945113倍400002,287,9489,910230倍500003,884,81516,038241倍100000遠(yuǎn)超1小時(shí)，無法測出29,100-GC問題內(nèi)存復(fù)用可解！CPU問題函數(shù)耗時(shí)無解？GC分析工具原理

9、Google Allocation Tracker最多記錄64K自研的AllocTrace能記錄無限多信息掉幀率（流暢度）測試16.67ms掉10幀，167ms60506060606060606060更 敏 感避 免 平 均 化59每天運(yùn)行10輪：每天運(yùn)行1輪：FPS = 50掉幀率 = 16.7%FPS = 50掉幀率 = 0%0%16.7%0.26%0.20%0.05%0.01%1.45%1.19%0.96%0.68%0.0%1.0%2.0%3.0%4.0%5.0%1幀2幀4幀8幀優(yōu)化前優(yōu)化后FaceBook流量測試自己解析/proc/net/xt_qtaguid/statsTrafficStats 含有本地回環(huán) 的流量目錄向您介紹我自己1我們的專項(xiàng)測試方法論2我們自研的平臺工具3成熟的專項(xiàng)團(tuán)隊(duì)測哪些指標(biāo)？4發(fā)布后的全網(wǎng)監(jiān)控5用戶投訴跟進(jìn)Cras