軟件效率測試初級培訓(xùn)

1、國家應(yīng)用軟件產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心國家應(yīng)用軟件產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心軟件測試工程師培訓(xùn)軟件效率測試目標(biāo)本次培訓(xùn)的目標(biāo)： 了解效率測試的概念 了解效率測試的常用手段 了解效率測試的步驟 掌握腳本錄制方法 掌握腳本的調(diào)試和修改方法 掌握測試報(bào)告的編制方法 了解測試數(shù)據(jù)的分析方法 理解基本的性能指標(biāo)效率測試的定義談及系統(tǒng)的性能，其覆蓋面非常廣泛，對一個(gè)系統(tǒng)而言包括執(zhí)行效率、設(shè)備效率和網(wǎng)絡(luò)效率等性能測試用來保證產(chǎn)品發(fā)布后系統(tǒng)的性能滿足用戶需求，性能測試在軟件質(zhì)量保證中起著非常重要的作用效率測試的目的 評估系統(tǒng)的能力 識(shí)別體系中的弱點(diǎn) 系統(tǒng)調(diào)優(yōu) 驗(yàn)證可伸縮性（resilience）和可靠性（reliabil

2、ity） 用性能測試手段發(fā)現(xiàn)系統(tǒng)存在的問題設(shè)備選型提供部署方案的參考 效率測試的常用手段基準(zhǔn)測試并發(fā)測試遞增測試場景測試極限測試疲勞測試數(shù)據(jù)存儲(chǔ)容量測試吞吐量測試基準(zhǔn)測試基準(zhǔn)測試是指測試環(huán)境確認(rèn)以后，對業(yè)務(wù)模型中涉及的每種業(yè)務(wù)做基準(zhǔn)測試。目的是獲取單用戶執(zhí)行時(shí)的各項(xiàng)性能指標(biāo)，為多用戶并發(fā)和混合場景的性能測試性能分析提供參考依據(jù)。并發(fā)測試并發(fā)測試是指并發(fā)不同數(shù)目的虛擬用戶執(zhí)行檢查點(diǎn)操作，目的是對檢查點(diǎn)進(jìn)行壓力加載測試。預(yù)測系統(tǒng)投入使用后在一定用戶壓力情況下的系統(tǒng)響應(yīng)時(shí)間,根據(jù)此響應(yīng)時(shí)間分析、確定系統(tǒng)存在的性能瓶頸，為系統(tǒng)的優(yōu)化和調(diào)整提供依據(jù)。 遞增測試遞增測試是指每隔一定時(shí)間段（如5秒、10秒）

3、并發(fā)不同數(shù)目的虛擬用戶執(zhí)行檢查點(diǎn)操作，對檢查點(diǎn)進(jìn)行遞增用戶壓力加載測試，從而模擬系統(tǒng)真實(shí)的使用情景，使用戶預(yù)知系統(tǒng)投入使用后的性能水平。 場景測試根據(jù)歷史數(shù)據(jù)統(tǒng)計(jì)結(jié)果以及系統(tǒng)用戶的分布和使用頻率，模擬不同用戶執(zhí)行不同操作，如10%的用戶執(zhí)行登錄操作，50%的用戶執(zhí)行查詢操作，40%的用戶執(zhí)行數(shù)據(jù)庫更新操作，最大限度地模擬系統(tǒng)的真實(shí)場景，使用戶預(yù)知系統(tǒng)投入使用后的真實(shí)性能水平。從而，對系統(tǒng)做出相應(yīng)的優(yōu)化及調(diào)整，避免實(shí)際情況中出現(xiàn)系統(tǒng)長時(shí)間不響應(yīng)及崩潰的情況。 極限測試極限測試是指對系統(tǒng)核心功能點(diǎn)及可能存在壓力瓶頸的功能點(diǎn)進(jìn)行性能極限測試，即該功能點(diǎn)所能承受的最大用戶并發(fā)數(shù)。通過極限測試，用戶可預(yù)

4、知系統(tǒng)投入使用后，能否滿足實(shí)際的需求。疲勞測試該測試是指對系統(tǒng)核心功能點(diǎn)進(jìn)行疲勞強(qiáng)度測試，即用系統(tǒng)穩(wěn)定運(yùn)行情況下能夠支持的最大并發(fā)用戶數(shù)，持續(xù)執(zhí)行一段業(yè)務(wù)時(shí)間（如48小時(shí)），記錄交易平均響應(yīng)時(shí)間，交易正確率，應(yīng)用服務(wù)器和數(shù)據(jù)庫服務(wù)器cpu利用率、內(nèi)存使用情況等參數(shù)，考察應(yīng)用服務(wù)器和數(shù)據(jù)庫服務(wù)器是否出現(xiàn)宕機(jī)、內(nèi)存泄漏等情況。該測試通常需要和場景測試進(jìn)行結(jié)合，從而可以最大限度地模擬真實(shí)環(huán)境下，系統(tǒng)長時(shí)間連續(xù)運(yùn)行條件下，系統(tǒng)是否能夠保持在穩(wěn)定運(yùn)行狀態(tài)。 吞吐量測試模擬多用戶進(jìn)行執(zhí)行提交任務(wù)操作，測試系統(tǒng)單位時(shí)間內(nèi)可執(zhí)行任務(wù)數(shù)是否可以達(dá)到預(yù)期的指標(biāo)。數(shù)據(jù)存儲(chǔ)容量測試數(shù)據(jù)庫存儲(chǔ)一定容量后，在不同的數(shù)據(jù)存

5、儲(chǔ)量情況下，重新執(zhí)行各項(xiàng)操作，求得系統(tǒng)響應(yīng)時(shí)間。比較不同數(shù)據(jù)存儲(chǔ)容量情況下，執(zhí)行不同任務(wù)操作的系統(tǒng)響應(yīng)時(shí)間，使用戶預(yù)知未來一段時(shí)間隨著數(shù)據(jù)存儲(chǔ)容量的變化，執(zhí)行不同任務(wù)操作響應(yīng)時(shí)間所發(fā)生的變化。 網(wǎng)絡(luò)性能測試含義 測試網(wǎng)絡(luò)帶寬、延遲、負(fù)載和端口的變化對用戶的響應(yīng)時(shí)間的影響 實(shí)際應(yīng)用 主要是測試用戶數(shù)目與網(wǎng)絡(luò)帶寬的關(guān)系效率測試局限不能窮盡所有的情況或案例不能100%的達(dá)到需求效率測試的步驟分析系統(tǒng)并制定測試目標(biāo)選擇相關(guān)技術(shù)和工具 準(zhǔn)備測試環(huán)境錄制腳本并設(shè)計(jì)測試用例設(shè)計(jì)測試場景 運(yùn)行測試用例并確定系統(tǒng)健康運(yùn)行監(jiān)測后臺(tái)資源分析測試結(jié)果并制作報(bào)告分析系統(tǒng)并制定目標(biāo) 分析系統(tǒng) 系統(tǒng)類別 系統(tǒng)構(gòu)成 系統(tǒng)功能

6、 制定目標(biāo) 確定客戶需求和期望 確定實(shí)際業(yè)務(wù)需求 確定系統(tǒng)需求 測試點(diǎn)通常按照4-8原則，時(shí)間占到整個(gè)測試周期的2/3以上 登錄、查詢、數(shù)據(jù)更新操作、文件上傳等選擇相關(guān)技術(shù)和工具對各種性能測試工具進(jìn)行評估 選擇符合現(xiàn)有軟件架構(gòu)的性能測試工具 設(shè)計(jì)測試場景虛擬用戶的操作步驟要盡量類似真實(shí)用戶的操作 操作的數(shù)據(jù)要類似于真實(shí)用戶實(shí)際使用數(shù)據(jù)，以防止應(yīng)用緩存技術(shù)對負(fù)載測試帶來的負(fù)面影響 在案例設(shè)計(jì)時(shí)要充分考慮到需求中用戶對模塊使用的頻率 準(zhǔn)備測試環(huán)境系統(tǒng)使用何種操作系統(tǒng) 需要監(jiān)控哪些指標(biāo)需要安裝哪些服務(wù)是否需要準(zhǔn)備數(shù)據(jù)需要哪些用戶同一個(gè)用戶是否可以重復(fù)使用 錄制腳本并設(shè)計(jì)測試用例從登錄開始 加入檢查點(diǎn)

7、 盡可能模擬用戶的數(shù)據(jù)一定要退出系統(tǒng)（logout）并發(fā)時(shí)加入同步點(diǎn) 修改調(diào)試腳本發(fā)現(xiàn)腳本中動(dòng)態(tài)內(nèi)容出現(xiàn)的位置并用變量進(jìn)行替換替換的方式分為：創(chuàng)建數(shù)據(jù)池文件（txt、cvs or dat）使用central數(shù)據(jù)池 數(shù)據(jù)不能重復(fù)使用local 數(shù)據(jù)池 數(shù)據(jù)可循環(huán)使用通過activedata菜單插入變量值運(yùn)行測試用例并確定系統(tǒng)健康通過并發(fā)兩個(gè)用戶確定腳本的可并發(fā)性 不能只進(jìn)行一次測試（初始化、緩存、網(wǎng)絡(luò)）配置選項(xiàng)（選擇腳本、用戶數(shù)、機(jī)器）執(zhí)行測試查看執(zhí)行狀態(tài)（進(jìn)度、錯(cuò)誤信息）查看測試結(jié)果（數(shù)據(jù)是否正確、license）采集數(shù)據(jù)停止測試監(jiān)測后臺(tái)資源網(wǎng)絡(luò)訪問方式、agent方式、snmp方式cpu 內(nèi)

8、存 磁盤 網(wǎng)絡(luò)分析測試結(jié)果并制作報(bào)告 收集相關(guān)信息 進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析 尋找性能瓶頸 響應(yīng)時(shí)間是否滿足要求 事務(wù)響應(yīng)時(shí)間隨用戶變化圖有無劇烈變化套用效率測試模板測試工具培訓(xùn)基礎(chǔ)qaloadv qaload 是進(jìn)行性能測試，負(fù)載測試和強(qiáng)度測試的工具v qaload 可以對應(yīng)用負(fù)載測試一直達(dá)到應(yīng)用最大并發(fā)用戶數(shù)v qaload 可以對應(yīng)用進(jìn)行強(qiáng)度測試，從而找到應(yīng)用可承載的最大并發(fā)用戶數(shù)v qaload 可以測量應(yīng)用的響應(yīng)時(shí)間，給出應(yīng)用的最終用戶性能體驗(yàn)v 其它用途：系統(tǒng)優(yōu)化，監(jiān)測服務(wù)器資源，容量規(guī)劃，基準(zhǔn)性能指標(biāo)，與其他工具結(jié)合獲得更多的功能qaload所支持的協(xié)議通信層 winsock, iiop

9、, www, wap, net load數(shù)據(jù)層 odbc, ms sql server, oracle, oracle forms server, sybase, db2, ado應(yīng)用層 sap, tuxedo, uniface, qarun, javaqaload體系結(jié)構(gòu) workbench player machines conductor analyze20 vus50 vus75 vus application under testqaload的三大組成組件的三大組成組件安裝環(huán)境windows 環(huán)境+最新的補(bǔ)丁iejdkvisulstudio +補(bǔ)丁pdf閱讀器工具演示錄制腳本修改腳本

10、設(shè)置測試場景運(yùn)行測試腳本分析測試數(shù)據(jù)制作測試報(bào)告性能測試關(guān)注的主要指標(biāo)響應(yīng)時(shí)間并發(fā)或在線用戶數(shù)吞吐量(應(yīng)用和數(shù)據(jù)庫)內(nèi)存（memory）磁盤（physical disk）處理器（processor）網(wǎng)絡(luò)響應(yīng)時(shí)間在某數(shù)據(jù)量的情況下，完成某功能模塊所需要的時(shí)間內(nèi)存（memory）committed bytes in useavailable bytespage faults/secpages/sec磁盤（physical disk）disk timeidle timeavg. disk queue lengthcurrent disk queue length處理器（processor）processor timeuser timeprocessor queue length 網(wǎng)絡(luò)bytes total/secpackets/sec 回顧效率測試流程