性能測試要點(diǎn)及用例

1、目錄一、性能測試要點(diǎn)及用例模板21、性能測試團(tuán)隊(duì)成員職責(zé)技能描述22、性能測試工具需求規(guī)劃表33、性能測試環(huán)境調(diào)查表34、典型業(yè)務(wù)列表35、業(yè)務(wù)用例描述46、場景列表47、測試計(jì)劃48、測試環(huán)境檢查59、測試執(zhí)行記錄日志510、性能測試分析報(bào)告611、性能測試應(yīng)用領(lǐng)域與測試方法的關(guān)聯(lián)612、常用的性能測試過程713、并發(fā)測試主要關(guān)注的問題（常用的測試方法）814、性能調(diào)優(yōu)的標(biāo)準(zhǔn)過程示例圖815、性能測試腳本錄制時(shí)的協(xié)議類型916、不同應(yīng)用領(lǐng)域的性能測試目標(biāo)和性能目標(biāo)1017、Windows操作系統(tǒng)主要計(jì)數(shù)器1018、Unix常用計(jì)數(shù)器11一、性能測試要點(diǎn)及用例模板1、性能測試團(tuán)隊(duì)成員職責(zé)技能描

2、述角色職責(zé)技能測試經(jīng)理1. 和用戶等項(xiàng)目干系人交互，確保測試的外部環(huán)境2. 制定測試計(jì)劃3. 監(jiān)控測試進(jìn)度4. 發(fā)現(xiàn)和處理測試中的風(fēng)險(xiǎn)1. 計(jì)劃執(zhí)行和監(jiān)控能力2. 風(fēng)險(xiǎn)意識和能力3. 外交能力和靈活變通的能力測試設(shè)計(jì)1. 定義性能規(guī)劃2. 識別用戶的性能需求3. 建立性能場景1. 業(yè)務(wù)把握能力2. 性能需求分析和識別能力測試開發(fā)1. 實(shí)現(xiàn)已設(shè)計(jì)的性能場景2. 腳本開發(fā)、調(diào)試3. 確定測試時(shí)需要監(jiān)控的性能指標(biāo)、性能計(jì)數(shù)器1. 腳本編碼和調(diào)試能力2. 理解性能指標(biāo)和性能計(jì)數(shù)器測試執(zhí)行1. 部署測試環(huán)境2. 執(zhí)行腳本和場景3. 根據(jù)監(jiān)控要求記錄測試結(jié)果、記錄性能指標(biāo)和性能計(jì)數(shù)器值1. 搭建測試環(huán)境的

3、能力2. 測試工具使用（執(zhí)行）的能力3. 性能指標(biāo)和性能計(jì)數(shù)器值獲取和記錄的能力測試分析1. 根據(jù)測試結(jié)果、性能指標(biāo)的數(shù)值、性能計(jì)數(shù)器值進(jìn)行分析2. 能根據(jù)性能規(guī)劃，分析出系統(tǒng)性能瓶頸、或量給出優(yōu)化建議1. 掌握性能測試工具的使用方法2. 掌握應(yīng)用系統(tǒng)性能領(lǐng)域相關(guān)知識，理解所采用的架構(gòu)3. 熟悉常用的性能分析方法4. 具有一定的編碼經(jīng)驗(yàn)支持角色（系統(tǒng)）系統(tǒng)支持，協(xié)助解決測試工程師無法解決的系統(tǒng)問題處理系統(tǒng)問題的能力和技能，最好由專職的系統(tǒng)管理員擔(dān)任這個(gè)角色支持角色（網(wǎng)絡(luò)）網(wǎng)絡(luò)方面的支持，協(xié)助測試工程師解決網(wǎng)絡(luò)方面的問題，在必要時(shí)為測試分析角色提供網(wǎng)絡(luò)方面的分析支持網(wǎng)絡(luò)方面的能力和技能，最好由專

4、職的網(wǎng)絡(luò)管理員擔(dān)任這個(gè)角色支持角色（數(shù)據(jù)庫）數(shù)據(jù)庫方面的支持，在必要時(shí)為測試角色提供數(shù)據(jù)庫方面的支持?jǐn)?shù)據(jù)庫方面的能力和技能，最好由專職的DBA擔(dān)任這個(gè)角色2、性能測試工具需求規(guī)劃表被測試系統(tǒng)環(huán)境測試工具功能需求建議操作系統(tǒng)環(huán)境測試工具是否能運(yùn)行在本操作系統(tǒng)上測試工具是否支持對本操作系統(tǒng)的監(jiān)控應(yīng)用服務(wù)器環(huán)境測試工具能否支持對本應(yīng)用服務(wù)器的監(jiān)控?cái)?shù)據(jù)庫環(huán)境測試工具能否支持本數(shù)據(jù)庫的監(jiān)控應(yīng)用使用的協(xié)議本系統(tǒng)使用了哪些協(xié)議哪些協(xié)議需要在性能測試中通過工具進(jìn)行錄制和產(chǎn)生負(fù)載測試工具能否支持需要進(jìn)行錄制和產(chǎn)生負(fù)載的協(xié)議網(wǎng)絡(luò)環(huán)境是否需要測試工具支持防火墻是否需要測試工具支持負(fù)載均衡測試管理支持測試工具是否能夠

5、提供方便的測試結(jié)果分析和管理3、性能測試環(huán)境調(diào)查表性能測試環(huán)境描述系統(tǒng)架構(gòu)描述系統(tǒng)技術(shù)架構(gòu)描述系統(tǒng)物理架構(gòu)描述服務(wù)器需求服務(wù)器類別和數(shù)量每臺服務(wù)器的配置（CPU、內(nèi)存、磁盤、操作系統(tǒng)（含參數(shù)）、應(yīng)用軟件）客戶端環(huán)境使用的瀏覽器/客戶端應(yīng)用版本網(wǎng)絡(luò)傳輸狀況（限制）吞吐量估算4、典型業(yè)務(wù)列表功能所屬模塊訪問路徑備注5、業(yè)務(wù)用例描述Case編號測試類型簡短描述客戶需求列表軟件需求編號場景引用列表測試優(yōu)先級前置條件測試步驟參數(shù)化需求驗(yàn)證點(diǎn)創(chuàng)建人創(chuàng)建時(shí)間備注6、場景列表場景名稱場景業(yè)務(wù)及用戶比例分配測試指標(biāo)性能計(jì)數(shù)器用戶登錄登陸業(yè)務(wù)，100%用戶總用戶數(shù)200人響應(yīng)時(shí)間（<5s）服務(wù)器CPU使用率

6、服務(wù)器內(nèi)存使用率標(biāo)準(zhǔn)日常工作入賬業(yè)務(wù)，40%用戶查詢業(yè)務(wù)，30%用戶統(tǒng)計(jì)業(yè)務(wù)，30%用戶總用戶數(shù)200人響應(yīng)時(shí)間（入賬<6s）（查詢<5s）（統(tǒng)計(jì)<10s）服務(wù)器CPU使用率服務(wù)器內(nèi)存使用率 7、測試計(jì)劃1引言1.1編寫目的2參考文檔3測試目的4測試范圍4.1測試對象4.2需要測試的特性4.3無需測試的特性5測試啟動(dòng)與結(jié)束準(zhǔn)則5.1啟動(dòng)準(zhǔn)則5.2結(jié)束準(zhǔn)則6測試方法6.1測試工具6.2測試設(shè)計(jì)6.3測試用例與測試場景7測試類型7.1能力驗(yàn)證測試7.2容量規(guī)劃測試7.3穩(wěn)定性測試8測試環(huán)境維護(hù)原則9測試輸出10測試資源需求與時(shí)間計(jì)劃8、測試環(huán)境檢查條目名稱檢查內(nèi)容責(zé)任人維護(hù)方法硬

7、件環(huán)境硬件環(huán)境是否與拓?fù)涿枋鲆恢掠布負(fù)浣Y(jié)構(gòu)圖軟件環(huán)境軟件環(huán)境是否與軟件環(huán)境列表中描述一致軟件環(huán)境列表應(yīng)用部署是否成功應(yīng)用部署檢查測試輔助工具是否部署成功測試輔助工具部署檢查軟件參數(shù)設(shè)置是否符合要求軟件參數(shù)設(shè)置表數(shù)據(jù)環(huán)境數(shù)據(jù)是否與數(shù)據(jù)要求描述表中描述一致數(shù)據(jù)要求描述表上次測試是否引入了額外的數(shù)據(jù)而沒有清除數(shù)據(jù)維護(hù)腳本或是Import方式9、測試執(zhí)行記錄日志日期標(biāo)題測試內(nèi)容結(jié)果測試人10、性能測試分析報(bào)告1測試背景2測試目的3測試概要描述3.1被測系統(tǒng)描述3.2測試時(shí)間3.3測試地點(diǎn)3.4測試人員3.5測試工具和環(huán)境3.6測試方案簡介4測試結(jié)果和結(jié)論4.1測試結(jié)論4.2測試結(jié)論的限制4.3對系統(tǒng)

8、的建議5原始數(shù)據(jù)和報(bào)告5.1測試執(zhí)行記錄5.2原始數(shù)據(jù)文件5.3測試工具生成的報(bào)告11、性能測試應(yīng)用領(lǐng)域與測試方法的關(guān)聯(lián)能力驗(yàn)證規(guī)劃能力性能調(diào)優(yōu)發(fā)現(xiàn)缺陷Performance Testing性能測試Load Testing負(fù)載測試Stress Testing壓力測試Configuration Testing配置測試Concurrency Testing并發(fā)測試Reliability Testing可靠性測試Failover Testing失效恢復(fù)測試12、常用的性能測試過程13、并發(fā)測試主要關(guān)注的問題（常用的測試方法）問題類別問題描述內(nèi)存問題是否有內(nèi)在泄漏（C/C+）是否有太多的臨時(shí)對象（Ja

9、va）是否有太多的超過設(shè)計(jì)生命周期的對象（Java）數(shù)據(jù)庫問題是否有數(shù)據(jù)庫死鎖（Dead Lock）是否經(jīng)常出現(xiàn)長事務(wù)（Long Transaction）線程/進(jìn)程問題是否出現(xiàn)線程/進(jìn)程同步失敗其它問題是否出現(xiàn)資源爭用導(dǎo)致的死鎖是否沒有正確處理異常（例如超時(shí)等）導(dǎo)致系統(tǒng)死鎖14、性能調(diào)優(yōu)的標(biāo)準(zhǔn)過程示例圖15、性能測試腳本錄制時(shí)的協(xié)議類型應(yīng)用類型應(yīng)用特點(diǎn)建議選用協(xié)議備注Web應(yīng)用應(yīng)用采用ASP結(jié)構(gòu)、J2EE或是.Net架構(gòu)HTTP/HTTPS協(xié)議Web應(yīng)用一般采用Http/Https協(xié)議進(jìn)行性能測試腳本錄制，但特別要指出的是，有些借助客戶端運(yùn)行的組件采用自定義Socket或是其他協(xié)議與服務(wù)器進(jìn)行

10、通信，此時(shí)需要在錄制時(shí)選擇多種協(xié)議C/S應(yīng)用客戶端程序以ADO、Oledb方式連接后臺數(shù)據(jù)庫根據(jù)后臺數(shù)據(jù)庫類型選擇相應(yīng)協(xié)議例如，如果后臺數(shù)據(jù)庫是Oracle,則在錄制時(shí)選擇Oracle協(xié)議客戶端程序ODBC方式連接后臺數(shù)據(jù)庫ODBC協(xié)議無客戶端和服務(wù)器之間通過自定義的Socket協(xié)議進(jìn)行通信Socket協(xié)議無其它協(xié)議根據(jù)具體協(xié)議類型進(jìn)行分析例如，有些應(yīng)用為了能夠適應(yīng)復(fù)雜的廣域網(wǎng)環(huán)境，采用HTTP協(xié)議為C/S結(jié)構(gòu)應(yīng)用的客戶端和服務(wù)端之間的通信協(xié)議，此時(shí)可以根據(jù)具體的協(xié)議來選擇錄制使用的協(xié)議組件COM/DCOMCOM/DCOM這里提到的是針對組件的測試，商業(yè)性能測試工具一般提供了一種直接測試組件接

11、口性能的方法EJBEJB協(xié)議服務(wù)Web ServiceWeb Service協(xié)議有些人可能會(huì)用Http協(xié)議來錄制對Web Service服務(wù)進(jìn)行性能測試的腳本，建議使用專門的Web Service協(xié)議進(jìn)行錄制Mail服務(wù)器SMTP和POP協(xié)議無FTP服務(wù)器FTP協(xié)議無其它根據(jù)具體的協(xié)議選擇最接近的錄制協(xié)議無應(yīng)用服務(wù)器Oracle ApplicationServerOracle Application Server協(xié)議無SAPSAP協(xié)議無TuxedoTuxedo協(xié)議無其它根據(jù)具體協(xié)議選擇最接近的無16、不同應(yīng)用領(lǐng)域的性能測試目標(biāo)和性能目標(biāo)應(yīng)用領(lǐng)域性能測試目標(biāo)性能目標(biāo)能力驗(yàn)證驗(yàn)證系統(tǒng)在給定環(huán)境中的

12、性能能力重點(diǎn)關(guān)注的關(guān)鍵業(yè)務(wù)響應(yīng)時(shí)間、吞吐量規(guī)劃能力驗(yàn)證系統(tǒng)的性能擴(kuò)展能力，找出系統(tǒng)能力擴(kuò)充的關(guān)鍵點(diǎn)，給出改善其性能擴(kuò)展能力的建議業(yè)務(wù)的性能瓶頸性能調(diào)優(yōu)提高系統(tǒng)的性能表現(xiàn)重點(diǎn)關(guān)注的關(guān)鍵業(yè)務(wù)響應(yīng)時(shí)間，吞吐量發(fā)現(xiàn)缺陷發(fā)現(xiàn)系統(tǒng)中的缺陷無17、Windows操作系統(tǒng)主要計(jì)數(shù)器類別計(jì)數(shù)器名稱計(jì)數(shù)器描述MemoryAvailable Mbytes可用物理內(nèi)存數(shù)Pages/sec表明由于硬件頁面錯(cuò)誤而從磁盤取出的頁面數(shù)，或由于頁面錯(cuò)誤而寫入磁盤以釋放工作集空間的頁面數(shù)Pages Read/sec頁的硬故障,Pages/sec的子集,為了解析對內(nèi)存的引用,必須讀取頁文件的次數(shù).閾值為5.數(shù)值越低越好.大數(shù)值表示

13、是磁盤讀而不是緩存讀Page Faults/sec此值為處理器中的頁面錯(cuò)誤的計(jì)數(shù),當(dāng)進(jìn)程引用特定的虛擬內(nèi)存頁,該頁不在其主內(nèi)存的工作集當(dāng)中時(shí),將出現(xiàn)頁面錯(cuò)誤.如果某頁已經(jīng)位于內(nèi)存中,或者它正在被共享該頁的其他進(jìn)程所使用,則頁面錯(cuò)誤不會(huì)導(dǎo)致該頁從磁盤中讀取Cache Bytes文件系統(tǒng)緩存(File System Cache),默認(rèn)情況下為50%的可用物理內(nèi)存Process%Processor Time被處理器消耗的處理器的時(shí)間數(shù)量。如果是專用于某種特定應(yīng)用（例如數(shù)據(jù)庫服務(wù)器或是應(yīng)用服務(wù)器），則可用應(yīng)用相關(guān)進(jìn)程%Process Time進(jìn)行衡量，此時(shí)，可接受的上限一般不超過85%Page Fau

14、lts/sec將進(jìn)程產(chǎn)生的頁故障與系統(tǒng)產(chǎn)生的相比較，以判斷這個(gè)進(jìn)程對系統(tǒng)頁故障產(chǎn)生的影響Work set處理線程最近使用的內(nèi)存頁，反映了每一個(gè)進(jìn)程使用的內(nèi)存頁的數(shù)量。如果服務(wù)器有足夠的空閑內(nèi)存，頁就會(huì)被留在工作集中，當(dāng)自由內(nèi)存少于一個(gè)特定的閾值時(shí)，頁就會(huì)被清除出工作集Private Bytes此進(jìn)程所分配的無法與其它進(jìn)程共享的當(dāng)前字節(jié)數(shù)量。如果系統(tǒng)性能隨著時(shí)間而降低，則此計(jì)數(shù)器可以是內(nèi)存泄漏的最佳指示器。Processor%Processor Time如果該值持續(xù)超過95%，表明瓶頸是CPU，可以考慮增加一個(gè)處理器或換一個(gè)更快的處理器%User Time非內(nèi)核操作耗費(fèi)的CPU時(shí)間。一般來說，如

15、果系統(tǒng)中使用了大量的算法或是復(fù)雜的計(jì)算操作，該值會(huì)比較大%Privileged TimeCpu內(nèi)核時(shí)間是在特權(quán)模式下處理線程執(zhí)行代碼所花時(shí)間的百分比%DPC TimeCPU消耗在網(wǎng)絡(luò)處理上的時(shí)間，些值越低越好Physical Disk%Disk Time指所選磁盤驅(qū)動(dòng)器忙于為讀或?qū)懭胝埱筇峁┓?wù)所用的時(shí)間的百分比Average Disk Queue Length指讀取和寫入請求（為所選磁盤在實(shí)例間隔中列隊(duì)的）的平均數(shù)。該值應(yīng)不超過磁盤數(shù)的1.5-2倍。要提高性能，可增加磁盤。注意：一個(gè)Raid disk實(shí)際有多個(gè)磁盤Average Disk Read/Write Queue Length指讀取

16、（寫入）請求（列隊(duì)）的平均數(shù)Disk Read(Writes)/sec物理磁盤上每秒種磁盤讀、寫的次數(shù)。兩者相加，應(yīng)小于磁盤設(shè)備最大容量Average Disk sec/Read指以秒計(jì)算的在此盤上讀取數(shù)據(jù)的所需平均時(shí)間Average Disk sec/Transfer指以秒計(jì)算的在此盤上寫入數(shù)據(jù)的所需平均時(shí)間Network InterfaceBytes Total/sec為發(fā)送和接收字節(jié)的速率，包括幀字符在內(nèi)。判斷網(wǎng)絡(luò)連接速度是否是瓶頸，可以用該計(jì)數(shù)器的值和目前網(wǎng)絡(luò)的帶寬比較System%Total Processor Time系統(tǒng)上所有處理器都忙于執(zhí)行非空閑線程的平均時(shí)間的百分比，該值反映

17、了用于有用作業(yè)上的時(shí)間的比率。對單處理器系統(tǒng)來說，該值很容易理解；對多處理器系統(tǒng)來說，該值是體現(xiàn)了所有處理器的平均繁忙程度。例如，如果所有處理器都繁忙，此值為100%，如果有一半的處理器繁忙，另一半處理器為安全空閑，此值為50%。File Data Operations/sec計(jì)算機(jī)對文件系統(tǒng)設(shè)置執(zhí)行讀取和寫入操作的速率。本計(jì)數(shù)器的計(jì)數(shù)不包括文件控制操作Processor Queue Length線程單元中處理器隊(duì)列的即時(shí)長度。所有處理器都使用單一隊(duì)列（線程在該隊(duì)列中等待處理器進(jìn)行循環(huán)）。此長度不包括當(dāng)前正在執(zhí)行的線程。一般情況下，如果處理器隊(duì)列的長度一直超過服務(wù)器上可用處理器隊(duì)列的長度一直超

18、過服務(wù)器上可用處理器的總數(shù)量+1，則可能表示處理器堵塞。18、Unix常用計(jì)數(shù)器類別計(jì)數(shù)器名稱計(jì)數(shù)器描述MemoryFree(KB)可用物理內(nèi)存數(shù)Swap(KB)已使用的虛擬內(nèi)存數(shù)量。在Linux系統(tǒng)中。該值被標(biāo)識為Swap(page)si每秒從磁盤交換到內(nèi)存的數(shù)量。在Linux系統(tǒng)中，該值被放在Swap區(qū)中(page)so每秒從內(nèi)存交換出的內(nèi)存數(shù)量。在Linux系統(tǒng)中，該值被放在Swap區(qū)中Cache(KB)文件系統(tǒng)緩存Process%CPU Usage被處理器消耗的處理器時(shí)間數(shù)量。如果是專用于某種特定應(yīng)用（例如數(shù)據(jù)庫服務(wù)器或是應(yīng)用服務(wù)器）。則可用應(yīng)用相關(guān)進(jìn)程的% Processor Tim

19、e進(jìn)行衡量，此時(shí)，可接受的上限一般是不超過85%Page Faults count該進(jìn)程產(chǎn)生的頁面失效次數(shù)?？梢杂迷撝蹬c系統(tǒng)的頁面失效的影響Resident size(KB)進(jìn)程保留的使用內(nèi)存量。該數(shù)值等于進(jìn)程的代碼使用內(nèi)存十進(jìn)程的數(shù)據(jù)使用內(nèi)存。如果該值在測試過程中持續(xù)增加，很可能意味著發(fā)生了內(nèi)存泄漏。Processor%Idle TimeIdle time%描述的是CPU總的空閑時(shí)間。如果該值持續(xù)低于10%，表明瓶頸是CPU?？梢钥紤]增加一個(gè)處理器或換一個(gè)更快的處理器%User Time非內(nèi)核操作耗費(fèi)的CPU時(shí)間。一般來說。如果系統(tǒng)中使用了大量的算法或是復(fù)雜的計(jì)算操作，該值會(huì)比較大%Kernel TimeCPU內(nèi)核時(shí)間是在特權(quán)模式下處理線程執(zhí)行代碼所花時(shí)間的百分比%IOwait TimeCPU消耗在等待IO處理上的時(shí)間，此值需要結(jié)合IO的計(jì)數(shù)器考慮Physical DiskPercent of time the disk is busy指所選磁盤驅(qū)動(dòng)器忙于為讀