性能測試測試方案.doc

性能測試詳細(xì)測試方案前言平臺(tái)XX項(xiàng)目系統(tǒng)已經(jīng)成功發(fā)布，依據(jù)項(xiàng)目的規(guī)劃，未來勢必會(huì)出現(xiàn)業(yè)務(wù)系統(tǒng)中信息大量增長的態(tài)勢。隨著業(yè)務(wù)系統(tǒng)在生產(chǎn)狀態(tài)下日趨穩(wěn)定、成熟，系統(tǒng)的性能問題也逐步成為了我們關(guān)注的焦點(diǎn)：每天大數(shù)據(jù)量的“沖擊”，系統(tǒng)能穩(wěn)定在什么樣的性能水平，面臨行業(yè)公司業(yè)務(wù)增加時(shí)，系統(tǒng)能否經(jīng)受住“考驗(yàn)”，這些問題需要通過一個(gè)完整的性能測試來給出答案。1第一章XXX系統(tǒng)性能測試概述1.1 被測系統(tǒng)定義XXX系統(tǒng)作為本次測試的被測系統(tǒng)（注：以下所有針對(duì)被測系統(tǒng)地描述均為針對(duì)XXX系統(tǒng)進(jìn)行的），XXX系統(tǒng)是由平臺(tái)開發(fā)的一款物流應(yīng)用軟件，后臺(tái)應(yīng)用了Oracle11g數(shù)據(jù)庫，該系統(tǒng)包括主要功能有:XXX等。在該系統(tǒng)中都存在多用戶操作，大數(shù)據(jù)量操作以及日?qǐng)?bào)、周報(bào)、年報(bào)的統(tǒng)計(jì)，在本次測試中，將針對(duì)這些多用戶操作，大數(shù)據(jù)量的查詢、統(tǒng)計(jì)功能進(jìn)行如預(yù)期性能、用戶并發(fā)、大數(shù)據(jù)量、疲勞強(qiáng)度和負(fù)載等方面的性能測試，檢查并評(píng)估在模擬環(huán)境中，系統(tǒng)對(duì)負(fù)載的承受能力，在不同的用戶連接情況下，系統(tǒng)的吞吐能力和響應(yīng)能力，以及在預(yù)計(jì)的數(shù)據(jù)容量中，系統(tǒng)能夠容忍的最大用戶數(shù)。1.1.1 功能簡介主要功能上面已提到，由于本文檔主要專注于性能在這里功能不再作為重點(diǎn)講述。1.1.2 性能測試指標(biāo)本次測試是針對(duì)XXX系統(tǒng)進(jìn)行的全面性能測試，主要需要獲得如下的測試指標(biāo)。1、應(yīng)用系統(tǒng)的負(fù)載能力：即系統(tǒng)所能容忍的最大用戶數(shù)量，也就是在正常的響應(yīng)時(shí)間中，系統(tǒng)能夠支持的最多的客戶端的數(shù)量。2、應(yīng)用系統(tǒng)的吞吐量：即在一次事務(wù)中網(wǎng)絡(luò)內(nèi)完成的數(shù)據(jù)量的總和，吞吐量指標(biāo)反映的是服務(wù)器承受的壓力。事務(wù)是用戶某一步或幾步操作的集合。3、應(yīng)用系統(tǒng)的吞吐率：即應(yīng)用系統(tǒng)在單位時(shí)間內(nèi)完成的數(shù)據(jù)量，也就是在單位時(shí)間內(nèi)，應(yīng)用系統(tǒng)針對(duì)不同的負(fù)載壓力，所能完成的數(shù)據(jù)量。4、TPS：每秒鐘系統(tǒng)能夠處理事務(wù)或交易的數(shù)量，它是衡量系統(tǒng)處理能力的重要指標(biāo)。5、點(diǎn)擊率：每秒鐘用戶向服務(wù)器提交的HTTP請(qǐng)求數(shù)。5、系統(tǒng)的響應(yīng)能力：即在各種負(fù)載壓力情況下，系統(tǒng)的響應(yīng)時(shí)間，也就是從客戶端請(qǐng)求發(fā)起，到服務(wù)器端應(yīng)答返回所需要的時(shí)間，包括網(wǎng)絡(luò)傳輸時(shí)間和服務(wù)器處理時(shí)間。6、應(yīng)用系統(tǒng)的可靠性：即在連續(xù)工作時(shí)間狀態(tài)下，系統(tǒng)能夠正常運(yùn)行的時(shí)間，即在連續(xù)工作時(shí)間段內(nèi)沒有出錯(cuò)信息。1.2 系統(tǒng)結(jié)構(gòu)及流程XXX系統(tǒng)在實(shí)際生產(chǎn)中的體系結(jié)構(gòu)跟本次性能測試所采用的體系結(jié)構(gòu)是一樣的，交易流程也完全一致的。不過，由于硬件條件的限制，本次性能測試的硬件平臺(tái)跟實(shí)際生產(chǎn)環(huán)境略有不同。1.2.1 系統(tǒng)總體結(jié)構(gòu)描述本系統(tǒng)的總體結(jié)構(gòu)，包括：硬件組織體系結(jié)構(gòu)、網(wǎng)絡(luò)組織體系結(jié)構(gòu)、軟件組織體系結(jié)構(gòu)和功能模塊的組織體系結(jié)構(gòu)。1.2.2 功能模塊本次性能測試中各類操作都是由若干功能模塊組成的，每個(gè)功能都根據(jù)其執(zhí)行特點(diǎn)分成了若干操作步驟，每個(gè)步驟就是一個(gè)功能點(diǎn)（即功能模塊），本次性能測試主要涉及的功能模塊以及所屬操作如下表步驟說明備注：Action、平均響應(yīng)時(shí)間（S）1打開主界面Action：訪問首頁(FWSY)；52輸入用戶名密碼（需進(jìn)行參數(shù)化），登錄系統(tǒng)，進(jìn)入首頁Action：登陸(DL)；53點(diǎn)擊“我的通知”標(biāo)簽，進(jìn)入通知列表頁面Action：進(jìn)入通知列表(JRTZLB)；54在我的通知上點(diǎn)擊已收通知標(biāo)題鏈接，查看通知（重要通知）Action：查看通知(CKTZ)；55在我的通知上點(diǎn)擊已收通知的“回復(fù)”鏈接，進(jìn)入回復(fù)界面Action：進(jìn)入回復(fù)界面(JRHFJM)；56在通知回復(fù)界面上填寫回復(fù)內(nèi)容并提交Action：回復(fù)通知(HFTZ)；51.2.3 關(guān)鍵點(diǎn)描述（KP）本次性能測試的關(guān)鍵點(diǎn)，就是查看XXX系統(tǒng)在不同用戶數(shù)量（并發(fā)）壓力下的表現(xiàn)和大數(shù)據(jù)量操作時(shí)系統(tǒng)的性能狀態(tài)，即：支持的并發(fā)用戶數(shù)目和并發(fā)用戶發(fā)送頻率，以及在較大壓力下，系統(tǒng)的處理能力以及CPU、數(shù)據(jù)庫I/O和內(nèi)存的使用情況，并找出相應(yīng)的性能瓶頸。1.3 性能測試環(huán)境本次性能測試環(huán)境與真實(shí)運(yùn)行環(huán)境硬件和網(wǎng)絡(luò)環(huán)境有所不同，是真實(shí)環(huán)境的縮小，數(shù)據(jù)庫是真實(shí)環(huán)境數(shù)據(jù)庫的一個(gè)復(fù)制（或縮?。鞠到y(tǒng)采用標(biāo)準(zhǔn)的CS結(jié)構(gòu)，客戶端通過前臺(tái)安裝訪問應(yīng)用系統(tǒng)。 其中具體的硬件和網(wǎng)絡(luò)環(huán)境如下：中間件服務(wù)器：Weblogic9 操作系統(tǒng)： Windows7/Linux網(wǎng)絡(luò)環(huán)境： LAN（10M）數(shù)據(jù)庫：Oracle 11g RAC客戶端： PC （Windows）網(wǎng)絡(luò)拓?fù)浜徒Y(jié)構(gòu)圖如下：2 第二章 性能測試從廣泛意義上講性能測試包括：預(yù)期性能測試、用戶并發(fā)測試、大數(shù)據(jù)量測試、疲勞強(qiáng)度測試、負(fù)載能力測試等。在不同應(yīng)用系統(tǒng)的性能測試中，需要根據(jù)應(yīng)用系統(tǒng)的特點(diǎn)和測試目的的不同來選擇具體的測試方案，本次XXX系統(tǒng)的性能測試主要是采用通常的壓力測試模式來執(zhí)行的，即：逐步增加壓力，查看應(yīng)用系統(tǒng)在各種壓力狀況下的性能表現(xiàn)。在本次性能測試中，將使用性能測試工具LoadRunner11.0對(duì)被測試項(xiàng)目的各模塊進(jìn)行監(jiān)控，判斷XX系統(tǒng)各模塊的性能表現(xiàn)，并幫助項(xiàng)目人員分析系統(tǒng)各個(gè)操作的性能瓶頸點(diǎn)。2.1 預(yù)期性能測試2.1.1 預(yù)期性能概述通過模擬生產(chǎn)運(yùn)行的業(yè)務(wù)壓力量和使用場景組合，測試系統(tǒng)的性能是否滿足生產(chǎn)性能要求。通俗地說，這種方法就是要在特定的運(yùn)行條件下驗(yàn)證系統(tǒng)的能力狀態(tài)。2.1.2 測試特點(diǎn)1、主要目的是驗(yàn)證系統(tǒng)是否有系統(tǒng)宣稱具有的能力。2、要事先了解被測試系統(tǒng)經(jīng)典場景，并具有確定的性能目標(biāo)。3、要求在已經(jīng)確定的環(huán)境下運(yùn)行。2.2 用戶并發(fā)測試2.2.1 并發(fā)測試概述并發(fā)測試方法通過模擬用戶并發(fā)訪問，測試多用戶并發(fā)訪問同一個(gè)應(yīng)用、同一個(gè)模塊或者數(shù)據(jù)記錄時(shí)是否存在死鎖或其者他性能問題。2.2.2 測試目的1、主要目的是發(fā)現(xiàn)系統(tǒng)中可能隱藏的并發(fā)訪問時(shí)的問題。2、主要關(guān)注系統(tǒng)可能存在的并發(fā)問題，例如系統(tǒng)中的內(nèi)存泄漏、線程鎖和資源爭用方面的問題。3、可以在開發(fā)的各個(gè)階段使用需要相關(guān)的測試工具的配合和支持。2.3 大數(shù)據(jù)量測試2.3.1 大數(shù)據(jù)量測試概述測試對(duì)象處理大量的數(shù)據(jù)，以確定是否達(dá)到了將使軟件發(fā)生故障的極限。大數(shù)據(jù)量測試還將確定測試對(duì)象在給定時(shí)間內(nèi)能夠持續(xù)處理的最大負(fù)載或工作量。2.3.2 測試目的1、主要目的是確定軟件發(fā)生故障的極限。2、確定測試對(duì)象在給定時(shí)間內(nèi)能夠持續(xù)處理的最大負(fù)載或工作量。3、可以在開發(fā)的各個(gè)階段使用需要相關(guān)的測試工具的配合和支持。2.4 疲勞強(qiáng)度測試2.4.1 疲勞強(qiáng)度測試概述即壓力測試，測試系統(tǒng)在一定飽和狀態(tài)下，例如cpu、內(nèi)存在飽和使用情況下，系統(tǒng)能夠處理的會(huì)話能力，以及系統(tǒng)是否會(huì)出現(xiàn)錯(cuò)誤。2.4.2 測試目的1、主要目的是檢查系統(tǒng)處于壓力性能下時(shí)，應(yīng)用的表現(xiàn)。2、一般通過模擬負(fù)載等方法，使得系統(tǒng)的資源使用達(dá)到較高的水平。3、一般用于測試系統(tǒng)的穩(wěn)定性。2.5 負(fù)載能力測試2.5.1 負(fù)載測試概述通過在被測系統(tǒng)上不斷加壓，直到性能指標(biāo)達(dá)到極限，例如“響應(yīng)時(shí)間”超過預(yù)定指標(biāo)或都某種資源已經(jīng)達(dá)到飽和狀態(tài)。2.5.2 測試目的1、主要目的是找到系統(tǒng)處理能力的極限。2、需要在給定的測試環(huán)境下進(jìn)行，通常也需要考慮被測試系統(tǒng)的業(yè)務(wù)壓力量和典型場景、使得測試結(jié)果具有業(yè)務(wù)上的意義。3、一般用來了解系統(tǒng)的性能容量，或是配合性能調(diào)優(yōu)來使用。2.6 測試方法及測試用例詳情參見XX項(xiàng)目測試用例.doc的“性能測試”章節(jié)2.7 測試指標(biāo)及期望在本次性能測試中，各類測試指標(biāo)包括測試中應(yīng)該達(dá)到的某些性能指標(biāo)，這些性能指標(biāo)均是來自應(yīng)用系統(tǒng)設(shè)計(jì)開發(fā)時(shí)遵循的業(yè)務(wù)需求，當(dāng)某個(gè)測試的某一類指標(biāo)已經(jīng)超出了業(yè)務(wù)需求的要求范圍，則測試已經(jīng)達(dá)到目的，即可終止性能測試。 應(yīng)用軟件級(jí)別的測試指標(biāo)： CPU的利用率小于40% 內(nèi)存占用小于80% Processor queue length 小于2 Response time 小于 1s 吞吐量throughtput大于90% 業(yè)務(wù)執(zhí)行的平均響應(yīng)時(shí)間（期望值：15s） 不同并發(fā)用戶數(shù)的狀況下的記錄上述值 網(wǎng)絡(luò)級(jí)別的測試指標(biāo)： 吞吐量：單位時(shí)間內(nèi)網(wǎng)絡(luò)傳輸數(shù)據(jù)量 沖突率：在以太網(wǎng)上監(jiān)測到的每秒沖突數(shù) 操作系統(tǒng)級(jí)別的測試指標(biāo)： 進(jìn)程/線程交換率：進(jìn)程和線程之間每秒交換次數(shù) CPU利用率：即CPU占用率（） 系統(tǒng)CPU利用率：系統(tǒng)的CPU占用率（） 用戶CPU利用率：用戶模式下的CPU占用率（） 磁盤交換率：磁盤交換速率 中斷速率：CPU每秒處理的中斷數(shù) 數(shù)據(jù)庫級(jí)別的測試指標(biāo)： 數(shù)據(jù)庫I/O的流量大小 數(shù)據(jù)庫鎖資源的使用數(shù)量 數(shù)據(jù)庫的并發(fā)連接數(shù)：客戶端的最大連接數(shù)2.7.2 測試數(shù)據(jù)準(zhǔn)備 案例數(shù)據(jù)：滿負(fù)荷壓力根據(jù)測試系統(tǒng)的硬件條件，選擇滿負(fù)荷的壓力，在系統(tǒng)的資源使用基本維持在90%左右的狀況下，測試天威寬帶業(yè)務(wù)管理系統(tǒng)的處理能力。數(shù)據(jù)準(zhǔn)備工作包括：測試數(shù)據(jù)庫需具備與真實(shí)環(huán)境成一定比例或基本一致的數(shù)據(jù) 2.7.3 運(yùn)行狀況記錄記錄可擴(kuò)展性測試中的測試結(jié)果及其系統(tǒng)的運(yùn)行狀況。除了記錄測試指標(biāo)以外，應(yīng)該結(jié)合測試實(shí)時(shí)記錄系統(tǒng)各個(gè)層次的資源和參數(shù)。主要包括： 硬件環(huán)境資源 服務(wù)器操作系統(tǒng)參數(shù) 網(wǎng)絡(luò)相關(guān)參數(shù) 數(shù)據(jù)庫相關(guān)參數(shù)：具體數(shù)據(jù)庫參數(shù)有所不同，結(jié)合各個(gè)數(shù)據(jù)庫獨(dú)有的特點(diǎn)記錄3 第三章 測試過程及結(jié)果描述3.1 測試描述在測試數(shù)據(jù)準(zhǔn)備完備以后，測試將進(jìn)行。記錄每次測試的結(jié)果數(shù)據(jù)，分析測試結(jié)果對(duì)系統(tǒng)進(jìn)行全面評(píng)估。3.2 測試場景示例：步驟說明備注：Action、平均響應(yīng)時(shí)間（S）1打開主界面Action：訪問首頁(FWSY)；52輸入用戶名密碼（需進(jìn)行參數(shù)化），登錄系統(tǒng)，進(jìn)入首頁Action：登陸(DL)；53點(diǎn)擊“我的通知”標(biāo)簽，進(jìn)入通知列表頁面Action：進(jìn)入通知列表(JRTZLB)；54在我的通知上點(diǎn)擊已收通知標(biāo)題鏈接，查看通知（重要通知）Action：查看通知(CKTZ)；55在我的通知上點(diǎn)擊已收通知的“回復(fù)”鏈接，進(jìn)入回復(fù)界面Action：進(jìn)入回復(fù)界面(JRHFJM)；56在通知回復(fù)界面上填寫回復(fù)內(nèi)容并提交Action：回復(fù)通知(HFTZ)；5測試中，使用逐步加壓的模式，測試運(yùn)行場景安排如下：每隔2秒增加1個(gè)用戶連接，最多增加到100個(gè)用戶，查看并記錄運(yùn)行情況每隔2秒增加2個(gè)用戶連接，最多增加到200個(gè)用戶，查看并記錄運(yùn)行情況每隔2秒增加1個(gè)用戶連接，最多增加到300個(gè)用戶，查看并記錄運(yùn)行情況每隔3秒增加1個(gè)用戶連接，最多增加到400個(gè)用戶，查看并記錄運(yùn)行情況每個(gè)場景都包括：用戶登錄-業(yè)務(wù)操作-業(yè)務(wù)完成-退出系統(tǒng)，所有用例都按以上場景進(jìn)行測試，由于pc性能限制，為了更準(zhǔn)確模擬現(xiàn)場環(huán)境，將運(yùn)行的所有腳本部署在LoadRunner終端上，主要目的就是檢查在不同的壓力的情況下，業(yè)務(wù)系統(tǒng)的性能表現(xiàn)。3.3 測試結(jié)果標(biāo)準(zhǔn)測試結(jié)束標(biāo)準(zhǔn)一般依據(jù)以下原則：1. 所有計(jì)劃的測試已經(jīng)完成；2. 所有計(jì)劃收集的性能數(shù)據(jù)已經(jīng)獲得；3. 所有性能瓶頸得到改善并達(dá)到設(shè)計(jì)要求。執(zhí)行每個(gè)場景時(shí)需要記錄以下相應(yīng)的