性能測試計(jì)劃

DZ論壇性能比照測試方案文檔編號保密等級作者趙智乾最后修改日期2010-3-25審核人最后審批日期批準(zhǔn)人最后批準(zhǔn)日期修訂記錄日期版本修訂說明修訂人2010-3-251.0趙智乾

目錄1 測試簡介 11.1 背景 11.2 測試目的 11.3 測試范圍 11.4 性能測試指標(biāo)要求 1 頁面響應(yīng)時間 1 交易吞吐量 2 資源使用指標(biāo) 2 最大并發(fā)用戶數(shù) 22 測試環(huán)境 22.1 網(wǎng)絡(luò)環(huán)境圖 22.2 軟硬件配置 33 測試方案 43.1 交易選擇 43.2 測試數(shù)據(jù) 43.3 資源監(jiān)控指標(biāo) 53.4 測試類型與場景 5 基準(zhǔn)測試 5 性能測試 6 穩(wěn)定性測試 83.5 結(jié)果數(shù)據(jù)收集 83.6 結(jié)果分析 94 測試實(shí)施方案 94.1 測試時間和地點(diǎn) 94.2 參加測試人員 94.3 測試工作方案 94.4 測試約定 10測試簡介背景測試目的本次比照測試要在當(dāng)前使用的硬件架構(gòu)和增加負(fù)載均衡設(shè)備后新的硬件架構(gòu)作出定性和定量比擬，通過測試找出當(dāng)前硬件架構(gòu)的性能瓶頸、負(fù)載均衡新硬件架構(gòu)性能關(guān)系，并通過分析找出替代方案，并為今后類似部署架構(gòu)提供參考與指導(dǎo)。通過對當(dāng)前硬件部署架構(gòu)的壓力測試，得出負(fù)載量與響應(yīng)時間的關(guān)系曲線，確定滿足要求的最大負(fù)載量；通過對部署了負(fù)載均衡設(shè)備的硬件部署架構(gòu)的壓力測試，得出負(fù)載量與響應(yīng)時間的關(guān)系曲線，確定滿足要求的最大負(fù)載量；比照兩中硬件部署架構(gòu)的性能與最大負(fù)載量，給出性能比照，給出比照測試的分析與結(jié)果。測試范圍測試對象選定“DZ論壇”，測試范圍主要為“用戶注冊”、“用戶發(fā)帖”、“用戶回帖”局部。性能測試指標(biāo)要求本次性能測試需要測試的性能指標(biāo)包括：1、最大并發(fā)用戶數(shù)：有多少用戶能在同一時間內(nèi)訪問系統(tǒng)，表達(dá)的是業(yè)務(wù)并發(fā)用戶數(shù)。2、WEB最大連接數(shù)：《性能測試調(diào)研表〔DZ論壇〕》能夠最多承受多少人同時訪問。3、頁面平均響應(yīng)時間：《性能測試調(diào)研表〔DZ論壇〕》完全展示頁面的平均響應(yīng)時間。4、吞吐量：在單位時間內(nèi)最大頁面處理量，公式為吞吐量=時間*吞吐率。5、資源使用指標(biāo)：《性能測試調(diào)研表〔DZ論壇〕》應(yīng)用效勞器和數(shù)據(jù)庫系統(tǒng)各效勞器CPU占用率、內(nèi)存占用率、I/O占用率；LoadRunner壓力產(chǎn)生器CPU占用率、內(nèi)存占用率。最大并發(fā)用戶數(shù)最大并發(fā)用戶指系統(tǒng)能夠支持的，在同一時刻內(nèi)，登錄系統(tǒng)并在時間上并行進(jìn)行業(yè)務(wù)操作的用戶數(shù)量。最大并發(fā)用戶是考察系統(tǒng)對前端系統(tǒng)或用戶端并發(fā)交易請求支持能力的一個技術(shù)性指標(biāo)。一般情況下，它反響了系統(tǒng)的并行處理能力和應(yīng)用擴(kuò)展能力。1)驗(yàn)證性測試：多個用戶并發(fā)，系統(tǒng)處理穩(wěn)定性、正確性、以及平均交易響應(yīng)時間。2)測試系統(tǒng)能承受的最大并發(fā)用戶數(shù)：通過不斷的增加并發(fā)數(shù)，測試系統(tǒng)能夠承載的最大并發(fā)用戶量。WEB最大連接數(shù)通過測試測出系統(tǒng)WEB最大連接數(shù)。判斷《性能測試調(diào)研表〔DZ論壇〕》能夠最多承受多少人同時訪問。本次性能測試中的WEB同時接入最大數(shù)的測試方法是測試登錄到《性能測試調(diào)研表〔DZ論壇〕》的最大登錄用戶數(shù)。通過登錄交易的測試出最大連接數(shù)。目前準(zhǔn)備兩臺LoadRunner測試效勞器，一臺安裝最大5000個用戶的license，測出WEB最大連接數(shù)。頁面響應(yīng)時間本次性能測試中的頁面響應(yīng)時間是指在一定的負(fù)載壓力下，從《性能測試調(diào)研表〔DZ論壇〕》Web前端發(fā)起交易請求到到收到響應(yīng)結(jié)果這個過程所消耗的時間，采用一定時間段內(nèi)的統(tǒng)計(jì)平均值A(chǔ)RT來表示。本次性能測試中，對所有選擇的典型交易的ART指標(biāo)要求為：ART≤10秒〔該值是通過目前生產(chǎn)系統(tǒng)的交易〕吞吐量《性能測試調(diào)研表〔DZ論壇〕》的吞吐量是指在單位時間內(nèi)最大交易處理量，公式為吞吐量=時間*吞吐率。吞吐率用對Web應(yīng)用系統(tǒng)而言用HPS〔HitsperSecond，每秒點(diǎn)擊數(shù)〕來描述。點(diǎn)擊定義為《性能測試調(diào)研表〔DZ論壇〕》業(yè)務(wù)上的頁面請求。本次性能測試需要統(tǒng)計(jì)出在峰值情況下，《性能測試調(diào)研表〔DZ論壇〕》每秒內(nèi)最大的處理點(diǎn)擊頁面請求能力。資源使用指標(biāo)在正常的并發(fā)測試測試中，《性能測試調(diào)研表〔DZ論壇〕》各效勞器主機(jī)的資源使用指標(biāo)要求：CPU使用率≤80%內(nèi)存使用率≤80%I/O使用率≤50%為保證運(yùn)行Web客戶端的LoadRunner壓力產(chǎn)生器和控制器不成為瓶頸，其資源使用指標(biāo)要求：CPU使用率≤80%內(nèi)存使用率≤80%測試環(huán)境網(wǎng)絡(luò)環(huán)境圖獨(dú)立小型機(jī)方式模擬現(xiàn)在生產(chǎn)運(yùn)行方式，應(yīng)用效勞器與數(shù)據(jù)庫效勞器，單臺應(yīng)用效勞器使用Power系列機(jī)型，配置盡量與生產(chǎn)環(huán)境一致，數(shù)據(jù)庫效勞器使用Power系列機(jī)型，配置盡量與生產(chǎn)環(huán)境一致。結(jié)構(gòu)如下列圖。本次性能測試的網(wǎng)絡(luò)環(huán)境為100Mbps局域網(wǎng)，使用現(xiàn)有的網(wǎng)段，不考慮防火墻，忽略網(wǎng)絡(luò)延遲，交易請求以及結(jié)果返回的網(wǎng)絡(luò)傳輸時間可以忽略不計(jì)。軟硬件配置資源數(shù)量型號/配置/軟件名稱/軟件版本號硬件環(huán)境數(shù)據(jù)庫效勞器1IBM570應(yīng)用效勞器〔模擬生產(chǎn)環(huán)境〕1IBM570磁盤陣列1160GLR控制臺1臺式機(jī)PentiumD2.8G/1G內(nèi)存LR壓力產(chǎn)生器5臺式機(jī)PentiumD2.8G/1G內(nèi)存軟件環(huán)境應(yīng)用效勞器軟件4domino6.0forAIX數(shù)據(jù)庫效勞器軟件1Oracle.4.0LR壓力產(chǎn)生器操作系統(tǒng)5WindowsXPLR控制臺操作系統(tǒng)1WindowsXP測試方案交易選擇測試數(shù)據(jù)根底數(shù)據(jù)來自luzee“DZ論壇”生產(chǎn)數(shù)據(jù)。數(shù)據(jù)規(guī)模同生產(chǎn)環(huán)境。為保證在LoadRunner進(jìn)行大量測試的過程中各頁面不因數(shù)據(jù)準(zhǔn)備不充分而出錯，應(yīng)進(jìn)行一些必要的準(zhǔn)備工作，比方：數(shù)據(jù)備份和恢復(fù)：在執(zhí)行性能測試前，備份測試環(huán)境中的數(shù)據(jù)庫。假設(shè)調(diào)優(yōu)后性能回歸測試根據(jù)需要進(jìn)行數(shù)據(jù)恢復(fù)；用戶登錄密碼統(tǒng)一重置；資源監(jiān)控指標(biāo)本次性能測試進(jìn)行的資源監(jiān)控包括：CPUUtilization〔CPU使用率%〕、Pagingrate(內(nèi)存使用率%)。監(jiān)控的效勞器包括：信息發(fā)布平臺應(yīng)用效勞器、信息平臺數(shù)據(jù)庫效勞器、Autonomy應(yīng)用效勞器。測試類型與場景基準(zhǔn)測試典型交易基準(zhǔn)測試是單交易單用戶測試，目的是對選擇的每個典型交易在無壓力情況下〔無額外進(jìn)程運(yùn)行并占用系統(tǒng)資源〕情況下，獲取系統(tǒng)處理單筆交易的耗時，為下一步模擬多個用戶、混合交易的性能測試提供一個根本數(shù)據(jù)參考?；鶞?zhǔn)測試要到達(dá)以下目標(biāo)：驗(yàn)證測試腳本及測試參數(shù)的正確性。獲取系統(tǒng)處理單筆交易性能數(shù)據(jù)，主要是單筆交易平均響應(yīng)時間測試方法使用一個Vuser，分別運(yùn)行每個典型交易的腳本，設(shè)置腳本的迭代次數(shù)1次，驗(yàn)證所有腳本是否運(yùn)行正確、所有交易事務(wù)是否成功返回，并獲取每個典型交易的平均交易響應(yīng)時間ART。測試場景腳本場景設(shè)計(jì)如下：編號場景名并發(fā)用戶數(shù)加壓方式持續(xù)時間退出方式思考時間/迭代延遲負(fù)載生成器數(shù)量1翻開首頁1同時運(yùn)行完成運(yùn)行完成無12保存文檔1同時運(yùn)行完成運(yùn)行完成無13優(yōu)化后翻開首頁1同時運(yùn)行完成運(yùn)行完成無14優(yōu)化后保存文檔1同時運(yùn)行完成運(yùn)行完成無1效勞器端場景設(shè)計(jì)如下：編號場景名并發(fā)用戶數(shù)加壓方式持續(xù)時間退出方式思考時間/迭代延遲負(fù)載生成器數(shù)量1AIX場景1同時運(yùn)行完成同時無1性能測試混合多用戶并發(fā)測試是最典型也是最有效的性能測試手段，選擇的典型頁面按一定的占比，通過不同數(shù)量的并發(fā)用戶向效勞器端發(fā)送頁面請求，獲取各頁面響應(yīng)在比擬接近真實(shí)生產(chǎn)場景的情況下的交易平均響應(yīng)時間，同時監(jiān)控效勞器的資源狀況，根據(jù)需要進(jìn)行性能調(diào)優(yōu)。測試方法步驟1：多用戶負(fù)載測試使用手動場景，按全部典型頁面及其占比組合測試腳本，分別設(shè)置并發(fā)用戶數(shù)為50、100、300、500、時的并發(fā)測試，加壓方式為逐漸加壓〔每15秒增加20個用戶〕，用戶逐漸退出〔每15秒退出20個用戶〕，場景持續(xù)運(yùn)行時間5分鐘，各腳本無思考時間，無迭代延遲時間。記錄場景穩(wěn)定時的ART、HPS以及系統(tǒng)資源消耗平均值。步驟2：最大并發(fā)用戶數(shù)測試根據(jù)上一步的測試結(jié)果，使用手動場景，使用混合頁面請求模式，設(shè)置初始并發(fā)用戶數(shù)量，在執(zhí)行場景的過程中繼續(xù)加壓〔運(yùn)行虛擬用戶〕，直到ART、CPU%、MEM%、交易成功率等指標(biāo)有其中一個不滿足要求為止，記錄此時的并發(fā)用戶數(shù)，即為最大并發(fā)用戶數(shù)。步驟3：基于最大交易響應(yīng)時間的最大并發(fā)用戶數(shù)測試設(shè)計(jì)一個基于目標(biāo)的場景，最小Vuser數(shù)50，最大Vuser數(shù)800。記錄場景ART穩(wěn)定時的虛擬用戶數(shù)量和各效勞器的資源消耗情況，此時的虛擬用戶數(shù)即為滿足交易響應(yīng)時間條件下的最大并發(fā)用戶數(shù)。測試場景綜合場景設(shè)計(jì)編號腳本場景效勞器場景并發(fā)用戶數(shù)加壓方式持續(xù)時間退出方式思考時間/迭代延遲負(fù)載生成器數(shù)量1用戶登錄AIX50并發(fā)運(yùn)行完成腳本結(jié)束無12保存文檔AIX50并發(fā)運(yùn)行完成腳本結(jié)束無13用戶登錄AIX100并發(fā)運(yùn)行完成腳本結(jié)束無14保存文檔AIX100并發(fā)運(yùn)行完成腳本結(jié)束無15用戶登錄AIX300并發(fā)運(yùn)行完成腳本結(jié)束無16保存文檔AIX300并發(fā)運(yùn)行完成腳本結(jié)束無17用戶登錄AIX500并發(fā)運(yùn)行完成腳本結(jié)束無18保存文檔AIX500并發(fā)運(yùn)行完成腳本結(jié)束無19優(yōu)化后用戶登錄AIX100并發(fā)運(yùn)行完成腳本結(jié)束無110優(yōu)化后保存文檔AIX100并發(fā)運(yùn)行完成腳本結(jié)束無111優(yōu)化后用戶登錄AIX300并發(fā)運(yùn)行完成腳本結(jié)束無112優(yōu)化后保存文檔AIX300并發(fā)運(yùn)行完成腳本結(jié)束無1優(yōu)化后用戶登錄AIX500并發(fā)運(yùn)行完成腳本結(jié)束無1優(yōu)化后保存文檔AIX500并發(fā)運(yùn)行完成腳本結(jié)束無1優(yōu)化后用戶登錄AIX800并發(fā)運(yùn)行完成腳本結(jié)束無1優(yōu)化后保存文檔AIX800并發(fā)運(yùn)行完成腳本結(jié)束無1結(jié)果數(shù)據(jù)收集性能測試執(zhí)行過程中應(yīng)收集的測試場景執(zhí)行結(jié)果數(shù)據(jù)包括：LoadRunner的Controller中的場景執(zhí)行結(jié)果數(shù)據(jù)；核心主機(jī)記錄的資源〔CPU、MEM〕監(jiān)控數(shù)據(jù)文件。結(jié)果分析對上述收集到的結(jié)果進(jìn)行分析，得出三種部署方案的性能比擬：二種方案最大在線用戶數(shù)；二種方案的最大并發(fā)用戶數(shù)；二種方案響應(yīng)時間曲線、資源利用曲線及其比擬結(jié)果；是否有新的瓶頸〔如數(shù)據(jù)庫效勞器〕出現(xiàn)；用戶數(shù)量與應(yīng)用效勞器資源的關(guān)系曲線。測試實(shí)施方案測試時間和地點(diǎn)時間：2014年6月10日地