性能測試計劃DOC

1、性能測試計劃 網(wǎng)站稿件管理發(fā)布系統(tǒng) 文檔編號 Manager_System_001 保密等級 機密 作者 最后修改日期 201411 審核人 最后審批日期 201411 批準人 最后批準日期 201411 目錄 1. 文檔介紹 3 1.1 文檔目的 3 1.2 參考文獻 3 1.3 編寫目的 3 2. 軟件概述 3 2.1 項目介紹 3 2.2 運行環(huán)境 3 2.3 項目流程 4 3. 測試資源 4 3.1 軟硬件配置 4 3.2 測試工具 6 3.3 人力需求 6 3.4 測試數(shù)據(jù) 6 4. 交付物 7 5. 測試進度計劃 7 6. 測試啟動 /結束/暫停/再啟動 /退出準則 8 6.1 暫

2、停準則： 8 6.2 暫停 /再啟動的準則 8 6.2.1 暫停準則： 8 6.2.2 再啟動準則 8 6.3 測試退出準則 8 7. 性能測試目標要求 9 7.1 性能測試指標 9 7.2 交易響應時間 9 7.3 交易吞吐量 9 7.4 并發(fā)交易成功率 10 7.5 資源使用指標 10 8. 測試策略 10 8.1 基準測試 10 8.2 并發(fā)測試 10 8.3 遞增測試 10 8.4 場景測試 11 8.5 疲勞強度測試 11 9. 測試用例開發(fā) 11 10. 交易基準測試 12 10.1 測試方法 14 10.2 測試場景 14 11. 交易并發(fā)測試 15 11.1 測試方法 15 1

3、1.2 測試場景 15 11.3 測試方法 16 11.4 測試場景 16 12. 交易遞增測試場景 錯誤 !未定義書簽。 12.1 測試場景 錯誤 !未定義書簽。 13. 混合交易負載場景 16 14. 疲勞強度測試 17 1. 文檔介紹 1.1 文檔目的 說明測試方案中所涉及內(nèi)容的簡單介紹，包含：編寫目的、項目背景、參考 文檔、測試點選取，場景設計等 1.2 參考文獻 網(wǎng)站稿件管理發(fā)布系統(tǒng)軟件需求規(guī)格說明書 1.3 編寫目的 從文檔描述網(wǎng)站稿件管理發(fā)布系統(tǒng)性能測試的范圍、方法、資源、進度，作 為網(wǎng)站稿件管理發(fā)布系統(tǒng)性能測試的依據(jù)，該文檔的目的主要有： 1、明確測試范圍、測試對象 2、明確測

4、試目標 3、明確測試環(huán)境需求，包括：測試需要的軟、硬件環(huán)境以及測試人力需求 4、確定測試方案，測試的方法和步驟 5、指定測試工作的時間安排 6、分析測試的風險，尋找規(guī)避辦法 7、確定測試需求輸出的結果和結果表現(xiàn)形式 2. 軟件概述 2.1 項目介紹 系統(tǒng)特點 ? 本系統(tǒng)是一個網(wǎng)站稿件管理發(fā)布系統(tǒng)，包括稿件管理和文檔上傳下載兩 個主要功能模塊。 ? 網(wǎng)站編輯用戶可以提交稿件，稿件經(jīng)過批準后可以在網(wǎng)站上發(fā)布。 ? 查詢稿件可以執(zhí)行標題檢索、全文檢索等。 ? 文檔上傳下載功能可以管理和共享 Word 文檔。 2.2 運行環(huán)境 ? 服務器設備 CPU主頻1GHz以上，內(nèi)存1GB以上，硬盤自由空間1GB

5、以上 ? 支持軟件 操作系統(tǒng)：Windows2003 Server或 Windows XP 數(shù)據(jù)庫服務器：MySQL-5.1.28 應用服務器：Tomcat6.0 Java： JDK1.6.0_07 應用軟件：Liferay Portal 5.1.1 瀏覽器：IE6+sp2 Word： office 2000或 office XP 或 office 2003 2.3項目流程 3. 測試資源 3.1軟硬件配置 性能測試環(huán)境（包括測試工具環(huán)境）的硬件和軟件配置如下表所示: 環(huán)境 資源 數(shù)量 型號/配置/軟件名稱/軟件版本號 硬件 環(huán)境 核心系統(tǒng)新安騰主機 1 HP安騰 CPU 40 核，主頻 1.

6、6GHz 內(nèi)存：80G 存儲：500*9G IP 地址：10.1.189.213 前置系統(tǒng)服務器主機 1 IBM 595 CPU 8 核，主頻 2.3GHz 內(nèi)存：16G 存儲：20G IP 地址：10.1.189.214 LR壓力產(chǎn)生器 2 筆記本電腦 CPU雙核，主頻 1.60GHz 內(nèi)存：1G/2G IP 地址：10.1.119.59/10.1.119.109 LR控制臺 1 筆記本電腦 CPU雙核，主頻 1.60GHz 內(nèi)存：1G IP地址： 軟件 環(huán)境 核心主機操作系統(tǒng) 1 HP-UX 11.23 核心主機數(shù)據(jù)庫 1 Oracle 9i 核心主機應用軟件 1 ECshop 核心主機交

7、易中間件 1 BEA Tuxedo 9.1 前置服務器操作系統(tǒng) 1 IBM-AIX 5.3.0.0 前置服務器數(shù)據(jù)庫 1 Oracle 9.2.0.6.0 前置服務器應用軟件 1 南天綜合前置系統(tǒng) （PB ） 前置服務器交易中間 件 1 BEA Tuxedo 9.0 LR壓力產(chǎn)生器操作系 統(tǒng) 2 Win dows XP Professioa nl(SP2) LR控制臺操作系統(tǒng) 1 Win dows XP Professioa nl(SP2) LR壓力產(chǎn)生器、壓力 產(chǎn)生器交易中間件客 戶端 3 BEA Tuxedo Workstation 6.5 3.2測試工具 序號 工具名稱 用途及說明 廠商

8、/自產(chǎn) 版本 1 LoadR unner 性能測試工具，Tuxedo協(xié)議（License 的并發(fā)數(shù)為500） HP 11. 0英文版 3.3人力需求 角色 姓名 具體職責 技能要求 性能測試 經(jīng)理 性能測試項目管理和協(xié)調 性能測試需求分析 測試計劃和測試報告編與 1、組織協(xié)調能力 2、熟悉性能測試體系 3、熟悉應用架構 性能測試 設計人員 編制測試案例，開發(fā)測試腳 本，設計測試場景，執(zhí)行性能 測試 1、熟悉性能測試體系 2、熟悉性能測試方法和 LoadRunner測試工具 3、腳本編寫和調試能力 4、執(zhí)行時的系統(tǒng)資源監(jiān)控技術 5、性能瓶頸分析能力 測試環(huán)境 和測試數(shù) 據(jù)準備人 員 準備性能測試

9、環(huán)境（包括測試 工具環(huán)境、被測系統(tǒng)硬件環(huán)境 和軟件環(huán)境） 準備基礎數(shù)據(jù)和測試數(shù)據(jù) 1、LoadRunner部署能力 2、熟悉核心系統(tǒng)、前置系統(tǒng)軟 硬件配置 3、熟悉數(shù)據(jù)庫操作 性能調優(yōu) 人員 核心后臺主機系統(tǒng)優(yōu)化 1、熟悉HP主機設置 2、精通數(shù)據(jù)庫調優(yōu) 3、熟悉應用架構 3.4測試數(shù)據(jù) 數(shù)據(jù)對象 數(shù)據(jù) 數(shù)據(jù)文檔 位置 登錄用戶 用戶名 密碼 user.dat D:LR_ProjectData 查詢稿件 稿件名稱 稿件版本 號 search_ma nu script.dat 稿件標題 稿件內(nèi)容 增加稿件 稿件標題 稿件內(nèi)容 add_ma nu script.dat 顯示稿件 :稿件編號 sho

10、w_ma nu script.dat 查詢文檔 文檔名稱 search_docume nt.dat 上傳文檔 文檔名稱 文檔重命 名 文檔說明 upload_docume nt.dat 4. 交付物 序號 交付物名稱 責任人 參與者 交付日期 1 性能測試計劃 2 性能測試腳本 3 性能測試場景 4 性能測試結果 5 性能測試報告 5. 測試進度計劃 在測試工作量估算數(shù)據(jù)的基礎上，考慮現(xiàn)有的資源情況，對資源進行具體安排，根據(jù)項 目整體進度計劃，列出進度表，即是誰在什么時間內(nèi)完成什么任務 序號 名稱 責任人 工期 開始時間 完成日期 1 稿件管理發(fā)布系統(tǒng) 5工作日 2014-04-28 2014

11、-05-02 1.1 測試設計 2工作日 1.1.1 編寫測試計劃 準備測試環(huán)境 準備測試數(shù)據(jù) 開發(fā)測試腳本 1.2 基準、單交易并發(fā)測 試 1-2工作日 1.2.1 單交易基準測試 1.2.1 單交易并發(fā)測試 1.3 綜合場景測試 1.3.1 綜合場景測試第1輪 1.3.2 綜合場景測試第2輪: 1.4 穩(wěn)定性測試 1.5 測試總結 0-0.5工作日 6. 測試啟動/結束/暫停/再啟動/退出準則 6.1暫停準則： ? 核心系統(tǒng)和前置系統(tǒng)應用軟件通過系統(tǒng)功能測試； ? 測試環(huán)境已經(jīng)準備完畢，包括： 核心系統(tǒng)和前置系統(tǒng)應用系統(tǒng)已安裝完畢 基礎數(shù)據(jù)以及測試數(shù)據(jù)已經(jīng)導入核心系統(tǒng)主機數(shù)據(jù)庫 LoadR

12、u nner壓力產(chǎn)生器及控制臺機器已經(jīng)準備完畢 ? 測試工具LoadRunner及所需要的License已準備好 ? 測試腳本、測試場景已經(jīng)準備完畢 以上條件，必須全部滿足才能開始性能測試執(zhí)行。 6.2暫停/再啟動的準則 6.2.1暫停準則： ? 測試匯總發(fā)現(xiàn)問題，需要網(wǎng)站稿件管理發(fā)布系統(tǒng)修改代碼，或者需要更換應 用服務器 ? 測試環(huán)境受到干擾，比如服務器被臨時征用，或服務器的其他使用會對測試 結果造成干擾 6.2.2再啟動準則 ? 測試中發(fā)現(xiàn)問題得以解決 ? 測試環(huán)境恢復正常 6.3測試退出準則 ? 滿足下列條件之一時，可以結束性能測試執(zhí)行： 壓到預定最大并發(fā)用戶數(shù)，系統(tǒng)性能能夠滿足預期測試

13、指標要求； 到計劃結束日期，壓到預定最大并發(fā)用戶數(shù)，經(jīng)過系統(tǒng)調優(yōu)，系統(tǒng)性能 仍然無法滿足預期測試指標要求，但已經(jīng)無法再實施調優(yōu)。 7. 性能測試目標要求 7.1 性能測試指標 本次性能測試需要測試的性能指標包括： 1、交易響應時間：核心系統(tǒng)處理交易的平均響應時間 2、交易吞吐量：后臺主機每秒能夠處理的交易筆數(shù)（ TPS） 3、并發(fā)交易成功率 4、批處理效率 5、資源使用指標：前置和核心系統(tǒng)各服務器 CPU占用率、內(nèi)存占用率、 I/O占用率；LoadRunner壓力產(chǎn)生器CPU占用率、內(nèi)存占用率 7.2 交易響應時間 本次性能測試中的交易響應時間是指在一定的負載壓力下，由前置系統(tǒng)記錄 和進行統(tǒng)計

14、分析的、 核心系統(tǒng)處理交易的響應時間， 用一定時間段內(nèi)的統(tǒng)計平均 值ART來表示。 本次性能測試中，對所有非批量聯(lián)機交易的 ART指標要求為： ART 10000（交易）* 80%（交易量）/ （24（ 小時）* 20% * 3600（1 小時 60 分 鐘*1 分鐘 60 秒） = 0.34 筆/秒 17280 根據(jù)規(guī)劃， 網(wǎng)站稿件管理系統(tǒng) 未來 1 年內(nèi)核心系統(tǒng)的處理能力應達到高峰日交易總量 10000 筆，則 3 年后對主機的交易吞吐量指標要求為： TPS_2 10000 * 80% / （24 * 20% * 3600） = 0.46筆 / 秒 為獲取核心系統(tǒng)主機的最大處理能力，在本次

15、性能測試中可通過不斷加壓，讓核心系統(tǒng) 主機CPU利用率達到85%記錄此時的TPS值，作為新主機處理能力的一個參考值。 為模擬生產(chǎn)上核心主機的異常情況，通過不斷加壓，讓核心系統(tǒng)主機CPU利用率達到接 近100%觀察核心系統(tǒng)的工作情況，記錄 TPS值。 7.4 并發(fā)交易成功率 指測試結束時成功交易數(shù)占總交易數(shù)的比率。 交易成功率越高， 系統(tǒng)越穩(wěn)定。 對典型交易的場景測試，要求其并發(fā)交易成功率 99%。 7.5 資源使用指標 在正常的并發(fā)測試和批處理測試中，核心系統(tǒng)各服務器主機的資源使用指標 要求： CPU使用率 80% 內(nèi)存使用率 80% I/O使用率 80% 8. 測試策略 8.1 基準測試 在

16、測試環(huán)境經(jīng)過確認，腳本預驗證之后對本次測試涉及的全部聯(lián)機交易 做基準測試。目的是驗證測試腳本及后臺環(huán)境、初步檢查交易本身是否存在 性能缺陷。 目的：是獲取單用戶執(zhí)行時的各項性能指標，為多用戶并發(fā)和混合場景 的性能測試分析提供參考依據(jù)； 8.2并發(fā)測試 并發(fā)測試是指并發(fā)不同數(shù)目的虛擬用戶執(zhí)行檢查點操作， 目的是對檢查 點進行壓力加載測試。 預測系統(tǒng)投入使用后在一定用戶壓力情況下的系統(tǒng)響 應時間 ,根據(jù)此響應時間分析、確定系統(tǒng)存在的性能瓶頸，為系統(tǒng)的優(yōu)化和 調整提供依據(jù)。 8.3 遞增測試 遞增測試是指每隔一定時間段 （如 5秒、10秒）并發(fā)不同數(shù)目的虛擬用 戶執(zhí)行檢查點操作，對檢查點進行遞增用戶

17、壓力加載測試，從而模擬系統(tǒng)真 實的使用情景，使用戶預知系統(tǒng)投入使用后的性能水平。 8.4綜合場景測試 通過對系統(tǒng)體系機構和功能模塊的分析以及對系統(tǒng)用戶的分布和使用 頻率的分析，來構造系統(tǒng)綜合場景的測試模型，模擬不同用戶執(zhí)行不同操作， 如10%勺用戶執(zhí)行登錄操作，50%勺用戶執(zhí)行查詢操作，40%勺用戶執(zhí)行上傳 文檔操作，最大限度地模擬系統(tǒng)的真實場景，使用戶預知系統(tǒng)投入使用后的 真實性能水平。從而，對系統(tǒng)做出相應的優(yōu)化及調整，避免實際情況中出現(xiàn) 系統(tǒng)長時間不響應及崩潰的情況。 8.5疲勞強度測試 疲勞強度測試是指對系統(tǒng)核心功能點進行疲勞強度測試，即用系統(tǒng)穩(wěn)定 運行情況下能夠支持的最大并發(fā)用戶數(shù)，持

18、續(xù)執(zhí)行一段業(yè)務時間(如48小 時)，記錄交易平均響應時間，交易正確率，應用服務器和數(shù)據(jù)庫服務器 CPU 利用率、內(nèi)存使用情況等參數(shù)，考察應用服務器和數(shù)據(jù)庫服務器是否出現(xiàn)宕 機、內(nèi)存泄漏等情況。該測試通常需要和場景測試進行結合，從而可以最大 限度地模擬真實環(huán)境下，系統(tǒng)長時間連續(xù)運行條件下，系統(tǒng)是否能夠保持在 穩(wěn)定運行狀態(tài)。 9. 測試用例開發(fā) 根據(jù)測試范圍規(guī)定的內(nèi)容，逐條設計測試需求及完成該測試需求的測試過 程、測試條件，構造本次測試的測試用例，編寫決策樹。 表1時間特性第1頁 共1頁 測試需求 測試過程說明 過程標引 登錄系統(tǒng) (login ) 單用戶執(zhí)行登錄系統(tǒng) E-01 10用戶并發(fā)執(zhí)行登

19、錄系統(tǒng) E-02 20用戶并發(fā)執(zhí)行登錄系統(tǒng) E-03 查詢稿件 單用戶執(zhí)行查詢稿件 E-04 (search_me nu script ) 10用戶并發(fā)執(zhí)行查詢稿件 E-05 20用戶并發(fā)執(zhí)行查詢稿件 E-06 新增稿件 (add_menuscript ) 單用戶執(zhí)行新增稿件 E-07 10用戶并發(fā)執(zhí)行新增稿件 E-08 20用戶并發(fā)執(zhí)行新增稿件 E-09 顯示稿件 (show_menuscript ) 單用戶執(zhí)行顯示稿件 E-10 10用戶并發(fā)執(zhí)行顯示稿件 E-11 20用戶并發(fā)執(zhí)行顯示稿件 E-12 上傳文檔 (upload_document ) 單用戶執(zhí)行上傳文檔 E-13 10用戶并發(fā)

20、執(zhí)行上傳文檔 E-14 20用戶并發(fā)執(zhí)行上傳文檔 E-15 查詢文檔 (search_document ) 單用戶執(zhí)行查詢文檔 E-16 10用戶并發(fā)執(zhí)行查詢文檔 E-17 20用戶并發(fā)執(zhí)行查詢文檔 E-18 綜合場景一 使用50用戶在線共同執(zhí)行系統(tǒng)稿件模塊，15 用戶執(zhí)行新增稿件，15用戶執(zhí)行顯示稿件，20 用戶執(zhí)行查詢稿件。整個場景執(zhí)行 1小時。 E-19 綜合場景二 使用50用戶在線共同執(zhí)行文檔上傳下載模塊， 結合部分稿件模塊功能，15用戶執(zhí)行上傳文檔， 20用戶執(zhí)行查詢文檔，15用戶執(zhí)行查詢稿件。 整個場景執(zhí)行1小時。 E-20 疲勞強度測試 使用50用戶在線共同訪問被測系統(tǒng)， 15用

21、戶 執(zhí)行查詢稿件，15用戶執(zhí)行查詢文檔，10用戶 執(zhí)行顯示稿件，5用戶執(zhí)行上傳文檔，5用戶執(zhí) 行增加稿件。整個場景持續(xù)運行 12小時。 E-21 表2資源特性第2頁 共1頁 測試需求 測試過程說明 過程標引 登錄系統(tǒng) (login ) 單用戶執(zhí)行登錄系統(tǒng)，并監(jiān)控服務器的各項資 源。 E-22 10用戶并發(fā)執(zhí)行登錄系統(tǒng)，并監(jiān)控服務器的各 項資源。 E-23 20用戶并發(fā)執(zhí)行登錄系統(tǒng)，并監(jiān)控服務器的各 項資源。 E-24 查詢稿件 (search_me nu script ) 單用戶執(zhí)行查詢稿件，并監(jiān)控服務器的各項資 源。 E-25 10用戶并發(fā)執(zhí)行查詢稿件，并監(jiān)控服務器的各 項資源。 E-26

22、20用戶并發(fā)執(zhí)行查詢稿件，并監(jiān)控服務器的各 項資源。 E-27 新增稿件 (add_menuscript ) 單用戶執(zhí)行新增稿件，并監(jiān)控服務器的各項資 源。 E-28 10用戶并發(fā)執(zhí)行新增稿件，并監(jiān)控服務器的各 項資源。 E-29 20用戶并發(fā)執(zhí)行新增稿件，并監(jiān)控服務器的各 項資源。 E-30 顯示稿件 (show_menuscript ) 單用戶執(zhí)行顯示稿件，并監(jiān)控服務器的各項資 源。 E-31 10用戶并發(fā)執(zhí)行顯示稿件，并監(jiān)控服務器的各 項資源。 E-32 20用戶并發(fā)執(zhí)行顯示稿件，并監(jiān)控服務器的各 項資源。 E-33 上傳文檔 (upload_document ) 單用戶執(zhí)行上傳文檔，并

23、監(jiān)控服務器的各項資 源。 E-34 10用戶并發(fā)執(zhí)行上傳文檔，并監(jiān)控服務器的各 項資源。 E-35 20用戶并發(fā)執(zhí)行上傳文檔，并監(jiān)控服務器的各 項資源。 E-36 查詢文檔 (search_document ) 單用戶執(zhí)行查詢文檔，并監(jiān)控服務器的各項資 源。 E-37 10用戶并發(fā)執(zhí)行查詢文檔，并監(jiān)控服務器的各 項資源。 E-38 20用戶并發(fā)執(zhí)行查詢文檔，并監(jiān)控服務器的各 項資源。 E-39 綜合場景一 使用50用戶在線共同執(zhí)行系統(tǒng)稿件模塊， 15用 戶執(zhí)行新增稿件，15用戶執(zhí)行顯示稿件，20用 戶執(zhí)行查詢稿件。整個場景執(zhí)行 1小時。，并監(jiān) 控服務器的各項資源。 E-40 綜合場景二 使用5

24、0用戶在線共同執(zhí)行文檔上傳下載模塊， 結合部分稿件模塊功能，15用戶執(zhí)行上傳文檔， 20用戶執(zhí)行查詢文檔，15用戶執(zhí)行查詢稿件。 整個場景執(zhí)行1小時。，并監(jiān)控服務器的各項資 源。 E-41 疲勞強度測試 使用50用戶在線共同訪問被測系統(tǒng)， 15用戶執(zhí) 行查詢稿件，15用戶執(zhí)行查詢文檔，10用戶執(zhí) 行顯示稿件，5用戶執(zhí)行上傳文檔，5用戶執(zhí)行 增加稿件。整個場景持續(xù)運行12小時。，并監(jiān)控 服務器的各項資源。 E-42 10. 交易基準測試 10.1測試方法 使用一個Vuser，分別運行每個交易的腳本，設置腳本的迭代次數(shù)1次，驗 證所有腳本是否運行正確、所有交易事務是否成功返回，并獲取每個交易的平均

25、 交易響應時間 ATR(Average Transaction Response Time) 。 10.2測試場景 編 號 場景名 執(zhí)行用 戶數(shù) 加 壓 方 式 持 續(xù) 時 間 退 岀 方 式 思考時間/迭代 延遲 負載 生成 器數(shù) 量 備注 1 登錄系統(tǒng) login 1Vuser 同 時 1min 同 時 Pacing:2s-4s Thinktime:忽略 1 獲取單用戶執(zhí)行的 響應時間和服務器 資源，為之后的測 試提供依據(jù) 2 查詢稿件 search_menuscript 3 新增稿件 add_menuscript 4 顯示稿件 show_menuscript 5 上傳文檔 upload

26、document 6 查詢文檔 search document 11. 交易并發(fā)測試 11.1測試方法 使用10個Vuser，分別為每個交易執(zhí)行并發(fā)，驗證所有腳本是否運行正確、所有交易 事務是否成功返回，并獲取每個交易的平均交易響應時間ATR(Average Tra nsaction Response Time )。 11.2測試綜合場景 編號 場景名 并發(fā)用戶數(shù) 加壓 方式 持續(xù) 時間 退出 方式 思考 時間/ 迭代 延遲 負載 生成 器數(shù) 量 集合點策 略 1 登錄系統(tǒng) login 10 同時 運行完 成 同時 忽略 1 設置第一 項，讓 100%Vl到 達集合點 時一起并 發(fā)執(zhí)行。 2

27、查詢稿件 search_menuscript 3 新增稿件 add_menuscript 4 顯示稿件 show_menuscript 5 上傳文檔 upload_document 6 查詢文檔 search_document 11.3測試方法 使用20個Vuser，分別為每個交易執(zhí)行并發(fā)，驗證所有腳本是否運行正確、所有交易 事務是否成功返回，并獲取每個交易的平均交易響應時間ATR（Average Tra nsaction Response Time ）。 11.4測試場景 編號 場景名 并發(fā)用 戶數(shù) 加壓方式 持續(xù) 時間 退出 方式 思考 時間/ 迭代 延遲 負載 生成 器數(shù) 量 集合點 策略 1 登錄系