軟件性能測試設(shè)計(jì)與實(shí)現(xiàn)-周光明培訓(xùn)資料

軟件性能測試設(shè)計(jì)與實(shí)現(xiàn)-周光明軟件性能測試目的軟件性能測試應(yīng)用場合1、公司內(nèi)部驗(yàn)證軟件產(chǎn)品能力；2、客戶項(xiàng)目要求驗(yàn)證軟件性能；3、產(chǎn)品之間性能對比測試；軟件性能測試目的1、發(fā)現(xiàn)軟件缺陷，如內(nèi)存泄露、線程死鎖等問題；2、驗(yàn)證軟件能力，獲取基準(zhǔn)性能指標(biāo)；3、性能調(diào)優(yōu)，容量規(guī)劃設(shè)計(jì)；4、發(fā)現(xiàn)軟件性能缺陷，指出改進(jìn)方向；性能測試介入性能測試介入階段1、產(chǎn)品需求調(diào)研階段；

根據(jù)客戶應(yīng)用場景，確定產(chǎn)品應(yīng)用性能指標(biāo)2、開發(fā)設(shè)計(jì)階段；

分析軟件設(shè)計(jì)中會造成性能瓶頸的因素3、功能穩(wěn)定階段；

開展全面的性能測試，驗(yàn)證產(chǎn)品性能業(yè)務(wù)模型業(yè)務(wù)模型1、常規(guī)業(yè)務(wù)模型2、突發(fā)事件或峰值業(yè)務(wù)模型獲取業(yè)務(wù)模型

1、客戶業(yè)務(wù)流程介紹

2、服務(wù)器日志記錄業(yè)務(wù)模型的意義1、構(gòu)建跟客戶應(yīng)用場景類似的測試場景2、分析獲取性能測試指標(biāo)3、預(yù)估應(yīng)用壓力及峰值壓力場景業(yè)務(wù)模型舉例：公司郵件服務(wù)器，最高峰時有200人在線，考察某一時間點(diǎn)，其中40%的用戶什么都沒做，20%的用戶寫郵件，20%的用戶在看郵件，剩下的20%在不停地點(diǎn)擊收郵件按鈕。思考時間（ThinkingTime)對于交互式的應(yīng)用系統(tǒng)，要考慮思考時間，用于更真實(shí)的模擬用戶操作。避免不具有實(shí)際業(yè)務(wù)含義的業(yè)務(wù)模型。性能測試需求性能測試需求描述要求1、準(zhǔn)確：對于性能指標(biāo)要準(zhǔn)確、清楚的描述；2、一致：對于性能指標(biāo)的確認(rèn)達(dá)成統(tǒng)一；3、特定：性能測試的需求是有條件的；性能測試需求必須要包含多少用戶(who)在什么時間(when)或持續(xù)多久(when)進(jìn)行了什么業(yè)務(wù)(what),最終需要關(guān)注怎樣的指標(biāo)(how)查詢客戶端工業(yè)庫服務(wù)器網(wǎng)絡(luò)結(jié)果顯示時間網(wǎng)絡(luò)傳輸時間服務(wù)器處理時間單客戶端查詢歷史數(shù)據(jù)耗時常用性能指標(biāo)CPU占用率、內(nèi)存占用率、網(wǎng)絡(luò)帶寬占用率存儲速度：每秒300,000條數(shù)據(jù)記錄的存儲速度檢索速度：每秒20,000條數(shù)據(jù)記錄的檢索速度數(shù)據(jù)容量：長達(dá)數(shù)年的歷史數(shù)據(jù)保存和歸檔并發(fā)客戶：支持256個并發(fā)客戶同時存儲和檢索實(shí)時及歷史數(shù)據(jù)平均無故障時間：長時間穩(wěn)定無故障運(yùn)行7*24小時性能測試需求的獲取開發(fā)設(shè)計(jì)、產(chǎn)品需求設(shè)計(jì)文檔客戶根據(jù)業(yè)務(wù)流程提出同類產(chǎn)品的性能指標(biāo)行業(yè)標(biāo)準(zhǔn)、研究報告基準(zhǔn)性能測試注意：考慮突發(fā)事件以及峰值情況的確定1、習(xí)慣性的集中登錄；2、突發(fā)事件造成大量訪問；3、集中事務(wù)處理日期段；4、節(jié)假日等……性能測試模型業(yè)務(wù)模型建立：建立一個能夠逼真模擬系統(tǒng)實(shí)際運(yùn)行場景的業(yè)務(wù)模型；測試數(shù)據(jù)模型建立：準(zhǔn)備測試數(shù)據(jù)和基礎(chǔ)數(shù)據(jù)，確保數(shù)據(jù)容量和真實(shí)性符合實(shí)際運(yùn)行情況；監(jiān)控模型建立：設(shè)計(jì)需要監(jiān)控的性能指標(biāo)，從而發(fā)現(xiàn)性能瓶頸；測試模型建立：采取基準(zhǔn)測試、單業(yè)務(wù)負(fù)載測試、混合負(fù)載測試、并發(fā)測試的順序來執(zhí)行；執(zhí)行模型建立：建立規(guī)范的測試流程，明確各個角色的職責(zé)；風(fēng)險模型建立：預(yù)估風(fēng)險，并就風(fēng)險作出處理方案；性能測試場景設(shè)計(jì)性能測試場景設(shè)計(jì)1、結(jié)果導(dǎo)向分析法2、分析影響性能表現(xiàn)的因素3、針對影響因素設(shè)計(jì)相應(yīng)測試場景對于待測系統(tǒng)處理機(jī)制的深入了解，是性能測試成功設(shè)計(jì)和執(zhí)行的保證。性能測試環(huán)境搭建1、硬件環(huán)境；2、待測軟件設(shè)置；3、操作系統(tǒng)環(huán)境；4、網(wǎng)絡(luò)環(huán)境；測試環(huán)境搭建常見錯誤：1、無視軟硬件資源不足；2、無視與客戶硬件環(huán)境不一致；3、無視軟件參數(shù)配置不合理；需注意該點(diǎn)在性能對比測試中的誤區(qū)注意：性能測試一定要充分利用一切可以利用的資源和工具基準(zhǔn)性能測試1、目的通過模擬生產(chǎn)環(huán)境運(yùn)行的業(yè)務(wù)壓力量和使用場景組合，測試系統(tǒng)是否滿足要求的測試方法。2、特點(diǎn)驗(yàn)證系統(tǒng)具有宣稱的能力在已確定的環(huán)境下進(jìn)行根據(jù)典型場景設(shè)計(jì)測試方案和用例4、注意事項(xiàng)滿足系統(tǒng)運(yùn)行的基本要求記錄基準(zhǔn)性能指標(biāo)負(fù)載測試1、目的通過在被測系統(tǒng)上不斷增加負(fù)載壓力，直到性能指標(biāo)超過預(yù)定指標(biāo)或某種資源使用已達(dá)到飽和狀態(tài)。2、特點(diǎn)其主要目的是找到系統(tǒng)處理能力的極限在給定環(huán)境下運(yùn)行，需要考慮被測系統(tǒng)的業(yè)務(wù)壓力量和典型場景，使得測試結(jié)果具有業(yè)務(wù)上的意義可用來了解系統(tǒng)的性能容量，或者配合性能調(diào)優(yōu)來使用3、注意事項(xiàng)增加負(fù)載的策略停止增加負(fù)載的標(biāo)準(zhǔn)壓力測試1、目的測試系統(tǒng)在系統(tǒng)資源（如CPU、內(nèi)存使用率、網(wǎng)絡(luò)帶寬等）一定飽和狀態(tài)下，系統(tǒng)的處理能力，以及系統(tǒng)是否會出現(xiàn)錯誤。2、特點(diǎn)其主要目的是檢查系統(tǒng)處于壓力情況時應(yīng)用的表現(xiàn)一般通過模擬負(fù)載等方法，使得系統(tǒng)的資源使用達(dá)到較高水平一般用于測試系統(tǒng)的穩(wěn)定性3、注意事項(xiàng)設(shè)置有意義的飽和狀態(tài)并發(fā)測試1、目的通過模擬用戶的并發(fā)訪問，測試多用戶并發(fā)訪問同一應(yīng)用，同一個模塊或數(shù)據(jù)記錄時是否存在死鎖或其他性能問題2、特點(diǎn)其主要目的是發(fā)現(xiàn)系統(tǒng)中可能隱藏的并發(fā)訪問時的問題，如內(nèi)存泄露、線程死鎖或資源競爭方面的問題需要相關(guān)的工具配置和支持3、注意事項(xiàng)在線用戶數(shù)和并發(fā)用戶數(shù)的區(qū)別理想情況下是使用多臺機(jī)器真實(shí)模擬用戶并發(fā)場景使用測試工具模擬并發(fā)客戶端，要支持快速部署和啟動測試疲勞強(qiáng)度測試1、目的通過給系統(tǒng)加載一定的業(yè)務(wù)壓力情況下，讓程序持續(xù)運(yùn)行一段時間，測試系統(tǒng)在這種條件下是否能夠穩(wěn)定可靠的運(yùn)行2、特點(diǎn)其主要目的是驗(yàn)證系統(tǒng)是否支持長期穩(wěn)定的運(yùn)行需要在壓力狀態(tài)下運(yùn)行一段時間需要關(guān)注系統(tǒng)的運(yùn)行狀況3、注意事項(xiàng)保持一定的運(yùn)行壓力軟硬件環(huán)境支持其長時間穩(wěn)定運(yùn)行故障恢復(fù)測試1、目的主要針對程序在運(yùn)行過程中出現(xiàn)故障并恢復(fù)后，驗(yàn)證是否能夠繼續(xù)使用系統(tǒng)，以及這種情況發(fā)生后用戶將會受到什么影響2、特點(diǎn)其主要目的是驗(yàn)證系統(tǒng)出現(xiàn)故障并恢復(fù)后系統(tǒng)是否可以繼續(xù)使用3、注意事項(xiàng)根據(jù)業(yè)務(wù)模型設(shè)計(jì)故障產(chǎn)生的階段考慮恢復(fù)后對操作的影響分析故障恢復(fù)后的性能表現(xiàn)：恢復(fù)時間、恢復(fù)后能夠正常訪問、性能不出現(xiàn)嚴(yán)重下降配置測試1、目的通過對被測系統(tǒng)的軟硬件環(huán)境的調(diào)整，了解各種不同環(huán)境對系統(tǒng)性能影響的程度，從而找到各項(xiàng)資源的最優(yōu)分配原則2、特點(diǎn)了解各種不同因素對系統(tǒng)性能影響的程度，從而判斷最值得進(jìn)行的調(diào)優(yōu)操作對系統(tǒng)性能有了初步了解后進(jìn)行一般用于性能調(diào)優(yōu)3、注意事項(xiàng)熟悉產(chǎn)品各模塊處理機(jī)制調(diào)優(yōu)結(jié)束的標(biāo)準(zhǔn)執(zhí)行—分析—調(diào)整—執(zhí)行—分析……性能測試分析性能表現(xiàn)的拐點(diǎn)、性能瓶頸由基準(zhǔn)性能測試的表現(xiàn)分析軟件性能缺陷模塊或產(chǎn)品之間的性能表現(xiàn)對比分析

KDC采集器和OPC采集器性能表現(xiàn)對比拐點(diǎn)分析法：利用性能計(jì)數(shù)器曲線圖上的拐點(diǎn)進(jìn)行性能分析的方法。查詢性能表現(xiàn)性能調(diào)優(yōu)確定基準(zhǔn)環(huán)境，基準(zhǔn)負(fù)載、和基準(zhǔn)性能指標(biāo)調(diào)整系統(tǒng)運(yùn)行環(huán)境和實(shí)現(xiàn)方法，執(zhí)行測試記錄測試結(jié)果，進(jìn)行分析性能調(diào)優(yōu)硬件環(huán)境的調(diào)整主要對系統(tǒng)運(yùn)行的硬件環(huán)境進(jìn)行調(diào)整，包括硬盤、CPU、內(nèi)存、網(wǎng)絡(luò)帶寬等軟件參數(shù)設(shè)置的調(diào)整主要對軟件系統(tǒng)的參數(shù)進(jìn)行調(diào)整，比如調(diào)整工業(yè)庫的緩沖池大小等應(yīng)用級別的調(diào)整主要對應(yīng)用實(shí)現(xiàn)本身進(jìn)行調(diào)整，包括采用新的數(shù)據(jù)訪問方式或是修改處理邏輯的實(shí)現(xiàn)方式等性能調(diào)優(yōu)常見錯誤

1、避免一次調(diào)整過多的參數(shù)

2、沒有保證每次執(zhí)行時數(shù)據(jù)環(huán)境的一致

3、必須存在可用于衡量調(diào)優(yōu)是否取得效果的標(biāo)準(zhǔn)，避免調(diào)優(yōu)過程一直持續(xù)下去性能改進(jìn)分析性能缺陷開發(fā)設(shè)計(jì)階段、項(xiàng)目實(shí)施階段性能改進(jìn)舉例：1、數(shù)據(jù)庫沒有使用索引，查詢數(shù)據(jù)時會掃描全表。建議改進(jìn)方向?yàn)榭紤]為數(shù)據(jù)庫創(chuàng)建索引，優(yōu)化查詢操作。2、數(shù)據(jù)展示優(yōu)化。性能測試結(jié)束標(biāo)準(zhǔn)達(dá)到要求的性能需求經(jīng)過了穩(wěn)定無故障測試系統(tǒng)資源成為瓶頸案例分析：工業(yè)庫查詢性能測試結(jié)束標(biāo)準(zhǔn)1、達(dá)到性能需求2、系統(tǒng)資源成為瓶頸3、多客戶端并反訪問穩(wěn)定正確工業(yè)庫存儲性能測試案例分析1、確定存儲性能測試指標(biāo)1>服務(wù)器端的存儲速度；2>服務(wù)器端的系統(tǒng)資源占用情況（CPU、內(nèi)存、磁盤等）3>緩存數(shù)據(jù)文件變化4>數(shù)據(jù)丟失率工業(yè)庫存儲性能測試案例分析1、影響存儲性能的因素1>機(jī)器硬件配置；2>緩沖池大小3>變量緩存塊TagDataBuffer的大小4>刷新線程

5>壓縮屬性設(shè)置

6>線程池開啟工業(yè)庫存儲性能測試案例分析1、性能測試場景設(shè)計(jì)負(fù)載測試；配置測試；混合業(yè)務(wù)模型測試；疲勞強(qiáng)度測試；故障恢復(fù)測試2、性能測試結(jié)束標(biāo)準(zhǔn)系統(tǒng)資源達(dá)到飽和；緩存數(shù)據(jù)文件不斷增加；滿足客戶項(xiàng)目需求工業(yè)庫存儲性能測試案例分析性能測試工具的引入考慮工具的穩(wěn)定性和可靠性易于部署能夠統(tǒng)計(jì)一定的性能