性能測試的組織

性能測試的組織第一頁，共六十三頁，2022年，8月28日3.1性能測試工具3.2性能測試團隊的人員構成3.3性能測試流程第二頁，共六十三頁，2022年，8月28日3.1性能測試工具性能測試工具的作用性能測試腳本錄制時的協(xié)議類型性能測試工具的選擇與評估第三頁，共六十三頁，2022年，8月28日性能測試工具的作用性能測試工具只能幫助你實施性能測試，并不能幫助你完成性能測試的需求、設計和分析（性能測試工具能夠根據(jù)你的要求以各種方式提供報表，這些報表可以被用來分析系統(tǒng)性能狀況）。第四頁，共六十三頁，2022年，8月28日

性能測試腳本錄制時的協(xié)議類型

一般的性能測試工具都提供了多種協(xié)議支持，但具體在什么時候使用何種協(xié)議，如何選擇也是一個問題。性能測試工具錄制的是服務端和應用之間的通信數(shù)據(jù)，因此，選擇何種協(xié)議取決于應用和客戶端之間的通信協(xié)議。

Web應用：HTTP/HTTPS協(xié)議；數(shù)據(jù)庫應用：協(xié)議取決于數(shù)據(jù)庫本身的類型；

Socket應用：socket協(xié)議；除了這些，還有RMI、Corba、WebService等多種類型的協(xié)議。第五頁，共六十三頁，2022年，8月28日性能測試工具的選擇與評估對需要進行性能測試的組織來說，決定使用哪種性能測試工具也不是一個簡單的問題。這個問題通常會有兩個層面的意義：第一，創(chuàng)建還是購買？第二，如果購買，如何選擇一種商業(yè)工具？第六頁，共六十三頁，2022年，8月28日1、創(chuàng)建還是購買？

總之，”購買“的方式可以以較低的總體成本快速獲得可用的軟件，但如果被測試對象本身有一定的特殊需求，最好使用”創(chuàng)建“的方式構建適合的測試工具。工具類型優(yōu)點缺點商業(yè)化工具穩(wěn)定性好適應性較廣成本較低學習培訓成本較高某些特殊需求不能滿足創(chuàng)建工具最適合應用易學習和使用穩(wěn)定性可靠性不足成本高第七頁，共六十三頁，2022年，8月28日2.測試工具的評估和選擇過程測試工具的評估可被描述為“從很多可用的工具中選擇一個工具”，對于商業(yè)的性能測試工具，一般可以按照下列的過程進行評估：（1）列出需要的工具功能列表工具能支持被測系統(tǒng)運行的平臺（軟硬件環(huán)境、數(shù)據(jù)庫環(huán)境）嗎？工具能支持被測系統(tǒng)使用的協(xié)議嗎？工具是否能夠支持我們的特殊要求，例如防火墻、負載均衡、動態(tài)頁面生成等？工具能夠提供對我們關心的服務器、應用服務器或是數(shù)據(jù)庫類型計數(shù)器的監(jiān)控嗎？工具使用的腳本語言功能完善嗎？第八頁，共六十三頁，2022年，8月28日（2）工具比較

該步驟的主要目的是比較所有可供選擇的工具，比較內(nèi)容包括：功能比較。評價各種不同工具與所需要工具的功能的符合程度，可以在列出需要工具的功能時，一并給出每個需要功能的優(yōu)先級權重，這樣在進行符合度評價時，可以得出每個工具的功能符合度加權值，利用該加權值進行比較。工具能獲取支持的比較。這方面的比較包括：開發(fā)商或是代理商對工具的支持力度如何？該產(chǎn)品的平均更新周期有多長？是否能方便地在應用中獲取工具的使用支持？產(chǎn)品的支持方式包括哪些？時效性如何？供應商的信譽。這方面的信息主要通過其他客戶對供應商的評價來獲得。第九頁，共六十三頁，2022年，8月28日（3）成本分析

工具的價格是成本的主要構成，工具的價格和產(chǎn)品的License方式直接相關。評估工具成本的時候，最先要弄清楚的就是工具的License方式。在了解工具License方式的基礎上，就可以根據(jù)需要選擇產(chǎn)品部件，估算需要支付的產(chǎn)品價格了。

工具的學習曲線和必要的培訓成本也是必須考慮的一個因素。永遠不要相信測試工具供應商作出的“我們的工具非常簡單易學，只需要很短時間就能讓你學會”這種承諾?？陀^來說，目前的商業(yè)工具在產(chǎn)品架構和界面可操作性方面差別不大，學習曲線主要從系統(tǒng)支持的腳本語言類型是否被使用者熟悉，系統(tǒng)手冊以及產(chǎn)品開發(fā)商或是代理商是否提供培訓支持等。第十頁，共六十三頁，2022年，8月28日3.2性能測試團隊的人員構成要順利開展軟件性能測試，首要的條件是有一支合適的性能測試隊伍。軟件性能測試的組織和執(zhí)行需要涉及較多的技術和技能，因此我們在學習性能測試流程之前，先需要掌握性能測試團隊的人員構成。根據(jù)經(jīng)驗，在一個性能測試團隊中應該包括這樣一些角色：測試經(jīng)理、測試設計人員、測試開發(fā)人員、測試執(zhí)行人員、測試分析人員和支持人員（系統(tǒng)、網(wǎng)絡、數(shù)據(jù)庫工程師）。第十一頁，共六十三頁，2022年，8月28日角色職責技能備注測試經(jīng)理1.和用戶等項目干系人交互，確保測試的外部環(huán)境2.制定測試計劃3.監(jiān)控測試進度4.發(fā)現(xiàn)和處理測試中的風險1.計劃執(zhí)行和監(jiān)控能力2.風險意識和能力3.外交能力和靈活變通能力負責整個測試項目測試設計1.定義性能規(guī)劃2.識別用戶的性能需求3.建立性能場景1.業(yè)務把握能力2.性能需求分析和識別能力設計測試方案和用例第十二頁，共六十三頁，2022年，8月28日角色職責技能備注測試開發(fā)1.實現(xiàn)已設計的性能場景2.腳本開發(fā)、調試3.確定測試時需要監(jiān)控的性能指標、性能計數(shù)器1.腳本編碼和調試能力2.理解性能指標和性能計數(shù)器負責實現(xiàn)測試設計人員設計的方案和用例測試執(zhí)行1.部署測試環(huán)境2.執(zhí)行腳本和場景3.根據(jù)監(jiān)控要求記錄測試結果、記錄性能指標和性能計數(shù)器值1.搭建測試環(huán)境的能力2.測試工具使用（執(zhí)行）的能力3.性能指標和性能計數(shù)器值獲取和記錄的能力第十三頁，共六十三頁，2022年，8月28日角色職責技能備注測試分析1.根據(jù)測試結果、性能指標的數(shù)值、性能計數(shù)器值進行分析2.能根據(jù)性能規(guī)劃，分析出系統(tǒng)性能瓶頸，或是給出優(yōu)化建議1.掌握性能測試工具的使用方法2.掌握應用系統(tǒng)性能領域相關知識，理解所采用的架構3.熟悉常用的性能分析方法4.具有一定的編碼經(jīng)驗支持角色（系統(tǒng)）系統(tǒng)支持，協(xié)助解決測試工程師無法解決的系統(tǒng)問題處理系統(tǒng)問題的能力和技能，最好由專職的系統(tǒng)管理員擔任這個角色第十四頁，共六十三頁，2022年，8月28日角色職責技能備注支持角色（網(wǎng)絡）網(wǎng)絡方面的支持，協(xié)助測試工程師解決網(wǎng)絡方面的問題，在必要時為測試分析角色提供網(wǎng)絡方面的分析支持網(wǎng)絡方面的能力和技能，最好由專職的網(wǎng)絡管理員擔任這個角色支持角色（數(shù)據(jù)庫）數(shù)據(jù)庫方面的支持，在必要時為測試分析角色提供數(shù)據(jù)庫方面的支持數(shù)據(jù)庫方面的能力和技能，最好由專職的DBA擔任這個角色第十五頁，共六十三頁，2022年，8月28日3.3性能測試流程測試前期準備測試需求&計劃測試設計與開發(fā)測試執(zhí)行結果分析報告大數(shù)據(jù)量測試疲勞強度測試失效恢復測試負載&壓力測試第十六頁，共六十三頁，2022年，8月28日性能測試流程測試流程1.測試前期準備4.測試執(zhí)行3.測試設計&開發(fā)結果分析問題定位測試報告與評估保證系統(tǒng)穩(wěn)定組建測試團隊測試需求分析測試計劃制定搭建環(huán)境部署測試場景執(zhí)行測試測試腳本錄制測試調試開發(fā)負載場景設計2.測試需求&計劃2.測試需求&計劃2.測試需求&計劃2.測試需求&計劃5.結果分析&報告第十七頁，共六十三頁，2022年，8月28日測試流程–測試前期準備性能測試一般是軟件系統(tǒng)已經(jīng)開發(fā)完成或是部署完成之后的測試，要求被測對象至少具有一定的穩(wěn)定性，在功能上基本滿足了需求。對一個很不穩(wěn)定或是還處于“半成品”狀態(tài)的軟件系統(tǒng)進行測試，沒有太大的意義。在這個階段需要完成的任務主要有：保證系統(tǒng)穩(wěn)定1組建測試團隊2第十八頁，共六十三頁，2022年，8月28日在進行性能測試前，首先要做的工作就是驗證系統(tǒng)基礎功能，來確保當前需要進行性能測試的應用系統(tǒng)已經(jīng)具備了進行性能測試的條件。如果性能測試本身屬于驗收測試的一部分，只需要把性能測試安排在功能驗收測試完成之后即可；如果性能測試不在驗收測試階段運行，則必須保證在性能測試之前進行至少一次系統(tǒng)的功能覆蓋測試。保證系統(tǒng)穩(wěn)定1第十九頁，共六十三頁，2022年，8月28日該活動的主要目標是建立一個可以進行性能測試的團隊。在測試前期準備階段，需要根據(jù)項目的大致情況，確定人員需要的技能，從而從組織中或是通過招聘挑選合適的人員組成測試組。組建測試團隊2第二十頁，共六十三頁，2022年，8月28日測試流程–測試需求&計劃

該階段需要完成的主要任務有：測試需求分析1測試計劃制定2第二十一頁，共六十三頁，2022年，8月28日測試需求就是應用需求的衍生測試用例也必須覆蓋所有的測試需求測試需求的來源是多方面的，如需求文檔、用戶備忘錄或系統(tǒng)日志等。測試需求分析1第二十二頁，共六十三頁，2022年，8月28日測試需求分析關鍵內(nèi)容：測試的對象；系統(tǒng)配置，例如“預計有多少用戶并發(fā)訪問？”“用戶客戶端的配置如何？”“使用什么樣的數(shù)據(jù)庫？”“服務器怎樣和客戶端通信？”“網(wǎng)絡設備的吞吐能力如何，每個環(huán)節(jié)承受多少并發(fā)用戶的訪問？”等相關問題；系統(tǒng)的使用模式；測試需求分析1第二十三頁，共六十三頁，2022年，8月28日用戶的提問與我們的測試目標：測試需求分析1目標回答問題測量對最終用戶的訪問時間要花多少時間做完一筆交易？確定最優(yōu)硬件配置什么樣的配置提供了最好的性能？檢查可靠性系統(tǒng)能在無錯情況下承擔多大或多長時間的負載？檢查軟、硬件升級這些升級對系統(tǒng)性能影響多大？評估新產(chǎn)品服務器應該選擇哪些軟件和硬件？測試系統(tǒng)負載在沒有較大性能衰減的前提下，系統(tǒng)能夠承受多大負載？分析系統(tǒng)瓶頸哪些因素降低交易響應時間第二十四頁，共六十三頁，2022年，8月28日測試需求分析方法：（充分分析系統(tǒng)有價值的信息）任務分布圖交易混合圖用戶概況分析測試需求分析1第二十五頁，共六十三頁，2022年，8月28日任務分布圖

測試需求分析1有哪些交易任務在一天的某些特定時刻系統(tǒng)都有哪些主要操作第二十六頁，共六十三頁，2022年，8月28日第二十七頁，共六十三頁，2022年，8月28日交易混合圖高峰期有哪些操作？中間件操作有多少？數(shù)據(jù)庫操作有多少？如果任務失敗，那么商業(yè)風險有多少？第二十八頁，共六十三頁，2022年，8月28日第二十九頁，共六十三頁，2022年，8月28日用戶概況分析哪些任務是每個用戶都要執(zhí)行的？針對不同角色的用戶，他們的任務是什么？針對每個用戶，不同任務的比例如何？第三十頁，共六十三頁，2022年，8月28日第三十一頁，共六十三頁，2022年，8月28日要素：測試目標測試案例測試成員測試時間測試環(huán)境

測試計劃制定2第三十二頁，共六十三頁，2022年，8月28日1、測試計劃制定-測試目標測試目標首先是基于需求分析抽取出用戶的需求其次，尋找用戶的性能關注點，用戶對系統(tǒng)性能的關注往往集中在少數(shù)幾個業(yè)務活動上，如通過日志分析和用戶調查分析獲取第三十三頁，共六十三頁，2022年，8月28日系統(tǒng)日志分析：指通過應用系統(tǒng)的日志了解用戶的活動，分析出用戶最關注、最常用的業(yè)務功能，以及達到業(yè)務功能的操作路徑；用戶調查分析：是在不具備系統(tǒng)日志分析條件（例如，該系統(tǒng)尚未交付用戶運行實際的業(yè)務）時采用的一種估算方法，可以通過用戶調查問卷、同類型系統(tǒng)對比的方法獲取用戶最關注、最常用的業(yè)務功能等內(nèi)容。第三十四頁，共六十三頁，2022年，8月28日測試目標可能描述為以下幾種：該應用能夠以1秒的最大響應時間處理200個并發(fā)用戶對業(yè)務A的訪問；峰值時刻有400個用戶，允許響應時間延長到3秒。通過性能調優(yōu)測試，本系統(tǒng)的A業(yè)務和B業(yè)務在200并發(fā)用戶的條件下，響應時間提高到3秒，此時服務器的CPU占用不能超過75%，內(nèi)存使用率不超過70%。第三十五頁，共六十三頁，2022年，8月28日2、測試計劃制定-測試案例設計測試案例好的案例具有以下幾個性質：有效性：可以發(fā)現(xiàn)缺陷可重用性：可以重復使用的案例，保證測試的一致性可維護性：當測試環(huán)境、測試數(shù)據(jù)發(fā)生變化后，測試案例經(jīng)過簡單維護，可以繼續(xù)使用第三十六頁，共六十三頁，2022年，8月28日第三十七頁，共六十三頁，2022年，8月28日3、測試計劃制定-測試成員前面已講述。第三十八頁，共六十三頁，2022年，8月28日4、測試計劃制定-測試時間第三十九頁，共六十三頁，2022年，8月28日5、測試計劃制定-測試環(huán)境測試環(huán)境的基本原則：符合軟件運行的最低要求，不一定選擇將要部署的環(huán)境選用比較普及的操作系統(tǒng)和軟件平臺營造相對簡單、獨立的測試環(huán)境無毒的環(huán)境第四十頁，共六十三頁，2022年，8月28日5、測試計劃制定-測試環(huán)境負載壓力性能測試，測試環(huán)境還需要注意以下幾點：必須考慮測試工具的硬件和軟件配置需求，比如支持工具的操作系統(tǒng)、工具是否支持當前的應用協(xié)議等測試環(huán)境與實際生產(chǎn)環(huán)境有無差異，硬件配置是否是影響性能的主要因素測試環(huán)境中應該包括安裝、備份及恢復過程排除網(wǎng)絡問題給環(huán)境帶來的影響第四十一頁，共六十三頁，2022年，8月28日5、測試計劃制定-測試環(huán)境好的測試環(huán)境的標準：一個穩(wěn)定、可重復的測試環(huán)境能夠保證測試結果的正確保證達到測試執(zhí)行的技術需求保證得到可重復的和易理解的測試結果第四十二頁，共六十三頁，2022年，8月28日5、測試計劃制定-測試環(huán)境測試數(shù)據(jù)：在測試環(huán)境中需要輸入一些適當?shù)臏y試數(shù)據(jù)，包括：初始數(shù)據(jù)系統(tǒng)運行所必須的初始化數(shù)據(jù)業(yè)務數(shù)據(jù)提供負載壓力背景腳本中參數(shù)數(shù)據(jù)腳本中參數(shù)數(shù)據(jù)真實模擬負載第四十三頁，共六十三頁，2022年，8月28日測試流程–測試設計與開發(fā)該階段需要完成的主要任務有：測試腳本錄制1測試調試開發(fā)2負載場景設計3第四十四頁，共六十三頁，2022年，8月28日

以測試工具LoadRunner為例測試腳本錄制1第四十五頁，共六十三頁，2022年，8月28日

作用：用于設計測試活動需要使用的場景測試場景從不同角度的剖面模擬實際業(yè)務的運行負載場景設計3場景包含內(nèi)容：業(yè)務和業(yè)務比例測試指標的目標需要在測試過程中進行監(jiān)控的性能計數(shù)器

測試場景可以是多個測試目標的體現(xiàn)，下表描述了一個測試場景的內(nèi)容。第四十六頁，共六十三頁，2022年，8月28日場景名稱場景業(yè)務及用戶比例分配測試指標性能計數(shù)器用戶登錄登錄業(yè)務，100%用戶總用戶數(shù)200人響應時間（<5s）服務器CPUUsage服務器內(nèi)存Usage標準日常工作入賬業(yè)務，40%用戶查詢業(yè)務，30%用戶統(tǒng)計業(yè)務，30%用戶總用戶數(shù)200人響應時間(入賬<6s)(查詢<5s)(統(tǒng)計<10s)服務器CPUUsage服務器內(nèi)存Usage……………………表測試場景示例第四十七頁，共六十三頁，2022年，8月28日測試流程–測試執(zhí)行該階段需要完成的主要任務有：搭建測試環(huán)境1部署測試場景2執(zhí)行測試和記錄結果3第四十八頁，共六十三頁，2022年，8月28日硬件環(huán)境設備、網(wǎng)絡拓撲軟件環(huán)境應用部署、測試工具數(shù)據(jù)環(huán)境數(shù)據(jù)規(guī)模搭建測試環(huán)境1第四十九頁，共六十三頁，2022年，8月28日部署腳本場景運行時設置如循環(huán)次數(shù)、業(yè)務比例、運行時間等等性能指標和資源監(jiān)控設置（重點關注）部署測試場景2第五十頁，共六十三頁，2022年，8月28日在執(zhí)行測試的過程中，應該使用一些性能指標來關注性能測試。常用的性能指標有以下幾種：