性能測試術(shù)語和相關(guān)監(jiān)控器

1、性能測試術(shù)語監(jiān)控指標性能測試術(shù)語性能測試（性能測試（Performance Testing）負載測試（負載測試（Load Testing）壓力測試（壓力測試（Stress Testing）配置測試（配置測試（Configuration Testing）并發(fā)測試（并發(fā)測試（Concurrency Testing）可靠性測試（可靠性測試（Reliability Testing）失效恢復測試（失效恢復測試（Failover Testing）性能測試性能測試主要包括： 性能測試是通過自動化的測試工具模擬多種正常、峰值以及異常負載條件來對系統(tǒng)的各項性能指標進行測試。負載測試和壓力測試都屬于性能測試，兩者

2、可以結(jié)合進行。通過負載測試，確定在各種工作負載下系統(tǒng)的性能，目標是測試當負載逐漸增加時，系統(tǒng)各項性能指標的變化情況。壓力測試是通過確定一個系統(tǒng)的瓶頸或者不能接收的性能點，來獲得系統(tǒng)能提供的最大服務(wù)級別的測試。性能測試性能測試主要包括：概念l 系統(tǒng)的性能是一個很大的概念，覆蓋面非常廣泛，l 對一個軟件系統(tǒng)而言，包括：執(zhí)行效率、資源占用、l 系統(tǒng)穩(wěn)定性、安全性、兼容性、可靠性、可擴展性負載測試l 通過逐步增加系統(tǒng)負載，測試系統(tǒng)性能的變化，并l 最終確定在滿足系統(tǒng)的性能指標情況下，系統(tǒng)所能夠承l(wèi) 受的最大負載量的測試。壓力測試l 通過逐步增加系統(tǒng)負載，測試系統(tǒng)性能的變化，并最終l 確定在什么負載條件

3、下系統(tǒng)性能處于失效狀態(tài)，并來獲l 得系統(tǒng)能提供的最大服務(wù)級別的測試。性能測試的概念及其主要指標 主要指標 響應(yīng)時間 點擊數(shù) 吞吐量（任一秒上從服務(wù)器獲得的數(shù)據(jù)量） 并發(fā)用戶 資源利用率（內(nèi)存、CPU的利用率等） 每秒 連 接數(shù)（每秒打開的新的TCP/IP 連 接數(shù)）并發(fā)用戶數(shù) 并發(fā)用戶數(shù)是指在某一給定時間內(nèi)，某個特定點上進行會話操作的用戶數(shù)，即同時進行請求的客戶的數(shù)量 響應(yīng)時間響應(yīng)時間 響應(yīng)時間指的是客戶端發(fā)出請求到得到響應(yīng)的整個過程所經(jīng)歷的時間。8響應(yīng)時間 請求響應(yīng)時間：指的是客戶端發(fā)出請求到得到響應(yīng)的整個過程的時間。在某些工具中，請求響應(yīng)時間通常會被成為“TLLB”，即“Time to l

4、ast byte”,意思是從發(fā)起一個請求開始，到客戶端接收到最后一個字節(jié)的響應(yīng)時間所耗費的時間。請求響應(yīng)時間過程的單位一般為“秒”或者“毫秒”. 事務(wù)響應(yīng)時間:事務(wù)可能由一系列請求組成,事務(wù)的響應(yīng)時間主要是針對用戶而言,屬于宏觀上的概念，是為了向用戶說明業(yè)務(wù)響應(yīng)時間而提出的.例如:跨行取款事務(wù)的響應(yīng)時間就是由一系列的請求組成的.事務(wù)響應(yīng)時間和后面的業(yè)務(wù)吞吐率都是直接衡量系統(tǒng)性能的參數(shù).響應(yīng)時間過長 個人感覺響應(yīng)時間變長的一個主要原因是：1.有些站點在訪問時需要走到好多的路由器，在這些路由器中轉(zhuǎn)轉(zhuǎn)發(fā)的過程中所耗費的時間，有時候不可估計 2.站點在北京，路由器從上海兜了一個圈最后又回到起點 3.協(xié)

5、議的選擇很重要 tcp和udp不能錯，發(fā)送報文的協(xié)議 4. http協(xié)議，因為http超文本傳輸協(xié)議是建立在tcp/ip基礎(chǔ)上，而udp只是tcp/ip組里的協(xié)議，他們位于同一個組里，udp主要應(yīng)對的是面向查詢-應(yīng)答的服務(wù)例如NFS，而tcp是面向連接的服務(wù)（例如Telnet、*、rlogin、X Windows和SMTP）需要高度的可靠性，所以它們使用了TCP。 5.網(wǎng)絡(luò)的結(jié)構(gòu) 6.代碼是否需要優(yōu)化 7.數(shù)據(jù)庫是否需要優(yōu)化 8.項目中使用的架構(gòu)吞吐量 吞吐量是指單位時間內(nèi)系統(tǒng)處理的客戶請求的數(shù)量，直接體現(xiàn)軟件系統(tǒng)的性能承載能力。 一般來說，吞吐量用請求數(shù)/秒或頁面數(shù)/秒來衡量，從業(yè)務(wù)的角度，

6、吞吐量也可以用訪問人數(shù)/天或處理的業(yè)務(wù)數(shù)/小時等單位來衡量。從網(wǎng)絡(luò)的角度來說，也可以用字節(jié)數(shù)/天等單位來考察網(wǎng)絡(luò)流量。 提問：網(wǎng)站吞吐量越大那么是不是說明系統(tǒng)響應(yīng)時間越快？資源利用率 資源利用率是指系統(tǒng)資源的使用程度，比如服務(wù)器的CPU利用率、內(nèi)存利用率、磁盤利用率、網(wǎng)絡(luò)帶寬利用率等。 資源利用率是分析系統(tǒng)性能指標進而改善性能的主要依據(jù),因此是WEB性能測試工作的重點.資源利用率主要針對WEB服務(wù)器,操作系統(tǒng),數(shù)據(jù)庫服務(wù)器,網(wǎng)絡(luò)等,是測試和分析瓶頸的主要參考.在WEB性能測試中,更根據(jù)需要采集相應(yīng)的參數(shù)進行分析. 點擊率 點擊率:HPS，每秒鐘用戶向WEB服務(wù)器提交的HTTP請求數(shù).這個指標是

7、WEB應(yīng)用特有的一個指標 。 點擊率越大, 對服務(wù)器的壓力越大.點擊率只是一個性能參考指標,重要的是分析點擊時產(chǎn)生的影響 這里的點擊并非指鼠標的一次單擊操作,因為在一次單擊操作中,客戶端可能向服務(wù)器發(fā)出多個HTTP請求. 性能測試重要知識 Loadrunner中的術(shù)語： 集合點策略 參數(shù)化 關(guān)聯(lián) 事物點性能測試的概念及其主要指標 不同視角的性能 用戶角度l響應(yīng)時間l系統(tǒng)穩(wěn)定性系統(tǒng)角度l網(wǎng)絡(luò)延遲、數(shù)據(jù)延遲l系統(tǒng)資源的使用情況開發(fā)角度l代碼實現(xiàn)（算法等）l數(shù)據(jù)庫實現(xiàn)（數(shù)據(jù)模型設(shè)計、語句的實現(xiàn)方式等）主要指標用戶角度 響應(yīng)時間（最關(guān)心的指標） 2/5/10原則 修改（-3-5-7原則） 過長時間的等

8、待會讓客戶煩躁不安 系統(tǒng)穩(wěn)定性（把對軟件的信心留?。?HTTP 500 數(shù)據(jù)庫崩潰 應(yīng)用服務(wù)器崩潰主要指標系統(tǒng)角度 網(wǎng)絡(luò)運行情況 硬件配備情況 軟件的配置情況（應(yīng)用服務(wù)器/數(shù)據(jù)庫/系統(tǒng)）開發(fā)角度例子 數(shù)據(jù)庫模型設(shè)計不合理 將經(jīng)常訪問的數(shù)據(jù)放入一個表中（上百字段） 表與表間關(guān)系復雜 將很多二進制類型數(shù)據(jù)存放于數(shù)據(jù)庫中SQL語句性能 笛卡爾積/通配符會降低效率 . where column in(select* from . where .); . where exists (select X from .where .); 用那個語句效率更高？ select * from employee wh

9、ere salary3000; select * from employee where salary3000主要的性能測試工具 商業(yè)（可根據(jù)情況破解，正式版要收費）lMercury LoadrunnerlRational Performance TesterlSeagueSilkTestlRadviewWebLoad 免費（可直接破解）lMicrosoft Web Application Stress ToollMicrosoft Application Center Test 開源（開放源代碼，可根據(jù)業(yè)務(wù)情況做修改）lOpenSTAlJmeterlGrinder性能測試工具比較 商業(yè)軟件的

10、優(yōu)點 功能較多（集合點、檢查點、事務(wù)等） 界面美觀 操作方便 軟件后期升級、技術(shù)支持等有保障 商業(yè)軟件的缺點 價格較貴性能測試工具比較 免費軟件的優(yōu)點 免費使用 功能較少 界面較美觀 操作較方便 免費軟件的缺點 功能較少 分析數(shù)據(jù)較少 在稍復雜的測試對腳本開發(fā)人員要求較高（ACT) 軟件后期升級、技術(shù)支持不一定有保障 主要類別性能測試 性能測試是一種“正常”的測試，主要是測試正常使用時，系統(tǒng)是否滿足要求，同時可能為了保留系統(tǒng)的擴展空間進行一些稍稍超出“正?！狈秶臏y試。主要類別負載測試 通過在被測系統(tǒng)上不斷增加壓力，直到性能指標。例如：響應(yīng)時間超過預(yù)定指標或者某種資源已經(jīng)達到飽和狀態(tài)。 這種測

11、試考驗找到系統(tǒng)的處理極限，為系統(tǒng)調(diào)優(yōu)提供數(shù)據(jù)。負載測試一般壓力要大些。主要類別壓力測試 對系統(tǒng)不斷施加壓力的測試，是通過確定一個系統(tǒng)的瓶頸或者不能接受的性能點，來獲得系統(tǒng)能夠提供的最大服務(wù)級別的測試。 例如測試一個web站點的大量的負荷下，合適系統(tǒng)的響應(yīng)會退化或者失敗。主要類別配置測試 配置測試主要是通過測試找到系統(tǒng)各項資源的最優(yōu)分配原則。配置測試是系統(tǒng)調(diào)優(yōu)的重要依據(jù)，例如我們可以不停的調(diào)整oracle的內(nèi)存來決定cpu和內(nèi)存的匹配情況。主要類別并發(fā)測試 測試多個用戶同時訪問同一個應(yīng)用、同一個模塊或者數(shù)據(jù)記錄時是否存在死鎖或者其他性能問題，幾乎所有的性能測試都會涉及一些并發(fā)測試。 主要類別容量

12、測試 測試系統(tǒng)能夠處理的最大會話能力。確定系統(tǒng)可處理同時在線的最大用戶數(shù)，通常和數(shù)據(jù)庫有關(guān)主要類別可靠性測試 通過給系統(tǒng)加載一定的業(yè)務(wù)壓力（如：Cpu資源在70-90的使用率）的情況下，運行一段時間，檢查系統(tǒng)是否穩(wěn)定。主要類別失敗測試 對于有冗余備份和負載均衡的系統(tǒng)，通過這樣的測試來檢驗如果系統(tǒng)局部發(fā)生故障用戶是否能夠繼續(xù)使用系統(tǒng)，用戶受到多大的影響。性能測試常見指標 1. 事務(wù)處理時間2. 最大事務(wù)處理時間3. 事務(wù)操作時間：需要用戶操作的事務(wù)處理需要花費的時間4. IO性能: 磁盤讀寫速度，網(wǎng)絡(luò)IO和其它硬件IO5. 數(shù)據(jù)庫性能：查詢，插入，刪除，更新需要的時間6. 空間利用率(實際使用的

13、空間/占用的空間)7. 最大消耗的內(nèi)存量，內(nèi)存監(jiān)視工具實時監(jiān)控8. 高峰內(nèi)存時間，在高峰內(nèi)存消耗時期的運行時間9. 初始化/退出時間10. cpu利用率(cpu空閑時間/程序運行總時間)性能測試的實施過程 實施過程了解被測試項目的性能測試需求分析被測試項目的性能測試需求編寫性能測試計劃/測試用例相關(guān)資源準備 o腳本維護（編寫程序） o執(zhí)行腳本（執(zhí)行程序） o分析結(jié)果 o性能調(diào)優(yōu)實施過程分析性能測試需求 分析性能測試需求 響應(yīng)時間的確定（依據(jù)具體的業(yè)務(wù)） 那些是系統(tǒng)經(jīng)常用到的業(yè)務(wù) 并發(fā)用戶量的確定（可以估計或者通過日志得 到） 增加、刪除、查詢、修改至少都要做一個腳本 可擴展的空間（1年后，用戶

14、量增加。）實施過程性能測試需求 性能測試需求 響應(yīng)時間 持續(xù)運行時間 并發(fā)用戶量實施過程分析性能測試需求 分析性能測試需求 響應(yīng)時間的確定（依據(jù)具體的業(yè)務(wù)） 那些是系統(tǒng)經(jīng)常用到的業(yè)務(wù) 并發(fā)用戶量的確定（可以估計或者通過日志得 到） 增加、刪除、查詢、修改至少都要做一個腳本 可擴展的空間（1年后，用戶量增加。）性能測試計劃 實施過程性能測試計劃/用例 性能測試計劃/用例覆蓋測試的需求測試的周期和風險的評估人力資源、硬件資源、軟件資源的配備測試的手段和工具應(yīng)在測試計劃中有所體現(xiàn)增加、刪除、查詢、修改至少都要做一個腳本可擴展的空間（應(yīng)依據(jù)具體的需求決定取舍測試）實施過程資源準備 資源準備人力資源（測

15、試、開發(fā)、數(shù)據(jù)庫、系統(tǒng)管理人員）硬件資源（硬盤、內(nèi)存、CPU）軟件資源（操作系統(tǒng)、數(shù)據(jù)庫、應(yīng)用服務(wù)器等）注：所有資源的準備應(yīng)趕早不趕晚，在做大容量測試時應(yīng)考慮數(shù)據(jù)的提前準備，盡量讓最擅長的人做最擅長的事。 網(wǎng)絡(luò)性能 1. 并發(fā) 連 接數(shù)量2. 請求響應(yīng)時間3. 吞吐率(單位時間內(nèi)網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)量)4. 處理能力(單位時間內(nèi)處理的客戶端請求的數(shù)量，tps)5. 網(wǎng)絡(luò)帶寬利用率6. 靜荷率(傳輸?shù)挠行?shù)據(jù)和傳輸?shù)臄?shù)據(jù)總量的比值)7. 誤碼率(出錯的報文字節(jié)數(shù)/整個傳輸?shù)膱笪淖止?jié)數(shù))8. 往返次數(shù)(完成一次任務(wù)需要的交互次數(shù))9. 事務(wù)數(shù)據(jù)流(處理一次事務(wù)需要的網(wǎng)絡(luò)數(shù)據(jù)流量)多任務(wù)性能1. 多cp

16、u效率(同一級別單核上執(zhí)行時間/(多(核)cpu執(zhí)行花費的時間*cpu數(shù)目)2. 同時運行的任務(wù)數(shù)量3. 任務(wù)優(yōu)先級4. 任務(wù)死亡率(異常退出的數(shù)目）可靠性和可用性 1. 雙擊備份技術(shù)(StandBy機制,心跳技術(shù))2. 單擊可靠性技術(shù)(進程切換技術(shù)，線程異常恢復技術(shù))3. 可靠度(規(guī)定時間內(nèi)無失效情況發(fā)生的概率)4. 失效時間5. 最小失效時間間隔6. 平均恢復時間和最大恢復時間7. 宕機次數(shù)易用性 1. 鼠標點擊次數(shù)2. 鼠標移動距離3. 擊鍵次數(shù)4. 操作失誤率5. 操作等待時間6. 界面美觀度7. 連接率性能測試最重要的一點利用2-8原則來分析系統(tǒng)什么是2-8原則？ 2-8原則在我們生活中是隨處可見的，很多地方都會有他的存在，我舉一個例子11月1日消息，京東商城1日啟動24小時分段限時搶購活動，卻因服務(wù)器不能支持，致使賣家訂單多次提交無效。對此，京東商城CEO劉強東表示“很生氣”，要求增加三陪服務(wù)器，并組織活動重“搞”一次。以下是本人對那次崩潰的分析性能測試需求的誤區(qū)并發(fā)用戶為1000/10000，峰值為10,15，設(shè)計一個場景我們來分析一下這個需求：1.并發(fā)用戶為100