性能測(cè)試術(shù)語(yǔ)和相關(guān)監(jiān)控器

1、性能測(cè)試術(shù)語(yǔ)監(jiān)控指標(biāo)性能測(cè)試術(shù)語(yǔ)性能測(cè)試（性能測(cè)試（Performance Testing）負(fù)載測(cè)試（負(fù)載測(cè)試（Load Testing）壓力測(cè)試（壓力測(cè)試（Stress Testing）配置測(cè)試（配置測(cè)試（Configuration Testing）并發(fā)測(cè)試（并發(fā)測(cè)試（Concurrency Testing）可靠性測(cè)試（可靠性測(cè)試（Reliability Testing）失效恢復(fù)測(cè)試（失效恢復(fù)測(cè)試（Failover Testing）性能測(cè)試性能測(cè)試主要包括： 性能測(cè)試是通過(guò)自動(dòng)化的測(cè)試工具模擬多種正常、峰值以及異常負(fù)載條件來(lái)對(duì)系統(tǒng)的各項(xiàng)性能指標(biāo)進(jìn)行測(cè)試。負(fù)載測(cè)試和壓力測(cè)試都屬于性能測(cè)試，兩者

2、可以結(jié)合進(jìn)行。通過(guò)負(fù)載測(cè)試，確定在各種工作負(fù)載下系統(tǒng)的性能，目標(biāo)是測(cè)試當(dāng)負(fù)載逐漸增加時(shí)，系統(tǒng)各項(xiàng)性能指標(biāo)的變化情況。壓力測(cè)試是通過(guò)確定一個(gè)系統(tǒng)的瓶頸或者不能接收的性能點(diǎn)，來(lái)獲得系統(tǒng)能提供的最大服務(wù)級(jí)別的測(cè)試。性能測(cè)試性能測(cè)試主要包括：概念l 系統(tǒng)的性能是一個(gè)很大的概念，覆蓋面非常廣泛，l 對(duì)一個(gè)軟件系統(tǒng)而言，包括：執(zhí)行效率、資源占用、l 系統(tǒng)穩(wěn)定性、安全性、兼容性、可靠性、可擴(kuò)展性負(fù)載測(cè)試l 通過(guò)逐步增加系統(tǒng)負(fù)載，測(cè)試系統(tǒng)性能的變化，并l 最終確定在滿足系統(tǒng)的性能指標(biāo)情況下，系統(tǒng)所能夠承l(wèi) 受的最大負(fù)載量的測(cè)試。壓力測(cè)試l 通過(guò)逐步增加系統(tǒng)負(fù)載，測(cè)試系統(tǒng)性能的變化，并最終l 確定在什么負(fù)載條件

3、下系統(tǒng)性能處于失效狀態(tài)，并來(lái)獲l 得系統(tǒng)能提供的最大服務(wù)級(jí)別的測(cè)試。性能測(cè)試的概念及其主要指標(biāo) 主要指標(biāo) 響應(yīng)時(shí)間 點(diǎn)擊數(shù) 吞吐量（任一秒上從服務(wù)器獲得的數(shù)據(jù)量） 并發(fā)用戶 資源利用率（內(nèi)存、CPU的利用率等） 每秒 連 接數(shù)（每秒打開的新的TCP/IP 連 接數(shù)）并發(fā)用戶數(shù) 并發(fā)用戶數(shù)是指在某一給定時(shí)間內(nèi)，某個(gè)特定點(diǎn)上進(jìn)行會(huì)話操作的用戶數(shù)，即同時(shí)進(jìn)行請(qǐng)求的客戶的數(shù)量 響應(yīng)時(shí)間響應(yīng)時(shí)間 響應(yīng)時(shí)間指的是客戶端發(fā)出請(qǐng)求到得到響應(yīng)的整個(gè)過(guò)程所經(jīng)歷的時(shí)間。8響應(yīng)時(shí)間 請(qǐng)求響應(yīng)時(shí)間：指的是客戶端發(fā)出請(qǐng)求到得到響應(yīng)的整個(gè)過(guò)程的時(shí)間。在某些工具中，請(qǐng)求響應(yīng)時(shí)間通常會(huì)被成為“TLLB”，即“Time to l

4、ast byte”,意思是從發(fā)起一個(gè)請(qǐng)求開始，到客戶端接收到最后一個(gè)字節(jié)的響應(yīng)時(shí)間所耗費(fèi)的時(shí)間。請(qǐng)求響應(yīng)時(shí)間過(guò)程的單位一般為“秒”或者“毫秒”. 事務(wù)響應(yīng)時(shí)間:事務(wù)可能由一系列請(qǐng)求組成,事務(wù)的響應(yīng)時(shí)間主要是針對(duì)用戶而言,屬于宏觀上的概念，是為了向用戶說(shuō)明業(yè)務(wù)響應(yīng)時(shí)間而提出的.例如:跨行取款事務(wù)的響應(yīng)時(shí)間就是由一系列的請(qǐng)求組成的.事務(wù)響應(yīng)時(shí)間和后面的業(yè)務(wù)吞吐率都是直接衡量系統(tǒng)性能的參數(shù).響應(yīng)時(shí)間過(guò)長(zhǎng) 個(gè)人感覺響應(yīng)時(shí)間變長(zhǎng)的一個(gè)主要原因是：1.有些站點(diǎn)在訪問(wèn)時(shí)需要走到好多的路由器，在這些路由器中轉(zhuǎn)轉(zhuǎn)發(fā)的過(guò)程中所耗費(fèi)的時(shí)間，有時(shí)候不可估計(jì) 2.站點(diǎn)在北京，路由器從上海兜了一個(gè)圈最后又回到起點(diǎn) 3.協(xié)

5、議的選擇很重要 tcp和udp不能錯(cuò)，發(fā)送報(bào)文的協(xié)議 4. http協(xié)議，因?yàn)閔ttp超文本傳輸協(xié)議是建立在tcp/ip基礎(chǔ)上，而udp只是tcp/ip組里的協(xié)議，他們位于同一個(gè)組里，udp主要應(yīng)對(duì)的是面向查詢-應(yīng)答的服務(wù)例如NFS，而tcp是面向連接的服務(wù)（例如Telnet、*、rlogin、X Windows和SMTP）需要高度的可靠性，所以它們使用了TCP。 5.網(wǎng)絡(luò)的結(jié)構(gòu) 6.代碼是否需要優(yōu)化 7.數(shù)據(jù)庫(kù)是否需要優(yōu)化 8.項(xiàng)目中使用的架構(gòu)吞吐量 吞吐量是指單位時(shí)間內(nèi)系統(tǒng)處理的客戶請(qǐng)求的數(shù)量，直接體現(xiàn)軟件系統(tǒng)的性能承載能力。 一般來(lái)說(shuō)，吞吐量用請(qǐng)求數(shù)/秒或頁(yè)面數(shù)/秒來(lái)衡量，從業(yè)務(wù)的角度，

6、吞吐量也可以用訪問(wèn)人數(shù)/天或處理的業(yè)務(wù)數(shù)/小時(shí)等單位來(lái)衡量。從網(wǎng)絡(luò)的角度來(lái)說(shuō)，也可以用字節(jié)數(shù)/天等單位來(lái)考察網(wǎng)絡(luò)流量。 提問(wèn)：網(wǎng)站吞吐量越大那么是不是說(shuō)明系統(tǒng)響應(yīng)時(shí)間越快？資源利用率 資源利用率是指系統(tǒng)資源的使用程度，比如服務(wù)器的CPU利用率、內(nèi)存利用率、磁盤利用率、網(wǎng)絡(luò)帶寬利用率等。 資源利用率是分析系統(tǒng)性能指標(biāo)進(jìn)而改善性能的主要依據(jù),因此是WEB性能測(cè)試工作的重點(diǎn).資源利用率主要針對(duì)WEB服務(wù)器,操作系統(tǒng),數(shù)據(jù)庫(kù)服務(wù)器,網(wǎng)絡(luò)等,是測(cè)試和分析瓶頸的主要參考.在WEB性能測(cè)試中,更根據(jù)需要采集相應(yīng)的參數(shù)進(jìn)行分析. 點(diǎn)擊率 點(diǎn)擊率:HPS，每秒鐘用戶向WEB服務(wù)器提交的HTTP請(qǐng)求數(shù).這個(gè)指標(biāo)是

7、WEB應(yīng)用特有的一個(gè)指標(biāo) 。 點(diǎn)擊率越大, 對(duì)服務(wù)器的壓力越大.點(diǎn)擊率只是一個(gè)性能參考指標(biāo),重要的是分析點(diǎn)擊時(shí)產(chǎn)生的影響 這里的點(diǎn)擊并非指鼠標(biāo)的一次單擊操作,因?yàn)樵谝淮螁螕舨僮髦?客戶端可能向服務(wù)器發(fā)出多個(gè)HTTP請(qǐng)求. 性能測(cè)試重要知識(shí) Loadrunner中的術(shù)語(yǔ)： 集合點(diǎn)策略 參數(shù)化 關(guān)聯(lián) 事物點(diǎn)性能測(cè)試的概念及其主要指標(biāo) 不同視角的性能 用戶角度l響應(yīng)時(shí)間l系統(tǒng)穩(wěn)定性系統(tǒng)角度l網(wǎng)絡(luò)延遲、數(shù)據(jù)延遲l系統(tǒng)資源的使用情況開發(fā)角度l代碼實(shí)現(xiàn)（算法等）l數(shù)據(jù)庫(kù)實(shí)現(xiàn)（數(shù)據(jù)模型設(shè)計(jì)、語(yǔ)句的實(shí)現(xiàn)方式等）主要指標(biāo)用戶角度 響應(yīng)時(shí)間（最關(guān)心的指標(biāo)） 2/5/10原則 修改（-3-5-7原則） 過(guò)長(zhǎng)時(shí)間的等

8、待會(huì)讓客戶煩躁不安 系統(tǒng)穩(wěn)定性（把對(duì)軟件的信心留住） HTTP 500 數(shù)據(jù)庫(kù)崩潰 應(yīng)用服務(wù)器崩潰主要指標(biāo)系統(tǒng)角度 網(wǎng)絡(luò)運(yùn)行情況 硬件配備情況 軟件的配置情況（應(yīng)用服務(wù)器/數(shù)據(jù)庫(kù)/系統(tǒng)）開發(fā)角度例子 數(shù)據(jù)庫(kù)模型設(shè)計(jì)不合理 將經(jīng)常訪問(wèn)的數(shù)據(jù)放入一個(gè)表中（上百字段） 表與表間關(guān)系復(fù)雜 將很多二進(jìn)制類型數(shù)據(jù)存放于數(shù)據(jù)庫(kù)中SQL語(yǔ)句性能 笛卡爾積/通配符會(huì)降低效率 . where column in(select* from . where .); . where exists (select X from .where .); 用那個(gè)語(yǔ)句效率更高？ select * from employee wh

9、ere salary3000; select * from employee where salary3000主要的性能測(cè)試工具 商業(yè)（可根據(jù)情況破解，正式版要收費(fèi)）lMercury LoadrunnerlRational Performance TesterlSeagueSilkTestlRadviewWebLoad 免費(fèi)（可直接破解）lMicrosoft Web Application Stress ToollMicrosoft Application Center Test 開源（開放源代碼，可根據(jù)業(yè)務(wù)情況做修改）lOpenSTAlJmeterlGrinder性能測(cè)試工具比較 商業(yè)軟件的

10、優(yōu)點(diǎn) 功能較多（集合點(diǎn)、檢查點(diǎn)、事務(wù)等） 界面美觀 操作方便 軟件后期升級(jí)、技術(shù)支持等有保障 商業(yè)軟件的缺點(diǎn) 價(jià)格較貴性能測(cè)試工具比較 免費(fèi)軟件的優(yōu)點(diǎn) 免費(fèi)使用 功能較少 界面較美觀 操作較方便 免費(fèi)軟件的缺點(diǎn) 功能較少 分析數(shù)據(jù)較少 在稍復(fù)雜的測(cè)試對(duì)腳本開發(fā)人員要求較高（ACT) 軟件后期升級(jí)、技術(shù)支持不一定有保障 主要類別性能測(cè)試 性能測(cè)試是一種“正常”的測(cè)試，主要是測(cè)試正常使用時(shí)，系統(tǒng)是否滿足要求，同時(shí)可能為了保留系統(tǒng)的擴(kuò)展空間進(jìn)行一些稍稍超出“正?！狈秶臏y(cè)試。主要類別負(fù)載測(cè)試 通過(guò)在被測(cè)系統(tǒng)上不斷增加壓力，直到性能指標(biāo)。例如：響應(yīng)時(shí)間超過(guò)預(yù)定指標(biāo)或者某種資源已經(jīng)達(dá)到飽和狀態(tài)。 這種測(cè)

11、試考驗(yàn)找到系統(tǒng)的處理極限，為系統(tǒng)調(diào)優(yōu)提供數(shù)據(jù)。負(fù)載測(cè)試一般壓力要大些。主要類別壓力測(cè)試 對(duì)系統(tǒng)不斷施加壓力的測(cè)試，是通過(guò)確定一個(gè)系統(tǒng)的瓶頸或者不能接受的性能點(diǎn)，來(lái)獲得系統(tǒng)能夠提供的最大服務(wù)級(jí)別的測(cè)試。 例如測(cè)試一個(gè)web站點(diǎn)的大量的負(fù)荷下，合適系統(tǒng)的響應(yīng)會(huì)退化或者失敗。主要類別配置測(cè)試 配置測(cè)試主要是通過(guò)測(cè)試找到系統(tǒng)各項(xiàng)資源的最優(yōu)分配原則。配置測(cè)試是系統(tǒng)調(diào)優(yōu)的重要依據(jù)，例如我們可以不停的調(diào)整oracle的內(nèi)存來(lái)決定cpu和內(nèi)存的匹配情況。主要類別并發(fā)測(cè)試 測(cè)試多個(gè)用戶同時(shí)訪問(wèn)同一個(gè)應(yīng)用、同一個(gè)模塊或者數(shù)據(jù)記錄時(shí)是否存在死鎖或者其他性能問(wèn)題，幾乎所有的性能測(cè)試都會(huì)涉及一些并發(fā)測(cè)試。 主要類別容量

12、測(cè)試 測(cè)試系統(tǒng)能夠處理的最大會(huì)話能力。確定系統(tǒng)可處理同時(shí)在線的最大用戶數(shù)，通常和數(shù)據(jù)庫(kù)有關(guān)主要類別可靠性測(cè)試 通過(guò)給系統(tǒng)加載一定的業(yè)務(wù)壓力（如：Cpu資源在70-90的使用率）的情況下，運(yùn)行一段時(shí)間，檢查系統(tǒng)是否穩(wěn)定。主要類別失敗測(cè)試 對(duì)于有冗余備份和負(fù)載均衡的系統(tǒng)，通過(guò)這樣的測(cè)試來(lái)檢驗(yàn)如果系統(tǒng)局部發(fā)生故障用戶是否能夠繼續(xù)使用系統(tǒng)，用戶受到多大的影響。性能測(cè)試常見指標(biāo) 1. 事務(wù)處理時(shí)間2. 最大事務(wù)處理時(shí)間3. 事務(wù)操作時(shí)間：需要用戶操作的事務(wù)處理需要花費(fèi)的時(shí)間4. IO性能: 磁盤讀寫速度，網(wǎng)絡(luò)IO和其它硬件IO5. 數(shù)據(jù)庫(kù)性能：查詢，插入，刪除，更新需要的時(shí)間6. 空間利用率(實(shí)際使用的

13、空間/占用的空間)7. 最大消耗的內(nèi)存量，內(nèi)存監(jiān)視工具實(shí)時(shí)監(jiān)控8. 高峰內(nèi)存時(shí)間，在高峰內(nèi)存消耗時(shí)期的運(yùn)行時(shí)間9. 初始化/退出時(shí)間10. cpu利用率(cpu空閑時(shí)間/程序運(yùn)行總時(shí)間)性能測(cè)試的實(shí)施過(guò)程 實(shí)施過(guò)程了解被測(cè)試項(xiàng)目的性能測(cè)試需求分析被測(cè)試項(xiàng)目的性能測(cè)試需求編寫性能測(cè)試計(jì)劃/測(cè)試用例相關(guān)資源準(zhǔn)備 o腳本維護(hù)（編寫程序） o執(zhí)行腳本（執(zhí)行程序） o分析結(jié)果 o性能調(diào)優(yōu)實(shí)施過(guò)程分析性能測(cè)試需求 分析性能測(cè)試需求 響應(yīng)時(shí)間的確定（依據(jù)具體的業(yè)務(wù)） 那些是系統(tǒng)經(jīng)常用到的業(yè)務(wù) 并發(fā)用戶量的確定（可以估計(jì)或者通過(guò)日志得 到） 增加、刪除、查詢、修改至少都要做一個(gè)腳本 可擴(kuò)展的空間（1年后，用戶

14、量增加。）實(shí)施過(guò)程性能測(cè)試需求 性能測(cè)試需求 響應(yīng)時(shí)間 持續(xù)運(yùn)行時(shí)間 并發(fā)用戶量實(shí)施過(guò)程分析性能測(cè)試需求 分析性能測(cè)試需求 響應(yīng)時(shí)間的確定（依據(jù)具體的業(yè)務(wù)） 那些是系統(tǒng)經(jīng)常用到的業(yè)務(wù) 并發(fā)用戶量的確定（可以估計(jì)或者通過(guò)日志得 到） 增加、刪除、查詢、修改至少都要做一個(gè)腳本 可擴(kuò)展的空間（1年后，用戶量增加。）性能測(cè)試計(jì)劃 實(shí)施過(guò)程性能測(cè)試計(jì)劃/用例 性能測(cè)試計(jì)劃/用例覆蓋測(cè)試的需求測(cè)試的周期和風(fēng)險(xiǎn)的評(píng)估人力資源、硬件資源、軟件資源的配備測(cè)試的手段和工具應(yīng)在測(cè)試計(jì)劃中有所體現(xiàn)增加、刪除、查詢、修改至少都要做一個(gè)腳本可擴(kuò)展的空間（應(yīng)依據(jù)具體的需求決定取舍測(cè)試）實(shí)施過(guò)程資源準(zhǔn)備 資源準(zhǔn)備人力資源（測(cè)

15、試、開發(fā)、數(shù)據(jù)庫(kù)、系統(tǒng)管理人員）硬件資源（硬盤、內(nèi)存、CPU）軟件資源（操作系統(tǒng)、數(shù)據(jù)庫(kù)、應(yīng)用服務(wù)器等）注：所有資源的準(zhǔn)備應(yīng)趕早不趕晚，在做大容量測(cè)試時(shí)應(yīng)考慮數(shù)據(jù)的提前準(zhǔn)備，盡量讓最擅長(zhǎng)的人做最擅長(zhǎng)的事。 網(wǎng)絡(luò)性能 1. 并發(fā) 連 接數(shù)量2. 請(qǐng)求響應(yīng)時(shí)間3. 吞吐率(單位時(shí)間內(nèi)網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)量)4. 處理能力(單位時(shí)間內(nèi)處理的客戶端請(qǐng)求的數(shù)量，tps)5. 網(wǎng)絡(luò)帶寬利用率6. 靜荷率(傳輸?shù)挠行?shù)據(jù)和傳輸?shù)臄?shù)據(jù)總量的比值)7. 誤碼率(出錯(cuò)的報(bào)文字節(jié)數(shù)/整個(gè)傳輸?shù)膱?bào)文字節(jié)數(shù))8. 往返次數(shù)(完成一次任務(wù)需要的交互次數(shù))9. 事務(wù)數(shù)據(jù)流(處理一次事務(wù)需要的網(wǎng)絡(luò)數(shù)據(jù)流量)多任務(wù)性能1. 多cp

16、u效率(同一級(jí)別單核上執(zhí)行時(shí)間/(多(核)cpu執(zhí)行花費(fèi)的時(shí)間*cpu數(shù)目)2. 同時(shí)運(yùn)行的任務(wù)數(shù)量3. 任務(wù)優(yōu)先級(jí)4. 任務(wù)死亡率(異常退出的數(shù)目）可靠性和可用性 1. 雙擊備份技術(shù)(StandBy機(jī)制,心跳技術(shù))2. 單擊可靠性技術(shù)(進(jìn)程切換技術(shù)，線程異?；謴?fù)技術(shù))3. 可靠度(規(guī)定時(shí)間內(nèi)無(wú)失效情況發(fā)生的概率)4. 失效時(shí)間5. 最小失效時(shí)間間隔6. 平均恢復(fù)時(shí)間和最大恢復(fù)時(shí)間7. 宕機(jī)次數(shù)易用性 1. 鼠標(biāo)點(diǎn)擊次數(shù)2. 鼠標(biāo)移動(dòng)距離3. 擊鍵次數(shù)4. 操作失誤率5. 操作等待時(shí)間6. 界面美觀度7. 連接率性能測(cè)試最重要的一點(diǎn)利用2-8原則來(lái)分析系統(tǒng)什么是2-8原則？ 2-8原則在我們生活中是隨處可見的，很多地方都會(huì)有他的存在，我舉一個(gè)例子11月1日消息，京東商城1日啟動(dòng)24小時(shí)分段限時(shí)搶購(gòu)活動(dòng)，卻因服務(wù)器不能支持，致使賣家訂單多次提交無(wú)效。對(duì)此，京東商城CEO劉強(qiáng)東表示“很生氣”，要求增加三陪服務(wù)器，并組織活動(dòng)重“搞”一次。以下是本人對(duì)那次崩潰的分析性能測(cè)試需求的誤區(qū)并發(fā)用戶為1000/10000，峰值為10,15，設(shè)計(jì)一個(gè)場(chǎng)景我們來(lái)分析一下這個(gè)需求：1.并發(fā)用戶為100