ST-第8章系統(tǒng)測試

軟件測試第8章

系統(tǒng)測試KerryZhuZhu.Kerry@Ghttp:///Kerryzhu系統(tǒng)性能問題系統(tǒng)太慢了，我泡了一杯茶回到座位，還沒有看到響應(yīng)軟件系統(tǒng)安全性受到挑戰(zhàn)1983戰(zhàn)爭游戲（電影）Matthew

Broderick）是一個(gè)瘋狂的電腦游戲迷，一次他不經(jīng)意地闖入了五角大樓的一個(gè)絕對機(jī)密的電腦系統(tǒng)中……更多例子各種系統(tǒng)測試本章內(nèi)容8.1什么是系統(tǒng)測試8.2概念：負(fù)載測試、壓力測試和性能測試8.3負(fù)載測試技術(shù)8.4性能測試8.5壓力測試8.6性能測試工具8.7兼容性測試8.8安全性測試8.9容錯(cuò)性測試8.10可靠性測試本章內(nèi)容8.1什么是系統(tǒng)測試8.2概念：負(fù)載測試、壓力測試和性能測試8.3負(fù)載測試技術(shù)8.4性能測試8.5壓力測試8.6性能測試工具8.7兼容性測試8.8安全性測試8.9容錯(cuò)性測試8.10可靠性測試什么是系統(tǒng)測試？用戶的需求可以分為功能性需求和非功能性需求，而非功能性的需求被歸納為軟件產(chǎn)品的各種質(zhì)量特性，如安全性、兼容性和可靠性等系統(tǒng)測試就是針對這些非功能特性展開的，就是驗(yàn)證軟件產(chǎn)品符合這些質(zhì)量特性的要求，從而滿足用戶和軟件企業(yè)自身的非功能性需求。所以，系統(tǒng)測試分為負(fù)載測試、性能系統(tǒng)、容量測試、安全性測試、兼容性測試和可靠性測試等

系統(tǒng)測試的內(nèi)容詳見表8-1本章內(nèi)容8.1什么是系統(tǒng)測試8.2概念：負(fù)載測試、壓力測試和性能測試8.3負(fù)載測試技術(shù)8.4性能測試8.5壓力測試8.6性能測試工具8.7兼容性測試8.8安全性測試8.9容錯(cuò)性測試8.10可靠性測試背景及其分析系統(tǒng)性能的改善是測試、調(diào)整、再測試、再調(diào)整、……一個(gè)持續(xù)改進(jìn)的過程——性能調(diào)優(yōu)性能調(diào)優(yōu)需要借助負(fù)載測試方法的幫助

負(fù)載測試和性能測試有較多相似之處，例如，測試方法比較接近、都關(guān)注系統(tǒng)的性能，而且多數(shù)情況下使用相同的測試工具

負(fù)載測試可以看作是性能測試所采用的一種技術(shù)

壓力測試可以被看作是負(fù)載測試的一種，即高負(fù)載下的負(fù)載測試

容量測試也采用負(fù)載測試技術(shù)來實(shí)現(xiàn)定義負(fù)載測試是通過模擬實(shí)際軟件系統(tǒng)所承受的負(fù)載條件、改變系統(tǒng)負(fù)載大小和負(fù)載方式來發(fā)現(xiàn)系統(tǒng)中所存在的問題

壓力測試是在強(qiáng)負(fù)載情況下（如大數(shù)據(jù)量、大量并發(fā)用戶連接等）穩(wěn)定性進(jìn)行測試，查看應(yīng)用系統(tǒng)在峰值（瞬間使用高峰）使用情況下的行為表現(xiàn)，更有效地發(fā)現(xiàn)系統(tǒng)穩(wěn)定性的隱患和系統(tǒng)在負(fù)載峰值的條件下功能隱患等，確認(rèn)系統(tǒng)是否具有良好的容錯(cuò)能力和可恢復(fù)能力。

性能測試是為獲取或驗(yàn)證系統(tǒng)性能指標(biāo)而進(jìn)行的測

本章內(nèi)容8.1什么是系統(tǒng)測試8.2概念：負(fù)載測試、壓力測試和性能測試8.3負(fù)載測試技術(shù)8.4性能測試8.5壓力測試8.6性能測試工具8.7兼容性測試8.8安全性測試8.9容錯(cuò)性測試8.10可靠性測試8.3負(fù)載測試技術(shù)8.3.1負(fù)載測試過程8.3.2輸入?yún)?shù)8.3.3輸出參數(shù)8.3.4場景設(shè)置 8.3.5負(fù)載測試的執(zhí)行8.3.6負(fù)載測試的結(jié)果分析負(fù)載測試過程確定所要模擬的角色及其對應(yīng)的關(guān)鍵業(yè)務(wù)操作路徑。確定輸入/輸出參數(shù)，制定負(fù)載測試方案。準(zhǔn)備測試環(huán)境，并完成相應(yīng)的測試腳本的開發(fā)。設(shè)計(jì)具體的測試場景，如負(fù)載水平、加載方式等。執(zhí)行測試，監(jiān)控輸出參數(shù)，如數(shù)據(jù)吞吐量、響應(yīng)時(shí)間、資源占有率等。對測試結(jié)果進(jìn)行分析。結(jié)果不滿意，需要調(diào)整測試場景，進(jìn)入下一個(gè)循環(huán)。負(fù)載測試的構(gòu)成輸入?yún)?shù)并發(fā)用戶數(shù)、并發(fā)連接數(shù)等。思考時(shí)間（thinktime），用戶發(fā)出請求之間的間隔時(shí)間加載的循環(huán)次數(shù)或持續(xù)時(shí)間每次請求發(fā)送的數(shù)據(jù)量。加載的方式或模式，如均勻加載、峰值交替加載等負(fù)載測試是通過模擬用戶的操作方式來考察系統(tǒng)的行為，所以人們肯定會問：如何模擬用戶的行為？

參數(shù)實(shí)例負(fù)載RPS(RequestPerSecond)并發(fā)連接數(shù)(SimultaneousBrowserConnections)最大數(shù)據(jù)容量思考時(shí)間(ThinkingTime)RPS+SBC+ThinkingTime=Concurrentusers?/Kerryzhu

加載模式加載模式舉例動態(tài)模式全天模式隊(duì)列模式驗(yàn)證模式

負(fù)載模式遞增恒值動態(tài)整天隊(duì)列/Kerryzhu

DemoJMeter/Kerryzhu

輸出參數(shù)數(shù)據(jù)傳輸?shù)耐掏铝浚═ransactions）數(shù)據(jù)處理效率（Transactionspersecond）數(shù)據(jù)請求的響應(yīng)時(shí)間（Responsetime）內(nèi)存和CPU使用率連接時(shí)間（ConnectTime）、發(fā)送時(shí)間（SentTime）處理時(shí)間（ProcessTime）、頁面下載時(shí)間第一次緩沖時(shí)間每秒（SSL）連接數(shù)每秒事務(wù)總數(shù)、每秒下載頁面數(shù)每秒點(diǎn)擊次數(shù)、每秒HTTP響應(yīng)數(shù)每秒重試次數(shù)舉例圖8-7JMeter性能測試結(jié)果示意圖場景設(shè)置

啟動（Rampup）

持續(xù)期間（Duration）

結(jié)束（Rampdown）

在性能測試執(zhí)行前，以什么樣方式啟動負(fù)載方式、如何持續(xù)進(jìn)行負(fù)載測試直至負(fù)載測試結(jié)束，這個(gè)過程的負(fù)載大小和方式、負(fù)載啟動和結(jié)束以及各種檢查點(diǎn)、驗(yàn)證點(diǎn)等設(shè)計(jì)，被稱為場景設(shè)置。場景類型/Kerryzhu

可以分為靜態(tài)和動態(tài)兩部分。靜態(tài)部分是指設(shè)置模擬用戶生成器、用戶數(shù)量、用戶組等，動態(tài)部分主要指添加性能計(jì)數(shù)器、檢查點(diǎn)、閥值等，從而獲得負(fù)載測試過程中反回來饋的數(shù)據(jù)——系統(tǒng)運(yùn)行的動態(tài)狀態(tài)?？梢砸罁?jù)業(yè)務(wù)模式變化、隨時(shí)間段變化來進(jìn)行設(shè)置也可分為手工場景和面向目標(biāo)的場景

舉例依據(jù)業(yè)務(wù)模式變化來設(shè)計(jì)負(fù)載模式（來源MSDN）同步點(diǎn)

同步點(diǎn)（或稱集合點(diǎn)）用于同步虛擬用戶恰好在某一時(shí)刻執(zhí)行任務(wù)，確保眾多的虛擬并發(fā)用戶更準(zhǔn)確、集中地進(jìn)行某個(gè)設(shè)定的操作，達(dá)到更理想的負(fù)載模擬效果

負(fù)載測試執(zhí)行

大量的虛擬用戶要運(yùn)行在多個(gè)客戶端，并由控制器管理、代理（agent）驅(qū)動

負(fù)載測試的執(zhí)行，需要針對不同維度的變化進(jìn)行，包括時(shí)間維、負(fù)載維和系統(tǒng)維監(jiān)控、詳細(xì)的記錄和適當(dāng)?shù)姆治鍪鞘种匾?/p>

時(shí)間維：嘗試觀察系統(tǒng)在一段較長時(shí)間上的行為變化負(fù)載維：嘗試在系統(tǒng)上改變負(fù)載來進(jìn)行對比分析系統(tǒng)維：負(fù)載測試也可以針系統(tǒng)的不同組件、不同配置等進(jìn)行

結(jié)果分析要善于捕捉被監(jiān)控的數(shù)據(jù)曲線發(fā)生突變的地方——拐點(diǎn)

本章內(nèi)容8.1什么是系統(tǒng)測試8.2概念：負(fù)載測試、壓力測試和性能測試8.3負(fù)載測試技術(shù)8.4性能測試8.5壓力測試8.6性能測試工具8.7兼容性測試8.8安全性測試8.9容錯(cuò)性測試8.10可靠性測試8.4性能測試8.4.1如何確定性能需求8.4.2性能測試類型 8.4.3性能測試的步驟8.4.4一些常見的性能問題 8.4.5容量測試 示例確定性能需求最終用戶的體驗(yàn)，如2-5-10原則

商業(yè)需求，如“比競爭對手的產(chǎn)品好”

技術(shù)需求，如CPU使用率不超過70％

標(biāo)準(zhǔn)要求

只有具備了清楚而量化的性能指標(biāo)，性能測試才能開始實(shí)施。

響應(yīng)時(shí)間是用戶的關(guān)注點(diǎn)，容量和數(shù)據(jù)吞吐量是（產(chǎn)品市場團(tuán)隊(duì)）業(yè)務(wù)處理方面的關(guān)注點(diǎn)，而系統(tǒng)資源占用率是開發(fā)團(tuán)隊(duì)的技術(shù)關(guān)注點(diǎn)性能測試類型性能驗(yàn)證測試，驗(yàn)證事先已定義的系統(tǒng)性能指標(biāo)、系統(tǒng)能否滿足系統(tǒng)的性能需求性能基準(zhǔn)測試，在系統(tǒng)標(biāo)準(zhǔn)配置下獲得有關(guān)的性能指標(biāo)數(shù)據(jù)，作為將來性能改進(jìn)的基準(zhǔn)線性能規(guī)劃測試，在多種特定的環(huán)境下，獲得不同配置的系統(tǒng)的性能指標(biāo)，從而決定在系統(tǒng)部署時(shí)采用什么樣的軟、硬件配置容量測試可以看作性能的測試一種，因?yàn)橄到y(tǒng)的容量可以看作是系統(tǒng)性能指標(biāo)之一性能測試的步驟確定性能測試需求；計(jì)劃和設(shè)計(jì)測試；包括確定關(guān)鍵業(yè)務(wù)流程、測試類型和測試方法、選擇合適的測試工具、設(shè)計(jì)測試場景等

測試工具的選擇；配置測試環(huán)境，盡量接近實(shí)際運(yùn)行環(huán)境，即建立仿真環(huán)境作為性能測試環(huán)境，測試結(jié)果才能可信；實(shí)現(xiàn)測試設(shè)計(jì)（開發(fā)測試腳本）；執(zhí)行測試；分析測試結(jié)果；重復(fù)上述(4)~(6)步驟，直至測試計(jì)劃完成，結(jié)果滿意；提交性能測試報(bào)告。示例加載結(jié)果分析一些常見的性能問題資源泄漏，包括內(nèi)存泄漏

資源瓶頸，內(nèi)部資源（線程、放入池的對象）變得稀缺

CPU使用率達(dá)到100%、系統(tǒng)被鎖定等

線程死鎖、線程阻塞等

數(shù)據(jù)庫連接成為性能瓶頸

查詢速度慢或列表效率低

受外部系統(tǒng)影響越來越大

容量測試容量測試（Capacitytest），通過負(fù)載測試或其它測試方法，預(yù)先分析出反映軟件系統(tǒng)應(yīng)用特征的某項(xiàng)指標(biāo)的極限值（如最大并發(fā)用戶數(shù)、數(shù)據(jù)庫記錄數(shù)等），在其極限值狀態(tài)下系統(tǒng)主要功能還能保持正常運(yùn)行

容量測試屬于性能測試中的一種，一般采用逐步加載的負(fù)載測試方法，也可以先采用逐步加載方式，獲得一個(gè)基本的容量值或容量范圍，然后再考慮用一次性加載方式，來決定實(shí)際可支持的容量值。

本章內(nèi)容8.1什么是系統(tǒng)測試8.2概念：負(fù)載測試、壓力測試和性能測試8.3負(fù)載測試技術(shù)8.4性能測試8.5壓力測試8.6性能測試工具8.7兼容性測試8.8安全性測試8.9容錯(cuò)性測試8.10可靠性測試壓力測試壓力測試是在系統(tǒng)（如CPU、內(nèi)存和網(wǎng)絡(luò)帶寬等）處于飽和狀態(tài)下，測試系統(tǒng)是否還具有正常的會話能力、數(shù)據(jù)處理能力或是否會出現(xiàn)錯(cuò)誤，以檢查軟件系統(tǒng)對異常情況的抵抗能力，找出性能瓶頸、功能不穩(wěn)定性等問題。

壓力測試的類型穩(wěn)定性壓力測試，高負(fù)載下持續(xù)運(yùn)行24小時(shí)以上的壓力測試破壞性壓力測試，通過不斷加載的手段，快速造成系統(tǒng)的崩潰，讓問題盡快地暴露出來滲入測試（soaktest），通過長時(shí)間運(yùn)行，使問題逐漸滲透出來，從而發(fā)現(xiàn)內(nèi)存泄漏、垃圾收集（GC）或系統(tǒng)的其他問題，以檢驗(yàn)系統(tǒng)的健壯性峰谷測試（peak-resttest），采用高低突變加載方式進(jìn)行，先加載到高水平的負(fù)載，然后急劇降低負(fù)載，稍微平息一段時(shí)間，再加載到高水平的負(fù)載，重復(fù)這樣過程，容易發(fā)現(xiàn)問題的蛛絲馬跡，最終找到問題的根源。本章內(nèi)容8.1什么是系統(tǒng)測試8.2概念：負(fù)載測試、壓力測試和性能測試8.3負(fù)載測試技術(shù)8.4性能測試8.5壓力測試8.6性能測試工具8.7兼容性測試8.8安全性測試8.9容錯(cuò)性測試8.10可靠性測試8.6性能測試工具8.6.1特性及其使用8.6.2開源工具8.6.3商業(yè)工具

特性及其使用

能模擬實(shí)際用戶的操作行為，記錄和回放多用戶測試中的事務(wù)處理過程，自動生成相應(yīng)的測試腳本能針對腳本進(jìn)行修改，增加邏輯控制、完成參數(shù)化和數(shù)據(jù)關(guān)聯(lián)

可以設(shè)置不同的應(yīng)用環(huán)境和場景，通過虛擬用戶執(zhí)行相應(yīng)的測試腳本

通過系統(tǒng)監(jiān)控工具獲得系統(tǒng)性能的相關(guān)指標(biāo)的值

JMeter-1JMeter-2JMeter-3開源工具Siege（http:///JoeDog/Siege）是一個(gè)開源的Web壓力測試和評測工具。OpenSTA，可以模擬大量的虛擬用戶來完成性能測試，并通過scrīpt來完成豐富的自定義設(shè)置。詳見http:///index.php。DBMonster是一個(gè)生成隨機(jī)數(shù)據(jù)、用來測試SQL數(shù)據(jù)庫的壓力測試工具，詳見http://dbmonster.kernelpanic.pl/。LoadSim——網(wǎng)絡(luò)應(yīng)用程序的負(fù)載模擬器。更多的性能測試工具，可訪問http:///performance.php

HPLoadRunnerLoadRunner系統(tǒng)架構(gòu)商業(yè)工具

HPLoadRunnerIBMRationalPerformanceTesterRadview

WebLoad

CompuwareQA

Load

QuestBenchmarkFactory

微軟WAS（WebAccessStresstest）

Paessler

WebserverStressTool

MINQPureLoad

本章內(nèi)容8.1什么是系統(tǒng)測試8.2概念：負(fù)載測試、壓力測試和性能測試8.3負(fù)載測試技術(shù)8.4性能測試8.5壓力測試8.6性能測試工具8.7兼容性測試8.8安全性測試8.9容錯(cuò)性測試8.10可靠性測試8.7兼容性測試8.7.1兼容性測試的內(nèi)容 8.7.2系統(tǒng)兼容性測試8.7.3數(shù)據(jù)兼容性測試什么是兼容性測試兼容性測試是在特定的或不同的硬件、網(wǎng)絡(luò)環(huán)境和操作系統(tǒng)平臺上、不同的應(yīng)用軟件之間，驗(yàn)證軟件系統(tǒng)能否正常地運(yùn)行，以及能否正確存取原先版本的用戶數(shù)據(jù)所進(jìn)行的測試

與硬件兼容與操作系統(tǒng)、平臺的兼容與數(shù)據(jù)庫系統(tǒng)的兼容與瀏覽器的兼容與第三方系統(tǒng)的兼容與內(nèi)部業(yè)務(wù)系統(tǒng)的兼容與自身系統(tǒng)的不同版本的用戶數(shù)據(jù)兼容等

兼容性測試的內(nèi)容硬件兼容性測試數(shù)據(jù)兼容性測試系統(tǒng)版本之間的兼容性向后兼容是指新發(fā)布的軟件版本可以使用該軟件的以前版本所產(chǎn)生的數(shù)據(jù)。向前兼容是指在設(shè)計(jì)和開發(fā)軟件一個(gè)新版本時(shí)，考慮如何和未來版本的數(shù)據(jù)兼容。系統(tǒng)兼容性測試B/S系統(tǒng)兼容性測試

C/S系統(tǒng)兼容性測試

數(shù)據(jù)兼容性測試是否遵守統(tǒng)一的國際標(biāo)準(zhǔn)、國家標(biāo)準(zhǔn)或業(yè)界認(rèn)可的事實(shí)標(biāo)準(zhǔn)等

提供相應(yīng)的導(dǎo)入和導(dǎo)出功能

剪貼板或ODBC等類似方法

本章內(nèi)容8.1什么是系統(tǒng)測試8.2概念：負(fù)載測試、壓力測試和性能測試8.3負(fù)載測試技術(shù)8.4性能測試8.5壓力測試8.6性能測試工具8.7兼容性測試8.8安全性測試8.9容錯(cuò)性測試8.10可靠性測試8.7兼容性測試8.8.1安全性測試的范圍 8.8.2Web安全性的測試 8.8.3安全性測試工具什么是安全性測試跨站點(diǎn)腳本（cross-sitescripting，XSS）攻擊；SQL注入式漏洞；緩沖區(qū)溢出；不安全的數(shù)據(jù)存儲或傳遞；不安全的配置管理；有問題的訪問控制，權(quán)限分配有問題；口令設(shè)置不嚴(yán)，包括長度、構(gòu)成和更新頻率；暴露的端口或入口；軟件安全性測試就是檢驗(yàn)系統(tǒng)權(quán)限設(shè)置有效性、防范非法入侵的能力、數(shù)據(jù)備份和恢復(fù)能力等，設(shè)法找出上述各種安全性漏洞安全性測試的范圍系統(tǒng)級別的安全性應(yīng)用程序級別的安全性

（重點(diǎn)）用戶權(quán)限數(shù)據(jù)輸入驗(yàn)證敏感數(shù)據(jù)加密數(shù)據(jù)存儲安全性用戶口令驗(yàn)證系統(tǒng)的日志文件是否得到保護(hù)

……Web安全性測試跨站腳本攻擊

SQL注入式攻擊

URL和API的身份驗(yàn)證

其它

3-D3-D(defacing,destruction,denialofservice–DoS)丑化、破壞、拒絕服務(wù)跨站腳本攻擊在頁面某些輸入域中使用跨站腳本（寫入一段javascript）來發(fā)送惡意代碼給沒有發(fā)覺的用戶，讓瀏覽器執(zhí)行document.write等危險(xiǎn)指令，竊取用戶的資料或信息。輸入域驗(yàn)證HTML標(biāo)簽：<…>…</…>轉(zhuǎn)義字符：&(&)；<(<)；>(>)； (空格)；腳本語言，如JavaScript<scriptlanguage=‘javascript’>……</script>特殊字符：‘’<>/防止：最好進(jìn)行更嚴(yán)格的保護(hù)和驗(yàn)證

SQL注入式攻擊

根據(jù)SQL語句的編寫規(guī)則，附加一個(gè)永遠(yuǎn)為“真”的條件，使系統(tǒng)中某個(gè)認(rèn)證條件總是成立，從而欺騙系統(tǒng)、躲過認(rèn)證，進(jìn)而侵入系統(tǒng)

Username=Request.from(“username”)Password=Request.from(“password”)xSql=”select*fromadminwhereusername=’”&usename&”’andpassword=’”&password&”’”Rs.openxS.0.3Ifnotrs.eofthenSession(“l(fā)ogin”)=trueResponse.redirect(“next.asp”)Endifor‘1’=‘1’安全性測試工具的評估標(biāo)準(zhǔn)支持常見的Web服務(wù)器平臺能同時(shí)提供對源代碼和二進(jìn)制文件進(jìn)行掃描的功能漏洞檢測和糾正分析檢測實(shí)時(shí)系統(tǒng)的問題不改變被測試的軟件，不影響代碼良好的報(bào)告非安全專業(yè)人士也易于上手可管理部署的多種掃描器、盡可能小的錯(cuò)誤誤差等常見的安全性測試工具AcunetixWebVulnerabilityScanner是一款商業(yè)級的Web漏洞掃描程序。Burpsuite是一個(gè)可以用于攻擊Web應(yīng)用程序的集成平臺，Nikto是開源的Web服務(wù)器掃描程序。N-Stealth是一款商業(yè)級的Web服務(wù)器安全掃描程序。Parosproxy是基于Java的web代理程序，可以評估Web應(yīng)用程序的漏洞。SPIDynamicsWebInspect是功能強(qiáng)大的Web應(yīng)用程序掃描程序TamperIE

是一個(gè)小巧的XSS漏洞檢測輔助工具Tripwire是一款最為常用的開放源碼的完整性檢查工具Wapiti是由Python語言編寫的、開源的安全測試工具，直接對網(wǎng)頁進(jìn)行掃描Watchfire

AppScan是一款商業(yè)的Web漏洞掃描程序，可以掃描許多常見的漏洞。WebScarab可以分析使用HTTP和HTTPS協(xié)議進(jìn)行通信的應(yīng)用程序Whisker是使用LibWhisker的掃描程序，適合于HTTP測試Wikto可以檢查Web服務(wù)器中的漏洞，和Nikto比較接近。常用的網(wǎng)絡(luò)監(jiān)控工具主要有Nessus、Ethereal/Wireshark、Snort、Switzerland和Netca