Ch6-集成測(cè)試與系統(tǒng)測(cè)試-73解析課件

1、軟件測(cè)試與質(zhì)量保證Ch.6集成測(cè)試和系統(tǒng)測(cè)試軟件測(cè)試與質(zhì)量保證Ch.6集成測(cè)試和系統(tǒng)測(cè)試第五章回顧2022/10/102單元測(cè)試的定義與進(jìn)行單元測(cè)試的重要性單元測(cè)試的目標(biāo)與任務(wù)靜態(tài)測(cè)試技術(shù)的運(yùn)用動(dòng)態(tài)測(cè)試技術(shù)的運(yùn)用調(diào)試與評(píng)估單元測(cè)試的過(guò)程與文檔管理單元測(cè)試的常用工具簡(jiǎn)介第五章回顧2022/10/92單元測(cè)試的定義與進(jìn)行單元測(cè)試的第六章 集成測(cè)試和系統(tǒng)測(cè)試2022/10/1036.1 系統(tǒng)集成的模式與方法6.2 功能測(cè)試6.3 系統(tǒng)測(cè)試6.4 壓力測(cè)試、容量測(cè)試和性能測(cè)試6.5安全性、可靠性和容錯(cuò)性測(cè)試第六章 集成測(cè)試和系統(tǒng)測(cè)試2022/10/936.1 系統(tǒng)集6.1系統(tǒng)集成的模式與方法 2022

2、/10/104軟件集成測(cè)試前的準(zhǔn)備 人員安排測(cè)試計(jì)劃測(cè)試內(nèi)容集成模式測(cè)試方法6.1系統(tǒng)集成的模式與方法 2022/10/94軟件集成測(cè)試為什么總是集成不起來(lái)？2022/10/105為什么總是集成不起來(lái)？2022/10/95集成測(cè)試的模式2022/10/106漸增式測(cè)試模式與非漸增式測(cè)試模式非漸增式測(cè)試模式：先分別測(cè)試每個(gè)模塊，再把所有模塊按設(shè)計(jì)要求放在一起結(jié)合成所要的程序，如大棒模式。漸增式測(cè)試模式：把下一個(gè)要測(cè)試的模塊同已經(jīng)測(cè)試好的模塊結(jié)合起來(lái)進(jìn)行測(cè)試，測(cè)試完以后再把下一個(gè)應(yīng)該測(cè)試的模塊結(jié)合進(jìn)來(lái)測(cè)試。各自的優(yōu)缺點(diǎn)集成測(cè)試的模式2022/10/96漸增式測(cè)試模式與非漸增式測(cè)自頂向下和自底向上集

3、成方法 2022/10/107驅(qū)動(dòng)程序/驅(qū)動(dòng)模塊（driver），用以模擬被測(cè)模塊的上級(jí)模塊。驅(qū)動(dòng)模塊在集成測(cè)試中接受測(cè)試數(shù)據(jù)，把相關(guān)的數(shù)據(jù)傳送給被測(cè)模塊，啟動(dòng)被測(cè)模塊，并打印出相應(yīng)的結(jié)果。樁程序/樁模塊（stub），也有人稱(chēng)為存根程序，用以模擬被測(cè)模塊工作過(guò)程中所調(diào)用的模塊。樁模塊由被測(cè)模塊調(diào)用，它們一般只進(jìn)行很少的數(shù)據(jù)處理，例如打印入口和返回，以便于檢驗(yàn)被測(cè)模塊與其下級(jí)模塊的接口自頂向下和自底向上集成方法 2022/10/97驅(qū)動(dòng)程序/驅(qū)自頂向下法(Top-down Integration) 2022/10/108自頂向下法的主要優(yōu)缺點(diǎn)自頂向下法(Top-down Integration)

4、 20自頂向下法(Top-down Integration) 2022/10/109自頂向下法(Top-down Integration) 20自底向上法(Bottom-up Integration) 2022/10/1010自底向上法的主要優(yōu)缺點(diǎn)自底向上法(Bottom-up Integration) 2自底向上法(Bottom-up Integration) 2022/10/1011自底向上法(Bottom-up Integration) 2混合策略(Modified Top-down Integration) 2022/10/1012混合法：對(duì)軟件結(jié)構(gòu)中較上層，使用的是“自頂向下”法；對(duì)

5、軟件結(jié)構(gòu)中較下層，使用的是“自底向上”法，兩者相結(jié)合 混合策略(Modified Top-down Integra大棒集成方法(Big-bang Integration)2022/10/1013采用大棒集成方法,先是對(duì)每一個(gè)子模塊進(jìn)行測(cè)試（單元測(cè)試階段），然后將所有模塊一次性的全部集成起來(lái)進(jìn)行集成測(cè)試 。因?yàn)樗械哪K一次集成的，所以很難確定出錯(cuò)的真正位置、所在的模塊、錯(cuò)誤的原因。這種方法并不推薦在任何系統(tǒng)中使用，適合在規(guī)模較小的應(yīng)用系統(tǒng)中使用。 大棒集成方法(Big-bang Integration)20三明治集成方法(Sandwich Integration) 2022/10/1014采用

6、三明治方法的優(yōu)點(diǎn)是：它將自頂向下和自底向上的集成方法有機(jī)地結(jié)合起來(lái)，不需要寫(xiě)樁程序因?yàn)樵跍y(cè)試初自底向上集成已經(jīng)驗(yàn)證了底層模塊的正確性。采用這種方法的主要缺點(diǎn)是：在真正集成之前每一個(gè)獨(dú)立的模塊沒(méi)有完全測(cè)試過(guò)。三明治集成方法(Sandwich Integration) 改善的三明治集成方法2022/10/1015改進(jìn)的三明治集成方法，不僅自?xún)深^向中間集成，而且保證每個(gè)模塊得到單獨(dú)的測(cè)試，使測(cè)試進(jìn)行得比較徹底 。改善的三明治集成方法2022/10/915改進(jìn)的三明治集幾種集成方法性能的比較 自底向上自頂向下混合策略大棒三明治改進(jìn)三明治集成早早早晚早早基本程序能工作時(shí)間晚早早晚早早需要驅(qū)動(dòng)程序是否是是

7、是是需要樁程序否是是是是是工作并行性中低中高中高特殊路徑測(cè)試容易難容易容易中等容易計(jì)劃與控制容易難難容易難難2022/10/1016幾種集成方法性能的比較 自底向上自頂向下混合策略大棒三明治改6.2功能測(cè)試 2022/10/1017目的和內(nèi)容 程序安裝、啟動(dòng)正常，有相應(yīng)的提示框、錯(cuò)誤提示等 每項(xiàng)功能符合實(shí)際要求 系統(tǒng)的界面清晰、美觀(guān) 菜單、按鈕操作正常、靈活，能處理一些異常操作 能接受正確的數(shù)據(jù)輸入，對(duì)異常數(shù)據(jù)的輸入有提示、容錯(cuò)處理等 數(shù)據(jù)的輸出結(jié)果準(zhǔn)確，格式清晰，可以保存和讀取 功能邏輯清楚，符合使用者習(xí)慣 系統(tǒng)的各種狀態(tài)按照業(yè)務(wù)流程而變化，并保持穩(wěn)定 支持各種應(yīng)用的環(huán)境 能配合多種硬件周邊

8、設(shè)備 軟件升級(jí)后，能繼續(xù)支持舊版本的數(shù)據(jù) 與外部應(yīng)用系統(tǒng)的接口有效 6.2功能測(cè)試 2022/10/917目的和內(nèi)容 程序安裝功能測(cè)試的方法 等價(jià)類(lèi)劃分法邊界值分析法錯(cuò)誤推測(cè)法因果圖法組合分析法2022/10/1018我要測(cè)試所有的功能功能測(cè)試的方法 等價(jià)類(lèi)劃分法2022/10/918我要測(cè)試所等價(jià)類(lèi)劃分法2022/10/1019劃分好等價(jià)類(lèi)測(cè)試：防止遺漏測(cè)試案例。等價(jià)類(lèi)劃分法2022/10/919劃分好等價(jià)類(lèi)測(cè)試：防止遺漏邊界值分析法2022/10/1020例子：排序程序，邊界條件有： 序列為空； 序列僅有一個(gè)數(shù)據(jù)； 序列為滿(mǎn)，用猜錯(cuò)法補(bǔ)充一下測(cè)試用例； 序列已經(jīng)按要求排好序； 序列的順序與

9、要求的順序恰好相反； 序列中的所有數(shù)據(jù)全部相等。 因?yàn)殄e(cuò)誤最容易發(fā)生在邊界值附近，所以邊界值分析法對(duì)于多變量函數(shù)的測(cè)試很有效，尤其是對(duì)于像C/C+數(shù)據(jù)類(lèi)型要求不是很?chē)?yán)格的語(yǔ)言有利 。邊界值分析法2022/10/920例子：排序程序，邊界條件有錯(cuò)誤推測(cè)法2022/10/1021這個(gè)錯(cuò)誤到底在哪？錯(cuò)誤推測(cè)法2022/10/921這個(gè)錯(cuò)誤到底在哪？因果圖法2022/10/1022因果圖法2022/10/922因果圖法2022/10/1023混凝土強(qiáng)度為什么不足？因果圖法2022/10/923混凝土強(qiáng)度為什么不足？組合分析法2022/10/1024 組合分析是一種基于每對(duì)參數(shù)組合的測(cè)試技術(shù)，主要考慮參

10、數(shù)之間的影響是主要的錯(cuò)誤來(lái)源和大多數(shù)的錯(cuò)誤起源于簡(jiǎn)單的參數(shù)組合。在產(chǎn)品漢化過(guò)程中哪個(gè)組合出錯(cuò)了？組合分析法2022/10/924 組合分析是一種基于每對(duì)參6.3 系統(tǒng)測(cè)試壓力測(cè)試 (Stress test) 容量測(cè)試 (Capacity test) 性能測(cè)試 (Performance test) 安全測(cè)試 (Security test) 容錯(cuò)測(cè)試 (Recovery test) 2022/10/10256.3 系統(tǒng)測(cè)試壓力測(cè)試 (Stress test) 202回歸測(cè)試的目的 所做的修改達(dá)到了預(yù)定的目的，如錯(cuò)誤得到了改正，新功能得到了實(shí)現(xiàn)，能夠適應(yīng)新的運(yùn)行環(huán)境等； 不影響軟件原有功能的正確性。

11、 回歸測(cè)試的方法 再測(cè)試全部用例 基于風(fēng)險(xiǎn)選擇測(cè)試 基于操作剖面選擇測(cè)試 再測(cè)試修改的部分 回歸測(cè)試 2022/10/10262000回歸測(cè)試的組織和實(shí)施回歸測(cè)試的目的 回歸測(cè)試 2022/10/9262000回歸回歸測(cè)試 2022/10/1027回歸測(cè)試 2022/10/9276.4 壓力測(cè)試、容量測(cè)試和性能測(cè)試 2022/10/1028 壓力測(cè)試、容量測(cè)試和性能測(cè)試的測(cè)試目的雖然有所不同，但其手段和方法在一定程度上比較相似，通常會(huì)使用特定的測(cè)試工具，來(lái)模擬超常的數(shù)據(jù)量、負(fù)載等，監(jiān)測(cè)系統(tǒng)的各項(xiàng)性能指標(biāo)，如CPU和內(nèi)存的使用情況、響應(yīng)時(shí)間、數(shù)據(jù)傳輸量等。 一定要設(shè)法破壞它!6.4 壓力測(cè)試、容

12、量測(cè)試和性能測(cè)試 2022/10/928性能測(cè)試2022/10/1029看看在各種情況下CPU使用的效率性能測(cè)試2022/10/929看看在各種情況下CPU使用的效性能測(cè)試概念和目的性能測(cè)試的目的： 為了驗(yàn)證系統(tǒng)是否達(dá)到用戶(hù)提出的性能指標(biāo)，同時(shí)發(fā)現(xiàn)系統(tǒng)中存在的性能瓶頸，起到優(yōu)化系統(tǒng)的目的。性能測(cè)試指標(biāo)的來(lái)源：用戶(hù)對(duì)各項(xiàng)指標(biāo)提出的明確需求；如果用戶(hù)沒(méi)有提出性能指標(biāo)則根據(jù)用戶(hù)需求、測(cè)試設(shè)計(jì)人員的經(jīng)驗(yàn)來(lái)設(shè)計(jì)各項(xiàng)測(cè)試指標(biāo)。（需求+經(jīng)驗(yàn)）主要的性能指標(biāo)：服務(wù)器的各項(xiàng)指標(biāo)（CPU、內(nèi)存占用率等）、后臺(tái)數(shù)據(jù)庫(kù)的各項(xiàng)指標(biāo)、網(wǎng)絡(luò)流量、響應(yīng)時(shí)間2022/10/1030性能測(cè)試概念和目的2022/10/930性能測(cè)

13、試要點(diǎn)測(cè)試環(huán)境應(yīng)盡量與產(chǎn)品運(yùn)行環(huán)境保持一致，應(yīng)單獨(dú)運(yùn)行盡量避免與其他軟件同時(shí)使用。性能測(cè)試一般使用測(cè)試工具和測(cè)試人員編制測(cè)試腳本來(lái)完成。性能測(cè)試的重點(diǎn)在于前期數(shù)據(jù)的設(shè)計(jì)與后期數(shù)據(jù)的分析。性能測(cè)試的用例主要涉及到整個(gè)系統(tǒng)架構(gòu)的問(wèn)題，所以測(cè)試用例一旦生成，改動(dòng)一般不大，所以做性能測(cè)試的重復(fù)使用率一般比較高。2022/10/1031性能測(cè)試要點(diǎn)測(cè)試環(huán)境應(yīng)盡量與產(chǎn)品運(yùn)行環(huán)境保持一致，應(yīng)單獨(dú)運(yùn)行性能測(cè)試的方法和技巧兩種負(fù)載類(lèi)型“flat”測(cè)試ramp-up測(cè)試對(duì)于企業(yè)級(jí)的系統(tǒng)，性能測(cè)試的方法主要有：基準(zhǔn)測(cè)試性能規(guī)劃測(cè)試滲入測(cè)試峰谷測(cè)試2022/10/1032性能測(cè)試的方法和技巧兩種負(fù)載類(lèi)型2022/10

14、/932兩種負(fù)載類(lèi)型“Flat”測(cè)試: 對(duì)于一次給定的測(cè)試，應(yīng)該取響應(yīng)時(shí)間和吞吐量的平均值。精確地獲得這些值的唯一方法是一次加載所有的用戶(hù)，然后在預(yù)定的時(shí)間段內(nèi)持續(xù)運(yùn)行。2022/10/1033虛擬用戶(hù)的數(shù)量?jī)煞N負(fù)載類(lèi)型“Flat”測(cè)試: 對(duì)于一次給定的測(cè)試，應(yīng)該取兩種負(fù)載類(lèi)型 Ramp-up測(cè)試: 用戶(hù)是交錯(cuò)上升的（每幾秒增加一些新用戶(hù)）。ramp-up測(cè)試不能產(chǎn)生精確和可重現(xiàn)的平均值，這是因?yàn)橛捎谟脩?hù)的增加是每次一部分，系統(tǒng)的負(fù)載在不斷地變化。其優(yōu)點(diǎn)是，可以看出隨著系統(tǒng)負(fù)載的改變，測(cè)量值是如何改變的據(jù)此選擇要運(yùn)行的flat測(cè)試的范圍。2022/10/1034兩種負(fù)載類(lèi)型 Ramp-up測(cè)試

15、: 用戶(hù)是交錯(cuò)上升的（每幾Flat測(cè)試 “波動(dòng)”效應(yīng) 2022/10/1035Page Downloaded per Second系統(tǒng)吞吐量 Flat測(cè)試 “波動(dòng)”效應(yīng) 2022/10/935Page Flat測(cè)試 “波動(dòng)”效應(yīng) 2022/10/1036Resource UsageFlat測(cè)試 “波動(dòng)”效應(yīng) 2022/10/936Resou基準(zhǔn)測(cè)試同時(shí)與服務(wù)器通信的連接（或虛擬用戶(hù)）的數(shù)目，每個(gè)虛擬用戶(hù)請(qǐng)求之間間隔時(shí)間的長(zhǎng)短。2022/10/1037隨著服務(wù)器上負(fù)載的增加，吞吐量會(huì)不斷攀升，直到到達(dá)一個(gè)點(diǎn), 并在這個(gè)點(diǎn)上穩(wěn)定下來(lái)基準(zhǔn)測(cè)試的關(guān)鍵是要獲得一致的、可再現(xiàn)的結(jié)果。假定測(cè)試的兩個(gè)指標(biāo)是服

16、務(wù)器的響應(yīng)時(shí)間和吞吐量，會(huì)受到負(fù)載的影響。而負(fù)載又受兩個(gè)因素影響：與服務(wù)器通信的用戶(hù)越多，負(fù)載就越大。同樣，請(qǐng)求之間間隔時(shí)間越短，負(fù)載也越大。這兩個(gè)因素的不同組合會(huì)產(chǎn)生不同的服務(wù)器負(fù)載等級(jí).基準(zhǔn)測(cè)試同時(shí)與服務(wù)器通信的連接（或虛擬用戶(hù)）的數(shù)目，2022基準(zhǔn)測(cè)試 (2)在某一點(diǎn)上，執(zhí)行隊(duì)列開(kāi)始增長(zhǎng)，因?yàn)榉?wù)器上所有的線(xiàn)程都已投入使用，傳入的請(qǐng)求不再被立即處理，而是放入隊(duì)列中，當(dāng)線(xiàn)程空閑時(shí)再處理。2022/10/1038當(dāng)系統(tǒng)達(dá)到飽和點(diǎn)，服務(wù)器吞吐量保持穩(wěn)定后，就達(dá)到了給定條件下的系統(tǒng)上限。但是，隨著服務(wù)器負(fù)載的繼續(xù)增長(zhǎng)，響應(yīng)時(shí)間也隨之延長(zhǎng)，雖然吞吐量保持穩(wěn)定。隊(duì)列產(chǎn)生響應(yīng)時(shí)間資源使用基準(zhǔn)測(cè)試 (2

17、)在某一點(diǎn)上，執(zhí)行隊(duì)列開(kāi)始增長(zhǎng)，因?yàn)榉?wù)器上基準(zhǔn)測(cè)試 (3)將系統(tǒng)置于相同的高負(fù)載下，將請(qǐng)求之間間隔時(shí)間設(shè)為零。這樣服務(wù)器會(huì)立即超載，并開(kāi)始構(gòu)建執(zhí)行隊(duì)列。如果請(qǐng)求（虛擬用戶(hù)）數(shù)保持一致，基準(zhǔn)測(cè)試的結(jié)果會(huì)非常精確 flat運(yùn)行是獲得基準(zhǔn)測(cè)試數(shù)據(jù)的理想模式2022/10/1039兩個(gè)事務(wù)的響應(yīng)時(shí)間曲線(xiàn)基準(zhǔn)測(cè)試 (3)將系統(tǒng)置于相同的高負(fù)載下，將請(qǐng)求之間間隔時(shí)間性能規(guī)劃測(cè)試性能規(guī)劃類(lèi)型的測(cè)試其目標(biāo)是找出在特定的環(huán)境下，給定應(yīng)用程序的性能可以達(dá)到何種程度。例如，如果要以5秒或更少的響應(yīng)時(shí)間支持8,000個(gè)當(dāng)前用戶(hù)，需要多少個(gè)服務(wù)器？要確定系統(tǒng)的容量，需要考慮幾個(gè)因素:用戶(hù)中有多少是并發(fā)與服務(wù)器通信的。

18、每個(gè)用戶(hù)的請(qǐng)求間時(shí)間間隔是多少。2022/10/1040性能規(guī)劃測(cè)試性能規(guī)劃類(lèi)型的測(cè)試其目標(biāo)是找出在特定的環(huán)境下性能規(guī)劃測(cè)試 (2)如何加載用戶(hù)以模擬負(fù)載狀態(tài)？最好的方法是模擬高峰時(shí)間用戶(hù)與服務(wù)器通信的狀況。如果用戶(hù)負(fù)載狀態(tài)是在一段時(shí)間內(nèi)逐步達(dá)到的,選擇ramp-up測(cè)試，每隔幾秒增加x個(gè)用戶(hù);如果所有用戶(hù)是在一個(gè)非常短的時(shí)間內(nèi)同時(shí)與系統(tǒng)通信，就應(yīng)該使用flat測(cè)試，將所有的用戶(hù)同時(shí)加載到服務(wù)器 什么是確定容量的最好方法？結(jié)合兩種負(fù)載類(lèi)型的優(yōu)點(diǎn)，并運(yùn)行一系列的測(cè)試 如：首先使用ramp-up測(cè)試確定系統(tǒng)支持的用戶(hù)范圍該范圍內(nèi)不同的并發(fā)用戶(hù)負(fù)載進(jìn)行一系列的flat測(cè)試，更精確地確定系統(tǒng)的容量。2

19、022/10/1041性能規(guī)劃測(cè)試 (2)如何加載用戶(hù)以模擬負(fù)載狀態(tài)？2022/滲入測(cè)試滲入測(cè)試是一種比較簡(jiǎn)單的性能測(cè)試。滲入測(cè)試所需時(shí)間較長(zhǎng)，它使用固定數(shù)目的并發(fā)用戶(hù)測(cè)試系統(tǒng)的總體健壯性。這些測(cè)試將會(huì)通過(guò)內(nèi)存泄漏、增加的垃圾收集(GC)或系統(tǒng)的其他問(wèn)題，顯示因長(zhǎng)時(shí)間運(yùn)行而出現(xiàn)的任何性能降低。 建議運(yùn)行兩次測(cè)試一次使用較低的用戶(hù)負(fù)載（要在系統(tǒng)容量之下，以便不會(huì)出現(xiàn)執(zhí)行隊(duì)列），一次使用較高的負(fù)載（以便出現(xiàn)積極的執(zhí)行隊(duì)列）。2022/10/1042滲入測(cè)試滲入測(cè)試是一種比較簡(jiǎn)單的性能測(cè)試。滲入測(cè)試所需時(shí)間峰谷測(cè)試兼有容量規(guī)劃ramp-up測(cè)試和滲入測(cè)試的特征,目標(biāo)是確定從高負(fù)載（例如系統(tǒng)高峰時(shí)間的

20、負(fù)載）恢復(fù)、轉(zhuǎn)為幾乎空閑、然后再攀升到高負(fù)載、再降低的能力。2022/10/1043峰谷測(cè)試兼有容量規(guī)劃ramp-up測(cè)試和滲入測(cè)試的特征,目性能測(cè)試的過(guò)程2022/10/1044評(píng)估系統(tǒng)制定測(cè)試資產(chǎn)執(zhí)行基線(xiàn) & 基準(zhǔn)測(cè)試分析結(jié)果驗(yàn)證需求完 成調(diào)試系統(tǒng)識(shí)別探索性測(cè)試非決定性結(jié)果不符合標(biāo)準(zhǔn)調(diào)試之后重新進(jìn)行基準(zhǔn)測(cè)試開(kāi)發(fā)探索性的測(cè)試符合所有的標(biāo)準(zhǔn)性能測(cè)試的過(guò)程2022/10/944評(píng)估系統(tǒng)制定測(cè)試資產(chǎn)執(zhí)行故障轉(zhuǎn)移測(cè)試Failover 測(cè)試:故障轉(zhuǎn)移(Failover)和故障恢復(fù)(Failback).服務(wù)器的Failover測(cè)試的目的: 檢查系統(tǒng)是否具備某種災(zāi)難性恢復(fù)的手段. 當(dāng)系統(tǒng)局部或全部出錯(cuò)時(shí),

21、 能否在指定時(shí)間內(nèi)修正錯(cuò)誤. 具有良好故障恢復(fù)的系統(tǒng), 當(dāng)遇到軟件原因或無(wú)法克服的自然原因時(shí), 能夠進(jìn)行故障的轉(zhuǎn)移與恢復(fù). 使用戶(hù)最低限度的感受到故障的發(fā)生.在服務(wù)器的Failover測(cè)試中, 將包括多種情況, 如:客戶(hù)機(jī)或服務(wù)器掉電; 客戶(hù)機(jī)與服務(wù)器網(wǎng)絡(luò)中斷; 服務(wù)器相關(guān)的程序CRASH; 系統(tǒng)中全部或部分CORE SERVER出現(xiàn)掉電/網(wǎng)絡(luò)中斷情況.2022/10/1045故障轉(zhuǎn)移測(cè)試Failover 測(cè)試:故障轉(zhuǎn)移(FailoveFailover測(cè)試的方法和技巧將測(cè)試系統(tǒng)全部對(duì)象描繪出來(lái)-系統(tǒng)結(jié)構(gòu)圖對(duì)圖中的所有可能發(fā)生的故障點(diǎn)設(shè)計(jì)測(cè)試用例.2022/10/1046Failover測(cè)試的方

22、法和技巧將測(cè)試系統(tǒng)全部對(duì)象描繪出來(lái)-示例 1簡(jiǎn)單的服務(wù)器構(gòu)造2022/10/1047示例 1簡(jiǎn)單的服務(wù)器構(gòu)造2022/10/947示例 1 （contd）在這個(gè)構(gòu)造中，當(dāng)其中一臺(tái)應(yīng)用服務(wù)器出現(xiàn)故障，連接此應(yīng)用服務(wù)器的 兩個(gè)web服務(wù)器將不再獲得從負(fù)載平衡服務(wù)器上請(qǐng)求，這樣，所有的負(fù)載都會(huì)傳遞到剩余的兩臺(tái)web服務(wù)器, 見(jiàn)下圖:2022/10/1048示例 1 （contd）在這個(gè)構(gòu)造中，當(dāng)其中一臺(tái)應(yīng)用服務(wù)示例二：企業(yè)級(jí)服務(wù)器2022/10/1049示例二：企業(yè)級(jí)服務(wù)器2022/10/9496.4 壓力測(cè)試2022/10/1050在一種需要反常（如長(zhǎng)時(shí)間的峰值）數(shù)量、頻率或資源的方式下，執(zhí)行可重

23、復(fù)的負(fù)載測(cè)試，以檢查程序?qū)Ξ惓Ｇ闆r的抵抗能力，找出性能瓶頸。從本質(zhì)上來(lái)說(shuō)，測(cè)試者是想要破壞程序。步驟： 測(cè)試壓力估算 測(cè)試環(huán)境準(zhǔn)備 問(wèn)題的分析 累積效應(yīng) 6.4 壓力測(cè)試2022/10/950在一種需要反常（如長(zhǎng)時(shí)壓力測(cè)試2022/10/1051試試這個(gè)游戲站點(diǎn)的承受力壓力測(cè)試2022/10/951試試這個(gè)游戲站點(diǎn)的承受力壓力測(cè)試類(lèi)型 并發(fā)性能測(cè)試（重點(diǎn)） 疲勞強(qiáng)度測(cè)試 大數(shù)據(jù)量測(cè)試 2022/10/1052壓力測(cè)試類(lèi)型 并發(fā)性能測(cè)試（重點(diǎn)）2022/10/952并發(fā)性能測(cè)試考察客戶(hù)端應(yīng)用的性能，測(cè)試的入口是客戶(hù)端并發(fā)性能測(cè)試的過(guò)程，是一個(gè)負(fù)載測(cè)試和壓力測(cè)試的過(guò)程。即逐漸增加并發(fā)虛擬用戶(hù)數(shù)負(fù)載

24、，直到系統(tǒng)的瓶頸或者不能接收的性能點(diǎn)，通過(guò)綜合分析交易執(zhí)行指標(biāo)、資源監(jiān)控指標(biāo)等來(lái)確定系統(tǒng)并發(fā)性能的過(guò)程。并發(fā)性能測(cè)試是負(fù)載壓力測(cè)試中的重要內(nèi)容。ramp-up測(cè)試 2022/10/1053并發(fā)性能測(cè)試考察客戶(hù)端應(yīng)用的性能，測(cè)試的入口是客戶(hù)端2022疲勞強(qiáng)度測(cè)試 通常是采用系統(tǒng)穩(wěn)定運(yùn)行情況下能夠支持的最大并發(fā)用戶(hù)數(shù)或者日常運(yùn)行用戶(hù)數(shù)，持續(xù)執(zhí)行一段時(shí)間業(yè)務(wù)，通過(guò)綜合分析交易執(zhí)行指標(biāo)和資源監(jiān)控指標(biāo)來(lái)確定系統(tǒng)處理最大工作量強(qiáng)度性能的過(guò)程。 疲勞強(qiáng)度測(cè)試案例制定的原則是保證系統(tǒng)長(zhǎng)期不間斷運(yùn)行的業(yè)務(wù)量，并且應(yīng)該盡量去滿(mǎn)足該條件。 Flat測(cè)試2022/10/1054疲勞強(qiáng)度測(cè)試 通常是采用系統(tǒng)穩(wěn)定運(yùn)行情況

25、下能夠支持的最大數(shù)據(jù)量測(cè)試獨(dú)立的數(shù)據(jù)量測(cè)試 針對(duì)某些系統(tǒng)存儲(chǔ)、傳輸、統(tǒng)計(jì)、查詢(xún)等業(yè)務(wù)進(jìn)行大數(shù)據(jù)量測(cè)試 綜合數(shù)據(jù)量測(cè)試 和壓力性能測(cè)試、負(fù)載性能測(cè)試、并發(fā)性能測(cè)試、疲勞性能測(cè)試相結(jié)合的綜合測(cè)試方案 2022/10/1055大數(shù)據(jù)量測(cè)試獨(dú)立的數(shù)據(jù)量測(cè)試2022/10/955容量測(cè)試 2022/10/1056 容量測(cè)試目的是通過(guò)測(cè)試預(yù)先分析出反映軟件系統(tǒng)應(yīng)用特征的某項(xiàng)指標(biāo)的極限值（如最大并發(fā)用戶(hù)數(shù)、數(shù)據(jù)庫(kù)記錄數(shù)等），系統(tǒng)在其極限值狀態(tài)下還能保持主要功能正常運(yùn)行。容量測(cè)試還將確定測(cè)試對(duì)象在給定時(shí)間內(nèi)能夠持續(xù)處理的最大負(fù)載或工作量。 容量測(cè)試 2022/10/956 容量測(cè)試目的是通過(guò)測(cè)試預(yù)度量系統(tǒng)容量

26、舉例查看現(xiàn)有系統(tǒng)中性能與負(fù)載間的關(guān)系，并確定出現(xiàn)響應(yīng)時(shí)間顯著延長(zhǎng)的位置 “拐點(diǎn)”。可以確定是否需要增加資源以支持額外的用戶(hù)。2022/10/1057度量系統(tǒng)容量舉例查看現(xiàn)有系統(tǒng)中性能與負(fù)載間的關(guān)系，并確定出現(xiàn)系統(tǒng)瓶頸分析舉例-1交易的響應(yīng)時(shí)間如果很長(zhǎng)，遠(yuǎn)遠(yuǎn)超過(guò)系統(tǒng)性能需求，表示耗費(fèi)CPU的數(shù)據(jù)庫(kù)操作，例如排序，執(zhí)行aggregate functions（例如sum、min、max、count）等較多，可考慮是否有索引以及索引建立的是否合理；盡量使用簡(jiǎn)單的表聯(lián)接；水平分割大表格等方法來(lái)降低該值。 2022/10/1058系統(tǒng)瓶頸分析舉例-1交易的響應(yīng)時(shí)間如果很長(zhǎng)，遠(yuǎn)遠(yuǎn)超過(guò)系統(tǒng)性能系統(tǒng)瓶頸分析舉例

27、-2分段排除錯(cuò)誤。測(cè)試工具可以模擬不同的虛擬用戶(hù)來(lái)單獨(dú)訪(fǎng)問(wèn)Web服務(wù)器、應(yīng)用服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器，這樣，就可以在Web端測(cè)出的響應(yīng)時(shí)間減去以上各個(gè)分段測(cè)出的時(shí)間就可以知道瓶頸在哪并著手調(diào)優(yōu)。 2022/10/1059系統(tǒng)瓶頸分析舉例-2分段排除錯(cuò)誤。測(cè)試工具可以模擬不同的虛擬系統(tǒng)瓶頸分析舉例-3UNIX資源監(jiān)控（NT操作系統(tǒng)同理）中指標(biāo)內(nèi)存頁(yè)交換速率（Paging rate），如果該值偶爾走高，表明當(dāng)時(shí)有線(xiàn)程競(jìng)爭(zhēng)內(nèi)存。如果持續(xù)很高，則內(nèi)存可能是瓶頸。也可能是內(nèi)存訪(fǎng)問(wèn)命中率低?！癝wap in rate”和“Swap out rate”也有類(lèi)似的解釋。 2022/10/1060系統(tǒng)瓶頸分析舉例-

28、3UNIX資源監(jiān)控（NT操作系統(tǒng)同理）中指系統(tǒng)瓶頸分析舉例-4UNIX資源監(jiān)控（NT操作系統(tǒng)同理）中指標(biāo)CPU占用率（CPU utilization），如果該值持續(xù)超過(guò)95%，表明瓶頸是CPU?？梢钥紤]增加一個(gè)處理器或換一個(gè)更快的處理器 。合理使用的范圍在60%至70%。2022/10/1061系統(tǒng)瓶頸分析舉例-4UNIX資源監(jiān)控（NT操作系統(tǒng)同理）中指系統(tǒng)瓶頸分析舉例-5UNIX資源監(jiān)控（NT操作系統(tǒng)同理）中指標(biāo)磁盤(pán)交換率（Disk rate），如果該參數(shù)值一直很高，表明I/O有問(wèn)題?？煽紤]更換更快的硬盤(pán)系統(tǒng)、重新部署業(yè)務(wù)邏輯等，另外設(shè)置Tempdb in RAM，減低max async I

29、O，max lazy writer IO等措施都會(huì)降低該值。 2022/10/1062系統(tǒng)瓶頸分析舉例-5UNIX資源監(jiān)控（NT操作系統(tǒng)同理）中指系統(tǒng)瓶頸分析舉例-6SQLServer資源監(jiān)控中指標(biāo)緩存點(diǎn)擊率（Cache Hit Ratio），該值越高越好。如果持續(xù)低于80%，應(yīng)考慮增加內(nèi)存。 注意該參數(shù)值是從SQL Server啟動(dòng)后，就一直累加記數(shù)，所以運(yùn)行經(jīng)過(guò)一段時(shí)間后，該值將不能反映系統(tǒng)當(dāng)前值。 2022/10/1063系統(tǒng)瓶頸分析舉例-6SQLServer資源監(jiān)控中指標(biāo)緩存點(diǎn)擊6.5 安全性測(cè)試，可靠性和容錯(cuò)性測(cè)試 2022/10/1064 安全性測(cè)試、可靠性測(cè)試和容錯(cuò)性測(cè)試的測(cè)試目

30、的不同，其手段和方法也不同，但都屬于系統(tǒng)測(cè)試的范疇，有一定的聯(lián)系，如軟件可靠性要求通常包括了安全性的要求。安全性測(cè)試、可靠性測(cè)試和容錯(cuò)性測(cè)試的技術(shù)比較深、實(shí)施比較難，但在應(yīng)用系統(tǒng)中越來(lái)越重要。6.5 安全性測(cè)試，可靠性和容錯(cuò)性測(cè)試 2022/10/96安全性測(cè)試2022/10/1065根據(jù)ISO 8402的定義，安全性是“使傷害或損害的風(fēng)險(xiǎn)限制在可接受的水平內(nèi)”。 安全性測(cè)試2022/10/965根據(jù)ISO 8402的定義，安全性測(cè)試 2022/10/1066安全性測(cè)試是檢查系統(tǒng)對(duì)非法侵入的防范能力。安全測(cè)試期間，測(cè)試人員假扮非法入侵者，采用各種辦法試圖突破防線(xiàn)。例如： 想方設(shè)法截取或破譯口令

31、； 專(zhuān)門(mén)開(kāi)發(fā)軟件來(lái)破壞系統(tǒng)的保護(hù)機(jī)制； 故意導(dǎo)致系統(tǒng)失敗，企圖趁恢復(fù)之機(jī)非法進(jìn)入； 試圖通過(guò)瀏覽非保密數(shù)據(jù)，推導(dǎo)所需信息等等。理論上講，只要有足夠的時(shí)間和資源，沒(méi)有不可進(jìn)入的系統(tǒng)。因此系統(tǒng)安全設(shè)計(jì)的準(zhǔn)則是，使非法侵入的代價(jià)超過(guò)被保護(hù)信息的價(jià)值，此時(shí)非法侵入者已無(wú)利可圖。安全性測(cè)試 2022/10/966安全性測(cè)試是檢查系統(tǒng)對(duì)非法可靠性測(cè)試 2022/10/1067可靠性（Reliability）是產(chǎn)品在規(guī)定的條件下和規(guī)定的時(shí)間內(nèi)完成規(guī)定功能的能力，它的概率度量稱(chēng)為可靠度。軟件可靠性是軟件系統(tǒng)的固有特性之一，它表明了一個(gè)軟件系統(tǒng)按照用戶(hù)的要求和設(shè)計(jì)的目標(biāo)，執(zhí)行其功能的可靠程度。軟件可靠性與軟件缺

32、陷有關(guān)，也與系統(tǒng)輸入和系統(tǒng)使用有關(guān)。理論上說(shuō)，可靠的軟件系統(tǒng)應(yīng)該是正確、完整、一致和健壯的。 規(guī)定的時(shí)間 規(guī)定的環(huán)境條件規(guī)定的功能可靠性測(cè)試 2022/10/967可靠性（ReliabiliWeb安全性2022/10/1068Web安全性2022/10/968可靠性測(cè)試結(jié)果的評(píng)估成熟性度量可以通過(guò)錯(cuò)誤發(fā)現(xiàn)率DDP（Defect Detection Percentage）來(lái)表現(xiàn)。在測(cè)試中查找出來(lái)的錯(cuò)誤越多，實(shí)際應(yīng)用中出錯(cuò)的機(jī)會(huì)就越小，軟件也就越成熟。DDP=測(cè)試發(fā)現(xiàn)的錯(cuò)誤數(shù)量/已知的全部錯(cuò)誤數(shù)量已知的全部錯(cuò)誤數(shù)量是測(cè)試已發(fā)現(xiàn)的錯(cuò)誤數(shù)量加上可能會(huì)發(fā)現(xiàn)的錯(cuò)誤數(shù)量之和。2022/10/1069可靠性測(cè)試結(jié)果的評(píng)估成熟性度量可以通過(guò)錯(cuò)誤發(fā)現(xiàn)率DDP（De容錯(cuò)性測(cè)試 2022/10/1070容錯(cuò)性測(cè)試是檢查軟件在異常條件下自身是否具有防護(hù)性的措施或者某種災(zāi)難性恢復(fù)的手段。如當(dāng)系統(tǒng)出錯(cuò)時(shí)，能否在指定時(shí)間間隔內(nèi)修正錯(cuò)誤并重新啟動(dòng)系統(tǒng)。容錯(cuò)性測(cè)試包括兩個(gè)方面：輸入異常數(shù)據(jù)或進(jìn)行異常操作，以檢驗(yàn)系統(tǒng)的保護(hù)性。如果系統(tǒng)的容錯(cuò)性好的話(huà)，系統(tǒng)只給出提示或內(nèi)部消化掉，而不會(huì)導(dǎo)致系統(tǒng)出錯(cuò)甚至崩潰。災(zāi)難恢復(fù)性測(cè)試。通過(guò)各種手段，讓軟件強(qiáng)制性地發(fā)生故障，然后驗(yàn)證系統(tǒng)已保存的用戶(hù)數(shù)據(jù)是否丟失、系統(tǒng)和數(shù)據(jù)是否能盡快恢復(fù)。容錯(cuò)性測(cè)試