軟件性能測試發(fā)展方向

1、“這個網(wǎng)站怎么今天打開這么慢”，“這個破電腦怎么反應(yīng)這么慢”，這樣的話幾乎所有依賴電腦工作的人都抱怨過，尤其是當(dāng)你還有工作亟需處理的時候，心急如焚的心情會使你恨不得把機(jī)器給砸了。其實(shí)這些都是性能問題的典型體現(xiàn)。剛才說的那些小例子其實(shí)還是危害比較低的情況，由于性能問題而導(dǎo)致的重大問題也屢見不鮮，中國銀聯(lián)業(yè)務(wù)曾經(jīng)因性能問題中斷6個小時，導(dǎo)致數(shù)百萬筆跨行交易無法進(jìn)行，損失超過10億。大家都知道任何一個系統(tǒng)或者軟件的運(yùn)行速度，取決于硬件配置和軟件運(yùn)行速度兩個方面，那么我們現(xiàn)在遇上的性能問題是否能夠隨著硬件的發(fā)展而消失呢？1965年戈頓·摩爾提出了大名鼎鼎的摩爾定律，即“集成電路上可容納的晶體

2、管數(shù)目，約每隔18個月便會增加一倍，性能也將提升一倍，同時保持價格不變?！?1971年intel 公司發(fā)明了第一款面向商用的微處理器4004，這款劃時代的產(chǎn)品意味著人類拉開了個人電腦時代的帷幕。當(dāng)時這款處理器的最高頻率只有740kHz 。時光流轉(zhuǎn)到2010年，現(xiàn)在CPU 的主頻已經(jīng)提升至3G 赫茲以上，摩爾定律作為一只看不見的手，依然發(fā)揮著作用。回首這30年的硬件發(fā)展，我們看見計(jì)算機(jī)的硬件運(yùn)算能力在不斷提升，而我們軟件性能問題卻始終存在。因此我們可以得出結(jié)論，性能問題不能只依靠硬件的運(yùn)行速度提升來解決，更多部分需要依靠軟件本身的設(shè)計(jì)和實(shí)現(xiàn)來解決問題。 由于性能問題的重要性，因此在軟件測試行業(yè)中

3、出現(xiàn)了專門的性能測試，性能測試的發(fā)展歷史基本和軟件測試同步。以往的性能測試主要是由開發(fā)工程師來完成，主要是因?yàn)橹暗男阅軠y試只能由手工編程實(shí)現(xiàn)，測試人員一般缺乏性能測試的技術(shù)能力。目前隨著商業(yè)化的自動化性能測試軟件的出現(xiàn)，性能測試開始逐步由測試工程師來完成，現(xiàn)在通用的性能測試軟件目前已經(jīng)發(fā)展了至少三代產(chǎn)品。1、 第一代的自動化性能測試軟件大概在二十年前開始，主要依靠通過特殊的硬件設(shè)備來錄制鍵盤輸入，以及回放腳本方式工作，這一代產(chǎn)品缺少檢查點(diǎn)的功能，而且測試腳本很難維護(hù)。2、 第二代自動化性能測試軟件出現(xiàn)在大約十五年前，此時錄制腳本功能已經(jīng)由特殊硬件設(shè)備轉(zhuǎn)為軟件來實(shí)現(xiàn)，并且增加了檢查點(diǎn)的功能，可

4、以對軟件做驗(yàn)證，測試的范圍也比硬件方式的自動化方式大了許多。同時測試腳本語言的可讀性大大增強(qiáng)，可維護(hù)性也比第一代產(chǎn)品有了極大提高。3、 在2001年開始出現(xiàn)第三代自動化性能測試軟件，主要標(biāo)志為測試框架的出現(xiàn)。測試框架主要改進(jìn)為將測試腳本抽象化和對象化，提高了測試腳本的復(fù)用性和可維護(hù)性，同時也讓非技術(shù)人員可以更方便的參與到性能測試過程中。軟件性能測試主要關(guān)注于系統(tǒng)的三方面特性：響應(yīng)性、伸縮性和可靠性，這三個方面相互制約，缺一不可。 系統(tǒng)的響應(yīng)性是目前軟件性能測試領(lǐng)域中被大家最熟知的特性。甚至在現(xiàn)在，很多性能測試工程師對于性能測試的理解只體現(xiàn)在響應(yīng)性方面。簡單來說，系統(tǒng)響應(yīng)性主要考慮的是在一定的負(fù)

5、載情況下，系統(tǒng)能夠在多少時間內(nèi)做出適當(dāng)?shù)姆磻?yīng)。這個特性也是一般用戶在使用系統(tǒng)時能夠獲取的最直觀印象，也是用戶使用體驗(yàn)非常關(guān)鍵的一項(xiàng)特性，我們通常說系統(tǒng)反應(yīng)太慢，其實(shí)指的就是系統(tǒng)響應(yīng)性問題。例如大家都使用的淘寶網(wǎng)站，我們在使用淘寶內(nèi)的訂單查詢功能時，就會發(fā)現(xiàn)在不同模塊其實(shí)有著不同的響應(yīng)時間。在“訂單查詢”模塊中，我們查詢?nèi)齻€月之內(nèi)的訂單信息一般都能在3秒以內(nèi)出現(xiàn)結(jié)果，這個響應(yīng)時間非常良好，而在“歷史訂單查詢”模塊中，我們查詢訂單一般都需要10秒以上的時間才能得到結(jié)果。這一點(diǎn)表明“歷史訂單查詢”的用戶體驗(yàn)不如“訂單查詢”模塊。通常我們在做性能測試之前，需要對客戶的性能要求做需求調(diào)研和分析，對于用戶

6、使用頻率非常高的功能，我們需要嚴(yán)格保證系統(tǒng)響應(yīng)時間不能過長，按照現(xiàn)在用戶通常的習(xí)慣，這些常用功能響應(yīng)時間一般不能超過5秒鐘（5秒鐘是良好的用戶體驗(yàn)時間的上限）。但是系統(tǒng)中確實(shí)可能存在非常消耗時間的功能，這些功能可能使用頻率不高，但是需要做復(fù)雜的計(jì)算和處理，在現(xiàn)有的軟硬件條件下，無論如何調(diào)優(yōu)都不可能達(dá)到5秒以內(nèi)的響應(yīng)時間，例如比較龐大和復(fù)雜的報表等等，這些特殊功能我們最好能夠在需求調(diào)研階段把它識別出來，并且和客戶確認(rèn)這部分的響應(yīng)時間要求，避免在性能驗(yàn)收的時候出現(xiàn)意外問題。性能測試的伸縮性和可靠性指標(biāo)是我們做架構(gòu)評估和容量規(guī)劃等工作的重要依據(jù)。系統(tǒng)的伸縮性比較難以下嚴(yán)格定義，從最簡單的情況來看，可

7、伸縮性就是系統(tǒng)可以做更多的事情，而更多的事情可以是響應(yīng)更多的用戶請求，執(zhí)行更多的工作，或處理更多的數(shù)據(jù)。通常我們做性能測試需求分析時，除了需要了解系統(tǒng)當(dāng)前最多需要處理的用戶數(shù)或者事務(wù)數(shù)，還需要考慮系統(tǒng)未來需要處理的用戶數(shù)或事務(wù)數(shù)。我們還是用淘寶系統(tǒng)來作例子，淘寶在2003年開發(fā)上線，系統(tǒng)上線前2個月，只有會員1.7萬，上網(wǎng)商品6.2萬件，日平均網(wǎng)頁瀏覽量達(dá)到30萬，日平均訪問人次有2.5萬。短短幾年間，淘寶業(yè)務(wù)不斷發(fā)展壯大，目前已經(jīng)達(dá)到在線商品數(shù)量突破一億，日均成交額超過兩億元人民幣，注冊用戶接近八千萬的規(guī)模。 在這這樣的業(yè)務(wù)壓力下，淘寶的系統(tǒng)架構(gòu)就需要有良好的伸縮性，在當(dāng)初的系統(tǒng)設(shè)計(jì)時就需要

8、考慮軟件架構(gòu)能夠支持更多的并發(fā)用戶在線使用。伸縮性要求意味著我們在做性能測試需求分析時不能只考慮目前業(yè)務(wù)的最大壓力情況，同時需要考慮業(yè)務(wù)未來發(fā)展時，系統(tǒng)可能面臨的增加壓力狀態(tài)。因此軟件的伸縮性可以被定義為在不從根本上改變系統(tǒng)設(shè)計(jì)或架構(gòu)的情況下，通過逐步增加系統(tǒng)資源的方法，讓系統(tǒng)支持更多工作負(fù)載的能力。理想情況下，隨著系統(tǒng)資源的增加，系統(tǒng)處理工作負(fù)載的能力也應(yīng)等比例增加，但是從實(shí)際情況來看，實(shí)現(xiàn)近乎線性的伸縮性通常來說非常困難，這是由于部署在在各個系統(tǒng)中不同組件之間存在著必不可少的管理、協(xié)調(diào)和溝通，而這些工作同樣會帶來大量開銷。另外在很多情況，系統(tǒng)架構(gòu)的優(yōu)劣決定了對于硬件性能是否能夠充分發(fā)揮，好

9、的系統(tǒng)架構(gòu)應(yīng)該比較好的發(fā)揮出硬件性能，而不好的系統(tǒng)架構(gòu)會由于自身設(shè)計(jì)問題，導(dǎo)致無法發(fā)揮硬件性能。軟件可靠性是近年來越來越被業(yè)界所關(guān)注的性能測試領(lǐng)域。1983年美國IEEE 計(jì)算機(jī)學(xué)會對“軟件可靠性”作出了明確定義，此后該定義被美國標(biāo)準(zhǔn)化研究所接受為國家標(biāo)準(zhǔn)，1989年我國也接受該定義為國家標(biāo)準(zhǔn)。該定義包括兩方面的含義：（1）在規(guī)定的條件下，在規(guī)定的時間內(nèi)，軟件不引起系統(tǒng)失效的概率；（2）在規(guī)定的時間周期內(nèi)，在所述條件下程序執(zhí)行所要求的功能的能力；在我們在關(guān)注系統(tǒng)的伸縮性時，一定要同時關(guān)注可靠性。我們依舊用淘寶系統(tǒng)來做說明。淘寶在運(yùn)行之初，用于用戶數(shù)并沒有特別高，因此系統(tǒng)壓力不大，軟件運(yùn)行良好，

10、比較少出現(xiàn)系統(tǒng)無法使用或者失效的情況。但是當(dāng)用戶數(shù)不斷增加時，即系統(tǒng)的伸縮性開始接受考驗(yàn)時，系統(tǒng)提交單據(jù)超時的錯誤開始頻繁出現(xiàn)，意味著可靠性也同時出現(xiàn)下降。可靠性和伸縮性都是考慮在壓力增加的情況下的系統(tǒng)反應(yīng)情況，但是兩者存在區(qū)別。具有良好可靠性的系統(tǒng)是應(yīng)該是在不出現(xiàn)故障的情況下對不斷增加的工作負(fù)載進(jìn)行妥善處理的系統(tǒng)。此外，可靠系統(tǒng)不應(yīng)該隨著工作負(fù)載的增加而出現(xiàn)崩潰的情況，只允許出現(xiàn)系統(tǒng)性能的緩慢下降，即在系統(tǒng)伸縮性出現(xiàn)增加時，系統(tǒng)可以變慢，但不應(yīng)該出現(xiàn)崩潰。但是當(dāng)系統(tǒng)壓力足夠大時，任何系統(tǒng)都可能會出現(xiàn)崩潰?？煽啃愿叩南到y(tǒng)在此時需要能夠迅速恢復(fù)服務(wù)，并且保存崩潰之前的數(shù)據(jù)狀態(tài)，不應(yīng)該出現(xiàn)臟數(shù)據(jù)問題。完整系統(tǒng)的可靠性還可以體現(xiàn)在不同模塊中。例如淘寶系統(tǒng)中，商品查詢模塊的可靠性相對就比較低，因?yàn)榇蠹覍τ诓樵兘Y(jié)果出現(xiàn)錯誤的容忍度相對較高，出現(xiàn)錯誤時再做一次查詢即可。但是使用訂單支付等模塊，特別是和費(fèi)用相關(guān)的模塊時，客戶對于可靠性要求就非常高，這些模塊一旦出現(xiàn)可靠性問題時，客戶就會大大降低對于整個淘寶系統(tǒng)的信任度。因此淘寶系統(tǒng)架構(gòu)在設(shè)計(jì)時，就必須特別關(guān)注這些模塊的可靠性問題。 軟件性能測試的這三個性能特性是相互制約的，響應(yīng)性是系統(tǒng)的直觀外在表現(xiàn)，但是沒有伸縮性和可靠性保證的響應(yīng)