金融軟件性能測(cè)試的理論分析

1、 ·1進(jìn)入21世紀(jì)后,我國(guó)各家商業(yè)銀行相繼完成了數(shù)據(jù)的大集中工 程,部分商業(yè)銀行不僅完成了數(shù)據(jù)的物理集中同時(shí)也實(shí)現(xiàn)了數(shù)據(jù)的邏 輯集中,從而使商業(yè)銀行的IT風(fēng)險(xiǎn)管理、生產(chǎn)管理、數(shù)據(jù)管理、運(yùn)維 管理、研發(fā)管理、測(cè)試管理等諸多方面的IT管控能力得到進(jìn)一步的提 升,數(shù)據(jù)集中工程實(shí)現(xiàn)之后,各家商業(yè)銀行的IT體系布局也逐步形成 研發(fā)、測(cè)試、生產(chǎn)三足鼎立格局。在測(cè)試領(lǐng)域,由于數(shù)據(jù)集中之后面 臨著數(shù)據(jù)量的增長(zhǎng)、交易量的增長(zhǎng)和程序變更頻率加快等實(shí)際情況, 因而各家商業(yè)銀行已經(jīng)和正在面臨著應(yīng)用軟件投產(chǎn)后的容量和性能的 缺陷和瓶頸的困擾?；诮陙?lái)性能測(cè)試的實(shí)踐,筆者將從理論、流 程、方法、工具和技能5個(gè)

2、維度探討銀行應(yīng)用軟件的性能測(cè)試的實(shí)質(zhì) 和規(guī)律,旨在引起有關(guān)領(lǐng)導(dǎo)、專家和專業(yè)人員對(duì)該領(lǐng)域的方法論的足 夠重視,并對(duì)其共同進(jìn)行一些研究。一、軟件性能及性能測(cè)試目前,業(yè)界對(duì)軟件性能的定義主要有兩種觀點(diǎn)。第一種的觀點(diǎn) 是,軟件性能是軟件產(chǎn)品重要的質(zhì)量指標(biāo)之一,它描述軟件系統(tǒng)或者 組件對(duì)其及時(shí)性要求的符合程度,通常用及時(shí)性、吞吐量及可伸縮金融軟件性能測(cè)試的中國(guó)工商銀行股份有限公司數(shù)據(jù)中心(北京 林勇 霍嘉 侯志榮 理論分析 性來(lái)衡量。軟件性能是軟件產(chǎn)品的非功能特性之一,目 前各家商業(yè)銀行的軟件開(kāi)發(fā)部門(mén)提供的軟件需求說(shuō)明 書(shū)(或者其他單獨(dú)的文檔用專門(mén)的章節(jié)對(duì)軟件性能 需求加以明確,主要分為系統(tǒng)性能、安全性

3、和可靠性等 具體方面。第二種觀點(diǎn)是,軟件性能是軟件產(chǎn)品重要的 質(zhì)量指標(biāo)之一,它描述軟件系統(tǒng)或者組件提供及時(shí)服務(wù) 的能力,性能包括速度、吞吐量和持續(xù)高速性三方面的 要求。具體而言,速度往往通過(guò)平均響應(yīng)時(shí)間來(lái)度量, 吞吐量通過(guò)單位時(shí)間處理的交易數(shù)來(lái)度量,而持續(xù)高速 性是指保持高速處理速度的能力。以上兩種定義沒(méi)有本質(zhì)的區(qū)別,定義中描述的軟件 也完全適用于商業(yè)銀行的應(yīng)用軟件。對(duì)于金融軟件來(lái)講,站在不同的角度,對(duì)于軟件 性能的要求往往不同。作為業(yè)務(wù)人員,軟件性能往往意 味著業(yè)務(wù)請(qǐng)求響應(yīng)時(shí)間,這個(gè)響應(yīng)時(shí)間不僅僅是軟件的 響應(yīng)時(shí)間,還包括網(wǎng)絡(luò)的響應(yīng)時(shí)間(比如某應(yīng)用軟件系 統(tǒng)在版本測(cè)試過(guò)程中,由于分行網(wǎng)絡(luò)帶寬

4、限制,業(yè)務(wù)人 員大都反應(yīng)系統(tǒng)速度太慢,實(shí)際上系統(tǒng)性能問(wèn)題并不明 顯,甚至還要包括業(yè)務(wù)人員的操作時(shí)間。作為系統(tǒng)管 理員(或者應(yīng)用維護(hù)人員,通常通過(guò)計(jì)算機(jī)系統(tǒng)的性 能指標(biāo),比如CPU利用率、內(nèi)存使用率、用戶并發(fā)請(qǐng) 求數(shù)等技術(shù)指標(biāo)來(lái)衡量。作為軟件開(kāi)發(fā)人員,則可能把 架構(gòu)設(shè)計(jì)復(fù)雜度、內(nèi)存使用方式、資源競(jìng)爭(zhēng)等指標(biāo)作為 軟件性能的重要指標(biāo)。軟件性能評(píng)價(jià)的不同“用戶視 角”,是軟件性能測(cè)試工程師不能忽略的因素。軟件性能測(cè)試既可以作為軟件測(cè)試過(guò)程中的一項(xiàng)內(nèi) 容,也可以作為軟件專項(xiàng)測(cè)試單獨(dú)實(shí)施。軟件性能測(cè)試 是軟件非功能測(cè)試工作中的重要內(nèi)容,既遵循軟件測(cè)試 的一般規(guī)律,也有其特殊性,往往以基礎(chǔ)的功能測(cè)試完 成為

5、前提。對(duì)一個(gè)系統(tǒng)而言,軟件性能測(cè)試包括執(zhí)行效 率、資源占用、穩(wěn)定性、安全性、兼容性、可擴(kuò)展性、 可靠性等。軟件性能測(cè)試用來(lái)保障產(chǎn)品發(fā)布后系統(tǒng)的性 能和容量滿足用戶的需求,性能測(cè)試在軟件質(zhì)量保障中 起著重要作用。軟件性能測(cè)試還可以分為負(fù)載測(cè)試、壓 力測(cè)試、配置測(cè)試、破壞性測(cè)試、可靠性、容量測(cè)試等 多項(xiàng)具體的內(nèi)容,其主要區(qū)別是測(cè)試目標(biāo)和測(cè)試手段有 所差異。壓力測(cè)試是軟件性能測(cè)試的主要形式和基礎(chǔ)。 在不同的應(yīng)用領(lǐng)域開(kāi)展性能測(cè)試工作,工作的目 標(biāo)與工作過(guò)程會(huì)有所不同,一般包括三個(gè)方面的應(yīng)用領(lǐng) 域。一是軟件版本(包括了多個(gè)項(xiàng)目集中打包的綜合版 本或者應(yīng)用版本投產(chǎn)的生產(chǎn)補(bǔ)丁的性能測(cè)試,其目標(biāo) 主要是發(fā)現(xiàn)應(yīng)

6、用軟件在性能和效率上的缺陷,或者證明 應(yīng)用軟件無(wú)性能和效率上的缺陷,從而測(cè)算應(yīng)用軟件版 本投產(chǎn)后生產(chǎn)系統(tǒng)的性能和容量變化情況,同時(shí)也為生 產(chǎn)系統(tǒng)的性能、容量的評(píng)估和規(guī)劃提供以測(cè)試數(shù)據(jù)為事 實(shí)的依據(jù)證明,如主機(jī)(Mainframe聯(lián)機(jī)綜合壓力測(cè) 試、主機(jī)批量壓力測(cè)試、集中式平臺(tái)應(yīng)用的聯(lián)機(jī)壓力測(cè) 試。二是應(yīng)用軟件的性能和效率問(wèn)題診斷,例如可靠 性、破壞性測(cè)試。三是系統(tǒng)性能優(yōu)化調(diào)整,其目的在于 證明系統(tǒng)性能在當(dāng)前環(huán)境下的性能優(yōu)越性,如應(yīng)用軟件 版本的安裝、投產(chǎn)演練,壓力測(cè)試中某些參數(shù)的調(diào)整對(duì) 性能的提升等。面向問(wèn)題診斷的性能測(cè)試工作,其目標(biāo)主要在于通 過(guò)壓力測(cè)試,發(fā)現(xiàn)性能問(wèn)題的瓶頸所在,往往與研究問(wèn)

7、 題解決方案相結(jié)合,其工作特點(diǎn)具有試探性,不帶確定 目標(biāo),測(cè)試場(chǎng)景應(yīng)該在實(shí)施過(guò)程中不斷變化。面向性能優(yōu)化調(diào)整的壓力測(cè)試工作,主要目標(biāo)在于 通過(guò)性能測(cè)試確認(rèn)優(yōu)化方案具有實(shí)際的改進(jìn)意義。其工 作方式主要是比較,在優(yōu)化前后的性能測(cè)試工作中,基 于同樣的環(huán)境,使用同樣的測(cè)試場(chǎng)景,比較前后的性能 指標(biāo),至少需要實(shí)施兩輪或者兩輪以上場(chǎng)景的性能測(cè)試 及比較。無(wú)論何種性能測(cè)試,其基本的實(shí)施過(guò)程大致相同, 只是在某些具體環(huán)境上有所側(cè)重、有所調(diào)整。本文闡述的軟件測(cè)試原理和方法主要針對(duì)基本的實(shí) 施過(guò)程,在不同應(yīng)用領(lǐng)域開(kāi)展實(shí)際工作時(shí),可作適當(dāng)精 簡(jiǎn)或者補(bǔ)充。需要指出的是,性能測(cè)試實(shí)際上也包括了疲勞及可 靠性等因素,例

8、如,性能(壓力測(cè)試在一定的負(fù)載狀 態(tài)下持續(xù)一定的時(shí)間,就是一個(gè)典型的考量應(yīng)用軟件的79 FINANCIAL COMPUTER OF CHINA 2009·1 ·1疲勞強(qiáng)度的方法。由上所述,我們可以將性能測(cè)試的目的描述為以下 幾點(diǎn)。對(duì)待測(cè)試項(xiàng)目通過(guò)一系列的測(cè)試活動(dòng)證明其不 存在性能缺陷,投產(chǎn)后該項(xiàng)目在性能上是易用、可靠和 優(yōu)異的;找到其性能上的瓶頸所在;在當(dāng)前的應(yīng)用 軟件性能表現(xiàn)情況下,根據(jù)銀行業(yè)務(wù)發(fā)展的趨勢(shì)為生產(chǎn) 環(huán)境的設(shè)備和容量管理及設(shè)備擴(kuò)容提供依據(jù)。例如,某 銀行的××應(yīng)用系統(tǒng)生產(chǎn)環(huán)境下已經(jīng)達(dá)到12臺(tái)(套, 性能測(cè)試的目標(biāo)將緊密圍繞以下內(nèi)容:在開(kāi)發(fā)團(tuán)

9、隊(duì)交付 軟件版本的基礎(chǔ)上,性能測(cè)試證明了開(kāi)發(fā)團(tuán)隊(duì)交付的應(yīng) 用軟件無(wú)典型的性能缺陷;或者找到了開(kāi)發(fā)團(tuán)隊(duì)交付版 本的性能缺陷。此外,在測(cè)試環(huán)境下根據(jù)生產(chǎn)場(chǎng)景下的 主要交易特征發(fā)現(xiàn)單套××系統(tǒng)在CPU和內(nèi)存負(fù)荷在 50%的情況下,以及單套××系統(tǒng)的處理能力在1200個(gè)并 發(fā)交易請(qǐng)求情況下,其交易時(shí)間和交易成功率仍然是在 合理的范圍內(nèi);或者單套××系統(tǒng)在500個(gè)并發(fā)交易請(qǐng)求 的情況下,交易時(shí)間和成功率仍然在合理的范圍內(nèi),生 產(chǎn)單位則可以根據(jù)該性能和容量基線進(jìn)行合理的設(shè)備擴(kuò) 容。二、性能測(cè)試的基本術(shù)語(yǔ)及度量指標(biāo)軟件性能可以用好、中和差來(lái)定性描述

10、,但沒(méi)有明 確的標(biāo)準(zhǔn)。面對(duì)不同的用戶,定性描述得出的結(jié)果往往 并不一致。隨著對(duì)軟件性能的要求越來(lái)越高,軟件性能 評(píng)價(jià)通常必須進(jìn)行量化計(jì)量,基于專業(yè)的度量指標(biāo)進(jìn)行 分析,然后得出結(jié)論。因此,從這個(gè)角度出發(fā),性能測(cè) 試的過(guò)程,也是一個(gè)性能數(shù)據(jù)采集與數(shù)據(jù)分析的過(guò)程。 軟件性能的度量指標(biāo)包括以下具體內(nèi)容。(1響應(yīng)時(shí)間(Response Time。是指用戶發(fā)出請(qǐng) 求到得到最終結(jié)果的時(shí)間。以開(kāi)放平臺(tái)典型的B/S應(yīng)用為 例,系統(tǒng)響應(yīng)時(shí)間包括系統(tǒng)處理時(shí)間(Web服務(wù)器處理 時(shí)間+應(yīng)用服務(wù)器處理時(shí)間+數(shù)據(jù)庫(kù)服務(wù)器處理時(shí)間以 及網(wǎng)絡(luò)傳輸時(shí)間(Web服務(wù)器與應(yīng)用服務(wù)器之間及應(yīng)用 服務(wù)器與數(shù)據(jù)庫(kù)服務(wù)器之間。(2平均響

11、應(yīng)時(shí)間(Average Response Time。壓力測(cè)試往往需要模擬多個(gè)用戶,每個(gè)用戶執(zhí)行多次業(yè)務(wù) 操作。由于性能表現(xiàn)具有一定的隨機(jī)性,系統(tǒng)性能也表 現(xiàn)出統(tǒng)計(jì)學(xué)特征,每個(gè)用戶每次的響應(yīng)時(shí)間往往并不相 同,計(jì)算全部用戶全部請(qǐng)求的平均響應(yīng)時(shí)間是評(píng)價(jià)系統(tǒng) 性能的通用方法。(3并發(fā)用戶(Concurrent Users。并發(fā)用戶是 衡量系統(tǒng)并發(fā)處理能力的一個(gè)重要指標(biāo),是指同時(shí)對(duì) 系統(tǒng)發(fā)出請(qǐng)求、施加壓力的用戶數(shù)量。一般并發(fā)用戶 往往是針對(duì)交易或事務(wù)而言的,通常并發(fā)用戶用TPS (Transactions Per Second指標(biāo)來(lái)度量即每秒處理事 務(wù)的數(shù)量。對(duì)主機(jī)系統(tǒng)或者從CICS的角度來(lái)看,系統(tǒng)管

12、 理人員一般稱之為交易率。(4吞吐量(Throughout。吞吐量是指“單位時(shí)間 內(nèi)系統(tǒng)處理的事務(wù)請(qǐng)求數(shù)量”,直接體現(xiàn)系統(tǒng)的性能承 載能力。需要注意的是,事務(wù)請(qǐng)求數(shù)量可以在測(cè)試場(chǎng)景 中自行定義;在本文或者后續(xù)文章中采用計(jì)算機(jī)應(yīng)用軟 件在高峰期TPS下的持續(xù)30分鐘或者60分鐘的處理能力來(lái) 度量。(5性能計(jì)數(shù)器(Performance Counter。性能計(jì)數(shù)器是從系統(tǒng)管理員的視角出發(fā)的一種性能度量指標(biāo),比 如CPU使用率、內(nèi)存PI/PO數(shù)據(jù)和I/O速率等。81FINANCIAL COMPUTER OF CHINA 2009·1 欄目編輯:李勇 liyong吞吐量響應(yīng)時(shí)間成功率并發(fā)用戶

13、 圖1 性能測(cè)試指標(biāo)三要素(6效率計(jì)數(shù)器(Performance Effective。效率 計(jì)數(shù)器是從系統(tǒng)管理員的視角出發(fā)的另一種性能度量指 標(biāo),例如數(shù)據(jù)移行的時(shí)間是否滿足生產(chǎn)需要等。(7成功率(Success Rate。指在一定并發(fā)用戶的 情況下計(jì)算機(jī)應(yīng)用軟件處理交易請(qǐng)求的成功處理的交易 占比的度量指標(biāo)。(8性能測(cè)試指標(biāo)三要素。在吞吐量相同的情況下 識(shí)別分析并發(fā)用戶、響應(yīng)時(shí)間、成功率。因此,并發(fā)用 戶、響應(yīng)時(shí)間、成功率是度量一個(gè)應(yīng)用軟件項(xiàng)目性能指 標(biāo)的三重約束指標(biāo)(如圖1所示。并發(fā)用戶的提高可能影響響應(yīng)時(shí)間和成功率,響應(yīng) 時(shí)間的變快可能影響并發(fā)用戶和成功率,成功率的下降 可能影響并發(fā)用戶和響

14、應(yīng)時(shí)間。例如,響應(yīng)時(shí)間提高了,需要考慮交易路徑是否完 整;并發(fā)用戶提高是不是在合理的響應(yīng)時(shí)間內(nèi)完成并達(dá) 到預(yù)期的成功率;成功率的下降是否意味著該并發(fā)用戶 和響應(yīng)時(shí)間在當(dāng)前的情況下出現(xiàn)計(jì)算機(jī)應(yīng)用軟件的性能 瓶頸或者拐點(diǎn)。結(jié)合業(yè)界對(duì)軟件性能的指標(biāo),通常金融軟件系統(tǒng)的 聯(lián)機(jī)性能指標(biāo)也包括交易并發(fā)數(shù)、響應(yīng)時(shí)間、平均響應(yīng) 時(shí)間、I/O速率等基本的度量指標(biāo),但是對(duì)于不同類型的 性能測(cè)試其指標(biāo)應(yīng)結(jié)合項(xiàng)目特征而有所調(diào)整。上述性能度量指標(biāo)在壓力測(cè)試的數(shù)據(jù)采集與分析中 必不可少,但是如何運(yùn)用這些指標(biāo)來(lái)分析系統(tǒng)的性能, 尤其是識(shí)別“性能瓶頸”是一個(gè)比較專業(yè)的課題。比如 在在一次××系統(tǒng)的壓力測(cè)試

15、過(guò)程中,發(fā)現(xiàn)無(wú)論如何增 加并發(fā)用戶數(shù)量,“用戶登錄”的平均響應(yīng)時(shí)間是25秒左右,如果把提高響應(yīng)時(shí)間作為性能的目標(biāo)而去修改應(yīng) 用程序,實(shí)際上并不能達(dá)到目標(biāo)。此時(shí)檢查應(yīng)用服務(wù)器 的性能計(jì)數(shù)器,卻發(fā)現(xiàn)CPU有較大空閑。由此可見(jiàn)實(shí)際 上是并發(fā)用戶并沒(méi)有給應(yīng)用服務(wù)器產(chǎn)生壓力,在CPU 空閑率性能計(jì)數(shù)器的指引下,很快發(fā)現(xiàn)了網(wǎng)卡的問(wèn)題, 問(wèn)題迎刃而解。針對(duì)性能分析方法,業(yè)界也有專門(mén)的研 究。性能測(cè)試往往會(huì)談及“腳本”的概念,業(yè)界對(duì)腳本 的描述和理解非常廣泛,本文的腳本是指模擬應(yīng)用軟件 利用LoadRunner進(jìn)行壓測(cè)的交易軟件,腳本的組成包括 軟件實(shí)體和數(shù)據(jù)實(shí)體。三、性能測(cè)試的分類綜上所述,我們結(jié)合應(yīng)用軟件及應(yīng)用軟件運(yùn)行的 實(shí)體,性能測(cè)試在金融IT環(huán)境下可以定義為,在模擬生產(chǎn)的測(cè)試環(huán)境下,整合應(yīng)用軟件版本的硬件、外設(shè)、軟 件、數(shù)據(jù)、容量等要素,以模擬軟件運(yùn)行投產(chǎn)的過(guò)程所 進(jìn)行的一組驗(yàn)證活動(dòng)。對(duì)應(yīng)用軟件版本或方案的安裝、遷移、運(yùn)行、性能、容量、可操作性所做的一系列核實(shí) 和測(cè)試后動(dòng)。同時(shí)結(jié)合業(yè)界的一般理論,我們將應(yīng)用軟