測(cè)試方法論及測(cè)試流程-王瑀

測(cè)試流程及測(cè)試方法測(cè)試的基本流程我想大家已經(jīng)有了一定的認(rèn)識(shí)， 本文檔就不再贅余了，我主要講一下在測(cè)試流程的每個(gè)階段大家該做什么，如何去做以及需要注意的問(wèn)題。測(cè)試流程1.1測(cè)試需求階段測(cè)試需求階段會(huì)對(duì)客戶提出的性能要求進(jìn)行調(diào)研，對(duì)確立后的需求進(jìn)行分析，結(jié)合企業(yè)的實(shí)際情況，制定合理的測(cè)試標(biāo)準(zhǔn)，從而產(chǎn)生測(cè)試需求。以性能測(cè)試方案的形式呈現(xiàn)。我們?cè)跍y(cè)試階段需首先要做的是根據(jù)客戶給出的需求調(diào)查表熟悉被測(cè)系統(tǒng)的初步情況，然后與提出方溝通確認(rèn)具體的測(cè)試需求，與客戶溝通需求是要注意以下幾點(diǎn)：1、測(cè)試時(shí)間的考量。2、交易的數(shù)據(jù)流轉(zhuǎn)情況，交易的渠道、協(xié)議類型。3、測(cè)試的關(guān)注點(diǎn)。4、人員的配合（出現(xiàn)問(wèn)題是找誰(shuí)解決）。5、數(shù)據(jù)的準(zhǔn)備（數(shù)據(jù)由誰(shuí)來(lái)準(zhǔn)備）。6、監(jiān)控對(duì)象的選擇。根據(jù)測(cè)試需求提出測(cè)試方案。1.2 測(cè)試設(shè)計(jì)階段測(cè)試設(shè)計(jì)階段是對(duì)測(cè)試需求分析后，結(jié)合企業(yè)的業(yè)務(wù)模型，建立測(cè)試模型，規(guī)劃測(cè)試項(xiàng)目的計(jì)劃，根據(jù)待測(cè)系統(tǒng)的特性，確定多個(gè)測(cè)試場(chǎng)景，對(duì)整個(gè)測(cè)試策略進(jìn)行詳細(xì)的描述。有效的組織標(biāo)準(zhǔn)化的測(cè)試過(guò)程。根據(jù)測(cè)試需求設(shè)計(jì)相應(yīng)的測(cè)試策略，例如，負(fù)載測(cè)試、壓力測(cè)試、穩(wěn)定性測(cè)試、容量測(cè)試等。（具體操作見(jiàn)第 2章測(cè)試場(chǎng)景策略的選擇）這里需要注意的是，設(shè)計(jì)的場(chǎng)景要符合測(cè)試需求，測(cè)試計(jì)劃不要因客戶催的急而時(shí)間減短，從而影響質(zhì)量。1.3 測(cè)試開(kāi)發(fā)階段測(cè)試開(kāi)發(fā)階段根據(jù)測(cè)試的實(shí)施計(jì)劃，進(jìn)行測(cè)試環(huán)境、測(cè)試數(shù)據(jù)的準(zhǔn)備，開(kāi)發(fā)測(cè)試腳本，進(jìn)行系統(tǒng)監(jiān)控的配置。這里需要注意的是數(shù)據(jù)問(wèn)題，要保證測(cè)試數(shù)據(jù)不會(huì)對(duì)測(cè)試造成嚴(yán)重的影響。要提前與測(cè)試提出者溝通數(shù)據(jù)問(wèn)題，包括 鋪底數(shù)據(jù)及測(cè)試數(shù)據(jù)。1.4 測(cè)試執(zhí)行及監(jiān)控階段這一階段是獲得所測(cè)系統(tǒng)性能指標(biāo)數(shù)據(jù)的階段， 在執(zhí)行場(chǎng)景的過(guò)程中對(duì)系統(tǒng)性能進(jìn)行監(jiān)控，并且在逐步的測(cè)試過(guò)程中發(fā)現(xiàn)系統(tǒng)的性能瓶頸，為系統(tǒng)的調(diào)優(yōu)提供依據(jù)，同時(shí)在一定程度上提高了用戶的滿意度 .在測(cè)試過(guò)程中，主機(jī)資源的監(jiān)控使用 nmon、topas、vmstat，這里的nmon可以生成.nmon文件，topas可以進(jìn)行實(shí)時(shí)監(jiān)控然后截圖， vmstat可以追加到一個(gè)文件中也可以實(shí)時(shí)監(jiān)控。數(shù)據(jù)庫(kù)的監(jiān)控使用 Statpack、AWR,這里的AWR只能在10G以上才可以用。還有每個(gè)小組自身的一些監(jiān)控命令，進(jìn)行截圖即可。這里需要注意的是，監(jiān)控過(guò)程不要遺漏，否則測(cè)試白做。1.5 測(cè)試總結(jié)階段本階段是對(duì)整個(gè)測(cè)試過(guò)程進(jìn)行總結(jié)，給出風(fēng)險(xiǎn)提示及規(guī)避意見(jiàn)，對(duì)測(cè)試過(guò)程中的產(chǎn)物進(jìn)行歸檔，便于提高企業(yè)對(duì)性能測(cè)試的管理能力，更有效的保證被測(cè)系統(tǒng)的質(zhì)量。在本階段要將測(cè)試的資產(chǎn)歸檔，包括測(cè)試腳本、測(cè)試場(chǎng)景、測(cè)試結(jié)果、測(cè)試方案、測(cè)試報(bào)告等，并且這些資產(chǎn)必須要符合文檔規(guī)范，其中測(cè)試腳本測(cè)試場(chǎng)景、測(cè)試結(jié)果的命名規(guī)范詳見(jiàn)《華夏銀行測(cè)試腳本規(guī)范》 ，測(cè)試方案、測(cè)試報(bào)告按照方案及報(bào)告的模板書(shū)寫。測(cè)試方法論2.1測(cè)試場(chǎng)景策略的選擇1、基準(zhǔn)測(cè)試：驗(yàn)證環(huán)境、腳本和資料準(zhǔn)備情況，并獲得每個(gè)典型交易的單用戶響應(yīng)時(shí)間2、負(fù)載測(cè)試：負(fù)載測(cè)試是一種性能測(cè)試指數(shù)據(jù)在超負(fù)荷環(huán)境中運(yùn)行，程序是否能夠承擔(dān)。負(fù)載測(cè)試強(qiáng)調(diào)的是系統(tǒng)能夠達(dá)到的峰值指標(biāo)）、單交易負(fù)載測(cè)試：?jiǎn)沃唤灰椎倪\(yùn)行情況，單只交易在并發(fā)的情況下會(huì)系統(tǒng)會(huì)出現(xiàn)什么狀態(tài)。）、混合負(fù)載測(cè)試：混合交易在一定測(cè)試指標(biāo)下，測(cè)試系統(tǒng)所表現(xiàn)的狀態(tài)。3、壓力測(cè)試：壓力測(cè)試強(qiáng)調(diào)的是系統(tǒng)能夠正常工作時(shí)的最大壓力是多少，即在極端情況下系統(tǒng)的情況。4、容量測(cè)試：容量測(cè)試的目的是通過(guò)測(cè)試預(yù)先分析出反映軟件系統(tǒng)應(yīng)用特征的某項(xiàng)指標(biāo)的極限值（如最大并發(fā)用戶數(shù)、數(shù)據(jù)庫(kù)記錄數(shù)等），系統(tǒng)在其極限狀態(tài)下沒(méi)有出現(xiàn)任何軟件故障或還能保持主要功能正常運(yùn)行。容量測(cè)試還將確定測(cè)試對(duì)象在給定時(shí)間內(nèi)能夠持續(xù)處理的最大負(fù)載或工作量5、穩(wěn)定性測(cè)試：獲得系統(tǒng)長(zhǎng)時(shí)間不間斷運(yùn)行在正常負(fù)載下的處理能力。（一般模擬一個(gè)/半個(gè)工作日時(shí)間（即 4小時(shí)/8小時(shí)）2.2 測(cè)試場(chǎng)景的設(shè)置根據(jù)總目標(biāo)TPS、交易占比計(jì)算出 Pacing1、單只交易的目標(biāo) TPS=總目標(biāo)TPS*交易占比2、Vu=單只交易的目標(biāo)TPS*基準(zhǔn)響應(yīng)時(shí)間3、VU取整4、Pacing=取整后的VU/單只交易的目標(biāo) TPS5、在場(chǎng)景中設(shè)置 Pacing是最好采用上下浮動(dòng) 20%的取值方法。具體操作方法基準(zhǔn)測(cè)試：?jiǎn)沃荒_本迭代 100次，設(shè)置Pacing為Assoonasthepreviousiterationends ，設(shè)置thinktime 為1s，設(shè)置vu數(shù)為1。單交易負(fù)載測(cè)試：?jiǎn)沃唤灰椎?次，根據(jù)目標(biāo)TPS及基準(zhǔn)響應(yīng)時(shí)間設(shè)置Pacing及VU的值，如果計(jì)算后Pacing很大，超過(guò)響應(yīng)時(shí)間的目標(biāo)范圍，此時(shí)我們根據(jù)目標(biāo)響應(yīng)時(shí)間的最小值及目標(biāo)TPS計(jì)算出vu，如果沒(méi)有給出目標(biāo)響應(yīng)時(shí)間，我們采取設(shè)置Pacing為基準(zhǔn)響應(yīng)時(shí)間上下浮動(dòng)20%。在測(cè)試過(guò)程中如果沒(méi)有達(dá)到目標(biāo)TPS，我們要相應(yīng)的增加VU數(shù)，將vu*，如果仍然達(dá)不到目標(biāo)，將vu*2?；旌县?fù)載測(cè)試：混合交易根據(jù)目標(biāo)TPS及基準(zhǔn)響應(yīng)時(shí)間設(shè)置Pacing的值，結(jié)合計(jì)算后的VU數(shù)及單交易負(fù)載的結(jié)果設(shè)置混合場(chǎng)景的VU數(shù)，如果整體達(dá)不到目標(biāo)TPS，我們要查看一下那只交易沒(méi)有達(dá)到目標(biāo)，然后增加此交易的VU數(shù)，進(jìn)行微調(diào)。如果加大用戶后仍然達(dá)不到目標(biāo)，我們要查看此時(shí)的響應(yīng)時(shí)間是否已經(jīng)很大，主機(jī)資源是否出現(xiàn)瓶頸，TPS是否出現(xiàn)拐點(diǎn)等。穩(wěn)定性測(cè)試：混合交易根據(jù)目標(biāo) TPS設(shè)置Pacing及vu的值，是在一定壓力下看系統(tǒng)能否高效的運(yùn)作。容量測(cè)試： 將現(xiàn)有的交易量擴(kuò)大 3-5倍，相應(yīng)的TPS增加3-5倍，我們根據(jù)增大后的目標(biāo) TPS計(jì)算出Pacing及vu的值。壓力測(cè)試： 在100%虛擬用戶數(shù)按交易比例執(zhí)行測(cè)試期間，不斷增加虛擬用戶數(shù)，直到測(cè)試指標(biāo)不被滿足，找出系統(tǒng)的最大承受能力。2.3 測(cè)試資源的監(jiān)控2.3.1 應(yīng)用系統(tǒng)的監(jiān)控主機(jī)資源的監(jiān)控主要采用 NMON進(jìn)行監(jiān)控，監(jiān)控時(shí)間要比場(chǎng)景運(yùn)行時(shí)間長(zhǎng)，主要考察場(chǎng)景執(zhí)行前后主機(jī)資源的情況， 場(chǎng)景執(zhí)行前監(jiān)控10分鐘，場(chǎng)景執(zhí)行后再繼續(xù)監(jiān)控 15分鐘。主機(jī)性能監(jiān)測(cè).ppt2.3.2 數(shù)據(jù)庫(kù)系統(tǒng)監(jiān)控?cái)?shù)據(jù)庫(kù)監(jiān)控主要采用 Statspack進(jìn)行監(jiān)控，如果數(shù)據(jù)庫(kù)是 10G以上要采用AWR進(jìn)行監(jiān)控，如果數(shù)據(jù)庫(kù)與應(yīng)用不再同一臺(tái)服務(wù)器上，我們?cè)诒O(jiān)控?cái)?shù)據(jù)庫(kù)的同時(shí)還要監(jiān)控?cái)?shù)據(jù)庫(kù)所在主機(jī)的資源情況。ORACLE-STATSPACK報(bào)告解析.doc2.4 測(cè)試報(bào)告的編寫1、 書(shū)寫規(guī)范1）、全文標(biāo)題是宋體四號(hào)加粗2）、全文正文是宋體小四3）、表格內(nèi)容是宋體五號(hào)2、內(nèi)容規(guī)范）、將測(cè)試目的寫的簡(jiǎn)明扼要，要有針對(duì)性；）、注意檢查文字，不要出現(xiàn)多字漏字以及錯(cuò)別字；）、服務(wù)器資源截圖要包含模板中的6方面，如果項(xiàng)目需要，可以另加其他的資源監(jiān)控截圖，在截圖或表格后要有必要的文字說(shuō)明