性能測試用例

性能測試用例從2004年8月底至2004年10月中，本人在北方 L省的一個全省集中的交換網(wǎng)管項目中負責(zé)該項目的性能測試工作。該性能測試歷時 1個半月多，投入了 3.6人月，占總的項目測試投入的17,。性能測試共進行了三輪，測試實現(xiàn)了預(yù)期的目標(biāo)，測試過程中共發(fā)現(xiàn)影響性能的2級缺陷5個，三級缺陷8個，其中有一個缺陷導(dǎo)致了架構(gòu)的部分變更。缺陷修改完成后，整個系統(tǒng)的采集效率提升了 60,，告警入庫效率提升了 20,，應(yīng)用的修改也使得系統(tǒng)具有了更強的穩(wěn)定性。從測試的結(jié)果來說，本次測試取得了比較滿意的效果，在測試過程中，本人也有一些心得和體會，因此，通過這篇文章記錄本次性能測試的過程，希望能和各位同仁進行性能測試的更加深入的交流。背景本人參與的項目是一個全省大集中的交換網(wǎng)管項目，該項目使用的所有服務(wù)器(數(shù)據(jù)庫服務(wù)器、應(yīng)用服務(wù)器、采集服務(wù)器、認證服務(wù)器、 WEB服務(wù)器)均部署在省中心機房，所有的數(shù)據(jù)采集和處理都在省中心完成，地市通過反拉終端通過 WEB和Socket方式訪問省中心的服務(wù)器。考慮全省的需要，在整個系統(tǒng)上線后，總的用戶數(shù)應(yīng)該在1500左右。圖1是本項目的結(jié)構(gòu)示意圖。在我們這個系統(tǒng)之前，L省的交換網(wǎng)管采用的是本地網(wǎng)管理方式，也就是每個地市都有自己的本地網(wǎng)網(wǎng)管系統(tǒng)，對省中心提供的數(shù)據(jù)僅僅是定期的報表。采用分散的本地網(wǎng)網(wǎng)管形式，每個本地網(wǎng)系統(tǒng)僅需要支持少量本地用戶的訪問，因此在性能方面沒有過多的考慮，也沒有進行過性能方面的測試。我們?yōu)長省提供的新的解決方案是全省大集中的統(tǒng)一交換網(wǎng)管，一方面所有的用戶都通過統(tǒng)一的平臺對系統(tǒng)數(shù)據(jù)進行訪問，另一方面，系統(tǒng)通過已有的 DCN網(wǎng)絡(luò)對分布在地市的網(wǎng)元進行采集。考慮到用戶數(shù)據(jù)訪問地集中、集中帶來的數(shù)據(jù)訪問需求的增加(在以前的老系統(tǒng)上，省中心只能通過地市定期的上報報表獲知地市運行情況，但在新系統(tǒng)中，省中心要求可以隨時從任一位置獲取系統(tǒng)數(shù)據(jù) )、對網(wǎng)元采集的統(tǒng)一，新系統(tǒng)需要承受的壓力要遠遠大于老系統(tǒng)現(xiàn)有壓力的疊加。因此，十分有必要根據(jù)目前的情況，對整個系統(tǒng)進行一次較為全面的性能測試。我們的系統(tǒng)采用 Oracle數(shù)據(jù)庫，IBMMQ消息平臺，采用的開發(fā)工具包括VS.NET、Perl、HPaCC和HPTemip平臺。整個系統(tǒng)由 6個Unix應(yīng)用模塊、8個PC應(yīng)用模塊和三個 WEB項目構(gòu)成。本次性能測試進入的條件是項目代碼已經(jīng)基本完成并經(jīng)過集成測試， 1、2級遺留BUG數(shù)為0，3級遺留BUG數(shù)不超過5個。說明:對于這樣一個集中式的系統(tǒng)， DCN網(wǎng)絡(luò)性能其實也應(yīng)該是一個被重點考慮的對象，但根據(jù) L省以前類似項目經(jīng)驗，目前的 DCN網(wǎng)絡(luò)足夠支撐當(dāng)前應(yīng)用的運行，也就是說，在性能測試過程中不需要考慮由于 DCN網(wǎng)絡(luò)原因造成的數(shù)據(jù)丟失和應(yīng)用程序異常的情況。測試計劃在初步確定了性能測試的要點后，我們就可以依據(jù)更具體的要求來制定性能測試計劃了，一般來說，性能測試計劃需要與客戶進行良好的溝通，測試目標(biāo)、終止準(zhǔn)則、策略、測試資源配備都需要和客戶經(jīng)過溝通才能最終確定下來。實際操作中，建議至少召開一次正式會議，會議形成的結(jié)論要用會議紀(jì)要的方式確定下來，對最終確定的測試計劃需要客戶的簽字認可。一份測試計劃至少需要包括測試對象、測試目標(biāo)、測試策略、測試終止準(zhǔn)則、測試環(huán)境與測試工具、測試資源配置(人員與時間)幾個方面的內(nèi)容，本文不打算羅列出項目測試計劃中的所有內(nèi)容，只就主要問題進行說明。測試對象自然是本集中交換網(wǎng)管系統(tǒng)的性能 ;測試目標(biāo)在上文已經(jīng)提到，需要和用戶溝通，得到用戶的認可。制定合理的測試目標(biāo)并不容易，尤其是受限于現(xiàn)有項目文檔的詳細程序，單靠文檔描述很難制定出合理的測試目標(biāo)，在本項目的測試中，我們結(jié)合了文檔描述、用戶要求和個人經(jīng)驗，經(jīng)過和用戶的討論，才最終確定了測試目標(biāo)。根據(jù)項目要求，我們對測試總體目標(biāo)定義為“驗證系統(tǒng)的總體處理能力”，對于系統(tǒng)的擴展性，不作為本次測試的目標(biāo)。測試結(jié)論要求給出系統(tǒng)能否達到設(shè)計性能、系統(tǒng)性能瓶頸所在。其中，“系統(tǒng)能夠達到設(shè)計性能”是本次測試的最關(guān)注內(nèi)容?！跋到y(tǒng)能夠滿足設(shè)計性能”的目標(biāo)達成需要明確定義性能應(yīng)該達到的指標(biāo)。鑒于該部分的工作比較重要，以下將本次測試中的應(yīng)達到性能指標(biāo)確定過程詳細給出(當(dāng)然，下文的例子中并沒有包含全部的數(shù)據(jù) )，希望能給需要的同仁一點幫助。需求和設(shè)計階段確定的性能相關(guān)指標(biāo)是性能測試需要確定的性能指標(biāo)的首要來源，對我們的這個系統(tǒng)而言，在需求文檔中確定的指標(biāo)有三個 :1、“能在一小時完成話務(wù)報告的采集，在 5分鐘內(nèi)完成報表的生成” ;2、“具有600網(wǎng)元的告警和話務(wù)處理能力” ;3、“告警要求在5秒內(nèi)呈現(xiàn)”;在設(shè)計文檔中，對于告警處理能力有更詳細的指標(biāo)定義

:1、“能處理平均每秒

200次的告警”

;2、“能處理峰值為每秒

600次的告警”

;針對這兩份文檔中的描述，我們至少可以確定我們需要針對以下兩種情況進行測試:1、針對600個網(wǎng)元話務(wù)報告的采集和處理進行測試，采集過程要求在一小時完成;報表生成需要在

5分鐘內(nèi)完成

;2、針對

600個網(wǎng)元的告警處理能力進行測試，在告警產(chǎn)生的均值為

200次/秒，峰值產(chǎn)生為600次/秒的情況下，告警從產(chǎn)生到呈現(xiàn)的時間間隔不超過5秒;粗看起來，這兩個指標(biāo)的定義已經(jīng)很詳細了，但仔細考究，其實這樣的描述還是遠遠不夠的，例如，對第一個指標(biāo)，話務(wù)周期(多長時間產(chǎn)生一次數(shù)據(jù))必須要指明，因為 5分鐘的話務(wù)周期和 1小時的話務(wù)周期在處理速度上是有很大差別的;對第二個指標(biāo)，必須說明在多少呈現(xiàn)告警客戶端的條件下，因為多個告警客戶端和單個告警客戶端在性能上肯定會有不同。除了從文檔中獲取的指標(biāo)外，直接從用戶處獲取的指標(biāo)也很重要，例如，在可客戶的溝通中就發(fā)現(xiàn)，客戶對于實時性能數(shù)據(jù)的呈現(xiàn)時間也非常關(guān)注，但在需求中并未提到該需求，當(dāng)然，通過和客戶直接溝通獲取的指標(biāo)必須經(jīng)過變更控制，在文檔中變更體現(xiàn)后才能被正式納入測試目標(biāo)。還有一個指標(biāo)的來源就是個人經(jīng)驗了，作為一門實踐性的學(xué)科，個人經(jīng)驗在測試中發(fā)揮的作用也是不能忽視的，例如，根據(jù)系統(tǒng)的實現(xiàn)，在測試指標(biāo)中增加“300用戶并發(fā)時MQ服務(wù)器的MQ派生進程數(shù)不得超過 200個”等。本次測試最終確定的需要驗證的性能指標(biāo)為

14個，其中從文檔中直接映射的為6個，從客戶獲得并經(jīng)過變更控制認可的為

2個，根據(jù)經(jīng)驗補充的為

6個。測試策略描述對整個測試采取的方法，本次測試的測試策略規(guī)定，測試最少為輪，每輪測試應(yīng)該執(zhí)行所有的測試用例至少一次，在一輪測試過程中程序需要保持“鎖定”，不允許進行修改，每輪測試結(jié)束后需要形成測試結(jié)果記錄文檔;所有的待驗證指標(biāo)都達到后才能稱為本測試結(jié)束，測試結(jié)束后需要提供完整的測試報告，記錄整個測試過程和中間結(jié)果。測試終止準(zhǔn)則確定測試終止的原則，對本次測試，我們定義了每輪的終止準(zhǔn)則“所有測試用例至少執(zhí)行一次”，定義了整個測試的終止準(zhǔn)則“所有待驗證指標(biāo)都達到”。測試環(huán)境與測試工具確定本測試需要使用的測試工具和定義需要使用的測試環(huán)境，這部分的內(nèi)容非常重要，對于測試環(huán)境，在計劃階段需要盡可能地考慮到各種可能的情況，設(shè)備資源限制的情況等，否則，在測試執(zhí)行時才發(fā)現(xiàn)環(huán)境不完整就很被動了;對于需要使用的測試工具，測試設(shè)計階段也應(yīng)該進行詳細的規(guī)劃，采用商用工具還是自己開發(fā)工具,到底需要哪些工具才能滿足測試的需要,好的規(guī)劃可以讓你盡早安排相關(guān)人員的配合(例如，需要找開發(fā)人員協(xié)調(diào)開發(fā)測試工具)，反之，把希望寄托在“我有XX測試工具”或是“XX測試工具據(jù)說很好用”就一定會導(dǎo)致測試的失敗。測試資源配置描述執(zhí)行本測試需要的人員和時間資源，一方面可以作為工作量的評估與項目經(jīng)理和客戶進行溝通，另一方面，也可以盡早規(guī)劃工作安排。測試用例與測試數(shù)據(jù)確定了測試計劃后，就可以針對測試計劃中確定的需要測試的指標(biāo)設(shè)計測試用例了。同樣，設(shè)計的測試用例也需要向客戶解釋清楚并得到客戶的認可。一般來說，客戶比較關(guān)注的“這個測試用例怎么能說明系統(tǒng)達到了性能指標(biāo) ,”和“我怎么檢驗?zāi)愕臏y試結(jié)果,”，因此需要通過會議或是其他方式與客戶盡可能地溝通，在本項目的測試中，我們在第一輪測試中就出現(xiàn)了因為與客戶溝通不夠出現(xiàn)的問題，其實在測試用例執(zhí)行之前，我們已經(jīng)和客戶進行了測試用例的確認，但在執(zhí)行過程中，用戶表示希望能看到更詳細的中間結(jié)果，導(dǎo)致我們只能重新修改了部分測試工具和測試環(huán)境，導(dǎo)致測試執(zhí)行未能按計劃完成。第一輪測試完成后，我們就再次和用戶對測試用例進行了詳細的審核，包括每個用例的詳細輸入、輸出，以及如何驗證輸出。從已確定的測試指標(biāo)產(chǎn)生測試用例沒有單一的法則，這個就是測試設(shè)計員(TestDesigner) 的基本功了，在這里不進行描述。關(guān)于測試用例的書寫格式在51cmm和其他很多網(wǎng)站上都有討論，我個人的感覺是不必要太多拘泥于測試用例的書寫方式，一般只要測試用例描述清楚了測試步驟、輸入、預(yù)期輸用例編號XXXX_NFT_PT_XX用例對應(yīng)功能點從本測試用例中可以看到，測試用例已經(jīng)詳細定義了用例執(zhí)行的先決條件、測試輸入和輸出，以很直觀的方式給出了測試用例的各個要素。設(shè)計測試用例的過程中，同時需要關(guān)注的是測試數(shù)據(jù)的產(chǎn)生和維護。在上一個測試用例的例子中，“特定告警的詳細內(nèi)容”就是一個被選擇的測試數(shù)據(jù)，如何選擇具體的測試數(shù)據(jù)需要根據(jù)測試的具體需求而定，沒有統(tǒng)一的法則。但在設(shè)計測試用例時，一定要明確每個用例的數(shù)據(jù)需求并將這種需求綜合起來，并形成對測試環(huán)境的測試數(shù)據(jù)的維護策略，以便在測試用例執(zhí)行時能順利進行。一般而言，我們可以考慮初始測試數(shù)據(jù)的需求、考慮測試用例之間的依賴關(guān)系、記錄每個用例對數(shù)據(jù)的要求，然后最終確定需要哪些測試數(shù)據(jù)和如何維護測試數(shù)據(jù)。測試環(huán)境與測試工具制定了合理的測試計劃、設(shè)計了滿足需要的測試用例之后，我們就可以開始著手準(zhǔn)備測試環(huán)境和考慮如何在測試中運用測試工具了。4.1. 測試環(huán)境測試環(huán)境的部署和維護是一件需要詳細策劃的事情，部署了合理的測試環(huán)境是測試達到目標(biāo)效果的前提條件。一般來說，在考慮部署和維護測試環(huán)境時，需要考慮以下內(nèi)容:測試網(wǎng)絡(luò)環(huán)境性能測試一般都是在一個網(wǎng)絡(luò)中進行，可能是一個單獨的局域網(wǎng)，也可能是和生產(chǎn)環(huán)境相同的網(wǎng)絡(luò)，不管實際的情況如何，我們都必須評估網(wǎng)絡(luò)狀況是否會對我們的測試產(chǎn)生影響，也就是說，要保證網(wǎng)絡(luò)環(huán)境能夠較好地模擬實際網(wǎng)絡(luò)環(huán)境(包括網(wǎng)絡(luò)狀況、負載等)。當(dāng)然，在我們的本次測試中，由于網(wǎng)絡(luò)狀況對我們的測試結(jié)果沒有什么影響，我們的測試是在一個接近生產(chǎn)環(huán)境的 100M局域網(wǎng)中進行。初始數(shù)據(jù)的準(zhǔn)備在執(zhí)行測試之前，我們需要準(zhǔn)備足夠支撐測試進行的初始數(shù)據(jù)，對本測試來說，初始數(shù)據(jù)包括靜態(tài)數(shù)據(jù)、程序運行時必須的配置數(shù)據(jù)、配置文件、用戶帳號信息等，建議將這部分數(shù)據(jù)按照不同的數(shù)據(jù)來源分別列出形成CheckList，這樣可以避免在測試過程中出現(xiàn)數(shù)據(jù)準(zhǔn)備不充分的情況。本測試中我使用的 CheckList示例如表1所示:表1本測試中使用的測試環(huán)境 CheckList除了測試環(huán)境CheckList外，還需要準(zhǔn)備一份更詳細的文檔，詳細記錄每一個環(huán)境項目的實際數(shù)據(jù)，這樣的一份文檔一方面可以便于對數(shù)據(jù)的審查;另一方面，在測試過程中即使人員發(fā)生變動，新參與的成員也能很快熟悉整個測試環(huán)境。測試數(shù)據(jù)的可恢復(fù)性說到測試數(shù)據(jù)，就不能不提測試數(shù)據(jù)的可恢復(fù)性。在一次測試過程中，一個用例一般都需要被多次執(zhí)行，但在多次執(zhí)行同一個用例時，就必須保證每次執(zhí)行用例時的環(huán)境一致，因此在準(zhǔn)備好數(shù)據(jù)，執(zhí)行用例之前，必須要計劃好測試完成后怎樣將整個測試環(huán)境中的數(shù)據(jù)恢復(fù)，在本次測試中，我們采用的是為每個測試準(zhǔn)備一個“回滾”腳本，該腳本用來恢復(fù)數(shù)據(jù)至測試用例執(zhí)行之前。測試環(huán)境的時間同步在性能測試中，尤其需要注意的是測試環(huán)境的時間同步問題。性能測試關(guān)注的是系統(tǒng)的總體性能表現(xiàn)，這些性能表現(xiàn)又需要通過各個模塊的響應(yīng)時間來體現(xiàn)，在本次測試中，我們在應(yīng)用程序中增加了部分測試代碼，測試代碼通過記錄關(guān)鍵操作的時間來完成性能指標(biāo)的記錄?；谝陨系囊?，整個測試環(huán)境中各臺計算機的時間同步就非常重要了，如果時間不同步的話，就會造成測試結(jié)果的不準(zhǔn)確，尤其在本次測試中，部分測試指標(biāo)要求到秒級，因此，我們必須要對整個環(huán)境進行一個精確的時間同步。本測試的測試環(huán)境包括7臺HP小型機、兩臺WEB服務(wù)器、一臺Windows域服務(wù)器和15臺加入域的PC機，在時間同步方案上，我們以一臺小型機為主時間服務(wù)器，采用Windows域服務(wù)器作為Windows機器的時間服務(wù)器(域內(nèi)的客戶機可以實現(xiàn)與域服務(wù)器的自動的時間同步 )，利用NTP協(xié)議在Unix主機和Windows域服務(wù)器之間進行時間同步，之所以采用 NTP協(xié)議，主要是因為 NTP是在Internet 和Unix系統(tǒng)上被廣泛采用的協(xié)議，在 Windows平臺上，也有基于 NTP協(xié)議的開源軟件(NetTime)可以使用。4.2. 測試工具測試工具的評估和選擇是測試開始之前必須進行的工作。在機械工業(yè)出版社出版的《軟件測試自動化,引入，實施和管理》書中對測試工具的評估選擇、應(yīng)用有詳細的描述，個人覺得這本書對于測試工具應(yīng)用部分的說明非常不錯，強烈推薦這本書給對這部分感興趣的朋友。本測試沒有使用商業(yè)測試軟件，主要原因在于以下幾點 :1、測試時間資源:本測試安排的時間比較緊迫，沒有足夠的時間用商業(yè)測試工具進行錄制腳本、腳本調(diào)試維護等一系列的工作 ;2、測試工具的學(xué)習(xí)曲線:商業(yè)測試工具的應(yīng)用需要一個學(xué)習(xí)曲線，整個測試團隊中只有一名成員具有足夠的技能，這是限制商業(yè)測試工具應(yīng)用的極大障礙 ;3、費用:商業(yè)測試工具的授權(quán)費用是不能不考慮的，在我們這樣一個項目中(客戶端數(shù)量較大)，商業(yè)測試工具的授權(quán)費很高，在合同中沒有包含這部分費用的情況下，由項目自身承擔(dān)這部分費用，顯然是不可能的 ;4、靈活性:測試實施過程中可能需要修改測試腳本，考慮到 1、2的原因，可能通過Perl等腳本語言編寫的腳本更能滿足靈活性的要求。最終在本項目中，我們采用了自行開發(fā)的測試適用本項目的測試工具，這些測試工具中的部分具有可重用性，部分是本項目專用的測試工具，實現(xiàn)測試工具的最終投入為2.4人月，其中可被重用的工具投入為 1.4人月，不能重用的測試工具開發(fā)投入為1人月，從測試效果來說，這個投入是絕對值得的。關(guān)于本測試中使用的自行開發(fā)的測試工具在本文中不準(zhǔn)備進行詳細描述，需要說明的內(nèi)容包括如下幾點 :1、測試工具的需求需要根據(jù)測試需求來確定 :在本項目中，主要是通過測試用例來確定，根據(jù)用例描述的場景確定需要的測試工具。例如，在本文的上篇中作為例子的測試用例，從該用例的“已通過模擬程序產(chǎn)生每秒 300條告警的告警數(shù)據(jù)”描述中，我們可以明確需要一個能產(chǎn)生每秒 300條告警數(shù)據(jù)的模擬程序，從“所有告警產(chǎn)生和呈現(xiàn)時間記錄在本地日志文件中”描述，我們可以明確該模擬程序還必須能夠記錄告警產(chǎn)生時間。當(dāng)然，對測試工具的需求確定還必須結(jié)合其他用戶的需求。在本測試中，與該用例相關(guān)的測試工具被實現(xiàn)為一個可以根據(jù)用戶給定的文本文件發(fā)送告警數(shù)據(jù)的工具，通過參數(shù)可以指定工具發(fā)送告警的間隔以及是采用隨機還是定時的方式發(fā)送 ;2、測試工具的實現(xiàn)語言需要根據(jù)實際情況確定 :測試工具的實現(xiàn)語言主要看項目成員對語言的熟悉程度以及是否需要在測試過程中修改測試工具。如果預(yù)計到在測試中需要修改測試工具，建議采用腳本語言來實現(xiàn)測試工具，例如在該測試中，我們的部分測試工具是采用 C++語言實現(xiàn)的，部分測試工具是采用 Perl實現(xiàn)的;3、測試工具本身也是配置項的一部分 :測試工具也需要納入配置管理的范圍，一方面，測試工具的發(fā)布和更新必須按照項目的配置管理流程實現(xiàn) ;另一方面，測試工具的開發(fā)過程必須符合項目的開發(fā)過程。為避免測試工具在使用中帶來混亂，這一點是必須要注意的 ;4、測試工具的開發(fā)需要從實際角度出發(fā) :千萬不要嘗試在一個項目中開發(fā)出一個強大和完善的測試工具，測試工具的開發(fā)要從實際出發(fā)，能滿足實際測試需求的測試工具就是好的測試工具。如果真的覺得有需要對測試工具進一步完善以利于重用，那也請在項目完成后再專門作為一個項目來專門完善測試相關(guān)的測試工具。我們在把測試工具和測試環(huán)境同時包含在這一章中，最主要的原因是因為部署后的測試工具也屬于測試環(huán)境的一部分，測試工具的部署和維護也是測試環(huán)境部署和維護的一部分。上面已經(jīng)提到，測試工具本身也是配置項的一部分，測試工具的發(fā)布需要按照項目的配置管理流程實現(xiàn)，因此，對測試工具在測試環(huán)境上的部署需要按照配置管理流程來管理，同時，這也是測試環(huán)境部署和維護的一部分。在本測試中，要求測試工具來源于配置項的發(fā)布版本，對測試工具的變更需要進行記錄并納入配置項變更管理，唯一不同的是這個配置項的變更的發(fā)起人是測試工程師，審核人是測試負責(zé)人。測試實施測試計劃、測試用例、測試環(huán)境都完成之后，就可以開始對測試進行實施了。測試實施在整個測試過程中并不是消耗資源最多的，有了詳細的測試用例之后，其實測試實施是一件“照葫蘆畫瓢”的簡單工作。本章主要探討性能測試實施過程中需要記錄的信息 (這部分內(nèi)容其實應(yīng)該是在測試計劃和測試用例中確定，但為了整個描述的連貫性，我把這部分內(nèi)容安排在本章)。本測試實施記錄的內(nèi)容包括如下:Unix主機CPU使用率;內(nèi)存使用狀況;DiskI/O;數(shù)據(jù)庫服務(wù)器Cache命中LongTransaction索引使用情況數(shù)據(jù)庫進程CPU使用狀況數(shù)據(jù)庫內(nèi)存使用狀況數(shù)據(jù)庫連接數(shù)量應(yīng)用服務(wù)器MQ的主要進程內(nèi)存使用狀況MQ的進程數(shù)量TEMIP主要進程內(nèi)存使用狀況WEB服務(wù)器進程的CPU和內(nèi)存使用狀況Cache命中平均響應(yīng)時間等對這些內(nèi)容的記錄需要通過操作系統(tǒng)提供的性能觀測工具或是應(yīng)用自身提供的性能觀測工具:1、在Unix環(huán)境中，可以用top、vmstat、iostat 程序觀察需要記錄的內(nèi)容，更好的方法是自己寫一個簡單腳本，把時間信息和輸出信息一同存入本地日志文件。在本測試中，我們用 Perl和Unix的Shell腳本實現(xiàn)了對輸出信息的抽取和格式化，生成的記錄文件可以方便地被 Excel等程序進行處理;2、對于數(shù)據(jù)庫環(huán)境，可以用 Oracle自帶的性能監(jiān)測工具或是第三方軟件 (如TOAD等)觀察性能并存成文件;3、對WEB服務(wù)器，可以用WEBServer自帶的性能監(jiān)測工具監(jiān)測其性能。測試結(jié)果分析與測試報告通過測試實施取得了數(shù)據(jù)之后，最后一步就是對測試結(jié)果進行分析了。對測試結(jié)果進行分析我個人認為是比較需要經(jīng)驗的一個步驟。要對結(jié)果進行分析，首先需要非常明確獲取的每個數(shù)據(jù)的意義，然后根據(jù)數(shù)據(jù)測試目標(biāo)，對數(shù)據(jù)進行詳盡分析，分析的目的是用數(shù)據(jù)說明測試目標(biāo)。本項目中使用的測試結(jié)果分析工具包括 Excel、UltraEdit 、vi和數(shù)據(jù)庫查詢工具等，vi和UltraEdit 用來編輯測試過程中形成的記錄了測試結(jié)果的文本文件，數(shù)據(jù)庫查詢工具用來從數(shù)據(jù)庫中獲取測試結(jié)果， Excel用來對初步處理后的測試結(jié)果進行分析，Excel工具能導(dǎo)入具有一定格式的文本文件，并能根據(jù)數(shù)據(jù)生成各種統(tǒng)計圖形，在本測試中是主要的測試數(shù)據(jù)分析工具。當(dāng)然，某些特殊的測試結(jié)果可能需要自行開發(fā)部分工具進行數(shù)據(jù)提取和處理。測試報告至少應(yīng)該包括以下幾部分的內(nèi)容 :1、測試環(huán)境描述;2、測試準(zhǔn)備工作描述:在這部分中需要詳細說明測試方案，因為測試報告是要與用戶討論，經(jīng)用戶簽字認可的，因此，在報告中詳細列出測試前的準(zhǔn)備工作，包括測試方案、測試數(shù)據(jù)準(zhǔn)備以及測試中記錄的數(shù)據(jù)、測試工具和腳本部署等，個人的感覺是這部分具體根據(jù)用戶的要求吧，在本測試中，用戶要求我們寫的非常詳細;3、測試范圍及內(nèi)容:對本次測試能覆蓋的范圍進行說明 ;特別是要說明不包括在本次測試中的內(nèi)容，以防以后有人說出“不是測試過了嗎 ,怎么還有XXXX問題”這樣的話:)4、測試結(jié)論:測試結(jié)論這部分需要詳細說明本測試的結(jié)論，包括測試用例執(zhí)行情況統(tǒng)計、測試是否通過、測試中發(fā)現(xiàn)問題的處理方式和方法 ;除此之外，還可以在測試報告中包括建議與計劃，用來說明該測試的后續(xù)工作安排和計劃;將測試用例的執(zhí)行情況和每輪測試執(zhí)行的詳細記錄作為附件附加到測試報告中。NMS性能測試方案

(

一)產(chǎn)品名稱

Productname

密級

ConfidentialitylevelXXXNMS

內(nèi)部公開產(chǎn)品版本

ProductversionTotal17pages

共17頁

XXXXXXNMS性能測試方案Preparedby擬制

XXXDate日期

2009-10-10Reviewedby評審人

TSEG成員、SE、測試經(jīng)理

Date

日期Approvedby批準(zhǔn)

Date日期Authorizedby簽發(fā)Date日期XXXTechnologiesCo.,Ltd.Allrightsreserved 版權(quán)所有 侵權(quán)必究(TST01T04V2.0/IPD-PTMV2.0/forinternaluseonly)(TST01T04V2.0/IPD-PTMV2.0/

僅供內(nèi)部使用

)修訂記錄日期修訂版本 描述作者2009-10-101.00 初稿完成XXX目錄51 概述1.1 被測對象概述51.2 測試方案概述61.2.1 寫作目的61.2.2 設(shè)計思路62測試需求63測試環(huán)境73.1 網(wǎng)絡(luò)拓撲圖73.2 軟/硬件環(huán)境74測試設(shè)計84.1 測試對象分析84.2 測試設(shè)計策略分析 94.2.1測試重點和用例設(shè)計原則94.2.2測試難點和解決方法104.2.3測試相關(guān)因素影響分析和對應(yīng)策略104.3詳細測試方法114.3.1反應(yīng)時間的性能測試154.3.2CPU/Memory的性能測試174.3.3負載的性能測試(壓力測試)184.3.4可靠性測試194.3.5網(wǎng)絡(luò)性能測試204.4 自動化測試設(shè)計 204.5 測試規(guī)程設(shè)計204.6 測試組網(wǎng)分析204.7 測試工具214.8 其它需求21附錄21NMS性能測試方案關(guān)鍵詞:性能測試摘要:本文檔描述了XXXNMS網(wǎng)管性能測試方案，閱讀對象為性能測試用例設(shè)計人員和執(zhí)行人員?？s略語清單:Abbreviations 縮略語Fullspelling 英文全名Chineseexplanation 中文解釋XXXIntegratedNetworkManagementSystem 綜合網(wǎng)絡(luò)管理系統(tǒng) NMSNetworkManagementSystem網(wǎng)絡(luò)管理系統(tǒng)ATCAAdvancedTelecommunicationsComputingArchitecture 高級電信計算架構(gòu)參考資料清單:參考資料清單名稱作者編號發(fā)布日期 查閱地點或渠道出版單位《XXX性能基線(V0.1)》系統(tǒng)組0012009-8-8 基線庫NMS性能測試方案(二)概述1.1 被測對象概述XXX終端管理系統(tǒng)(以下簡稱XXX)定位于業(yè)務(wù)管理系統(tǒng)，主要管理帳號、密碼、VLAN(VirtualLocalAreaNetwork) 、IP等。系統(tǒng)提供了整套管理WLAN(WirelessLocalAreaNetwork)

設(shè)備的解決方案，實現(xiàn)對

AC(APController)

、非輕量級

AP(AccessPoint)

的管理。XXX采用CWMP(CPEWANManagementProtocol)協(xié)議與終端交互，可實現(xiàn)設(shè)備自動發(fā)現(xiàn)、初始自動配置、新業(yè)務(wù)自動發(fā)放、遠程故障診斷、終端搜索等功能。1.2 測試方案概述1.2.1 寫作目的本文檔是用于XXXNMS的性能測試，主要從測試環(huán)境，測試工具，測試策略，測試具體的執(zhí)行方法等事先計劃和設(shè)計，并提供性能測試的詳細說明，包括詳細的預(yù)置測試環(huán)境、性能測試范圍和內(nèi)容、測試過程數(shù)據(jù)的采集和測試結(jié)果分析方法。1.2.2 設(shè)計思路前提條件:1、網(wǎng)管管理的終端數(shù)目不超過網(wǎng)管服務(wù)器硬件的最大管理容量:500000個，同時交互的終端不超過 5000個(5萬的1%);2、網(wǎng)管客戶端的數(shù)目不超過300個;3、同時操作網(wǎng)管的客戶端不超過 150個;4、網(wǎng)管服務(wù)器和設(shè)備之間帶外的帶寬不小于 2M;5、網(wǎng)管服務(wù)器和設(shè)備之間帶內(nèi)的帶寬 ,等效節(jié)點數(shù)×0.5K;6、每個網(wǎng)管客戶端和服務(wù)器之間的帶寬不小于

64K;7、網(wǎng)管客戶端、服務(wù)器采用標(biāo)配

(即配置手冊中定義的配置

)。性能測試主要包括被測系統(tǒng)的各項性能指標(biāo) ,反應(yīng)時間的性能測試,CPU/Memory的性能測試,負載的性能測試(壓力測試),可靠性測試。 測試過程數(shù)據(jù)采集的對象主要是操作響應(yīng)時間和系統(tǒng)資源消耗記錄，以及為了定)。注意性能測試過程并不關(guān)注功能問題，除位問題而采集的其他數(shù)據(jù) (DBI/O非功能問題阻礙了性能測試的順利進行。測試需求XXX性能基線(V0.1)》，XXX產(chǎn)品描述》，NMS性能測試方案(三)測試環(huán)境3.1 網(wǎng)絡(luò)拓撲圖3.2 軟/硬件環(huán)境服務(wù)器端:服務(wù)器典型硬件配置:項目配置CPUXeon雙核Woodcrest1.6GHz以上內(nèi)存2×1GB硬盤146GB以上服務(wù)器典型軟件配置(基于WINDOWS平臺):項目配置操作系統(tǒng)

Windows2003ServerSP1

或SP2(簡體中文版

)

數(shù)據(jù)庫

MSSQLServer2000SP3

或SP4(簡體中文版

)

應(yīng)用軟件

XXX服務(wù)器應(yīng)用軟件、

Apache、FileZilla

和

Tomcat服務(wù)器典型軟件配置(基于Solaris平臺):項目配置操作系統(tǒng)Solaris10數(shù)據(jù)庫Sybase15.0.3應(yīng)用軟件XXX服務(wù)器應(yīng)用軟件、Apache、FileZilla 和Tomcat客戶端:XXX客戶端典型硬件配置:項目配置CPUP42.8G或以上內(nèi)存512MB硬盤80GBXXX客戶端典型軟件配置:項目配置操作系統(tǒng)WindowsXPProfessionalSP2( 簡體中文版)應(yīng)用軟件XXX客戶端軟件NMS性能測試方案(四)測試設(shè)計4.1 測試對象分析在充分了解客戶和市場需求的基礎(chǔ)上，通過完善和成熟的系統(tǒng)設(shè)計， XXX系統(tǒng)具備了優(yōu)越并且豐富的功能特性:自動初始化配置，新業(yè)務(wù)自動發(fā)放，遠程診斷，遠程升級，業(yè)務(wù)統(tǒng)計，AC、非輕量級AP統(tǒng)一管理，OSS快速集成等。因此XXX主要的管理能力如下:支持10萬個終端設(shè)備,支持同時運行250個升級/配置計劃,支持32級終端分組嵌套,支持創(chuàng)建32個廠商并對其進行管理每個廠商下支持創(chuàng)建64個設(shè)備類型,每個設(shè)備類型下支持創(chuàng)建 128個版本, 基于XXX系統(tǒng)支持的性能基線值，包括自動配置服務(wù)器性能、應(yīng)用服務(wù)器性能和文件服務(wù)器性能。XXX系統(tǒng)性能指標(biāo)如下表所示。 性能指標(biāo)項目指標(biāo)自動配置服務(wù)器性能 事件并發(fā)處理能力:1000(次)應(yīng)用服務(wù)器性能 每個應(yīng)用服務(wù)器最大客戶端連接數(shù)量 :1024(個)(CPU占用率最高達到85%，內(nèi)存消耗最大為1.93G)文件服務(wù)器性能最大支持同時連接數(shù)量:1024(個)(CPU占用率最高達70%，內(nèi)存消耗最大為100M)因此此次系統(tǒng)性能測試的主要檢測內(nèi)容:1(系統(tǒng)典型應(yīng)用的反應(yīng)時間2(客戶端/服務(wù)器的CPU/Memory的使用情況3( 服務(wù)器的響應(yīng)速度4(系統(tǒng)支持的最優(yōu)負載數(shù)量5(網(wǎng)絡(luò)指標(biāo)6(系統(tǒng)可靠性測試NMS性能測試方案(五)4.2 測試設(shè)計策略分析4.2.1 測試重點和用例設(shè)計原則網(wǎng)管管理能力是網(wǎng)管的整體處理能力，所以在測試用例 (測試項目)的設(shè)計上需要包括典型的網(wǎng)管操作，包括 :AC的管理，CPE的管理。這里需要考慮兩部分內(nèi)容 :參考性能基線:《XXX性能基線(V0.1).XLS》，參考產(chǎn)品規(guī)格說明書:《XXX產(chǎn)品規(guī)格說明書》，除了上面的測試內(nèi)容外重點還需要考慮基于場景進行驗證 :批量注冊設(shè)備場景:需要在原有數(shù)據(jù)基礎(chǔ)上添加新的設(shè)備包括配置不同的業(yè)務(wù)數(shù)據(jù)。， 多用戶應(yīng)用場景:多用戶同時訪問網(wǎng)管對終端操作的應(yīng)用。 4.2.2 測試難點和解決方法性能測試的難點在于對問題的界定以及定位。1、網(wǎng)管性能受環(huán)境的影響比較大，性能問題必須是在環(huán)境穩(wěn)定正常情況下能達到性能基線要求的，如果是由于環(huán)境問題導(dǎo)致的不能達到性能基線要求的問題，不能作為性能問題對待。這就要求在性能測試過程中必須同時關(guān)注操作系統(tǒng)和網(wǎng)絡(luò)的狀況，保證測試在操作系統(tǒng)或者網(wǎng)絡(luò)不出現(xiàn)異常的情況下進行。2、性能問題不像功能問題，可以確定操作錯誤的“點”進而修改這個問題點就能解決問題。性能問題更多的是某個程序段占用了比較多的時間，而這個信息是不能由測試人員能獲取的，甚至開發(fā)人員也無法通過調(diào)試來獲取這個信息(調(diào)試過程中，程序的執(zhí)行時間會被改變)，因此網(wǎng)管必須提供在操作過程中記錄詳細的日志功能，否則性能問題定位將是一個艱難的過程?？梢詮南旅娼嵌仍u估:NMS性能測試方案(六)操作結(jié)果:操作成功，數(shù)據(jù)能夠?qū)崟r刷新，操作失敗能夠友好提示。 ，操作性能:操作響應(yīng)時間滿足性能基線要求。，進程運行情況:相應(yīng)節(jié)點上進程不出現(xiàn) core、死鎖、超時、無響應(yīng)、返回提示信息異常等情況，在進程處理出現(xiàn)瓶頸的情況下調(diào)整業(yè)務(wù)發(fā)放速度以便發(fā)現(xiàn)更多產(chǎn)品的性能瓶頸問題。系統(tǒng)資源消耗:系統(tǒng)資源消耗不出現(xiàn)持久的居高不下，持續(xù)增長的情況。，4.2.3 測試相關(guān)因素影響分析和對應(yīng)策略由于實驗室沒有實際的背景數(shù)據(jù)，很多數(shù)據(jù)實際上是模擬的。某些情況下模擬數(shù)據(jù)可以替代真實數(shù)據(jù)，但是模擬數(shù)據(jù)具有一定的局限性，必須區(qū)分哪些地方可以采取模擬數(shù)據(jù)哪些地方必須采取真實數(shù)據(jù)。1、對模擬設(shè)備的操作與對真實設(shè)備的操作在時間上肯定是不同的，但是對于查詢來說，我們允許這個差異的存在并且認為不影響測試結(jié)果，因為查詢操作只是取得數(shù)據(jù)，實際主機并不需要做其他的響應(yīng)，與模擬設(shè)備需要的時間相差比較小 ;而對于配置操作來說，這個差異就不能接受，因為實際主機需要做一些額外的響應(yīng)操作，所需要的時間與模擬設(shè)備相差比較大。因此除了使用模擬客戶端外，還是需要有若干真實主機。模擬主機的數(shù)據(jù)只作為背景數(shù)據(jù)，測試配置操作時，需要在真實主機上測試。2、LoadRunner運行在幾臺機器上，模擬設(shè)備與網(wǎng)管之間的帶寬無法限制。對于需要限制網(wǎng)管與設(shè)備之間的帶寬的地方，需要采用真實設(shè)備。NMS性能測試方案(七)4.3 詳細測試方法背景數(shù)據(jù):低容量配置TR069 管理PC服務(wù)器配置06110653PC服務(wù)器-HPDL380G5-2*Xeon四核54052.0G或以上-8G(4*2G)-5*146GSFFSAS-DVD-2*集成千兆網(wǎng)卡-集成E200陣列卡(128M)-無磁帶機-無顯示器-機架式-無OS-英文資料-3Y5*8-100V~240VAC-2*1000W(1+1)-無鍵鼠PCserver,HPDL380G5,2*Xeon4Core54052.0Gorabove,8G(4*2G),5*146GSFFSAS,NoFDD,DVD,2*Integrated1000MNIC,E200ArrayCard(128M),NoDAT72,NoMonitor,RackModel,NoOS,En.Doc,3Y5*8,100V~240VAC,2*1000W(1+1),withoutMouse&KB 物理資源數(shù)量1、1AP=1 等效節(jié)點2、支持2000等效節(jié)點數(shù)業(yè)務(wù)資源數(shù)量1、2000*30=6萬(TR069管理)1、50客戶端客戶端數(shù)背景流量1、網(wǎng)管上同時進行北向接口業(yè)務(wù)發(fā)放操作 :100條/s2、告警上報:1000條/s《峰值30S告警接收處理能力(告警/每秒)》1、性能統(tǒng)計任務(wù):10萬(待定)靜態(tài)數(shù)據(jù)2、當(dāng)前告警:10萬(待定)3、當(dāng)前事件:10萬(待定)4、歷史告警數(shù)量:10萬(待定)5、日志存儲數(shù)量:10萬(待定)低容量配置SNMP 管理PC服務(wù)器配置06110653PC服務(wù)器-HPDL380G5-2*Xeon四核54052.0G或以上-8G(4*2G)-5*146GSFFSAS-DVD-2*集成千兆網(wǎng)卡-集成E200陣列卡(128M)-無磁帶機-無顯示器-機架式-無OS-英文資料-3Y5*8-100V~240VAC-2*1000W(1+1)-無鍵鼠PCserver,HPDL380G5,2*Xeon4Core54052.0Gorabove,8G(4*2G),5*146GSFFSAS,NoFDD,DVD,2*Integrated1000MNIC,E200ArrayCard(128M),NoDAT72,NoMonitor,RackModel,NoOS,En.Doc,3Y5*8,100V~240VAC,2*1000W(1+1),withoutMouse&KB物理資源數(shù)量1、1AP=1等效節(jié)點2、支持2000等效節(jié)點數(shù)3、1AC(1個AC可管理2000個AP)業(yè)務(wù)資源數(shù)量1、255個AP域(SNMP管理)2、1000個負載均衡(SNMP管理)客戶端數(shù)1、50客戶端背景流量1、網(wǎng)管上同時進行北向接口業(yè)務(wù)發(fā)放操作 :100條/s2、告警上報:1000條/s《峰值30S告警接收處理能力(告警/每秒)》靜態(tài)數(shù)據(jù)1、性能統(tǒng)計任務(wù):10萬(待定)2、當(dāng)前告警:10 萬(待定)3、當(dāng)前事件:10萬(待定)4、歷史告警數(shù)量:10萬(待定)5、日志存儲數(shù)量:10萬(待定)NMS性能測試方案

(

八)注:以下各項測試都是在上述背景數(shù)據(jù)下進行的測試。測試系統(tǒng)典型應(yīng)用:處理點或事件 期望的反應(yīng)時間 實際反映時間平均值啟動U2560Server10min 登錄客戶端45s

4.3.1 反應(yīng)時間的性能(至少3次)平臺告警處理能力(告警/每秒)250條/s查詢歷史告警(記錄數(shù)<=10000)3s記錄數(shù)<=100000)10s查詢歷史告警(10000<查詢歷史告警(記錄數(shù)>=100000)30s 查詢操作日志(記錄數(shù)<=10000)3s查詢操作日志(10000<記錄數(shù)<=100000)10s 查詢操作日志(記錄數(shù)>100000)30s關(guān)閉網(wǎng)管server1min關(guān)閉網(wǎng)管客戶端 3s告警顯示速度5s峰值30S告警接收處理能力(告警/每秒)1000條/s 北向命令處理能力 100條/s告警定位到列表 2s設(shè)備資源和狀態(tài)統(tǒng)計 1s設(shè)備資源報表<30s設(shè)備資源數(shù)據(jù)定時輪詢 2s/臺AC管理:處理點或事件 期望的反應(yīng)時間 實際反映時間平均值(至少3次)查詢AC模板信息1s查詢AC模板的詳細信息 1s增加AC模板2s刪除AC模板1s修改AC模板1s同步AC模板10條/s刪除AC上的模板1s增加AP、radio、STA等邏輯資源2s刪除AP、radio、STA等邏輯資源1s配置AP、radio、STA等邏輯資源2s同步AP、radio、STA等邏輯資源10條/sCPE管理:處理點或事件 期望的反應(yīng)時間 實際反映時間平均值(至少3次) 單個終端進行在線配置1s批量終端進行配置(綁定模板)4000臺/hr單個終端升級在線升級 <10mins批量終端進行升級 2000臺/hr單個終端進行診斷 2s1s查詢模板信息查詢模板的詳細信息 1s增加模板2s1s刪除模板修改模