關(guān)于性能測試策略概要說明

1、性能測試策略概要說明版本： V0.1修改說明版本說明修改人日期評審V0.1初稿宋琦2012-4-11V1.0正式版。修正部分單位換算錯誤。宋琦2012-4-12文檔說明本文檔包含四個部分。分別為用戶性能體驗，性能測試點，服務(wù)器響應(yīng)時間測試策略，以及服務(wù)器端最小帶寬估算。l 用戶的性能體驗部分描述影響用戶響應(yīng)時間的相關(guān)內(nèi)容，以及對用戶響應(yīng)時間優(yōu)化的提議。l 性能測試點部分描述性能測試進行的主要工作內(nèi)容。l 服務(wù)器響應(yīng)時間測試策略部分描述服務(wù)器端性能測試及調(diào)優(yōu)策略。l 服務(wù)器端最小帶寬估算描述服務(wù)器端最小帶寬的估算依據(jù)及方法。目 錄1. 用戶的性能體驗1.1 網(wǎng)絡(luò)拓撲圖下圖為與性能測試相關(guān)的網(wǎng)絡(luò)拓

2、撲圖。服務(wù)器端響應(yīng)時間計算公式如下：服務(wù)器響應(yīng)時間 = T1 + T2 + T3 + T4（注： 次處只體現(xiàn)單向傳輸時間計算）其中時間點簡介如下：T1：服務(wù)器端響應(yīng)時間T1 = 數(shù)據(jù)庫處理時間 + 應(yīng)用程序處理時間 + 服務(wù)器處理時間T2：服務(wù)器端與運營商之間的通信時間T2 = 用戶群發(fā)送數(shù)據(jù)總量 / 服務(wù)器帶寬對應(yīng)的傳輸速率T3：單用戶網(wǎng)絡(luò)通信時間T3 = 單用戶發(fā)送數(shù)據(jù)總量 / 用戶帶寬對應(yīng)的傳輸速率T4：用戶設(shè)備處理時間1.2 用戶響應(yīng)時間從用戶的角度出發(fā)，用戶的響應(yīng)時間定義為用戶進行提交操作至用戶收到反饋信息的時間段，即事務(wù)處理時間（以下統(tǒng)一使用事務(wù)處理時間）。對應(yīng)拓撲圖時間點公式如下

3、：事務(wù)時間 = T3o + T2o+ T1 + T2i + T3i（其中 下標o表示發(fā)送，下標i表示接收）1.3 用戶響應(yīng)時間優(yōu)化策略針對于T1、T2時間已達到最優(yōu)配置時（參看、相關(guān)內(nèi)容），根據(jù)歷史測試經(jīng)驗，用戶時間的瓶頸通常體現(xiàn)在T3時間段。通過T3時間段的計算公式可知，可以通過減小用戶發(fā)送的數(shù)據(jù)包大小來提高T3時間。.T3 計算公式：T3 = 單用戶發(fā)送數(shù)據(jù)總量 / 用戶帶寬對應(yīng)的傳輸速率該階段主要采用回歸測試方法，通過測試工具限制網(wǎng)絡(luò)帶寬來模擬用戶實際帶寬及網(wǎng)絡(luò)延遲環(huán)境來協(xié)助研發(fā)進行優(yōu)化結(jié)果的對比測試。假設(shè)1個用戶的發(fā)送事務(wù)總大小為512KB，而用戶的網(wǎng)絡(luò)支持傳輸速率為256KB/s(2

4、M帶寬)，則T3的時間最小為2s（512 / 256）。如果需要縮短T3的時間段的耗時，那么最直接的手段是縮小事務(wù)數(shù)據(jù)包的大小。如將上述數(shù)據(jù)包縮小到256KB，那么T3的時間則相應(yīng)的縮小到最小1s（256 / 256）。但是這樣會額外增加客戶端和服務(wù)器端的處理壓力。但是，通常用戶不能完全達到當前帶寬的最大使用效能，及用戶的傳輸速率不能達到56KB/s，要提升帶寬利用率，則需要使用高速通信協(xié)議。通?？s小T3時間段耗時的主要手段有但不限于如下幾種：1. 對用戶發(fā)送數(shù)據(jù)進行壓縮，減小數(shù)據(jù)包大小。但會增加設(shè)備和服務(wù)器的壓力，增加T1、T4時間。2. 采用其他高速通信協(xié)議。如采用端對端傳輸技術(shù)（P2P）

5、2. 性能測試點本次性能測試主要依據(jù)性能需求指標展開如下三項工作：1. 對服務(wù)器事務(wù)處理耗時即T1時間段進行基準測試。以及協(xié)助研發(fā)進行性能調(diào)優(yōu)，提供相關(guān)性能數(shù)據(jù)。主要為對服務(wù)器性能、程序性能、數(shù)據(jù)庫性能進行評估與測試。參見。2. 收集計算事務(wù)總量大小，估算服務(wù)器最小帶寬參考值。參見3. 對用戶網(wǎng)絡(luò)通信時間進行評估與優(yōu)化。參見。3. 服務(wù)器響應(yīng)時間測試策略3.1 服務(wù)器端性能測試相關(guān)時間點服務(wù)器端的性能測試，即對T1時間的測試。服務(wù)器響應(yīng)時間測試點如下圖所示：（注：不體現(xiàn)服務(wù)器集群）服務(wù)器端響應(yīng)時間計算公式如下：服務(wù)器響應(yīng)時間 = T1_3i + T1_2i + T1_3 + T1_2o + T

6、1_3o其中時間點簡介如下：T1_1：數(shù)據(jù)庫處理時間。主要為數(shù)據(jù)庫腳本執(zhí)行時間。T1_2i：應(yīng)用程序插入數(shù)據(jù)庫時間。主要為操作數(shù)據(jù)庫函數(shù)處理時間。T1_2o：應(yīng)用程序反饋數(shù)據(jù)時間。主要為respons相關(guān)函數(shù)處理時間。T1_3i：服務(wù)器分配事務(wù)時間。主要為對request事務(wù)的分配，以及數(shù)據(jù)庫連接池分配。T1_3o：服務(wù)器回應(yīng)事務(wù)時間。3.2 服務(wù)器相關(guān)測試策略3.2.1 性能評估通過測試工具對服務(wù)器端進行如下測試1. 最大負載測試：獲取當前服務(wù)器配置條件下，服務(wù)器端可承受的各種事務(wù)各自的最大隨機負載量與并發(fā)負載的數(shù)量級。2. 基準測試：獲取各個事務(wù)在不同數(shù)量級下的隨機負載與并發(fā)負載狀態(tài)的響應(yīng)

7、時間。3. 可靠性測試：模擬預(yù)期最大在線用戶總數(shù)級，在服務(wù)器上進行長時間隨機事務(wù)操作測試。3.2.2 性能優(yōu)化如基準測試的性能測試結(jié)果沒有達到預(yù)期性能指標。那么在基準測試的測試結(jié)果基礎(chǔ)上，對T1_1、T1_2、T1_3時間分別進行針對性測試，檢測出性能瓶頸所在，協(xié)助研發(fā)進行相關(guān)的測試性能調(diào)優(yōu)工作。4. 服務(wù)器端最小帶寬估算服務(wù)器端最小帶寬直接影響用戶群傳送的總數(shù)據(jù)的傳輸速度，即T2時間段的耗時。只有服務(wù)器端的帶寬的最小傳輸速率大于用戶戶群傳送的總數(shù)據(jù)的速率時，才能減小T2時間對用戶響應(yīng)時間的影響。服務(wù)器端最小帶寬估算公式：服務(wù)器端最小帶寬傳輸速率 = 用戶群發(fā)送數(shù)據(jù)總量 / 預(yù)期最小T2耗時帶

8、寬 = 帶寬傳輸速率 × 8如：根據(jù)產(chǎn)品部預(yù)測，未來同時在線用戶數(shù)約100,000人，其中有10,000人會不完全并發(fā)的提交請求。40%的用戶操作功能1，50%的用戶功能2。要求功能的響應(yīng)時間小于3s，即T2時間要求小于3s。根據(jù)測試得出功能1的事務(wù)提交數(shù)據(jù)大小為10KB，功能2提交的數(shù)據(jù)大小為20 KB。那么，需要的最小帶寬傳輸速率的計算公式為：最小帶寬傳輸速率 = (10,000×40%×10 + 10,000×50%×20)/3 = 46667 KB /s 46 MB/s最小帶寬 = 46MB /s × 8 = 368 Mbps

9、（參見下帶寬與傳輸速率換算部分）帶寬與傳輸速率換算在電子學(xué)領(lǐng)域里，表帶寬是用來描述頻帶寬度的。但是在數(shù)字傳輸方面，也常用帶寬來衡量傳輸數(shù)據(jù)的能力。用它來表示單位時間內(nèi)（一般以“秒”為單位）傳輸數(shù)據(jù)容量的大小，表示吞吐數(shù)據(jù)的能力。這也意味著，寬的帶寬每秒鐘可以傳輸更多的數(shù)據(jù)。所以我們一般也將“帶寬”稱為“數(shù)據(jù)傳輸率”。帶寬的單位一般有兩種表現(xiàn)形式；第一種是B/s、KB/s或MB/s，表示單位時間（秒）內(nèi)傳輸?shù)臄?shù)據(jù)量（字節(jié)、千字節(jié)、兆字節(jié)）；第二種是bps（或稱b/s）、Kbps（或稱Kb/s）或Mbps（或稱Mb/s），表示單位時間（秒）內(nèi)傳輸?shù)臄?shù)據(jù)量（比特、千比特、兆比特）。通常情況款，我們所說的1兆寬帶，10兆寬帶