讀懂服務器性能指標

1、讀懂服務器性能指標用戶總希望有一種簡單、高效的度量標準，來量化評價服務器系統(tǒng)，以便作為選型的依據(jù)。但實際 上，服務器的系統(tǒng)性能很難用一兩種指標來衡量。包括TPC、SPEC、SAP SD、Linpack 和 HPCC在內(nèi)的眾多服務器評測體系，從處理器性能、服務器系統(tǒng)性能、商業(yè)應用性能直到高性能計算機的性能，都給出 了一個量化的評價指標。 在如此多的標準中， 用戶該如何選擇最適合自身應用環(huán)境的評價體系呢？這里， 我們選擇了應用面較廣泛的 TPC和 SPEC，作一個深入介紹。 走出誤區(qū)深入 TPC-C指標TPC體系是影響最大的評測基準之一，尤其近兩年，國內(nèi)媒體對TPC指標的報道可謂海量。但有多少用戶

2、真正了解其中的含義呢？本文以TPC-C為例，讓用戶深入了解這項基準測試。tpmC值在國內(nèi)外被廣泛用于衡量服務器系統(tǒng)的事務處理能力。 但究竟什么是 tpmC值呢 ?筆者曾向一 些用戶、 專業(yè)媒體記者乃至某些國外大公司的技術人員問過這個問題， 但回答的精確度與 tpmC值的流行 程度差異甚遠。不少人將之誤寫為TPMC，甚至與 TPC組織混為一談。TPC（Transactionprocessing Performance Council，事務處理性能委員會 ） 是由數(shù)十家會員公司創(chuàng)建的非盈利組織，總部設在美國。 TPC 的成員主要是計算機軟硬件廠家，而非計算機用戶，其功能是制 定商務應用基準程序的標

3、準規(guī)范、性能和價格度量，并管理測試結果的發(fā)布。TPC不給出基準程序的代碼，而只給出基準程序的標準規(guī)范。任何廠家或其他測試者都可以根據(jù)規(guī) 范，最優(yōu)地構造出自己的測試系統(tǒng) （ 測試平臺和測試程序 ） 。為保證測試結果的完整性， 被測試者 （ 通常是 廠家 ） 必須提交給 TPC一套完整的報告 （Full Disclosure Report） ，包括被測系統(tǒng)的詳細配置、分類價格 和包含 5 年維護費用在內(nèi)的總價格。該報告必須由TPC授權的審核員核實 （TPC 本身并不做審計 ）。TPC在全球只有不到 10 名審核員，全部在美國。TPC推出過 11 套基準程序， 分別是正在使用的TPC-D和 TPC-

4、R，以及因為不被業(yè)界接受而放棄的TPC-App、TPC-H、TPC-C、TPC-W，過時的 TPC-A、TPC-B、TPC-S（ Server 專門測試基準程序）、 TPC-E（大型企業(yè)信息服務測試基準程序）和 TPC-Client/Server。而目前最為 “流行” 的 TPC-C 是在線事務處理 （OLTP）的基準程序，于 1992 年 7 月完成，后被業(yè)界逐漸接受。TPC-C使用三種性能和價格度量，其中性能由tpmC（transactions per minute， tpm）衡量， C 指TPC中的 C基準程序。 它的定義是每分鐘內(nèi)系統(tǒng)處理的新訂單個數(shù)。TPC-C還經(jīng)常以系統(tǒng)性能價格比的

5、方式體現(xiàn)，單位是 /tpmC ，即以系統(tǒng)的總價格（單位是美元） /tpmC 數(shù)值得出。解讀 tpmC從 TPC-C 的定義不難知道， 這套基準程序是用來衡量整個 IT 系統(tǒng)的性能， 而不是評價服務器或某種 硬件系統(tǒng)的標準，而且 tpmC 數(shù)值的高低直接受到各個環(huán)節(jié)的影響，右表大概可以說明系統(tǒng)設置對 tpmC 測試的影響。此處的“ IT 系統(tǒng)”包括服務器、外設 （ 如硬盤或 RAID）、服務器端操作系統(tǒng)、數(shù)據(jù)庫軟件、 客戶端及其操作系統(tǒng)、 數(shù)據(jù)庫軟件和網(wǎng)絡連接等。 因此， 如何解讀 tpmC 數(shù)值會因不同的采購需求有非常 大的差異。tpmC 測試指標與硬件的關聯(lián)度交易類型復雜程度發(fā)生頻率訪問表的

6、數(shù)量（內(nèi)存、 磁 盤 IO 相關）平均邏輯 IO 數(shù)目CPU 的負載（ % ）新訂單復雜交易45%84653付款復雜交易43%4811交貨4%4708訂單查詢簡單交易4%3121庫存查詢復雜交易4%340127上述 5 種交易中，除付貨交易是事后批處理，其余 4 種皆為聯(lián)機交易。要注意的是，在處理新訂單的同時， 系統(tǒng)還要處理其他 4 類事務請求。通常而言，新訂單請求不可能超出全部事務請求的45% ，因此，當一個系統(tǒng)的性能為 1000tpmC 時，它每分鐘實際處理的請求數(shù)是 2000 多個。以服務器為例。在很多廠家的 TPC測試系統(tǒng)中，服務器的價格只是系統(tǒng)總價格的 25或更小，而硬 盤的價格有可

7、能占到總價格的 30以上，因為 TPC-C要求被測系統(tǒng)必須保存 180 天的事務記錄（這一趨 勢從一些最新的 TPC-C測試結果來看，會愈演愈烈）。如果同樣的服務器被用到用戶的環(huán)境中，廠家報 的 tpmC 值就意義不大， 因為用戶的實際系統(tǒng)與廠家原來用于TPC測試的系統(tǒng)大不一樣。 當同樣的主機用在不同的系統(tǒng)中時， tpmC 值可能有相當大的變化，現(xiàn)在許多用戶還沒有意識到這一點。尤其需要服務器采購用戶注意的是， tpmC 指標更多的是衡量從 Client 到終端網(wǎng)絡的性能區(qū)域（如 左圖所示），而不是通常誤認為的服務器到企業(yè)端網(wǎng)絡的性能。由此可見，如果用戶是建立一套全新的 業(yè)務系統(tǒng)， 那么無妨多借

8、鑒 tpmC 的性能指標， 如果只是采購某種或某些硬件設備， 則需要參考更多的指 標。對于 tpmC數(shù)值著迷的用戶而言， 一個現(xiàn)實問題是， 實現(xiàn)高 tpmC指標的代價是否能夠承受， 畢竟 TPC-C 都是很復雜的基準程序，做一個嚴格的測試非常消耗資源，廠商通常不會給TPC報告出全部花費的金錢和時間。實際上，正因為 tpmC（其他評測指標也大都一樣）受系統(tǒng)優(yōu)化影響較大，業(yè)界對于是否應該在測試中進行優(yōu)化向來爭議頗多。 在 1993 年 , 當時三大 IT 公司的專家就對 OLTP性能測試的優(yōu)化提出過反對意 見 DEC的 Jim Gray （ 現(xiàn)為 TPC-C委員會專家 ） 與 Walt Kohle

9、r 、天騰公司（TANDEN）的 Charles Levine 和 IBM的 Steve Kiss 共同發(fā)表了對 OLTP性能測試指標是否應該進行人為優(yōu)化的看法“一個好的性能測試指標是不會依賴于特殊情況下的優(yōu)化。最理想的情況應該是：一個測試指標在 測試過程中所表現(xiàn)出的性質(zhì)和能力 , 以及對測試所做的優(yōu)化能夠確實提供對現(xiàn)實世界中用戶實際應用的 性能改進。然而，事與愿違，某些廠商迫于標準測試指標所帶來的巨大市場壓力，他們花費巨大的精力 在如何改進測試結果的同時還能降低價格比率，而全然不顧所做的這一切優(yōu)化究竟是否給用戶帶來了真 實的利益?！毕嘈艑嵺`：最佳檢驗方式眾所周知，成熟的企業(yè)從不相信任何“國際

10、通用標準”，而是花相當精力，比如預算的5，使用自己的應用來測試系統(tǒng)，從而決定選型。“國際通用標準”的度量可以作為參考值，而不應作為必要條 件。尤其是一定要弄清這些流行度量有什么含義，是在什么樣的系統(tǒng)環(huán)境中測得的，以及基準程序是否 符合企業(yè)真實的業(yè)務流程和運作模式。下面就是三種不同的檢測模式。在真實環(huán)境中運行實際應用這是最理想的方式。 要求制造商或系統(tǒng)集成商配合將系統(tǒng) （ 含平臺、軟件和操作流程 ）在一個 實際用 戶點真正試運行一段時間。這樣，用戶不僅能看到實際性能，也能觀察到系統(tǒng)是否穩(wěn)定可靠、使用是否 方便、服務是否周到、配置是否足夠、全部價格是否合理。使用用戶定義的基準程序如果第一種方式不可

11、行，用戶可以定義一組含有自己實際應用環(huán)境特征的應用基準程序。業(yè)內(nèi)有兩 個典型的例子：其一是，近年來由于層應用模型的風靡， SAP SD 基準獲得了眾多廠商和用戶的認可， 于是在很多地方都能看見對 SAP測試數(shù)據(jù)的引用；其二是，國家稅務總局曾經(jīng)開發(fā)自己的基準程序，以 幫助稅務系統(tǒng)進行服務器選型。這種方式在中國尤其重要，因為中國的信息系統(tǒng)有其特殊性。使用通用基準程序如果前兩種均難實行，那么使用如 TPC-C之類的通用基準程序未嘗不可。但用戶應當尤其注意 實際應用是否與基準程序相符？絕大多數(shù)基準程序都是在美國制訂的，而中國的企事業(yè)單位與美國的運 作方式常常不一樣， 在使用 TPC-C時， 用戶應該清

12、楚地知道： 自己的應用是否符合批發(fā)商模式 ?事務請求 是否與測試模式近似？對響應時間的要求是否那么高？如果都不是，則 tpmC 值的參考價值就不太大了。 那么不妨看看其他的更合適的測試指標，例如SPECweb2005等。主流基準測試概覽基準名稱基本描述側重點TPC-C單位為 tpmC ，對系統(tǒng)在線事務處理能力進行 評價，含義為每分鐘內(nèi)系統(tǒng)處理新訂單的個 數(shù)。主要是服務器 OLTP ，主要是模擬企業(yè)MIS 、ERP 系統(tǒng)來考驗服務器聯(lián)機業(yè)務 處理能力TPC-H單位為 QphHsize ，表示系統(tǒng)在處理特定資 料量的數(shù)據(jù)庫時，系統(tǒng)在一小時之內(nèi)能完成主要目的是考驗基于特定查詢的決策支持能力，強調(diào)服務

13、器在數(shù)據(jù)挖掘、分析查詢的數(shù)量。處理上面的能力。SPECCPU2000單位為比值，是系統(tǒng)執(zhí)行測試程序的時間與參考系統(tǒng)的比值?？疾煜到y(tǒng) CPU 運算能力和內(nèi)存性能。SPECweb2005指標為整數(shù)，含義為系統(tǒng)能同時相應的最大Http 連接數(shù)。側重 CPU 、內(nèi)存、系統(tǒng) I/O 和網(wǎng)絡的整 體性能。SPECjAppServer2004單位為 jops 配置，即基于 java 平臺的應用 服務器每秒能執(zhí)行的 java 操作數(shù)。衡量 JIEE 1.3 應用服務器的性能Linpack指標為實數(shù)， 指 HPC 采用高斯消元法求解一 元 N 次稠密線性代數(shù)方程組的每秒處理次 數(shù)。衡量 HPC 單機或集群的浮點

14、性能。HPCC包括 7 個子項，為 HPL 、雙精度矩陣乘法、 內(nèi)存帶寬、并行矩陣轉置、隨機存儲、傅立 葉變換與通信帶寬延遲。全面衡量 HPC 系統(tǒng)性能，缺陷是比較復 雜，測試時間較長。SAP SD指標涵義為一定數(shù)量規(guī)模的 SAP SD 客戶端 發(fā)出 SAPS 請求，系統(tǒng)的響應時間與每小時 能完成的訂單數(shù)量。衡量單一系統(tǒng)同時執(zhí)行應用程序與數(shù)據(jù) 庫的能力。主流基準測試概覽基準名稱基本描述側重點TPC-C單位為 tpmC ，對系統(tǒng)在線事務處理能力進行 評價，含義為每分鐘內(nèi)系統(tǒng)處理新訂單的個 數(shù)。主要是服務器 OLTP ，主要是模擬企業(yè)MIS 、ERP 系統(tǒng)來考驗服務器聯(lián)機業(yè)務處 理能力TPC-H單

15、位為 QphHsize ，表示系統(tǒng)在處理特定資 料量的數(shù)據(jù)庫時， 系統(tǒng)在一小時之內(nèi)能完成查 詢的數(shù)量。主要目的是考驗基于特定查詢的決策支 持能力， 強調(diào)服務器在數(shù)據(jù)挖掘、 分析處 理上面的能力。SPECCPU2000單位為比值， 是系統(tǒng)執(zhí)行測試程序的時間與參 考系統(tǒng)的比值?？疾煜到y(tǒng) CPU 運算能力和內(nèi)存性能。SPECweb2005指標為整數(shù)，含義為系統(tǒng)能同時相應的最大Http 連接數(shù)。側重 CPU 、內(nèi)存、系統(tǒng) I/O 和網(wǎng)絡的整 體性能。SPECjAppServer2004單位為 jops 配置，即基于 java 平臺的應用 服務器每秒能執(zhí)行的 java 操作數(shù)。衡量 JIEE 1.3 應

16、用服務器的性能Linpack指標為實數(shù)，指 HPC 采用高斯消元法求解一 元 N 次稠密線性代數(shù)方程組的每秒處理次數(shù)。衡量 HPC 單機或集群的浮點性能。HPCC包括 7 個子項， 為 HPL 、雙精度矩陣乘法、 內(nèi) 存帶寬、并行矩陣轉置、隨機存儲、傅立葉變 換與通信帶寬延遲。全面衡量 HPC 系統(tǒng)性能，缺陷是比較復 雜，測試時間較長。SAP SD指標涵義為一定數(shù)量規(guī)模的 SAP SD 客戶端 發(fā)出 SAPS 請求，系統(tǒng)的響應時間與每小時能 完成的訂單數(shù)量。衡量單一系統(tǒng)同時執(zhí)行應用程序與數(shù)據(jù) 庫的能力。 突出重點SPEC關注 CPU和 WebSPEC體系中最廣為人知的兩個子項，是衡量與 TPC

17、 體系注重在線處理能力和數(shù)據(jù)庫查詢能力不同，CPU、內(nèi)存性能的 CPU2000和 Web服務器性能的 web2005。除了 TPC家族， SPEC家族也是廣為人知的一大體系。SPEC指標體系由 Standard PerformanceEvaluation Corp. 制定，目前主要包括針對 CPU性能的 SPEC CPU2000（已有 CPU2006，但尚無數(shù)據(jù)）、 針對 Web服務器的 SPECweb200、5 針對高性能計算的 SPEC HPC2002與 SPEC MPI2006、針對 Java 應用的 jAppServer2004 與 JBB2005 以及對圖形系統(tǒng)、網(wǎng)絡和郵件服務器的測

18、試指標。其中 CPU2000和 web2005 兩類是被引用最廣泛的指標。CPU2000 注重 CPUSPECC PU2000 是一組針對 CPU 和內(nèi)存的測試，它主要測試的對象是CPU、內(nèi)存，不測試硬盤、 I/O效率和網(wǎng)絡等部分。 SPECC PU2000 由許多源代碼程序組成， 這些程序都從實際的應用 （主要來自配置 1 4顆 CPU的工作站應用）中取出來的，例如 164.gzip 就是 gzip 壓縮程序。這些程序區(qū)分成“整數(shù)”和 “浮點數(shù)”兩組。 SPECint2000 就是“整數(shù)”部分，而 SPECfp2000 則是“浮點數(shù)”部分。“整數(shù)”部 分有 12 個程序，使用 C 或 C+

19、語言，它們不使用 CPU的浮點單元； 而“浮點數(shù)”部分有 14 個程序， 使用 FORTRAN 77/90 和 C語言，這些程序的主要運算是浮點數(shù)的。SPECint2000 和 SPECfp2000 的結果， 以執(zhí)行時間為準。 每個程序的執(zhí)行時間和一個參考平臺 （Sun Ultra5/10 300MHz ）相比，計算出其倍數(shù)。如果執(zhí)行時間和參考平臺相同，結果就是100。如果只花了一半時間完成，結果就是 200?！罢麛?shù)” 的 12 個程序的結果， 取其平均值， 得到的就是 SPECint2000 的 測試結果?！案↑c數(shù)”的 14 個程序也是一樣。由于 SPECC PU2000的測試程序都是源代碼形式（以保證跨平臺測試），所以編譯器效率就顯得十分 重要。 SPECC PU2000規(guī)定，測試結果有“ Base”和“ Peak”兩種結果?！?Base”測試中，對于編譯時的 最佳優(yōu)化參數(shù)有所規(guī)定（所有的程序都需使用同樣的參數(shù)，且參數(shù)數(shù)目不能超過四個），而“ Peak”測 試則比較寬松。另外，因為 SPEC CPU2000的程序都是針對單 CPU的系統(tǒng)設計，因此，在多