性能測試指標(biāo)介紹

性能測試指標(biāo)介紹原文鏈接:/cn/products/servers/pseries/tech/tpcc.shtmlTPC-C作為一家非盈利性機(jī)構(gòu)，事務(wù)處理性能委員會（TPC）負(fù)責(zé)定義諸如TPC-C、TPC-H和TPC-W基準(zhǔn)測試之類的事務(wù)處理與數(shù)據(jù)庫性能基準(zhǔn)測試，并依據(jù)這些基準(zhǔn)測試項(xiàng)目發(fā)布客觀性能數(shù)據(jù)。TPC基準(zhǔn)測試采用極為嚴(yán)格的運(yùn)行環(huán)境，并且必須在獨(dú)立審計(jì)機(jī)構(gòu)監(jiān)督下進(jìn)行。委員會成員包括大多數(shù)主要數(shù)據(jù)庫產(chǎn)品廠商以及服務(wù)器硬件系統(tǒng)供應(yīng)商。相關(guān)企業(yè)參與TPC基準(zhǔn)測試以期在規(guī)定運(yùn)行環(huán)境中獲得客觀性能驗(yàn)證，并通過應(yīng)用測試過程中所使用的技術(shù)開發(fā)出更加強(qiáng)健且更具伸縮性的軟件產(chǎn)品及硬件設(shè)備。TPC-C是一種旨在衡量聯(lián)機(jī)事務(wù)處理（OLTP）系統(tǒng)性能與可伸縮性的行業(yè)標(biāo)準(zhǔn)基準(zhǔn)測試項(xiàng)目。這種基準(zhǔn)測試項(xiàng)目將對包括查詢、更新及隊(duì)列式小批量事務(wù)在內(nèi)的廣泛數(shù)據(jù)庫功能進(jìn)行測試。許多IT專業(yè)人員將TPC-C視為衡量“真實(shí)”O(jiān)LTP系統(tǒng)性能的有效指示器。TPC-C基準(zhǔn)測試針對一種模擬訂單錄入與銷售環(huán)境測量每分鐘商業(yè)事務(wù)（tpmC）吞吐量。特別值得一提的是，它將專門測量系統(tǒng)在同時(shí)執(zhí)行其它四種事務(wù)類型（如支付、訂單狀態(tài)更新、交付及證券級變更）時(shí)每分鐘所生成的新增訂單事務(wù)數(shù)量。獨(dú)立審計(jì)機(jī)構(gòu)將負(fù)責(zé)對基準(zhǔn)測試結(jié)果進(jìn)行公證，同時(shí)，TPC將出據(jù)一份全面徹底的測試報(bào)告。這份測試報(bào)告可以從TPCWeb站點(diǎn)（http://www?）上獲得。tpmC定義：TPC-C的吞吐量，按有效TPC-C配置期間每分鐘處理的平均交易次數(shù)測量，至少要運(yùn)行12分鐘。1.TPC-C規(guī)范概要TPC-C是專門針對聯(lián)機(jī)交易處理系統(tǒng)（OLTP系統(tǒng)）的，一般情況下我們也把這類系統(tǒng)稱為業(yè)務(wù)處理系統(tǒng)。TPC-C測試規(guī)范中模擬了一個(gè)比較復(fù)雜并具有代表意義的OLTP應(yīng)用環(huán)境:假設(shè)有一個(gè)大型商品批發(fā)商，它擁有若干個(gè)分布在不同區(qū)域的商品庫；每個(gè)倉庫負(fù)責(zé)為10個(gè)銷售點(diǎn)供貨；每個(gè)銷售點(diǎn)為3000個(gè)客戶提供服務(wù)；每個(gè)客戶平均一個(gè)訂單有10項(xiàng)產(chǎn)品;所有訂單中約1%的產(chǎn)品在其直接所屬的倉庫中沒有存貨，需要由其他區(qū)域的倉庫來供貨。該系統(tǒng)需要處理的交易為以下幾種：New-Order：客戶輸入一筆新的訂貨交易；Payment:更新客戶賬戶余額以反映其支付狀況；Delivery:發(fā)貨（模擬批處理交易）；Order-Status:查詢客戶最近交易的狀態(tài)；Stock-Level:查詢倉庫庫存狀況，以便能夠及時(shí)補(bǔ)貨。對于前四種類型的交易，要求響應(yīng)時(shí)間在5秒以內(nèi)；對于庫存狀況查詢交易，要求響應(yīng)時(shí)間在20秒以內(nèi)。

邏輯結(jié)構(gòu)圖：流程圖：2．評測指標(biāo)TPC-C測試規(guī)范經(jīng)過兩年的研制，于1992年7月發(fā)布。幾乎所有在OLTP市場提供軟硬件平臺的廠商都發(fā)布了相應(yīng)的TPC-C測試結(jié)果，隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，這些測試結(jié)果也在不斷刷新。TPC-C的測試結(jié)果主要有兩個(gè)指標(biāo)：?流量指標(biāo)（Throughput，簡稱tpmC）按照TPC的定義，流量指標(biāo)描述了系統(tǒng)在執(zhí)行Payment、Order-status、Delivery、Stock-Level這四種交易的同時(shí)，每分鐘可以處理多少個(gè)New-Order交易。所有交易的響應(yīng)時(shí)間必須滿足TPC-C測試規(guī)范的要求。流量指標(biāo)值越大越好！?性價(jià)比(Price/Performance，簡稱Price/tpmC)即測試系統(tǒng)價(jià)格(指在美國的報(bào)價(jià))與流量指標(biāo)的比值。性價(jià)比越小越好！3．結(jié)果發(fā)布各廠商的TPC-C測試結(jié)果都按TPC組織規(guī)定的兩種形式發(fā)布：測試結(jié)果概要(ExecutiveSummary)和詳細(xì)測試報(bào)告(FullDisclosureReport)。測試結(jié)果概要中描述了主要的測試指標(biāo)、測試環(huán)境示意圖以及完整的系統(tǒng)配置與報(bào)價(jià)，而詳細(xì)測試報(bào)告中除了包含上述內(nèi)容外，還詳細(xì)說明了整個(gè)測試環(huán)境的設(shè)置與測試過程。P690tpmC測試值：76,389,839.00$/tpmC：831.00美國美金報(bào)價(jià)：6,349,223.0CPU數(shù)：32數(shù)據(jù)庫：IBMDB2UDB8.1操作系統(tǒng)：AIX5LV5.2中間件：TUXEDO8.0測試日期：2003.6.30P690TPC-C測試的配置：1．后臺：1xeServerpSeries690with32x1.7GHzPOWER4+processorswith128MBL3cacheperMCM(totaloffourMCMs),512GBmemory2．前端：30xeServerpSeries630Model6E4eachwith4x1.0GHzPOWER4CPUswith32MBL3cache,16GBmemorySPECweb:SPECweb96:在SPECweb96基準(zhǔn)測試程序上實(shí)現(xiàn)的每秒鐘超文本傳輸協(xié)議(HTTP)操作最多次數(shù)，響應(yīng)時(shí)間無明顯退化。SPECweb99:接入數(shù)，網(wǎng)絡(luò)服務(wù)器可用預(yù)先確定的工作量支持的同時(shí)接入數(shù)。SPECweb99檢測設(shè)備模擬客戶通過慢Internet聯(lián)接，向網(wǎng)絡(luò)服務(wù)器發(fā)送HTTP工作量請求。SPECweb99測試Web服務(wù)器運(yùn)行狀況SPECweb99是由標(biāo)準(zhǔn)性能評估組織(SPEC)開發(fā)的Web服務(wù)器基準(zhǔn)測試。它測量滿足特定吞吐量和客戶請求響應(yīng)速率要求的WEB服務(wù)器的最大并發(fā)連接數(shù)量。并發(fā)連接的合計(jì)波特率在320Kbps到400Kbps范圍內(nèi)，則滿足相應(yīng)規(guī)范。SPECweb99在一臺稱為主客戶端的機(jī)器上運(yùn)行，這臺機(jī)器上包含有允許用戶加載特定負(fù)載請求的配置文件。主客戶端也要處理在客戶端和服務(wù)器或測試中的系統(tǒng)(SUT)之間的傳輸協(xié)調(diào)問題?？蛻舳送ㄟ^許多子進(jìn)程/線程生成獨(dú)立HTTP請求流，仿真足夠的負(fù)載發(fā)送給SUTo圖二表示客戶端/服務(wù)器的層次關(guān)系。尊門堆1ItIt■文仲翼(0-sts}尊門堆1ItIt■文仲翼(0-sts}」客戶堆主客戶蠕廂動井：：：::::$：誌盤. 幄務(wù)器運(yùn)回匱衙r?b (SLT>客戶斷■ 夷廣滋苗:K?-林⑷II圖：典型的SPECweb99實(shí)驗(yàn)環(huán)境在這個(gè)測試中，客戶端向測試中的服務(wù)器發(fā)送請求數(shù)據(jù)。測試規(guī)范要求客戶端和服務(wù)器之間的連接不能使用片段大小大于1460比特的TCP協(xié)議。因此，每一個(gè)客戶端讀取1460比特或更少數(shù)據(jù)塊的響應(yīng)。測試中使用兩種類型的負(fù)載量：靜態(tài)負(fù)載.靜態(tài)負(fù)載具有四種類型的文件。最小的文件的增幅為0?1KB,第二種文件類型的增幅為1KB,最后兩種類型的文件的增幅為10KB和100KB。每一個(gè)目錄包含每種類型9個(gè)文件共36個(gè)文件。目標(biāo)請求的文件類型在各類型中分散使用。在每一類中的9個(gè)文件中又進(jìn)行二次分布。最終目標(biāo)文件混合為：35％的請求文件小于1KB50％的請求文件小于10KB14%的請求文件小于100KB,但是大于或等于10KB1%的請求文件小于1000KB,但是大于或等于100KB動態(tài)負(fù)載?動態(tài)負(fù)載是基于廣告和用戶注冊。共有四種在SPECweb99中使用的請求內(nèi)容類型，分別是標(biāo)準(zhǔn)動態(tài)取操作、動態(tài)隨機(jī)取操作、動態(tài)發(fā)送操作和客戶圖形接口動態(tài)取操作。標(biāo)準(zhǔn)動態(tài)取操作和客戶圖形接口動態(tài)取操作表現(xiàn)web服務(wù)器的簡單廣告輪轉(zhuǎn)特性。帶有廣告輪轉(zhuǎn)的動態(tài)取操作追蹤用戶和用戶選擇，所以廣告可以由不同的方式來定制。最終，動態(tài)發(fā)布實(shí)施一個(gè)用戶注冊在相應(yīng)的網(wǎng)站上。P690SPECweb99測試值：21,000Web服務(wù)器：Zeus4.0操作系統(tǒng)：AIX5LV5.1(64-bit)測試日期：2001-10-1測試配置：16x1.3GHzPOWER-4Processorsw/1440KBunifiedonchipL2cache,192GBmemory,32x32IBMGigabitEthernet-SXPCIcontrollers,32xGigabitEthernetnetwork(1Gigabit/sec),96xClients(4x375MHzPOWER3-II,RS/600044P-270),RequestedConnections=21000,MaxFilesetSize=67319.6MBP650SPECweb99測試值：12,400Web服務(wù)器：Zeus4?1r3操作系統(tǒng)：AIX5LV5.2(64-bit)CPU數(shù)：8測試日期：2002-10-1測試配置：8x1.45GHzPOWER4+processorsw/1.5MB(I+D)unifiedonchipL2cache,32MBunifiedoffchip/SCML3cache,64GBmemory,8xGigabitEthernet-SXPCI-Xcontrollers,8xGigabitEthernetnetwork(1Gigabit/sec),48xClients(6x668MHzRS64-IV,pSeries620Model6F1),RequestedConnections=12400,MaxFilesetSize=39801.28MBp630SPECweb99測試值：6,895Web服務(wù)器：Zeus4.2r1操作系統(tǒng)：AIX5LV5?2(64-bit)CPU數(shù)：4測試日期：2003-2-1測試配置：4x1450MHzPOWER4+Processorsw/1536KB(I+D)unifiedonchipL2cache,8MBunified(offchip)/SCML3cache,32GBmemory,4xGigabitEthernet-SXPCI-Xcontrollers,4xGigabitEthernetnetworks(1Gigabit/sec),24xClients(4x375MHzPOWER3-II,pSeries640ModelB80),RequestedConnections=6900,MaxFilesetSize=22199?12MBNotesBench:NotesBench是測試各種不同LotusNotes方面的驅(qū)動程序。目的是執(zhí)行自定義工作量教本中的命令，模擬客戶機(jī)的操作。