基建管理信息系統(tǒng)性能優(yōu)化測試方案(總部)-v20

1、基建管理系統(tǒng)性能優(yōu)化工作測試方案（總部部分）2015年6月目錄一、工作背景3二、工作目標(biāo)3三、組織保障及職責(zé)分工3(一)組織架構(gòu)3(二)職責(zé)分工4四、工作內(nèi)容及步驟4五、整體工作計(jì)劃及要求10六、存在風(fēng)險(xiǎn)及預(yù)防措施10七、附件10一、 工作背景基建管理系統(tǒng)基于SG-UAP平臺開發(fā)，采用一級部署模式，系統(tǒng)分別部署于國網(wǎng)公司信息內(nèi)網(wǎng)和信息外網(wǎng)，主要服務(wù)于國網(wǎng)公司總部基建部、省公司建設(shè)部、地市公司建設(shè)管理單位和現(xiàn)場業(yè)主、監(jiān)理、施工項(xiàng)目部人員。系統(tǒng)于2014年5月份在浙江和河南開始試運(yùn)行，9月初完成27家省公司，330家地市公司的推廣應(yīng)用。在經(jīng)過近一年時(shí)間的應(yīng)用，系統(tǒng)有效地支撐了公司基建業(yè)務(wù)的順利開展

2、，同時(shí)也存在一些訪問速度慢等問題，因此國網(wǎng)信通部2015年5月13日，組織召開了基建管理信息系統(tǒng)應(yīng)用問題協(xié)調(diào)會，會上對系統(tǒng)訪問速度慢的問題進(jìn)行了專項(xiàng)討論，并要求國網(wǎng)信通公司牽頭組織各相關(guān)項(xiàng)目組制定基建管理信息性能優(yōu)化工作方案，針對影響基建系統(tǒng)性能因素進(jìn)行全面的檢查，并針對存在的問題協(xié)調(diào)各方進(jìn)行解決。二、 工作目標(biāo)通過本次測試，找到總部這邊影響系統(tǒng)性能的瓶頸，制定性能優(yōu)化解決方案，徹底解決影響系統(tǒng)性能的問題，提升系統(tǒng)用戶體驗(yàn)和滿意度。三、 組織保障及職責(zé)分工(一) 組織架構(gòu)根據(jù)國家電網(wǎng)公司基建管理信息系統(tǒng)性能優(yōu)化工作總體部署，國網(wǎng)信通公司、系統(tǒng)研發(fā)實(shí)施單位（中電普華公司） 、UAP、統(tǒng)一權(quán)限、B

3、PM、非結(jié)構(gòu)化項(xiàng)目組成立聯(lián)合工作組，組織機(jī)構(gòu)如下組長：XXX成員： 國網(wǎng)信通公司：XXX基建項(xiàng)目組：XXX(二) 職責(zé)分工國網(wǎng)信通公司：負(fù)責(zé)機(jī)房網(wǎng)絡(luò)環(huán)境優(yōu)化，配合軟硬件環(huán)境優(yōu)化工作；基建項(xiàng)目組：負(fù)責(zé)基建系統(tǒng)性能優(yōu)化方案編制、程序?qū)用?、平臺層面，配合軟硬件環(huán)境、機(jī)房網(wǎng)絡(luò)環(huán)境排查及優(yōu)化工作；UAP、ISC、BPM、非結(jié)構(gòu)化項(xiàng)目組：配合各自平臺層面的問題排查及優(yōu)化工作；四、 工作內(nèi)容及步驟總部側(cè)測試采用工具監(jiān)控和人工測試兩種手段進(jìn)行，以工具監(jiān)控為主，工具監(jiān)控不到的地方，使用人工測試手段進(jìn)行補(bǔ)充。測試內(nèi)容主要包含：服務(wù)器性能監(jiān)控、外部系統(tǒng)接口服務(wù)監(jiān)控、網(wǎng)絡(luò)通道監(jiān)控、基建應(yīng)用系統(tǒng)源碼和SQL語句檢查、省

4、公司和總部用戶功能測試。(一) 服務(wù)器性能監(jiān)控服務(wù)器性能對基建系統(tǒng)的正常運(yùn)營具有重要意義，服務(wù)器是基建系統(tǒng)的根基，直接影響基建系統(tǒng)的可靠性和穩(wěn)定性。以下幾個(gè)方面是衡量服務(wù)器性能高低的重要指標(biāo)，請?jiān)谶M(jìn)行服務(wù)器監(jiān)控的時(shí)候重點(diǎn)進(jìn)行測量。1. 服務(wù)器CPU、內(nèi)存、磁盤I/O、網(wǎng)絡(luò)帶寬等使用情況性能因素參數(shù)參數(shù)值CPU使用率例如：< 10%內(nèi)存使用率例如：< 70%磁盤I/O使用率例如：< 10%網(wǎng)絡(luò)帶寬系統(tǒng)負(fù)載Load運(yùn)行隊(duì)列的平均長度吞吐率服務(wù)器單位時(shí)間內(nèi)處理的請求數(shù) 獲取CPU使用率可以通過top命令查看，獲取內(nèi)存使用率可以通過free命令查看，獲取磁盤I/O可以通過iostat

5、命令查看，獲取網(wǎng)絡(luò)帶寬可以使用iptraf工具查看。影響性能因素評判標(biāo)準(zhǔn)性能因素好壞糟糕CPUuser%+sys%< 70%user%+sys%= 85%user%+sys%>=90%內(nèi)存虛擬內(nèi)存頁導(dǎo)入SwapIn(si)0虛擬內(nèi)存頁導(dǎo)出SwapOut(so)0Per CPU with 10 page/sMore Swap In & Swap Out磁盤I/O帶寬iowait % < 20%iowait % = 35%iowait % >= 50%2. 中間件Server運(yùn)行情況名稱集群參數(shù)值計(jì)算機(jī)狀態(tài)健康情況監(jiān)聽端口監(jiān)聽地址AdminServer (管理)RU

6、NNINGOK8080CISN01/29中間件Server運(yùn)行情況可以通過登錄weblogic控制臺查看。3. Application部署情況名稱狀態(tài)健康情況類型部署順序sgcis活動OKWeb應(yīng)用程序100Application部署情況可以通過登錄weblogic控制臺查看。4. Java虛擬機(jī)運(yùn)行狀況當(dāng)前堆棧大小當(dāng)前空閑棧堆空閑百分比最大堆大小Java虛擬機(jī)運(yùn)行狀況可以使用jmap命令查看。5. 數(shù)據(jù)庫性能數(shù)據(jù)庫性能檢查是對數(shù)據(jù)庫進(jìn)期內(nèi)運(yùn)行情況、資源使用情況的檢查，從檢查的結(jié)果得出數(shù)據(jù)庫當(dāng)前是否運(yùn)行在一個(gè)比較優(yōu)化的狀態(tài)，如果發(fā)現(xiàn)數(shù)據(jù)庫的某項(xiàng)性能指標(biāo)明顯降低，就要對數(shù)據(jù)庫

7、進(jìn)行分析和優(yōu)化調(diào)整。數(shù)據(jù)庫性能是衡量系統(tǒng)性能高低的重要指標(biāo)，可從以下幾個(gè)方面進(jìn)行監(jiān)控。性能因素參數(shù)值數(shù)據(jù)庫緩沖區(qū)命中率例如：<70%數(shù)據(jù)庫高速緩存命中率數(shù)據(jù)字典高速緩存命中率重做日志緩沖區(qū)的使用情況數(shù)據(jù)庫空間使用情況回滾段使用情況SQL語句的執(zhí)行效率監(jiān)控1. 占用CPU時(shí)間長的sql語句：請于此處附查詢結(jié)果，以文件方式插入此處2. 執(zhí)行效率最差的30條sql語句：請于此處附查詢結(jié)果，以文件方式插入此處3. 利用V_$SQLAREA視圖查詢SQL語句執(zhí)行細(xì)節(jié)請于此處附查詢結(jié)果，以文件方式插入此處4. 利用數(shù)據(jù)庫AWR報(bào)告記錄分析結(jié)果 請于此處附AWR報(bào)告，以文件方式插入此處以下是各個(gè)因素的

8、獲取方法性能因素獲取方法數(shù)據(jù)庫緩沖區(qū)命中率以DBA的身份進(jìn)入SQL*PLUS，輸入： select 1-sum(decode(name,'physical reads',value,0)/(sum(decode(name,'db block gets',value,0)+sum(decode(name,'consistent gets',value,0) from v$sysstat; 命中率小于70%則可能需要調(diào)整。命中率低時(shí)的調(diào)整：查出導(dǎo)致命中率低的原因

9、，如性能差的SQL語句等。加大DB_BLOCK_BUFFER的數(shù)量。數(shù)據(jù)庫高速緩存命中率以DBA的身份進(jìn)入SQL*PLUS，輸入Select sum(reloads)/sum(pins) from v$librarycache;結(jié)果不是很接近于0時(shí)需要進(jìn)行調(diào)整。命中率低時(shí)的調(diào)整：增加SHARE_POOL_SIZE的大小。一般為可用內(nèi)存10%數(shù)據(jù)字典高速緩存命中率以DBA的身份進(jìn)入SQL*PLUS。輸入：Select sum(getmisses)/sum(gets) from v$rowcache;結(jié)果>15%則可能需要調(diào)整。命中率低時(shí)的調(diào)整：增大SHARE_POOL_SIZE。重做日志緩

10、沖區(qū)的使用以DBA的身份進(jìn)入SQL*PLUS。輸入：select sum(decode(name,'redo log space requests',value,0)/sum(decode(name,'redo entries',value,0) from v$sysstat;結(jié)果不是很接近于0則可能需要調(diào)整。調(diào)整過程：初始化參數(shù)中LOG_SIMULTANEOUS_COPIES應(yīng)設(shè)置為CPU數(shù)目的兩倍。增大REDOLOG_BUFFER。 數(shù)據(jù)庫空間使用以DBA的身份進(jìn)入SQL*PLU

11、S。 SQL>set linesize 1000; SQL>set pagesize 1000;SQL>column tablespace_name format a15; SQL>SELECT A.TABLESPACE_NAME,A.BYTES/1024/1024 TOTAL,B.BYTES/1024/1024 USED, C.BYTES/1024/1024 FREE,(B.BYTES*100)/A.BYTES 

12、;"% USED",(C.BYTES*100)/A.BYTES "% FREE" FROM SYS.SM$TS_AVAIL A,SYS.SM$TS_USED B,SYS.SM$TS_FREE C WHERE A.TABLESPACE_NAME=B.TABLESPACE_NAME AND A.TABLESPACE_NAME=C.TABLESPACE_NAME; 表空間調(diào)整 如果某個(gè)表空間的使用率大于80%則要引起注意，

13、可能需要擴(kuò)展表空間，表空間由磁盤陣列上的裸設(shè)備分區(qū)文件組成，在擴(kuò)展前先用lsvg命令檢查可用的裸設(shè)備分區(qū)（具體操作見磁盤空間查看），如果有可用的裸設(shè)備分區(qū)，則可將它加入表空間，操作如下：  SQL>alter tablespace表空間名 add datafile /dev/rdata40 size 1000M autoextend off;  注意，size的值至少要比裸分區(qū)的實(shí)際大小小1M以上，如/dev/rdata40的大小為1024M，則可取size為1000M

14、?；貪L段使用以DBA的身份進(jìn)入SQL*PLUS。輸入： SQL> set linesize 1000; SQL>set pagesize 1000; SQL>column segment_name format a10; SQL>column tablespace_name format a15; SQL>column status format a10; SQL&g

15、t;select segment_name, tablespace_name, r.status,     (initial_extent/1024/1024) InitialExtent,(next_extent/1024/1024) NextExtent,      max_extents, v.curext CurExtent,v.optsize/1024/1024 Optimal 

16、0;   From dba_rollback_segs r, v$rollstat v     Where r.segment_id = v.usn(+) order by segment_name;  回滾段調(diào)整： 如果回滾段因?yàn)檫_(dá)到最大擴(kuò)展而失敗則要增加回滾段的最大擴(kuò)展： alter rollback segment rbs0 sto

17、rage (maxextents 1000); 如果回滾段因?yàn)楸砜臻g太小擴(kuò)展則要增加回滾段表空間的大小，具體見表空間調(diào)整。 如果回滾段因?yàn)榭煺仗蠈?dǎo)致事務(wù)失敗則要增加回滾段個(gè)數(shù)，并加大Optimal Size的大?。?#160;增加回滾段： create rollback segment rbs20 tablespace RBS storage (initial 1M next 1M maxextents 1000&

18、#160;optimal 10M); 增加Optimal Size： alter rollback segment rbs20 storage (optimal 20M); 如果回滾段不在線，則要使它在線： alter rollback segment rbs20 online; SQL語句的執(zhí)行效率監(jiān)控用以下方法監(jiān)控SQL語句執(zhí)行效率：以DBA的身份進(jìn)入SQL*PLUS。輸入： 1檢查占用CPU時(shí)間比較長的sql語

19、句:  select sql_text,cpu_time from v$sql where cpu_time >1e7 order by cpu_time    2執(zhí)行效率最差的30條sql語句    SELECT * FROM ( SELECT PARSING_USER_ID EXECUTIONS SORTS, 

20、0;   COMMAND_TYPE, DISK_READS, sql_text FROM v$sqlarea     ORDER BY disk_reads DESC) WHERE ROWNUM<303利用V_$SQLAREA視圖查看執(zhí)行的細(xì)節(jié)。（執(zhí)行、讀取磁盤和讀取緩沖區(qū)的次數(shù)）    select SQL_TEXT,EXECUTIONS,DISK_READS,COMM

21、AND_TYPE,OPTIMIZER_MODE, SHARABLE_MEM,BUFFER_GETS from v$sqlarea  字段含義如下：EXECUTIONS：執(zhí)行次數(shù)    DISK_READS：讀盤次數(shù)  COMMAND_TYPE:命令類型（3:select,2:insert;6:update;7delete;47:pl/sql程序單元）OPTIMIZER_MODE：優(yōu)化方式   SQL_TEXT：Sql語句  SHARAB

22、LE_MEM：占用shared pool的內(nèi)存多少    BUFFER_GETS：讀取緩沖區(qū)的次數(shù)    以上SQL語句的用途  1、幫忙找出性能較差的SQL語句2、幫忙找出最高頻率的SQL   3、幫忙分析是否需要索引或改善聯(lián)接  4、監(jiān)控當(dāng)前Oracle的session，如出現(xiàn)時(shí)鐘的標(biāo)志，表示此進(jìn)程中的sql運(yùn)行時(shí)間較長。 利用數(shù)據(jù)庫AWR報(bào)告分析數(shù)據(jù)庫性能，生成AWR報(bào)告步驟如下：前提：利用CRT終端軟件連接數(shù)據(jù)庫服務(wù)器

23、，登陸要有oracle_dba權(quán)限 ，登陸后按一下步驟操作：1. cd $ORACLE_HOME/RDBMS/ADMIN 注意大小寫2. export ORACLE_SID='要導(dǎo)出報(bào)告的數(shù)據(jù)庫實(shí)例名稱' 如testdb 3. sqlplus 用戶名/密碼testdb 4. SQL>?/rdbms/admin/awrrpt.sql  （注該文件在：$ORACLE_HOME/rdbms/admin/awrrpt.sql文件） 

24、5. 輸入report_type的值:html （注：確定報(bào)告的格式）  6. 輸入num_days的值:1 （注：選擇快照的天數(shù)）  7. 輸入begin_snap的值:425 （注：起始快照）  8. 輸入end_snap的值:437 （注：結(jié)束快照）  9.輸入report_name的值:testdb_20121224_425_427.html（注：報(bào)告生成的名稱和位置,默認(rèn)放在當(dāng)前路徑下）10. 將報(bào)告下載到本地，用瀏

25、覽器打開。影響性能因素評判標(biāo)準(zhǔn)性能因素參數(shù)值數(shù)據(jù)庫緩沖區(qū)命中率命中率小于70%則需要調(diào)整數(shù)據(jù)庫高速緩存命中率結(jié)果不是很接近于0時(shí)需要進(jìn)行調(diào)整數(shù)據(jù)字典高速緩存命中率結(jié)果>15%則需要調(diào)整重做日志緩沖區(qū)的使用結(jié)果不是很接近于0則需要調(diào)整數(shù)據(jù)庫空間使用表空間的使用率大于80%則要引起注意，可能需要擴(kuò)展表空間(二) 外部系統(tǒng)接口服務(wù)監(jiān)控外部系統(tǒng)接口包括統(tǒng)一權(quán)限系統(tǒng)，BPM系統(tǒng)，非結(jié)構(gòu)化系統(tǒng)。外部系統(tǒng)接口對總部基建系統(tǒng)的正常運(yùn)行有著重要的支撐與輔助作用，總部基建系統(tǒng)與這三大接口有大量的數(shù)據(jù)共享和業(yè)務(wù)協(xié)同，它們的性能間接影響了與基建系統(tǒng)的數(shù)據(jù)共享速度和業(yè)務(wù)協(xié)同效率。為了達(dá)到測試的效果，采取自動測試和

26、人工測試兩種方式進(jìn)行監(jiān)控。自動測試方式采取APM性能監(jiān)控工具進(jìn)行，人工測試方式采取設(shè)置典型場景，把可能影響性能的功能點(diǎn)找出來，測試并記錄結(jié)果。APM性能監(jiān)控工具利用JVM提供的javaagent參數(shù)，提供一個(gè)標(biāo)準(zhǔn)的java agent。該agent實(shí)現(xiàn)的premain方法，就是在JVM運(yùn)行時(shí)對JVM加載的所有java類，方法進(jìn)行基于java字節(jié)碼技術(shù)的插碼操作，以此來記錄各個(gè)java類，方法的執(zhí)行時(shí)間和執(zhí)行次數(shù)。JVM執(zhí)行的所有類和方法都會被記錄下執(zhí)行時(shí)間與次數(shù)，部署在JVM上的應(yīng)用系統(tǒng)調(diào)用其它系統(tǒng)數(shù)據(jù)的外部接口也包括在內(nèi)，它們的性能狀態(tài)（執(zhí)行時(shí)間與執(zhí)行次數(shù)）都會被應(yīng)用性能管理探針記錄下來，并

27、傳回管理服務(wù)器，原理示意如下圖所示：我們抓取APM工具測試輸出的參數(shù)，作為接口系統(tǒng)監(jiān)控的結(jié)果并進(jìn)行分析，具體通過以下幾個(gè)方面輸出測試結(jié)果：性能因素參數(shù)值調(diào)用統(tǒng)一權(quán)限系統(tǒng)，BPM系統(tǒng)，非結(jié)構(gòu)化系統(tǒng)的響應(yīng)時(shí)間和吞吐量（平均值和峰值）統(tǒng)一權(quán)限系統(tǒng)：響應(yīng)時(shí)間-平均值： 峰值：吞吐量-平均值： 峰值：BPM系統(tǒng)：響應(yīng)時(shí)間-平均值： 峰值：吞吐量-平均值： 峰值：非結(jié)構(gòu)化系統(tǒng)：響應(yīng)時(shí)間-平均值： 峰值：吞吐量-平均值： 峰值：以上結(jié)果，請把APM測試報(bào)告文檔的相關(guān)章節(jié)，以附件形式插入到上面表格的相應(yīng)位置。人工測試方法主要采取設(shè)立典型場景，把與外圍接口系統(tǒng)交互頻繁的功能點(diǎn)找出來，再結(jié)合現(xiàn)場客戶反應(yīng)較慢的功能

28、點(diǎn)進(jìn)行專門測試與對比，記錄測試結(jié)果進(jìn)行分析，可以從以下幾個(gè)參考點(diǎn)進(jìn)行測試，具體如下表格：測試典型場景：接口系統(tǒng)名稱典型場景手工測試流程與方法輸出結(jié)果統(tǒng)一權(quán)限系統(tǒng)人員信息讀取以管理員身份進(jìn)入基建系統(tǒng)的人員信息查看頁面，記錄人員列表的加載時(shí)長，選擇一條記錄查看人員信息，記錄明細(xì)頁面加載時(shí)長。此方法的目的是記錄從統(tǒng)一權(quán)限系統(tǒng)讀取人員的服務(wù)請求速度。列表頁面加載時(shí)長：明細(xì)頁面加載時(shí)長：功能菜單權(quán)限讀取進(jìn)入基建系統(tǒng)，計(jì)算首頁面左側(cè)樹形菜單的讀取時(shí)長。界面按鈕權(quán)限控制讀取進(jìn)入基建系統(tǒng)，選取一個(gè)客戶反映加載較慢的功能頁面，記錄兩個(gè)時(shí)長：1.頁面整體加載時(shí)長。2.從看到界面上的按鈕的那一刻算起，記錄按鈕可以點(diǎn)

29、擊的這個(gè)時(shí)間段的時(shí)長。1. 頁面整體加載時(shí)長：2.等待按鈕可以操作時(shí)長：非結(jié)構(gòu)化系統(tǒng)文檔上傳速度進(jìn)入基建系統(tǒng)，找到可以上傳附件的一個(gè)功能，分別上傳大小為500kb，1mb（兆），5mb，10mb，30mb的文件，統(tǒng)計(jì)上傳時(shí)長和速度。文件大小 上傳時(shí)長 速度500kb 大小/時(shí)長1mb文檔下載速度進(jìn)入基建系統(tǒng)，把上面上傳的5個(gè)文件下載，計(jì)算下載時(shí)長和速度文件大小 下載時(shí)長 速度500kb 大小/時(shí)長1mbBPM系統(tǒng)流程提交，審核，撤回，回退環(huán)節(jié)測試進(jìn)入基建系統(tǒng)，選取客戶反映流程功能較慢的功能，分別測試記錄提交，審核，撤回，回退的等待時(shí)長流程圖，流程歷史記錄測試進(jìn)入基建系統(tǒng)，選取客戶反映流程功能較

30、慢的功能，測試流程圖和歷史記錄加載的等待時(shí)長客戶反應(yīng)加載過慢的功能項(xiàng)：類別性能較差功能項(xiàng)頁面加載時(shí)長原因分析施工安全管理/安全檢查/安全檢查監(jiān)理質(zhì)量管理/施工階段/質(zhì)量檢查/質(zhì)量檢查(三) 基建應(yīng)用系統(tǒng)源碼和SQL語句檢查通過源碼走查，發(fā)現(xiàn)代碼結(jié)構(gòu)不合理和影響性能的地方，進(jìn)行改進(jìn)。這部分工作非常重要，一個(gè)小的改動可能換來的是性能大幅的提升，對提高用戶體驗(yàn)非常關(guān)鍵。主要從以下方面進(jìn)行性能檢查：1. 頁面響應(yīng)時(shí)長匯總客戶反應(yīng)加載較慢的頁面，匯總測試人員測試響應(yīng)時(shí)間較長的頁面（參考響應(yīng)時(shí)間可以設(shè)為大于5秒），記錄下這些功能頁面并進(jìn)行原因分析，可以借助Httpwatch工具查看頁面的各項(xiàng)加載時(shí)間，分析加載慢的關(guān)鍵點(diǎn)，記錄模板如下：序號功能名稱響應(yīng)時(shí)間預(yù)期