提高BOSS系統(tǒng)報(bào)表統(tǒng)計(jì)速度QC發(fā)表

1、提高BOSS系統(tǒng)報(bào)表統(tǒng)計(jì)速度業(yè)務(wù)支撐系統(tǒng)部系統(tǒng)優(yōu)化QC小組2012年6月親愛(ài)滴報(bào)表啊，求求你再快一點(diǎn)吧。OMG，這個(gè)統(tǒng)計(jì)速度，實(shí)在受不了啦！有木有？有木有？額滴個(gè)神啊，報(bào)表你敢不敢再快一點(diǎn)！21、小組概況 3、現(xiàn)狀調(diào)查4、確定目標(biāo)5、原因分析2、活動(dòng)計(jì)劃6、要因確認(rèn)9、效果檢查10、鞏固措施 11、回顧及下一步打算7、制定對(duì)策8、對(duì)策實(shí)施3 小組概況1. 小組概況1.業(yè)務(wù)支撐系統(tǒng)部系統(tǒng)優(yōu)化QC小組成立于2007年3月，現(xiàn)場(chǎng)型小組GearedE/LGeared(87%)PA15-CO90IRIS1 Gearless(93%)姓名文化程度組內(nèi)職務(wù)碩士碩士碩士碩士副組長(zhǎng)徐力楊勝利劉娟龔珂職稱職務(wù)部門

2、副總經(jīng)理、高級(jí)工程師室經(jīng)理、高級(jí)工程師高級(jí)工程師、集團(tuán)專家工程師、集團(tuán)專家組長(zhǎng)組員組員碩士碩士馬嘉宋睿工程師工程師組員組員由部門管理人員、行業(yè)專家和一線員工組成2009年度國(guó)優(yōu)QC小組2010年度省優(yōu)QC小組2011年度省優(yōu)QC小組4活動(dòng)時(shí)間：2011年2月2011年7月 活動(dòng)計(jì)劃2.活動(dòng)計(jì)劃2.5 名詞解釋 名詞解釋 報(bào)表統(tǒng)計(jì)速度 報(bào)表統(tǒng)計(jì)總耗時(shí)報(bào)表統(tǒng)計(jì)總次數(shù)6 現(xiàn)狀調(diào)查3. 現(xiàn)狀調(diào)查 3.2010年11月至2011年1月BOSS系統(tǒng)報(bào)表統(tǒng)計(jì)速度情況平均速度43秒，呈線性上升趨勢(shì)，月底月初是高峰7 現(xiàn)狀調(diào)查3. 現(xiàn)狀調(diào)查 3.按照?qǐng)?bào)表類型進(jìn)行分類8按照總耗時(shí)對(duì)報(bào)表類型進(jìn)行排列【8022】報(bào)表

3、統(tǒng)計(jì)耗時(shí)占總耗時(shí)的85.58，該報(bào)表總耗時(shí)較長(zhǎng)，正是癥結(jié)所在。 現(xiàn)狀調(diào)查3. 現(xiàn)狀調(diào)查 3.9 確定目標(biāo)4. 確定目標(biāo) 4.統(tǒng)計(jì)速度從平均43秒下降到25秒目標(biāo)值：10確定目標(biāo)的依據(jù)：【8022】報(bào)表是營(yíng)業(yè)員營(yíng)業(yè)廳收費(fèi)日?qǐng)?bào)，小組成員對(duì)報(bào)表的業(yè)務(wù)邏輯和流程有充分的了解。另外，小組成員是行業(yè)專家，有豐富的系統(tǒng)優(yōu)化技能和經(jīng)驗(yàn)，從以往的優(yōu)化經(jīng)驗(yàn)來(lái)看，對(duì)系統(tǒng)的優(yōu)化率可以達(dá)到50%以上。經(jīng)過(guò)現(xiàn)狀調(diào)查，【8022】報(bào)表的平均統(tǒng)計(jì)速度為61秒，小組成員認(rèn)為有較大優(yōu)化空間。如果將【8022】報(bào)表的統(tǒng)計(jì)速度提高一倍，則BOSS系統(tǒng)報(bào)表統(tǒng)計(jì)速度為： 43（185.5850）24.6秒因此，小組成員認(rèn)為目標(biāo)值經(jīng)過(guò)努力

4、是可以實(shí)現(xiàn)的。從統(tǒng)計(jì)歷史來(lái)看，月中時(shí)期曾達(dá)到并超過(guò)目標(biāo)值，但考慮到月底月初由于業(yè)務(wù)量大，統(tǒng)計(jì)速度會(huì)相對(duì)較慢，因此不宜將目標(biāo)值定得過(guò)低。 確定目標(biāo)4. 確定目標(biāo) 4.11 原因分析5. 原因分析5.【8022】報(bào)表統(tǒng)計(jì)慢原因分析樹圖 【8022】報(bào)表統(tǒng)計(jì)慢SQL語(yǔ)句不優(yōu)化執(zhí)行計(jì)劃不優(yōu)化語(yǔ)句邏輯結(jié)構(gòu)不優(yōu)化表統(tǒng)計(jì)信息不準(zhǔn)確未使用索引系統(tǒng)能力不足終端能力不足數(shù)據(jù)庫(kù)能力不足存儲(chǔ)IO能力不足主機(jī)能力不足排序能力不足數(shù)據(jù)庫(kù)性能差主機(jī)內(nèi)存不足主機(jī)CPU能力不足營(yíng)業(yè)員操作不當(dāng)統(tǒng)計(jì)時(shí)間輸入范圍大重復(fù)點(diǎn)擊造成程序掛死月底月初業(yè)務(wù)量大12 要因確認(rèn)6. 要因確認(rèn)6.共有12條末端因素，剔除“月底月初業(yè)務(wù)量大”因素13

5、 要因確認(rèn)6. 要因確認(rèn)6.14 要因確認(rèn)6. 要因確認(rèn)6.15 要因確認(rèn)6. 要因確認(rèn)6.16 要因確認(rèn)6. 要因確認(rèn)6.17 制定對(duì)策7. 制定對(duì)策7.小組針對(duì)要因，制定對(duì)策如下： 序號(hào)要因?qū)Σ吣繕?biāo)措施地點(diǎn)負(fù)責(zé)人完成時(shí)間1統(tǒng)計(jì)時(shí)間范圍大在前臺(tái)統(tǒng)計(jì)時(shí)間輸入窗口進(jìn)行限制縮小最大統(tǒng)計(jì)時(shí)間范圍，滿足最普遍的需求到營(yíng)業(yè)廳進(jìn)行現(xiàn)場(chǎng)調(diào)查，了解最普遍的統(tǒng)計(jì)需求，取得合理的統(tǒng)計(jì)時(shí)間范圍；整理并提交開發(fā)需求；在前臺(tái)統(tǒng)計(jì)時(shí)間輸入窗口進(jìn)行限制。業(yè)務(wù)支撐中心馬嘉3月31日2語(yǔ)句邏輯結(jié)構(gòu)不優(yōu)化精簡(jiǎn)視圖中子查詢的業(yè)務(wù)邏輯統(tǒng)計(jì)速度提高一倍制定語(yǔ)句結(jié)構(gòu)優(yōu)化方案；提交數(shù)據(jù)結(jié)構(gòu)修改需求；語(yǔ)句優(yōu)化上線。業(yè)務(wù)支撐中心劉娟3月31日

6、3表統(tǒng)計(jì)信息不準(zhǔn)確制定數(shù)據(jù)庫(kù)分析策略并實(shí)施表統(tǒng)計(jì)信息相對(duì)準(zhǔn)確分析數(shù)據(jù)庫(kù)業(yè)務(wù)特點(diǎn)，制定表分析策略；分析策略實(shí)施上線。業(yè)務(wù)支撐中心宋睿3月31日4主機(jī)CPU能力不足對(duì)報(bào)表數(shù)據(jù)庫(kù)主機(jī)CPU消耗最高的進(jìn)程進(jìn)行優(yōu)化 減少CPU消耗至70分析主機(jī)消耗CPU的進(jìn)程；進(jìn)行針對(duì)性的優(yōu)化，減少CPU消耗。業(yè)務(wù)支撐中心龔珂、劉娟3月31日18 對(duì)策實(shí)施8. 對(duì)策實(shí)施8.要因一對(duì)策：在前臺(tái)統(tǒng)計(jì)時(shí)間輸入窗口對(duì)最大統(tǒng)計(jì)時(shí)間范圍進(jìn)行限制3月11日，通過(guò)業(yè)務(wù)支撐管理QQ群，對(duì)各個(gè)地州的業(yè)務(wù)人員進(jìn)行了調(diào)查，了解到【8022】報(bào)表，普遍的統(tǒng)計(jì)需求是按日統(tǒng)計(jì)，在月底及月初會(huì)進(jìn)行全月統(tǒng)計(jì)，基本上統(tǒng)計(jì)時(shí)間范圍不會(huì)跨月。3月14日，整理

7、并提交程序修改申請(qǐng)，將前臺(tái)統(tǒng)計(jì)輸入窗口最大統(tǒng)計(jì)時(shí)間范圍限制為1個(gè)月，并且不允許跨月。3月25日，程序修改通過(guò)測(cè)試。3月31日，做了限制的統(tǒng)計(jì)前臺(tái)程序上線。實(shí)施結(jié)果限制了統(tǒng)計(jì)最大時(shí)間范圍，避免了營(yíng)業(yè)員因輸入的統(tǒng)計(jì)時(shí)間跨度較大，造成統(tǒng)計(jì)時(shí)間較長(zhǎng)。19要因二對(duì)策：優(yōu)化SQL語(yǔ)句，精簡(jiǎn)視圖中子查詢的業(yè)務(wù)邏輯3月11日，分析【8022】報(bào)表的SQL語(yǔ)句涉及的視圖，其中的子查詢語(yǔ)句邏輯不夠精簡(jiǎn)。經(jīng)過(guò)測(cè)試，將視圖進(jìn)行修改，加上一個(gè)where條件，分組的查詢范圍可大大減少，性能可以有較大提高。 from zg.acc_stat_daily_201103 a, (select stat_id stat_id,

8、sum(decode(book_item_id, 10000023, paid_prepay, 0) as paid_prepay_n2, sum(decode(book_item_id, 80651, paid_prepay, 0) as paid_prepay_n3 from ZG.ACC_STAT_DAILY_BOOK_201103 where book_item_id in (10000023,80651) group by stat_id) b3月13日，提交數(shù)據(jù)結(jié)構(gòu)變更申請(qǐng)。3月22日，在生產(chǎn)數(shù)據(jù)庫(kù)修改視圖定義代碼。 實(shí)施結(jié)果【8022】報(bào)表平均統(tǒng)計(jì)速度從61秒下降到18秒。3月2

9、3日起【8022】報(bào)表統(tǒng)計(jì)速度大幅下降 對(duì)策實(shí)施8. 對(duì)策實(shí)施8.20要因三對(duì)策：制定數(shù)據(jù)庫(kù)分析策略并實(shí)施3月10日，制定報(bào)表數(shù)據(jù)庫(kù)分析策略如下：報(bào)表數(shù)據(jù)庫(kù)采用“自動(dòng)分析+月表手工分析”的策略。報(bào)表數(shù)據(jù)庫(kù)打開了自動(dòng)分析功能，設(shè)置的自動(dòng)分析時(shí)間窗口為每日22點(diǎn)至6點(diǎn)，選取變化量超過(guò)10%的表進(jìn)行關(guān)聯(lián)分析。根據(jù)報(bào)表數(shù)據(jù)庫(kù)的業(yè)務(wù)特性，在月底及月初要做以下特殊操作，以保證每月1日?qǐng)?bào)表系統(tǒng)的正常運(yùn)行。3月31日，打開數(shù)據(jù)庫(kù)自動(dòng)分析功能。3月31日，按照數(shù)據(jù)庫(kù)分析策略進(jìn)行操作，保證數(shù)據(jù)庫(kù)對(duì)象分析數(shù)據(jù)相對(duì)準(zhǔn)確。實(shí)施結(jié)果數(shù)據(jù)庫(kù)對(duì)象統(tǒng)計(jì)信息數(shù)據(jù)準(zhǔn)確，保證了數(shù)據(jù)庫(kù)各個(gè)SQL語(yǔ)句執(zhí)行計(jì)劃相對(duì)較優(yōu)。 對(duì)策實(shí)施8. 對(duì)

10、策實(shí)施8.21要因四對(duì)策：對(duì)報(bào)表數(shù)據(jù)庫(kù)主機(jī)CPU消耗最高的進(jìn)程進(jìn)行優(yōu)化3月14日，對(duì)報(bào)表數(shù)據(jù)庫(kù)主機(jī)CPU消耗最高的進(jìn)程進(jìn)行了統(tǒng)計(jì)，發(fā)現(xiàn)其全部為ORACLE數(shù)據(jù)庫(kù)進(jìn)程，無(wú)其他應(yīng)用進(jìn)程。3月15日，提取了數(shù)據(jù)庫(kù)使用CPU最多的前三條語(yǔ)句進(jìn)行分析。這三條語(yǔ)句占到整個(gè)數(shù)據(jù)庫(kù)CPU消耗的42%。select SO_NBR, REPORT_NO, REPORT_TYPE, REPORT_FIELD_VALUE, FIELD_SEQ from STAT.STAT_QUERY_ADDCOND_REC where SO_NBR = :owc0 AND REPORT_NO = :owc1 AND REPORT_T

11、YPE = 2 ORDER BY FIELD_SEQ此語(yǔ)句是用來(lái)提取“默認(rèn)上次統(tǒng)計(jì)條件”的。STAT.STAT_QUERY_ADDCOND_REC這個(gè)表上沒(méi)有索引，經(jīng)分析，在SO_NBR字段創(chuàng)建索引，性能將大大提升。Select SO_NBR, REPORT_NO, OP_ID, REGION_CODE, START_TIME, END_TIME, CREATE_TIME, REMARKS from STAT.STAT_QUERY_COND_REC where OP_ID = :owc0 and REPORT_NO = :owc1 and CREATE_TIME IN (SELECT MAX(

12、CREATE_TIME) FROM STAT.STAT_QUERY_COND_REC WHERE OP_ID = :owc2 and REPORT_NO = :owc3)此語(yǔ)句也是用來(lái)提取“默認(rèn)上次統(tǒng)計(jì)條件”的。STAT.STAT_QUERY_COND_REC這個(gè)表上沒(méi)有索引，經(jīng)分析，在SO_NBR，OP_ID字段創(chuàng)建索引，性能將大大提升。select /*+PARALLEL(a, 8) */ a.op_id, sum(a.recv_cash) from stat.acc_busi_rec_201103 a where a.busi_type in (4735, 4736) and a.pay

13、_date = to_date(200, yyyymmddhh24miss) and a.pay_date = to_date(259, yyyymmddhh24miss) and a.so_org_id in (56080132, 56006915) and 1 = 1 group by a.op_id此語(yǔ)句是【8023】自助終端繳費(fèi)簡(jiǎn)表。經(jīng)分析，該語(yǔ)句過(guò)度的使用了并行提示，造成了大量CPU資源浪費(fèi)。經(jīng)過(guò)測(cè)試，如果去掉并行提示，執(zhí)行時(shí)間從31秒下降到5秒。3月16日，提交數(shù)據(jù)結(jié)構(gòu)變更申請(qǐng)。3月31日，在生產(chǎn)數(shù)據(jù)庫(kù)表建立索引，及修改語(yǔ)句。 對(duì)策實(shí)施8. 對(duì)策實(shí)施8.22要因四對(duì)策：對(duì)報(bào)表數(shù)據(jù)庫(kù)

14、主機(jī)CPU消耗最高的進(jìn)程進(jìn)行優(yōu)化實(shí)施結(jié)果1、整個(gè)數(shù)據(jù)庫(kù)的CPU使用量大幅下降，100%滿負(fù)荷狀態(tài)消失，日均CPU使用量下降為10，瞬間最大峰值64。2、通過(guò)要因三和要因四的對(duì)策實(shí)施，【8022】報(bào)表也因此速度得到繼續(xù)提升，從18秒下降到6秒。4月1日起主機(jī)CPU使用率大幅下降 對(duì)策實(shí)施8. 對(duì)策實(shí)施8.4月1日起【8022】報(bào)表速度繼續(xù)提升23 效果檢查9. 效果檢查 9.對(duì)策實(shí)施后，全月業(yè)務(wù)峰值 4月1日?qǐng)?bào)表統(tǒng)計(jì)速度平均為17秒。達(dá)到并低于目標(biāo)值24 效果檢查9. 效果檢查 9. 由于降低主機(jī)CPU使用率、數(shù)據(jù)庫(kù)分析策略等全局優(yōu)化措施實(shí)施后產(chǎn)生了良好的效果，其他報(bào)表也不同程度受惠，速度得到提

15、升。四種報(bào)表統(tǒng)計(jì)量占總統(tǒng)計(jì)量98.33%25 效果檢查9. 效果檢查 9.在鞏固期，BOSS系統(tǒng)報(bào)表平均統(tǒng)計(jì)速度為8秒，月底月初業(yè)務(wù)峰值最慢速度為21秒，均低于目標(biāo)值。優(yōu)化前對(duì)策實(shí)施中優(yōu)化后，鞏固期26按照我部門原規(guī)劃，為解決報(bào)表系統(tǒng)主機(jī)滿負(fù)荷運(yùn)行的問(wèn)題，原計(jì)劃在BOSS系統(tǒng)緊急擴(kuò)容工程中對(duì)報(bào)表系統(tǒng)主機(jī)擴(kuò)容16個(gè)CPU，折合人民幣160萬(wàn)元。小組通過(guò)努力，在未增加一分錢硬件投資的情況下，使用優(yōu)化手段，提高了BOSS系統(tǒng)報(bào)表統(tǒng)計(jì)的速度，降低了主機(jī)CPU資源消耗，從而為公司節(jié)省主機(jī)CPU硬件擴(kuò)容投資160萬(wàn)元人民幣。經(jīng)濟(jì)效益 效果檢查9. 效果檢查 9.27社會(huì)效益 小組通過(guò)提高BOSS系統(tǒng)報(bào)表統(tǒng)

16、計(jì)速度，提高了一線營(yíng)業(yè)人員的勞動(dòng)生產(chǎn)率，提高了內(nèi)部客戶的滿意度。在5月開展的BOSS系統(tǒng)滿意度調(diào)查中，全省共有3455人次根據(jù)使用感知參與了對(duì)報(bào)表優(yōu)化效果進(jìn)行的投票，其中83%的使用者認(rèn)為速度提高了，對(duì)他們的工作產(chǎn)生正面的幫助。 效果檢查9. 效果檢查 9.28 鞏固措施10. 鞏固措施 10.小組對(duì)活動(dòng)采取的措施進(jìn)行了標(biāo)準(zhǔn)化工作： 將“【8022】報(bào)表統(tǒng)計(jì)最大范圍不超過(guò)一個(gè)月，并且不能跨月”固化到BOSS系統(tǒng)前臺(tái)報(bào)表統(tǒng)計(jì)程序代碼中。將優(yōu)化后的視圖stat.stat_mod_8002_ss_YYYYMM定義固化到BOSS系統(tǒng)數(shù)據(jù)字典。將“報(bào)表數(shù)據(jù)庫(kù)分析策略”固化到中國(guó)移動(dòng)貴州公司業(yè)務(wù)支撐系統(tǒng)數(shù)據(jù)庫(kù)分析策略V 1.3。將“STAT.STAT_QUERY_ADDCOND_REC在SO_NBR字段創(chuàng)建索引”，”STAT.STAT_Q