信安部提高短廳高峰時(shí)段處理效率1

提升短廳高峰時(shí)段處理速率信安部“速度激情”QC小組一、小組概況“短廳性能優(yōu)化”QC小組成立于2014年8月，由包含湖北移動(dòng)十大金牌員工在內(nèi)的5名資深技術(shù)專家成員（一名二星技術(shù)專家、一名一星技術(shù)專家）組成，技術(shù)和管理經(jīng)驗(yàn)豐富。成立時(shí)間：2014.7小組注冊號：2014-YZ-001活動(dòng)課題活動(dòng)時(shí)間：2014.9-2015.2提升短廳高峰時(shí)段處理速率課題類型：問題解決型小組名稱“智能雷達(dá)”

QC小組本次活動(dòng)情況“速度激情”

QC小組序號姓名性別部門組內(nèi)分工1杜玖男業(yè)務(wù)支撐中心應(yīng)用與維護(hù)2曹俊男業(yè)務(wù)支撐中心技術(shù)支撐3郝詩魁男IT運(yùn)維中心系統(tǒng)架構(gòu)優(yōu)化4劉琳女業(yè)務(wù)支撐中心滿意度提升5孫思男市場部業(yè)務(wù)管理6操倩女IT運(yùn)維中心數(shù)據(jù)庫管理員7黃璐男IT運(yùn)維中心數(shù)據(jù)分析8孫誠男信安部制度流程9胡莉女IT運(yùn)維中心架構(gòu)支撐小組成員跨領(lǐng)域的融合型專家團(tuán)隊(duì)二、選題理由

短信營業(yè)廳業(yè)務(wù)量2012年-2014年業(yè)務(wù)量成倍增長（年增長率50.5%），占全電子渠道79%，成為我公司最重要的電子渠道。隨著短信營業(yè)廳承載的業(yè)務(wù)爆增，導(dǎo)致處理速率存在瓶頸。制圖人：杜玖、黃璐三、現(xiàn)狀調(diào)查由于互聯(lián)網(wǎng)用戶使用行為（如360查流量等），導(dǎo)致每天高峰時(shí)段（10-11點(diǎn)）業(yè)務(wù)量激增，引起業(yè)務(wù)阻塞與失敗，嚴(yán)重影響用戶感知

業(yè)務(wù)高峰時(shí)段用戶抱怨量達(dá)到113件提高短廳高峰時(shí)段處理效率迫在眉睫！右縱向線：成功率制圖人：杜玖、劉琳橫軸線：小時(shí)數(shù)左縱向線：平均時(shí)長四、設(shè)定目標(biāo)結(jié)合全國短廳關(guān)鍵時(shí)刻受理時(shí)長，根據(jù)2-5-8原則確定目標(biāo)：關(guān)鍵時(shí)刻處理時(shí)長由8.38秒縮短為7S以下;制圖人：杜玖、郝詩魁四、設(shè)定目標(biāo)（制定活動(dòng)計(jì)劃）課題選擇12345678911確定目標(biāo)原因分析可行性分析制定對策對策實(shí)施效果檢查鞏固措施總結(jié)打算要因確認(rèn)2014年9月2014年9月2014年9月2014年9月2014年9月2014年10月-2014年11月2014年10月-11月2014年11月-12月2015年2月活動(dòng)計(jì)劃時(shí)間表制表人：曹俊、胡莉五、原因分析團(tuán)隊(duì)成員來自運(yùn)維、市場、投訴、支撐等多方面，決定采取“樹型圖”方法進(jìn)行原因分析；從“人員、環(huán)境、設(shè)備、方法”四個(gè)方面探討，發(fā)掘8個(gè)末端原因方法原因分析無完善應(yīng)急措施缺少監(jiān)控手段軟件技術(shù)架構(gòu)落后缺乏足夠硬件設(shè)備系統(tǒng)垃圾指令過多缺乏數(shù)據(jù)配置流程人為操作失誤維護(hù)人員技能不足維護(hù)手段不完善軟、硬資源不足配置數(shù)據(jù)管理不合理設(shè)備環(huán)境人員樹型圖制圖人：操倩六、要因確認(rèn)1原因確認(rèn)制表人：杜玖序號末端原因確認(rèn)內(nèi)容確認(rèn)方法標(biāo)準(zhǔn)確認(rèn)結(jié)果確認(rèn)人是否要因1缺乏監(jiān)控手段是否有完善的監(jiān)控手段統(tǒng)計(jì)近三個(gè)月是否存在沒有監(jiān)控到的短廳故障是否存在存在

郝詩魁是2無完善應(yīng)急措施是否有高峰期的應(yīng)急處理措施現(xiàn)場檢查高峰期關(guān)于短廳應(yīng)急處理的流程、具體方法，且方法可執(zhí)行是否具備部分具備黃璐是3缺乏足夠硬件設(shè)備是否有足夠的硬件設(shè)備用來擴(kuò)容查看機(jī)器資源分布表，有很多的刀片機(jī)可供短廳使用是否充足充足胡莉操倩否4系統(tǒng)垃圾指令過多是否具有無用的短廳配置以及垃圾指令應(yīng)道機(jī)制數(shù)據(jù)分析：統(tǒng)計(jì)系統(tǒng)上線垃圾指令占比;沒有引導(dǎo)的無效上線指令占比；>1%8.5%

4.3%杜玖黃璐是六、要因確認(rèn)2原因確認(rèn)制表人：杜玖序號末端原因確認(rèn)內(nèi)容確認(rèn)方法標(biāo)準(zhǔn)確認(rèn)結(jié)果確認(rèn)人是否要因5缺乏數(shù)據(jù)配置流程是否有短廳配置流程現(xiàn)場檢查是否存在存在劉琳孫誠否6軟件技術(shù)架構(gòu)落后短廳系統(tǒng)是否可以便捷擴(kuò)展現(xiàn)場調(diào)查，訪談，確認(rèn)短廳是否能夠平滑擴(kuò)展，擴(kuò)展的方案是否具有可行性是否具備不具備郝詩魁胡莉是7維護(hù)人員技能不足維護(hù)人員是否具備相應(yīng)的業(yè)務(wù)技術(shù)技能訪談，調(diào)查，業(yè)務(wù)技術(shù)是否合格是否合格合格曹俊否8人為操作失誤查看近三個(gè)月是否存在人為操作統(tǒng)計(jì)分析故障原因，是否存在人為操作錯(cuò)誤引起的故障是否存在不存在黃璐否七、制定對策制定決策制表人：杜玖序號要因?qū)Σ吣繕?biāo)措施負(fù)責(zé)人完成時(shí)間1缺乏監(jiān)控手段建立完善的監(jiān)控手段所有的故障點(diǎn)都有完善的監(jiān)控梳理故障點(diǎn)，建立基于系統(tǒng)和業(yè)務(wù)級的監(jiān)控曹俊郝詩魁2014年9-11月2

無完善應(yīng)急措施建立高峰期短廳應(yīng)急處級機(jī)制確保重點(diǎn)業(yè)務(wù)成功率1、對短廳指令根據(jù)業(yè)務(wù)等方面進(jìn)行分層分級2、系統(tǒng)分層分級部署3、根據(jù)層級動(dòng)態(tài)調(diào)整系統(tǒng)資源郝詩魁胡莉2014年10-11月3系統(tǒng)垃圾指令過多建立業(yè)務(wù)指令清理機(jī)制每月垃圾指令占比4%以下1、建立無效指令下線流程2、對用戶的上行垃圾指令進(jìn)行及時(shí)引導(dǎo)孫思杜玖2014年10月上旬4軟件技術(shù)架構(gòu)落后優(yōu)化短廳軟件架構(gòu)軟件架構(gòu)可平滑擴(kuò)展，具有高可讀寫性1、實(shí)現(xiàn)短廳云化改造2、實(shí)現(xiàn)短廳數(shù)據(jù)讀寫內(nèi)存化杜玖胡莉2014年9月上旬根據(jù)5W1H原則，小組制定了對策實(shí)施表：七、對策實(shí)施（一）-建立完善的監(jiān)控手段梳理故障點(diǎn)，建立基于系統(tǒng)和業(yè)務(wù)級的監(jiān)控硬件監(jiān)控：借助BOMC系統(tǒng)對短廳全環(huán)節(jié)的網(wǎng)絡(luò)環(huán)境、24臺主機(jī)進(jìn)行了全面的基于系統(tǒng)級的監(jiān)控業(yè)務(wù)監(jiān)控：梳理了35個(gè)業(yè)務(wù)監(jiān)控點(diǎn)，借助BAM系統(tǒng)進(jìn)行了端到端的業(yè)務(wù)監(jiān)控，每個(gè)監(jiān)控點(diǎn)都有對應(yīng)的告警處理措施七、對策實(shí)施（二）-建立應(yīng)急措施根據(jù)業(yè)務(wù)重要性、業(yè)務(wù)量、是否集團(tuán)KPI三個(gè)維度制定了短廳指令優(yōu)先級列表，優(yōu)先級分為高、中、低，通過調(diào)配高性能的設(shè)備處理高優(yōu)先級業(yè)務(wù)；通過內(nèi)部調(diào)配，將高性能主機(jī)給高優(yōu)先級的業(yè)務(wù)使用，部署更多的并發(fā)程序。建立業(yè)務(wù)優(yōu)先級列表2臺主機(jī)160個(gè)進(jìn)程2臺主機(jī)120個(gè)進(jìn)程上行中間件2臺小型機(jī)，能力分配如下70%

30%2臺高性能小型機(jī)下行4臺機(jī)器，能力分配如下60%30%10%8個(gè)網(wǎng)關(guān)4臺主機(jī)240個(gè)進(jìn)程4個(gè)網(wǎng)關(guān)高級隊(duì)列中級隊(duì)列低級隊(duì)列根據(jù)高峰期指令堵塞的情況實(shí)時(shí)、動(dòng)態(tài)調(diào)整指令的優(yōu)先級，確保重要指令優(yōu)先執(zhí)行七、對策實(shí)施（三）-建立數(shù)據(jù)清理機(jī)制制表人：杜玖、孫思1、建立無效指令下線流程，共下線312條無效指令，占比11.54%2、建立短廳智能機(jī)器人配置動(dòng)態(tài)調(diào)整機(jī)制，自活動(dòng)開展以來，共配置159條智能引導(dǎo)規(guī)則，有效降低了20.47%的業(yè)務(wù)量；智能機(jī)器人配置列表智能機(jī)器人配置申請單七、對策實(shí)施（四）-引入新技術(shù)優(yōu)化架構(gòu)優(yōu)化短廳軟件架構(gòu)，引入云化技術(shù)實(shí)現(xiàn)短廳系統(tǒng)架構(gòu)可平滑擴(kuò)展，同時(shí)引入高讀、寫性技術(shù)，提高處理效率上行處理進(jìn)程能力開放平臺中間件平臺1平臺2平臺3平臺4……瓶頸一、目前只能部署4臺措施：引入ZOKEEPER云化技術(shù)后，可以任意擴(kuò)展平臺1平臺2平臺3平臺4……瓶頸二、目前使用4臺小型機(jī)，擴(kuò)展成本極高措施：引入X86技術(shù)，積低的成本便捷擴(kuò)展數(shù)據(jù)庫引入云化技術(shù)瓶頸三、所有數(shù)據(jù)讀寫都是靠調(diào)用接口；措施：引入緩存讀寫技術(shù)，實(shí)現(xiàn)數(shù)據(jù)的快速響應(yīng)效率提升90%八、效果確認(rèn)1根據(jù)集團(tuán)交流網(wǎng)站公布最新數(shù)據(jù)截止2015年2月底，我省短廳關(guān)鍵時(shí)刻業(yè)務(wù)平均處理時(shí)長為6.54秒，低于全國平均成績7.03秒，達(dá)到預(yù)定目標(biāo)。達(dá)到目標(biāo)八、效果確認(rèn)2經(jīng)過統(tǒng)計(jì)2月平均每天分時(shí)段的業(yè)務(wù)量和受理時(shí)長，業(yè)務(wù)受理時(shí)長沒有隨業(yè)務(wù)量的波動(dòng)而明顯變長，與預(yù)期相符。波動(dòng)不明顯，達(dá)到預(yù)期八、效果確認(rèn)3社會效益提升短廳高峰時(shí)段業(yè)務(wù)處理速率，提高用戶滿意度提供了短廳業(yè)務(wù)的監(jiān)測手段，量化客戶感知引進(jìn)云計(jì)算技術(shù)架構(gòu)，節(jié)約運(yùn)營成本每年為企業(yè)增收1200萬元

經(jīng)濟(jì)效益增加短廳業(yè)務(wù)收入1200萬/年業(yè)務(wù)量年增長4億筆×0.3元/筆收入×10%辦理業(yè)務(wù)占比＝短廳業(yè)務(wù)年收入增長量九、鞏固措施為規(guī)范相應(yīng)工作，小組制定了相應(yīng)的規(guī)范文件《業(yè)務(wù)支撐網(wǎng)短廳配置上線操作實(shí)施細(xì)則V1.0》《湖北移動(dòng)短信營業(yè)廳業(yè)務(wù)管理規(guī)范》《湖北移動(dòng)短信營業(yè)廳指令上下線規(guī)范》啟動(dòng)2015短廳精品網(wǎng)優(yōu)化工作活動(dòng)總結(jié)