信安部提高短廳高峰時(shí)段處理效率1

提升短廳高峰時(shí)段處理速率信安部“速度激情”QC小組一、小組概況“短廳性能優(yōu)化”QC小組成立于2014年8月，由包含湖北移動(dòng)十大金牌員工在內(nèi)的5名資深技術(shù)專家成員（一名二星技術(shù)專家、一名一星技術(shù)專家）組成，技術(shù)和管理經(jīng)驗(yàn)豐富。成立時(shí)間：2014.7小組注冊(cè)號(hào)：2014-YZ-001活動(dòng)課題活動(dòng)時(shí)間：2014.9-2015.2提升短廳高峰時(shí)段處理速率課題類型：?jiǎn)栴}解決型小組名稱“智能雷達(dá)”

QC小組本次活動(dòng)情況“速度激情”

QC小組序號(hào)姓名性別部門(mén)組內(nèi)分工1杜玖男業(yè)務(wù)支撐中心應(yīng)用與維護(hù)2曹俊男業(yè)務(wù)支撐中心技術(shù)支撐3郝詩(shī)魁男IT運(yùn)維中心系統(tǒng)架構(gòu)優(yōu)化4劉琳女業(yè)務(wù)支撐中心滿意度提升5孫思男市場(chǎng)部業(yè)務(wù)管理6操倩女IT運(yùn)維中心數(shù)據(jù)庫(kù)管理員7黃璐男IT運(yùn)維中心數(shù)據(jù)分析8孫誠(chéng)男信安部制度流程9胡莉女IT運(yùn)維中心架構(gòu)支撐小組成員跨領(lǐng)域的融合型專家團(tuán)隊(duì)二、選題理由

短信營(yíng)業(yè)廳業(yè)務(wù)量2012年-2014年業(yè)務(wù)量成倍增長(zhǎng)（年增長(zhǎng)率50.5%），占全電子渠道79%，成為我公司最重要的電子渠道。隨著短信營(yíng)業(yè)廳承載的業(yè)務(wù)爆增，導(dǎo)致處理速率存在瓶頸。制圖人：杜玖、黃璐三、現(xiàn)狀調(diào)查由于互聯(lián)網(wǎng)用戶使用行為（如360查流量等），導(dǎo)致每天高峰時(shí)段（10-11點(diǎn)）業(yè)務(wù)量激增，引起業(yè)務(wù)阻塞與失敗，嚴(yán)重影響用戶感知

業(yè)務(wù)高峰時(shí)段用戶抱怨量達(dá)到113件提高短廳高峰時(shí)段處理效率迫在眉睫！右縱向線：成功率制圖人：杜玖、劉琳橫軸線：小時(shí)數(shù)左縱向線：平均時(shí)長(zhǎng)四、設(shè)定目標(biāo)結(jié)合全國(guó)短廳關(guān)鍵時(shí)刻受理時(shí)長(zhǎng)，根據(jù)2-5-8原則確定目標(biāo)：關(guān)鍵時(shí)刻處理時(shí)長(zhǎng)由8.38秒縮短為7S以下;制圖人：杜玖、郝詩(shī)魁四、設(shè)定目標(biāo)（制定活動(dòng)計(jì)劃）課題選擇12345678911確定目標(biāo)原因分析可行性分析制定對(duì)策對(duì)策實(shí)施效果檢查鞏固措施總結(jié)打算要因確認(rèn)2014年9月2014年9月2014年9月2014年9月2014年9月2014年10月-2014年11月2014年10月-11月2014年11月-12月2015年2月活動(dòng)計(jì)劃時(shí)間表制表人：曹俊、胡莉五、原因分析團(tuán)隊(duì)成員來(lái)自運(yùn)維、市場(chǎng)、投訴、支撐等多方面，決定采取“樹(shù)型圖”方法進(jìn)行原因分析；從“人員、環(huán)境、設(shè)備、方法”四個(gè)方面探討，發(fā)掘8個(gè)末端原因方法原因分析無(wú)完善應(yīng)急措施缺少監(jiān)控手段軟件技術(shù)架構(gòu)落后缺乏足夠硬件設(shè)備系統(tǒng)垃圾指令過(guò)多缺乏數(shù)據(jù)配置流程人為操作失誤維護(hù)人員技能不足維護(hù)手段不完善軟、硬資源不足配置數(shù)據(jù)管理不合理設(shè)備環(huán)境人員樹(shù)型圖制圖人：操倩六、要因確認(rèn)1原因確認(rèn)制表人：杜玖序號(hào)末端原因確認(rèn)內(nèi)容確認(rèn)方法標(biāo)準(zhǔn)確認(rèn)結(jié)果確認(rèn)人是否要因1缺乏監(jiān)控手段是否有完善的監(jiān)控手段統(tǒng)計(jì)近三個(gè)月是否存在沒(méi)有監(jiān)控到的短廳故障是否存在存在

郝詩(shī)魁是2無(wú)完善應(yīng)急措施是否有高峰期的應(yīng)急處理措施現(xiàn)場(chǎng)檢查高峰期關(guān)于短廳應(yīng)急處理的流程、具體方法，且方法可執(zhí)行是否具備部分具備黃璐是3缺乏足夠硬件設(shè)備是否有足夠的硬件設(shè)備用來(lái)擴(kuò)容查看機(jī)器資源分布表，有很多的刀片機(jī)可供短廳使用是否充足充足胡莉操倩否4系統(tǒng)垃圾指令過(guò)多是否具有無(wú)用的短廳配置以及垃圾指令應(yīng)道機(jī)制數(shù)據(jù)分析：統(tǒng)計(jì)系統(tǒng)上線垃圾指令占比;沒(méi)有引導(dǎo)的無(wú)效上線指令占比；>1%8.5%

4.3%杜玖黃璐是六、要因確認(rèn)2原因確認(rèn)制表人：杜玖序號(hào)末端原因確認(rèn)內(nèi)容確認(rèn)方法標(biāo)準(zhǔn)確認(rèn)結(jié)果確認(rèn)人是否要因5缺乏數(shù)據(jù)配置流程是否有短廳配置流程現(xiàn)場(chǎng)檢查是否存在存在劉琳孫誠(chéng)否6軟件技術(shù)架構(gòu)落后短廳系統(tǒng)是否可以便捷擴(kuò)展現(xiàn)場(chǎng)調(diào)查，訪談，確認(rèn)短廳是否能夠平滑擴(kuò)展，擴(kuò)展的方案是否具有可行性是否具備不具備郝詩(shī)魁胡莉是7維護(hù)人員技能不足維護(hù)人員是否具備相應(yīng)的業(yè)務(wù)技術(shù)技能訪談，調(diào)查，業(yè)務(wù)技術(shù)是否合格是否合格合格曹俊否8人為操作失誤查看近三個(gè)月是否存在人為操作統(tǒng)計(jì)分析故障原因，是否存在人為操作錯(cuò)誤引起的故障是否存在不存在黃璐否七、制定對(duì)策制定決策制表人：杜玖序號(hào)要因?qū)Σ吣繕?biāo)措施負(fù)責(zé)人完成時(shí)間1缺乏監(jiān)控手段建立完善的監(jiān)控手段所有的故障點(diǎn)都有完善的監(jiān)控梳理故障點(diǎn)，建立基于系統(tǒng)和業(yè)務(wù)級(jí)的監(jiān)控曹俊郝詩(shī)魁2014年9-11月2

無(wú)完善應(yīng)急措施建立高峰期短廳應(yīng)急處級(jí)機(jī)制確保重點(diǎn)業(yè)務(wù)成功率1、對(duì)短廳指令根據(jù)業(yè)務(wù)等方面進(jìn)行分層分級(jí)2、系統(tǒng)分層分級(jí)部署3、根據(jù)層級(jí)動(dòng)態(tài)調(diào)整系統(tǒng)資源郝詩(shī)魁胡莉2014年10-11月3系統(tǒng)垃圾指令過(guò)多建立業(yè)務(wù)指令清理機(jī)制每月垃圾指令占比4%以下1、建立無(wú)效指令下線流程2、對(duì)用戶的上行垃圾指令進(jìn)行及時(shí)引導(dǎo)孫思杜玖2014年10月上旬4軟件技術(shù)架構(gòu)落后優(yōu)化短廳軟件架構(gòu)軟件架構(gòu)可平滑擴(kuò)展，具有高可讀寫(xiě)性1、實(shí)現(xiàn)短廳云化改造2、實(shí)現(xiàn)短廳數(shù)據(jù)讀寫(xiě)內(nèi)存化杜玖胡莉2014年9月上旬根據(jù)5W1H原則，小組制定了對(duì)策實(shí)施表：七、對(duì)策實(shí)施（一）-建立完善的監(jiān)控手段梳理故障點(diǎn)，建立基于系統(tǒng)和業(yè)務(wù)級(jí)的監(jiān)控硬件監(jiān)控：借助BOMC系統(tǒng)對(duì)短廳全環(huán)節(jié)的網(wǎng)絡(luò)環(huán)境、24臺(tái)主機(jī)進(jìn)行了全面的基于系統(tǒng)級(jí)的監(jiān)控業(yè)務(wù)監(jiān)控：梳理了35個(gè)業(yè)務(wù)監(jiān)控點(diǎn)，借助BAM系統(tǒng)進(jìn)行了端到端的業(yè)務(wù)監(jiān)控，每個(gè)監(jiān)控點(diǎn)都有對(duì)應(yīng)的告警處理措施七、對(duì)策實(shí)施（二）-建立應(yīng)急措施根據(jù)業(yè)務(wù)重要性、業(yè)務(wù)量、是否集團(tuán)KPI三個(gè)維度制定了短廳指令優(yōu)先級(jí)列表，優(yōu)先級(jí)分為高、中、低，通過(guò)調(diào)配高性能的設(shè)備處理高優(yōu)先級(jí)業(yè)務(wù)；通過(guò)內(nèi)部調(diào)配，將高性能主機(jī)給高優(yōu)先級(jí)的業(yè)務(wù)使用，部署更多的并發(fā)程序。建立業(yè)務(wù)優(yōu)先級(jí)列表2臺(tái)主機(jī)160個(gè)進(jìn)程2臺(tái)主機(jī)120個(gè)進(jìn)程上行中間件2臺(tái)小型機(jī)，能力分配如下70%

30%2臺(tái)高性能小型機(jī)下行4臺(tái)機(jī)器，能力分配如下60%30%10%8個(gè)網(wǎng)關(guān)4臺(tái)主機(jī)240個(gè)進(jìn)程4個(gè)網(wǎng)關(guān)高級(jí)隊(duì)列中級(jí)隊(duì)列低級(jí)隊(duì)列根據(jù)高峰期指令堵塞的情況實(shí)時(shí)、動(dòng)態(tài)調(diào)整指令的優(yōu)先級(jí)，確保重要指令優(yōu)先執(zhí)行七、對(duì)策實(shí)施（三）-建立數(shù)據(jù)清理機(jī)制制表人：杜玖、孫思1、建立無(wú)效指令下線流程，共下線312條無(wú)效指令，占比11.54%2、建立短廳智能機(jī)器人配置動(dòng)態(tài)調(diào)整機(jī)制，自活動(dòng)開(kāi)展以來(lái)，共配置159條智能引導(dǎo)規(guī)則，有效降低了20.47%的業(yè)務(wù)量；智能機(jī)器人配置列表智能機(jī)器人配置申請(qǐng)單七、對(duì)策實(shí)施（四）-引入新技術(shù)優(yōu)化架構(gòu)優(yōu)化短廳軟件架構(gòu)，引入云化技術(shù)實(shí)現(xiàn)短廳系統(tǒng)架構(gòu)可平滑擴(kuò)展，同時(shí)引入高讀、寫(xiě)性技術(shù)，提高處理效率上行處理進(jìn)程能力開(kāi)放平臺(tái)中間件平臺(tái)1平臺(tái)2平臺(tái)3平臺(tái)4……瓶頸一、目前只能部署4臺(tái)措施：引入ZOKEEPER云化技術(shù)后，可以任意擴(kuò)展平臺(tái)1平臺(tái)2平臺(tái)3平臺(tái)4……瓶頸二、目前使用4臺(tái)小型機(jī)，擴(kuò)展成本極高措施：引入X86技術(shù)，積低的成本便捷擴(kuò)展數(shù)據(jù)庫(kù)引入云化技術(shù)瓶頸三、所有數(shù)據(jù)讀寫(xiě)都是靠調(diào)用接口；措施：引入緩存讀寫(xiě)技術(shù)，實(shí)現(xiàn)數(shù)據(jù)的快速響應(yīng)效率提升90%八、效果確認(rèn)1根據(jù)集團(tuán)交流網(wǎng)站公布最新數(shù)據(jù)截止2015年2月底，我省短廳關(guān)鍵時(shí)刻業(yè)務(wù)平均處理時(shí)長(zhǎng)為6.54秒，低于全國(guó)平均成績(jī)7.03秒，達(dá)到預(yù)定目標(biāo)。達(dá)到目標(biāo)八、效果確認(rèn)2經(jīng)過(guò)統(tǒng)計(jì)2月平均每天分時(shí)段的業(yè)務(wù)量和受理時(shí)長(zhǎng)，業(yè)務(wù)受理時(shí)長(zhǎng)沒(méi)有隨業(yè)務(wù)量的波動(dòng)而明顯變長(zhǎng)，與預(yù)期相符。波動(dòng)不明顯，達(dá)到預(yù)期八、效果確認(rèn)3社會(huì)效益提升短廳高峰時(shí)段業(yè)務(wù)處理速率，提高用戶滿意度提供了短廳業(yè)務(wù)的監(jiān)測(cè)手段，量化客戶感知引進(jìn)云計(jì)算技術(shù)架構(gòu)，節(jié)約運(yùn)營(yíng)成本每年為企業(yè)增收1200萬(wàn)元

經(jīng)濟(jì)效益增加短廳業(yè)務(wù)收入1200萬(wàn)/年業(yè)務(wù)量年增長(zhǎng)4億筆×0.3元/筆收入×10%辦理業(yè)務(wù)占比＝短廳業(yè)務(wù)年收入增長(zhǎng)量九、鞏固措施為規(guī)范相應(yīng)工作，小組制定了相應(yīng)的規(guī)范文件《業(yè)務(wù)支撐網(wǎng)短廳配置上線操作實(shí)施細(xì)則V1.0》《湖北移動(dòng)短信營(yíng)業(yè)廳業(yè)務(wù)管理規(guī)范》《湖北移動(dòng)短信營(yíng)業(yè)廳指令上下線規(guī)范》啟動(dòng)2015短廳精品網(wǎng)優(yōu)化工作活動(dòng)總結(jié)