故障響應(yīng)機制1

./故障響應(yīng)機制北京傻+逼信息技術(shù)有限公司2014年12月目錄1引言11.1編寫目的11.2適用范圍12故障22.1故障分類22.2故障響應(yīng)時間表43故障定級53.1故障累積升級53.2處理能力不足53.3客戶關(guān)注程度53.4客戶反饋故障升級63.5客戶監(jiān)控出現(xiàn)的問題63.6故障定級矩陣74現(xiàn)場人員注意事項85故障響應(yīng)人員96處理流程106.1一級故障106.2二級故障116.3三級故障136.4四級故障147事后總結(jié)16.引言編寫目的由于生產(chǎn)環(huán)境中經(jīng)常會出現(xiàn)各種故障,一般通過兩種途徑：公司方人員發(fā)現(xiàn)、銀行方人員告知?，F(xiàn)場人員會發(fā)現(xiàn)問題不知道如何解決,也不知道該通知誰解決,經(jīng)常會出現(xiàn)處理延誤、溝通不暢等問題,導(dǎo)致客戶滿意度下降,客戶信任度下降。另外現(xiàn)場人員要加強自身的溝通能力,第一要安撫客戶、告知客戶公司已經(jīng)進行處理,第二要能簡明扼要的說明現(xiàn)場情況、客戶關(guān)注程度、問題導(dǎo)致結(jié)果等。本文檔旨在提供一個規(guī)范化的流程,讓現(xiàn)場人員做到有章可循,針對不同的故障級別找到響應(yīng)的處理人員。從故障處理上,不僅可以體現(xiàn)公司的專業(yè)性,也能提高客戶滿意度。適用范圍項目組的所有人員需要了解,在故障出現(xiàn)的時候能第一時間進行處理。領(lǐng)導(dǎo)組需要進行了解,知道各種級別的領(lǐng)導(dǎo)需要溝通。故障故障分類故障按照產(chǎn)生的后果進行分類,共分為四類。故障等級故障說明響應(yīng)時間處理時間一級一級故障：客戶端無法使用,影響用戶正常使用。當(dāng)系統(tǒng)出現(xiàn)下列相當(dāng)嚴(yán)重的現(xiàn)象時,屬一級故障：?

系統(tǒng)后臺服務(wù)器整體癱瘓,全部操作失去響應(yīng)；?

客戶端〔安卓、iPhone、iPad等僅一種出現(xiàn)崩潰、無法進入用戶界面；?

發(fā)生間歇性、隨機性、重復(fù)性的啟動或應(yīng)用退出,無法保障客戶業(yè)務(wù)的正常處理。?

兩個二級故障及以上,升級為一級故障≤2小時≤1天二級二級故障：客戶端整體可以使用,部分出現(xiàn)問題,影響用戶的部分業(yè)務(wù)處理。當(dāng)系統(tǒng)出現(xiàn)下列比較嚴(yán)重的現(xiàn)象時,屬二級故障：?

系統(tǒng)后臺出現(xiàn)了部分問題,導(dǎo)致用戶使用出現(xiàn)問題；?

客戶端〔安卓、iPhone、iPad等僅一種出現(xiàn)部分功能失效,影響用戶使用；?

系統(tǒng)整體性能嚴(yán)重下降,無法自動恢復(fù)正常運行狀態(tài)；?

重要數(shù)據(jù)、參數(shù)和配置信息損壞,無法恢復(fù),導(dǎo)致客戶數(shù)據(jù)及業(yè)務(wù)記錄嚴(yán)重?fù)p失；?

三個三級故障及以上,升級為二級故障≤3小時≤2天三級三級故障：客戶端可以使用,出現(xiàn)的問題對用戶的業(yè)務(wù)處理影響不大。當(dāng)系統(tǒng)出現(xiàn)下列現(xiàn)象時,屬三級故障：?

服務(wù)器端軟件或者硬件出現(xiàn)異常,局部功能受限,系統(tǒng)整體仍可正常工作,對客戶業(yè)務(wù)影響不大或存在隱患；?

關(guān)鍵備用設(shè)施因故障離線,主用設(shè)施仍能正常工作；?后臺日志發(fā)現(xiàn)有系統(tǒng)出現(xiàn)問題的趨勢,或者已經(jīng)出現(xiàn)了交易成功率下降?

客戶端性能小幅下降,但不影響使用；?

系統(tǒng)運行指標(biāo)〔例如：I/O效率、CPU效率受到直接或間接影響,客戶業(yè)務(wù)處理受小量影響；?

五個四級及以上,升級為三級故障≤6小時≤3天四級四級故障：客戶端可以使用,不影響業(yè)務(wù)處理當(dāng)系統(tǒng)出現(xiàn)下列情況而不影響客戶業(yè)務(wù)時,屬四級故障：?

客戶端界面出現(xiàn)顯示問題,如ui不符合設(shè)計；?

后臺系統(tǒng)中有大量的冗余信息,導(dǎo)致空間不足；?

系統(tǒng)硬件或者軟件沒有及時升級,不符合安全策略等等≤12小時≤5天故障響應(yīng)時間表故障等級通知公司響應(yīng)人員作出解決方案趕到現(xiàn)場解決時間一級15分鐘2小時8小時24小時二級30分鐘3小時12小時48小時三級60分鐘6小時24小時或無需到現(xiàn)場72小時四級90分鐘12小時無需到現(xiàn)場120小時故障定級故障累積升級按照不同的故障分類需要進行相應(yīng)的處理,但是有時問題會重復(fù)出現(xiàn)或者同類問題出現(xiàn)了多個,進行故障升級。例如：開發(fā)人員發(fā)現(xiàn)了一個ui問題,這是一個四級故障,他應(yīng)該通知他的組長進行統(tǒng)籌處理,在該組長進行處理時發(fā)現(xiàn)了十個類似的問題,這個問題直接升級到三級故障,由該組長負(fù)責(zé)向項目經(jīng)理通知,并進行全面查找問題,進行統(tǒng)一解決,做到故障的全部解決。?

四級故障數(shù)>=5,升級為三級故障?

三級故障數(shù)>=3,升級為四級故障?

二級故障數(shù)>=2,升級為二級故障處理能力不足現(xiàn)場人員如果在接到處理命令后,在兩個小時內(nèi)確認(rèn)自己無能力處理該故障,那么要求責(zé)任人將故障升級,聯(lián)系更高級別人員,進行統(tǒng)籌工作。如：發(fā)現(xiàn)一個后臺日志異常,有明顯變壞的趨勢,且銀行方已經(jīng)發(fā)現(xiàn)了交易量有少量下降,這應(yīng)該是一個三級故障,在內(nèi)部響應(yīng)后項目經(jīng)理和高級開發(fā)人員進行了處理,但是找不到問題所在,那么直接上升故障等級,通知領(lǐng)導(dǎo)協(xié)調(diào)更高級的技術(shù)人員進行處理?？蛻絷P(guān)注程度 客戶的關(guān)注程度較高時,故障等級應(yīng)做升級,如果現(xiàn)場人員不能確定客戶是否關(guān)注程度比較高,可以通過以下幾點進行判斷：客戶語氣焦急,明顯有些不耐煩,明令快速解決客戶話語中透露出某某領(lǐng)導(dǎo)派他過來問,或者某某領(lǐng)導(dǎo)等著看,等等客戶表明因為這個系統(tǒng)的問題,導(dǎo)致其他系統(tǒng)無法正常運作客戶已經(jīng)直接聯(lián)系領(lǐng)導(dǎo)反映情況〔這是非常糟糕的情況,3.4中會有說明 如果還不能判斷出客戶的關(guān)注程度,那么直接打電話給項目經(jīng)理,如果項目經(jīng)理也不能判斷出客戶關(guān)注程度,則按照客戶關(guān)注程度一般處理。 客戶關(guān)注程度高時,故障+1級〔如原故障二級,+1后變一級,已經(jīng)是一級的無法再升級。 關(guān)注程度一般時,不做故障升級?？蛻舴答伖收仙壢缈蛻粲龅搅斯收?沒有通知現(xiàn)場人員或者項目負(fù)責(zé)人員。而是直接聯(lián)系了部門領(lǐng)導(dǎo)或者公司領(lǐng)導(dǎo),那么故障響應(yīng)要做相應(yīng)升級。如果故障是用戶發(fā)現(xiàn)的,故障一般都在三級以上,那么按照用戶的響應(yīng)級別進行故障定級。例如：如果反饋用戶是銀行總經(jīng)理級別的,即使是三級故障,也要按照一級故障進行響應(yīng)。原則上是找到公司與用戶級別對等的領(lǐng)導(dǎo),該領(lǐng)導(dǎo)在響應(yīng)機制的哪個級別,故障就升級到哪個級別。銀行總經(jīng)理對應(yīng)公司總經(jīng)理,定為一級故障銀行科技〔信息部經(jīng)理對應(yīng)公司交付中心總經(jīng)理,定為一級故障銀行科長級別對應(yīng)公司交付中心總監(jiān),定為二級故障 如果客戶反饋的故障,按照故障標(biāo)準(zhǔn)認(rèn)定的等級大于用戶反饋認(rèn)定的故障大于,那么以故障標(biāo)準(zhǔn)認(rèn)定為準(zhǔn)?？蛻舯O(jiān)控出現(xiàn)的問題銀行都有一些監(jiān)控體系,可以從中查看到各種異常情況,這些異常情況可能是已經(jīng)出現(xiàn)了問題的,也可能是即將出現(xiàn)問題,這些一般都是由技術(shù)人員解決。此類問題一般按照二級故障處理,如果客戶關(guān)注程度較高,則需要公司相應(yīng)人員進行溝通,如果客戶關(guān)注度不高,直接協(xié)調(diào)技術(shù)人員解決。解決后,須告知銀行相關(guān)負(fù)責(zé)人。.故障定級矩陣顏色說明一級二級三級四級故障現(xiàn)象按照標(biāo)準(zhǔn)客戶關(guān)注度一般客戶關(guān)注度高行方科長反饋問題行方信息部經(jīng)理反饋問題行方總經(jīng)理反饋問題故障積累〔按照3.1所述處理能力不足公司內(nèi)部重視程度高無法使用一級一級一級一級一級一級一級一級一級部分無法使用二級二級一級二級一級一級一級一級一級小部分無法使用三級三級二級二級一級一級二級二級二級不影響使用四級四級三級二級一級一級三級三級三級.現(xiàn)場人員注意事項遵守銀行現(xiàn)場的各項制度管理規(guī)范,維護公司聲譽和形象,不允許有損公司聲譽形象的事情發(fā)生。重視自身的溝通,日常工作中不要抱怨,不說一些可能會傷害客戶的話,,這樣可能讓用戶積累一些怨氣,在出現(xiàn)問題時候一并爆發(fā)。做到在現(xiàn)場的人員工作期間少說些與工作無關(guān)的事情在問題出現(xiàn)的時候,現(xiàn)場人員放下手頭的原有工作〔指原定的任務(wù),與本次故障無關(guān)的任務(wù),全心的投入的故障處理工作中。第一,做好溝通協(xié)調(diào)員,將現(xiàn)有問題向上匯報。第二,從容不迫應(yīng)對,安撫客戶心情,告知公司已經(jīng)處理〔人員已經(jīng)在路上等等。第三,積極配合客戶,做好現(xiàn)場工作。第四,小心謹(jǐn)慎,不要手忙腳亂,此時不能再犯錯誤。技術(shù)人員提高技術(shù)能力,多了解公司的框架、操作系統(tǒng)和一些日常使用的中間件,不要因為自己的粗心大意,導(dǎo)致系統(tǒng)癱瘓。做到修改前先備份。修改后先檢查,備份保留而不刪除。重視質(zhì)量意識,加強代碼自查,按照流程規(guī)范行事,從自身減少隱患現(xiàn)場人員要留有各個內(nèi)部聯(lián)系人的電話,郵箱,必要時可以貼在工位上,不要出現(xiàn)問題再去找人問電話號碼明確自己的職責(zé),了解其他人員〔特別是領(lǐng)導(dǎo)的職務(wù)和職責(zé),了解每級別的責(zé)任人和聯(lián)系人故障響應(yīng)人員按照華北交付中心的組織架構(gòu)一級故障對銀行響應(yīng)人員：交付中心總〔副總經(jīng)理,責(zé)任人項目經(jīng)理二級故障對銀行響應(yīng)人員：交付中心總監(jiān),責(zé)任人：項目經(jīng)理三級故障對銀行響應(yīng)人員、責(zé)任人：項目經(jīng)理四級故障對銀行響應(yīng)人員：項目經(jīng)理,責(zé)任人：項目組長〔項目經(jīng)理處理流程一級故障一級故障是最高級別的故障,要求在我方的第一發(fā)現(xiàn)人在五分鐘內(nèi)告知項目經(jīng)理,在故障發(fā)生的15分鐘以內(nèi)聯(lián)系到交付中心對應(yīng)響應(yīng)人員〔交付中心總經(jīng)理。在故障發(fā)生的15分鐘內(nèi)進行故障的現(xiàn)象及后果等的描述,之后交由領(lǐng)導(dǎo)統(tǒng)一指揮。在兩個小時內(nèi)對問題作出相應(yīng)的處理方案,以最快速度組織人員到現(xiàn)場處理工作。要求技術(shù)總監(jiān)、項目經(jīng)理、技術(shù)專家、硬件\系統(tǒng)專家在故障發(fā)生的8小時內(nèi)趕到現(xiàn)場。如人員無法到齊,可派同等級別人員替換。領(lǐng)導(dǎo)無法到場,可以電話指揮。如現(xiàn)場問題嚴(yán)重,可要求公司副總與銀行方領(lǐng)導(dǎo)進行溝通協(xié)調(diào)。一級故障要在24小時之內(nèi)解決,避免銀行方受到更大的損失。二級故障二級故障是比較嚴(yán)重的故障,要求在我方的第一發(fā)現(xiàn)人在10分鐘內(nèi)告知項目經(jīng)理,在故障發(fā)生的30分鐘以內(nèi)聯(lián)系到交付中心對應(yīng)響應(yīng)人員〔交付中心總監(jiān)。在故障發(fā)生的30分鐘內(nèi)進行故障的現(xiàn)象及后果等的描述,之后交由領(lǐng)導(dǎo)統(tǒng)一指揮。在3個小時內(nèi)對問題作出相應(yīng)的處理方案,以最快速度組織人員到現(xiàn)場處理工作。要求項目經(jīng)理、技術(shù)經(jīng)理、硬件\系統(tǒng)高級工程師、高級軟件工程師在故障發(fā)生的12小時內(nèi)趕到現(xiàn)場。如人員無法到齊,可派同等級別人員替換。領(lǐng)導(dǎo)無法到場,可以電話指揮。問題如果在兩個小時內(nèi)沒有明確結(jié)果,故障直接升級為一級。二級故障要在48小時之內(nèi)解決,避免銀行方受到更大的損失。三級故障三級故障是嚴(yán)重的故障,要求在我方的第一發(fā)現(xiàn)人在15分鐘內(nèi)告知項目經(jīng)理,在故障發(fā)生的60分鐘以內(nèi)聯(lián)系到交付中心對應(yīng)響應(yīng)人員〔項目經(jīng)理。在故障發(fā)生的60分鐘內(nèi)進行故障的現(xiàn)象及后果等的描述,之后交由領(lǐng)導(dǎo)統(tǒng)一指揮。在6個小時內(nèi)對問題作出相應(yīng)的處理方案,確定問題是否需要到現(xiàn)場解決。如果需要去現(xiàn)場則組織人員去現(xiàn)場,不需要的話就在公司內(nèi)部解決。要求項目經(jīng)理、技術(shù)經(jīng)理、硬件\系統(tǒng)高級工程師、高級軟件工程師在故障發(fā)生的下一工作日內(nèi)趕到現(xiàn)場。如人員無法到齊,可派同等級別人員替換。項目經(jīng)理如果無法到場,可以電話指揮。問題如果在四個小時內(nèi)沒有明確結(jié)果,故障直接升級為二級。三級故障要在72小時之內(nèi)解決,避免銀行方受到更大的損失。四級故障四級故障是一般的故障,要求在我方的第一發(fā)現(xiàn)人在30分鐘內(nèi)告知項目經(jīng)理,在故障發(fā)生的90分鐘以內(nèi)聯(lián)系到交付中心對應(yīng)響應(yīng)人員〔項目組長。在故障發(fā)生的90分鐘內(nèi)進行故障的現(xiàn)象及后果等的描述,之后交由領(lǐng)導(dǎo)統(tǒng)一指揮。在12個小時內(nèi)對問題作出相應(yīng)的處理方案,判斷四級故障是否需要現(xiàn)場處理。并查找是否還存在類似問題,一并在本次的處理方案中解決。項目經(jīng)理如果無法到場,可以電話指揮。四級故障要在120小時之內(nèi)解決,避免銀行方受到更大的損失。事后總結(jié)程序在試運行或者運維階段,經(jīng)常會出現(xiàn)意想不到的問題,這些問題在有經(jīng)驗的人手中可能很快就會解決,我們不能避免風(fēng)險的產(chǎn)生,但是我們能盡量將有害風(fēng)險的影響降到最低。這樣我們就需要提高個人的技能水平,對出現(xiàn)的問題多做分享,多學(xué)習(xí)。故障總結(jié)由項目經(jīng)