客戶感知評估體系的建立和應(yīng)用.doc

客戶感知評估體系的建立和應(yīng)用一、項目背景隨著移動通信的迅速發(fā)展和市場競爭的不斷加劇，網(wǎng)絡(luò)質(zhì)量成為增強(qiáng)企業(yè)競爭力的關(guān)鍵因素。各個移動通信運(yùn)營商更加重視從客戶的角度去衡量全網(wǎng)的質(zhì)量水平，借此有效提升客戶感知價值，而目前的網(wǎng)絡(luò)質(zhì)量評估工作主要存在以下不足。1、產(chǎn)業(yè)競爭日益激烈，網(wǎng)絡(luò)運(yùn)維分析需發(fā)揮最大效用，為市場發(fā)展提供強(qiáng)有力支撐。而目前的網(wǎng)絡(luò)運(yùn)維分析對象主要面對網(wǎng)元自身，與市場行為、用戶行為不掛鉤，不能體現(xiàn)業(yè)務(wù)端到端質(zhì)量，無法有效體現(xiàn)客戶真實(shí)感知價值、支撐市場競爭。 2、傳統(tǒng)網(wǎng)絡(luò)指標(biāo)滯后于用戶感知，甚至與用戶感知相背離，時常出現(xiàn)網(wǎng)絡(luò)、設(shè)備并無任何異常，但用戶感知業(yè)務(wù)質(zhì)量已出現(xiàn)劣化。單通、串話、噪聲、上網(wǎng)速度慢、業(yè)務(wù)開通成功率低等影響業(yè)務(wù)感知的現(xiàn)象，無法用故障和傳統(tǒng)的kpi表征。甚至，時常會出現(xiàn)網(wǎng)絡(luò)、設(shè)備并無任何異常，但用戶感知業(yè)務(wù)質(zhì)量已出現(xiàn)劣化。因此，網(wǎng)絡(luò)評估分析工作需要面向客戶感知轉(zhuǎn)變。 3、客戶對網(wǎng)絡(luò)質(zhì)量的感知受主、客觀多種因素的影響。網(wǎng)元好不代表端到端質(zhì)量好、均值好不代表局部地區(qū)好、測試好不代表單用戶好、統(tǒng)計好不代表感受好。真實(shí)的端到端客戶感知度無法有效評估！ 4、傳統(tǒng)話統(tǒng)指標(biāo)基于網(wǎng)元設(shè)備的處理過程，沒有面向客戶感知設(shè)計，指標(biāo)的統(tǒng)計點(diǎn)不對應(yīng)實(shí)際客戶感知，更加不能實(shí)現(xiàn)對用戶客戶感知的端到端管理。尤其是發(fā)展迅速的手機(jī)上網(wǎng)業(yè)務(wù)和wlan業(yè)務(wù)，缺乏有效的分析掌控點(diǎn)，客戶感知度較差。 5、網(wǎng)管系統(tǒng)以常規(guī)報表為主，每日質(zhì)量分析、異常問題分析，必須提取、查看多張報表，進(jìn)行手工分析，效率低下，且分析經(jīng)驗(yàn)都存在分析人員的腦子里，得不到有效固化和傳遞。本項目的研究是為了解決上述問題，也為了更好的從客戶角度衡量全網(wǎng)的質(zhì)量水平，讓網(wǎng)絡(luò)維護(hù)優(yōu)化工作更加面向客戶，以提升客戶對網(wǎng)絡(luò)的感知，提高公司競爭力。二、實(shí)現(xiàn)方案或方案優(yōu)選過程一、參考tmf gb923，以客戶感知為導(dǎo)向，從端到端業(yè)務(wù)流程和服務(wù)流程入手，找到關(guān)鍵業(yè)務(wù)體驗(yàn)點(diǎn)，結(jié)合業(yè)務(wù)遍歷環(huán)節(jié)， 建立從qoekqikpi評估模型，見下圖。層層剖析到需要監(jiān)控分析的末端kpi，據(jù)此構(gòu)建一套涵蓋qoekqikpi的客戶感知評估體系。本項目建立的客戶感知模型，以客戶體驗(yàn)感知價值為目標(biāo)，以關(guān)鍵的端到端業(yè)務(wù)質(zhì)量為評估控制的關(guān)鍵所在。通過各項網(wǎng)元性能為紐帶，將日常運(yùn)維的網(wǎng)元保障工作和業(yè)務(wù)質(zhì)量進(jìn)行貫通，通過評估控制業(yè)務(wù)質(zhì)量指標(biāo)，促進(jìn)運(yùn)維水平和客戶感知價值的雙向提升。在該客戶感知模型中，客戶感知（qoe）是面向最終用戶的體驗(yàn)。kqi是決定電信業(yè)務(wù)qoe的關(guān)鍵質(zhì)量指標(biāo)，kpi是網(wǎng)元設(shè)備測量的性能指標(biāo)。kqi與kpi都來自于客觀性能測量數(shù)據(jù)。kpi和kqi最大的區(qū)別，就是kpi從網(wǎng)元設(shè)備的角度出發(fā)關(guān)注過程，而kqi則從終端用戶角度出發(fā)關(guān)注的業(yè)務(wù)質(zhì)量的結(jié)果。kqi 可以由幾個kpi聚合而成，或者由某個kpi通過一定的算法模型進(jìn)行表征，也有可能與某個kpi相同。二、從全業(yè)務(wù)運(yùn)營角度出發(fā)，多維度拓展分析數(shù)據(jù)源，研究撥測信息、信令監(jiān)測信息、話單信息、traffica呼叫記錄等信息，從中抽取客戶感知相關(guān)kqi和kpi，按照qoekqikpi評估模型，進(jìn)行數(shù)據(jù)挖掘、關(guān)聯(lián)，逐步建立涵蓋gsm網(wǎng)絡(luò)語音、td網(wǎng)絡(luò)語音、視頻、gprs數(shù)據(jù)上網(wǎng)、wlan等各項業(yè)務(wù)用例客戶感知評估指標(biāo)體系。（一）借鑒tmf無線業(yè)務(wù)測量 (wsmt，wireless service measurement team)，提出的業(yè)務(wù)質(zhì)量設(shè)計流程，由上至下將業(yè)務(wù)逐層分析，最終把用戶對業(yè)務(wù)的質(zhì)量體驗(yàn)分解成組成產(chǎn)品的各個服務(wù)的質(zhì)量，并將服務(wù)與網(wǎng)絡(luò)、非網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行映射，最終由這些數(shù)據(jù)聚合成可供測量的kql。具體過程如下：（二）按照上述設(shè)計思路，我們以語音業(yè)務(wù)為例，設(shè)計的語音業(yè)務(wù)集合。首先通過業(yè)務(wù)場景、業(yè)務(wù)流程和業(yè)務(wù)資源分析，建立關(guān)鍵業(yè)務(wù)體驗(yàn)點(diǎn)和資源要素的矩陣分析。再通過矩陣分析結(jié)果，從客戶感知的大維度，設(shè)計業(yè)務(wù)集合。維度qoe指標(biāo)kqi 接入性網(wǎng)絡(luò)信號覆蓋覆蓋率接通性端到端（）主叫接通率端到端被叫接通率端到端主叫接通時長保持性通話連續(xù)性掉話率完整性語音質(zhì)量mos單通比率串話比率回聲比率三、從結(jié)果向過程尋找量化關(guān)系，科學(xué)計算感知要素占比，運(yùn)用加權(quán)算法進(jìn)行客戶感知度量化評估，引入相對價值評估模型對感知度進(jìn)行對比校正。同時，研究建立自動鉆取式挖掘分析模型，實(shí)現(xiàn)端到端業(yè)務(wù)qoekqi的自動評估和劣化原因智能分析。（一）運(yùn)用關(guān)聯(lián)規(guī)則、趨勢、聚類等數(shù)據(jù)挖掘手段計算出影響用戶感知的要素占比，根據(jù)加權(quán)定義各個kpi對業(yè)務(wù)的影響程度，運(yùn)算得到最終的業(yè)務(wù)kqi和qoe評估結(jié)果情況。1、根據(jù)業(yè)務(wù)特征，基于評估模型，從結(jié)果向程尋找量化關(guān)系，運(yùn)用關(guān)聯(lián)規(guī)則、趨勢、聚類等數(shù)據(jù)挖掘手段進(jìn)行跟蹤評估，對影響用戶感知的主要因素進(jìn)行排序，計算各類感知要素占比，確定各項kpi、kqi的權(quán)重。2、根據(jù)業(yè)務(wù)特征，數(shù)據(jù)挖掘結(jié)果，確定各類別指標(biāo)的權(quán)重，運(yùn)用加權(quán)算法進(jìn)行客戶感知度量化評估。預(yù)先加權(quán)定義各個kpi對業(yè)務(wù)的影響程度，運(yùn)算得到最終的業(yè)務(wù)kqi評估結(jié)果情況。 總體qoe算法如下：，其中：表示分項qoe權(quán)重，表示kqi所對應(yīng)的qoe。kqi和kpi之間的評估算法與此類似?？梢酝ㄟ^每一項kpi的完成值計算得出各項kqi的指數(shù)得分。具體各類業(yè)務(wù)場景例如彩信業(yè)務(wù)、短信業(yè)務(wù)、td視頻等數(shù)據(jù)業(yè)務(wù)，分區(qū)域的場景如高校區(qū)域、商業(yè)區(qū)域也可以按照此方法得出評估結(jié)果。（二）在本網(wǎng)自身價值評估模型的基礎(chǔ)上，引入相對價值評估法，進(jìn)行客戶感知度對比校正。相對價值評估法就是，在評估本網(wǎng)客戶感知價值的同時，將評估體系應(yīng)用到競爭對手的網(wǎng)絡(luò)中，評估相同時間、空間和業(yè)務(wù)用例條件下本網(wǎng)和他網(wǎng)客戶感知價值的差異。并用此評估結(jié)果對最終客戶感知度進(jìn)行校正。當(dāng)比較評估的結(jié)果顯示本網(wǎng)客戶感知價值低于他網(wǎng)時，將立即給予該地域下被評估業(yè)務(wù)客戶感知問題警示，快速進(jìn)行網(wǎng)絡(luò)優(yōu)化。（三）研究從整體到局部的鉆取關(guān)聯(lián)分析模型，實(shí)現(xiàn)客戶感知劣化的逐層智能分析。從時間、空間、資源、關(guān)聯(lián)關(guān)系、外部因素等多個維度，總結(jié)日常分析方法和經(jīng)驗(yàn)，梳理研究分析規(guī)則?？傮w思路如下：分析模型舉例如下：將自動分析規(guī)則在系統(tǒng)固化，實(shí)現(xiàn)系統(tǒng)根據(jù)自動分析觸發(fā)條件和分析規(guī)則，進(jìn)行自動鉆取式挖掘分析，并呈現(xiàn)分析結(jié)論，從而實(shí)現(xiàn)業(yè)務(wù)的qoekqi自動評估和劣化原因智能分析。（四）研究用戶群體、區(qū)域特征、時間變化等外部因素對客戶感知的影響，將用戶使用行為，感知需求、感知體驗(yàn)的差異、資源使用情況進(jìn)行關(guān)聯(lián)分析，建立差異化場景客戶感知評估模板。四、將體系研究成果和市場支撐、客戶服務(wù)緊密聯(lián)系起來，對當(dāng)前熱點(diǎn)的上網(wǎng)業(yè)務(wù)和wlan業(yè)務(wù)進(jìn)行重點(diǎn)評估應(yīng)用，對vip客戶進(jìn)行分時段和分區(qū)域的差異化評估。讓客戶感知評估成為支撐市場發(fā)展、提升客戶滿意度的有力武器。（一）gprs數(shù)據(jù)上網(wǎng)業(yè)務(wù)客戶感知評估應(yīng)用：根據(jù)影響客戶感知的現(xiàn)象，從接入能力、有效能力、完整能力、速度能力、服務(wù)能力五個維度入手，進(jìn)行上網(wǎng)業(yè)務(wù)客戶感知評估。、按照手機(jī)gprs上網(wǎng)端到端流程，見下圖。從網(wǎng)元側(cè)分段梳理出貼近客戶感知的kpi指標(biāo)全集。手機(jī)gprs上網(wǎng)（wap業(yè)務(wù)）主要有以下幾個過程： pdp激活（pdp context setup） wap網(wǎng)關(guān)連接過程（wap gateway connect） wap get/post過程（wap get/post）每個過程的連接情況和涉及網(wǎng)元為具體pdp激活pdp激活主要是為了建立終端與ggsn之間的ip連接。涉及到通過apn查詢sgsn地址，radius認(rèn)證等。涉及的網(wǎng)元包括：sgsn、dns、ggsn、radius server、wap網(wǎng)關(guān)wap網(wǎng)關(guān)連接wap網(wǎng)關(guān)連接過程是終端向wap網(wǎng)關(guān)發(fā)送申請，及wap網(wǎng)關(guān)的響應(yīng)過程。涉及的網(wǎng)元包括：sgsn、ggsn、wap網(wǎng)關(guān)wap get/post過程在wap網(wǎng)關(guān)連接建立后，終端會向wap網(wǎng)關(guān)發(fā)送get/post申請，請求獲取某個uri的內(nèi)容或發(fā)布內(nèi)容。wap網(wǎng)關(guān)在收到請求后會檢查自己的db，以確認(rèn)此連接是否被允許。檢查通過后，wap網(wǎng)關(guān)會向dns server請求uri的ip地址，然后根據(jù)ip地址發(fā)出http get請求。此過程涉及的網(wǎng)元包括：sgsn、ggsn、wap網(wǎng)關(guān)、dns server因此從網(wǎng)元側(cè)得到手機(jī)gprs上網(wǎng)（wap業(yè)務(wù)）所有kpi指標(biāo)，包括性能、告警、投訴、業(yè)務(wù)測試等，如下。 kpi1: pdp context activate successful rate （pdp激活成功率） kpi2: pdp context activate delay kpi3: wap connect successful rate kpi4: wap connect delay kpi5: wap get/post successful rate kpi6: wap get/post response delay kpi7: server response delay kpi8: wap gw process time delay kpi9: wap dl/ul throughput kpi10: wap dl/ul packets lost ratio ggsn中斷時長（告警指標(biāo)） 整理這些kpi指標(biāo)，再按照接入能力、有效能力、完整能力、速度能力、服務(wù)能力的維度，確定和上述qoe相關(guān)的kpi指標(biāo)。這些kpi和kqi是貼近客戶感知的真正核心內(nèi)容，是需要進(jìn)行重點(diǎn)監(jiān)控和評估分析的。kqi手機(jī)上網(wǎng)業(yè)務(wù)質(zhì)量 qoeattach成功率pdp激活成功率tbf建立成功率sgsn負(fù)荷ggsn負(fù)荷wap網(wǎng)關(guān)負(fù)荷gb gn gi接口負(fù)荷ggsnsgsnwap中斷時長edge覆蓋率弱覆蓋比率上下行電平值kpi接入能力覆蓋能力完整能力速度能力開通服務(wù)能力wap gw連接成功率radius成功率dns查詢成功率wap get成功率wap post成功率tbf drop rateattach延遲pdp激活時延wap gw連接時延wap get 時延wap post時延wap gw處理時延dl/ul throughputwap dl/ul丟包率apn設(shè)置錯誤域名錯誤用戶無gprs功能投訴工單處理及時率問題解決時長gprs上網(wǎng)萬人投訴比2、根據(jù)業(yè)務(wù)特征和數(shù)據(jù)挖掘結(jié)果，確定各類別指標(biāo)的權(quán)重。預(yù)先加權(quán)定義各個kpi對業(yè)務(wù)的影響程度，運(yùn)算得到最終的業(yè)務(wù)kqi評估結(jié)果情況?？傮w客戶感知指數(shù)也可以由各類kqi客戶感知指數(shù)均衡獲得。具體各類業(yè)務(wù)場景例如彩信業(yè)務(wù)、短信業(yè)務(wù)、td視頻等數(shù)據(jù)業(yè)務(wù)，分區(qū)域的場景如高校區(qū)域、商業(yè)區(qū)域也可以按照此方法得出評估結(jié)果。（二）業(yè)務(wù)客戶感知分析評估應(yīng)用wlan業(yè)務(wù)是近期發(fā)展迅速、用戶使用的一個熱點(diǎn)。我們遵循wsmt業(yè)務(wù)質(zhì)量設(shè)計流程，從用戶使用業(yè)務(wù)類型、業(yè)務(wù)流向兩個方面入手，研究wlan業(yè)端到端務(wù)客戶感知評估體系，并通過wlan自動撥測和巡檢衛(wèi)士進(jìn)行體系的系統(tǒng)固化。1、從用戶主要業(yè)務(wù)需求游戲、視頻以及web瀏覽業(yè)務(wù)入手，梳理客戶感知指標(biāo)，進(jìn)行感知門限普查，確定客戶感知差異化等級標(biāo)準(zhǔn)。2、根據(jù)wlan業(yè)務(wù)現(xiàn)網(wǎng)路由情況，研究業(yè)務(wù)在不同的路由方向上，客戶感知度的差異，解決網(wǎng)絡(luò)資源瓶頸問題。3、通過自動撥測和移動業(yè)務(wù)監(jiān)測系統(tǒng)對客戶感知評估體系進(jìn)行系統(tǒng)固化和應(yīng)用。自動撥測系統(tǒng)可模擬用戶行為對熱點(diǎn)區(qū)域的wlan業(yè)務(wù)的客戶感知進(jìn)行自動撥測，主動實(shí)時監(jiān)控wlan系統(tǒng)運(yùn)行狀態(tài)，及時發(fā)現(xiàn)并處理影響客戶感知的事件。系統(tǒng)流量走向如下圖：（三）量化vip客戶每次通話質(zhì)量vip客戶的通信質(zhì)量是客戶感知評估關(guān)注的一個重點(diǎn)。通過跟蹤高端客戶的通話質(zhì)量、通信行為、網(wǎng)絡(luò)感知、手機(jī)性能等，時刻掌握高端客戶通信質(zhì)量，可以發(fā)現(xiàn)網(wǎng)絡(luò)的潛在問題，優(yōu)先及時地解決客戶遇到的問題或者隱患。本項目評估體系中的話單數(shù)據(jù)及相關(guān)統(tǒng)計數(shù)據(jù)可以為vip客戶的每次通話質(zhì)量給出一個感知評估。感知評估全面考察客戶每一次從起呼到接通以及完成通話的通信質(zhì)量，通過對每次通話質(zhì)量的感知評估判斷重要客戶對網(wǎng)絡(luò)的滿意情況，做到在客戶沒有投訴之前就處理、解決好網(wǎng)絡(luò)問題，提升客戶對移動網(wǎng)絡(luò)服務(wù)的感知。感知評估的思路如下：當(dāng)一個客戶在網(wǎng)絡(luò)質(zhì)量良好的情況下完成通話，感知度為100，當(dāng)出現(xiàn)不同的網(wǎng)絡(luò)異常情況時減去相應(yīng)的權(quán)值，最后得到客戶對于網(wǎng)絡(luò)的感知度。例如以天為單位，關(guān)聯(lián)重要客戶級別（鉆石vip、金牌vip等），查詢時間區(qū)間內(nèi)的掉話次數(shù)、掉話率與通話時長來，用相關(guān)算法計算保持性qoe評估。三、主要成果和應(yīng)用情況（一）制定客戶感知網(wǎng)絡(luò)質(zhì)量評估體系梳理上述研究成果，同時收集涵蓋各個場景評估案例，從評估手段、評估方法、評估結(jié)果等多角度總結(jié)和固化評估經(jīng)驗(yàn)，制定了客戶感知網(wǎng)絡(luò)質(zhì)量評估體系技術(shù)文檔。成為指導(dǎo)全省運(yùn)維人員提高運(yùn)維水平、支撐市場客服、提升客戶滿意度的有力武器。（二）應(yīng)用情況1、經(jīng)過對于網(wǎng)絡(luò)質(zhì)量評估體系的研究，特別是圍繞客戶感知對原來的質(zhì)量指標(biāo)和評估模型進(jìn)行了較大程度的更新后，新的網(wǎng)絡(luò)質(zhì)量評估體系越來越貼近實(shí)際客戶感知，更能將客戶急需解決的問題逐漸顯性化。在提升優(yōu)化水平、做好市場支撐、疑難問題處理等方面取得顯著成效。（1）用戶感知網(wǎng)絡(luò)優(yōu)化能力提升 使網(wǎng)絡(luò)優(yōu)化真正從網(wǎng)元層面轉(zhuǎn)向用戶層面，網(wǎng)優(yōu)工作真正面向用戶服務(wù)； 細(xì)致到一對一的用戶感知性能的管理； 先于用戶發(fā)現(xiàn)突發(fā)的問題，切實(shí)提升用戶的滿意度。及時發(fā)現(xiàn)并杜絕各類安全隱患問題41起，隱患解決時長縮短一半。先于客戶發(fā)現(xiàn)業(yè)務(wù)降質(zhì)問題40余件，定位時間從10分鐘縮短到1分鐘。1分鐘10分鐘09年11月10年5月全網(wǎng)e2e接通率、掉話率、彩信e2e接收成功率、數(shù)據(jù)業(yè)務(wù)下載速率等重要指標(biāo)明顯提升，網(wǎng)絡(luò)質(zhì)量明顯改善。（2）市場營銷支撐： 針對性的用戶感知評估，可以作為很好的營銷鋪墊； 掌握重要用戶群的分布和移動規(guī)律，提升營銷效果； 重要用戶的“呼叫社會性”，爭取重要客戶掌握主動； 手機(jī)終端能力分析，利于新業(yè)務(wù)的有效推廣； 識別特定的區(qū)域內(nèi)的重要用戶群，對于營銷和網(wǎng)絡(luò)設(shè)備資源投入很有指導(dǎo)意義。體系成果能評估特定區(qū)域、特定用戶群的行為特點(diǎn)，用來協(xié)助市場部門開展gprs手機(jī)上網(wǎng)提升專項活動，對客戶開展針對性的營銷工作，取得了良好效果。疑難問題處理支撐： 為突發(fā)小概率事件提供詳實(shí)的分析數(shù)據(jù)； 對包括信令監(jiān)測、業(yè)務(wù)監(jiān)測等信息源的全方位整合，利于快速準(zhǔn)確解決疑難問題。利用評估體系的不同場景評估成果，在高校開學(xué)、春節(jié)、世博等通信保障工作中排查出業(yè)務(wù)高峰時存在嚴(yán)重影響客戶感知的的網(wǎng)元設(shè)備16起，用戶接入安全隱患2起。順利度過業(yè)務(wù)高峰的沖擊。及時發(fā)現(xiàn)解決單通、串話、無聲音等業(yè)務(wù)質(zhì)量問題36起，終端設(shè)置不當(dāng)影響業(yè)務(wù)使用問題25起，山寨機(jī)干擾網(wǎng)絡(luò)問題9起，第三方業(yè)務(wù)平臺故障7起。2、通過流程優(yōu)化，擴(kuò)展到客戶感知服務(wù)體系，致力于提高網(wǎng)絡(luò)服務(wù)能力，支撐市場和客服，以提高客戶滿意度為最終目標(biāo)。對解決影響客戶感知的網(wǎng)絡(luò)隱患，提升客戶滿意度方面取得顯著成效。四、效益分析（一）經(jīng)濟(jì)效益分析1、項目直接收益：（541.2+91.3）*2=1265萬元該項目研究的客戶感知評估分析體系，有助于快速發(fā)現(xiàn)、定位和處理業(yè)務(wù)降質(zhì)情況，挖掘網(wǎng)絡(luò)故障、隱患，降低業(yè)務(wù)影響，有效吸收話務(wù)量。（1）網(wǎng)元數(shù)15130故障率（ 0.07次/月/網(wǎng)元-0.02次/月/網(wǎng)）平均每次故障影響業(yè)務(wù)量123愛爾蘭優(yōu)惠后量收比9.7元/愛爾蘭6個月=541.2萬元。半年挽回?fù)p失541.2萬元。（2）保證網(wǎng)間網(wǎng)內(nèi)業(yè)務(wù)有效吸收，重要節(jié)假日和活