異常行為導致感知指標劣化分析

【創(chuàng)新材料】異常行為導致感知指標劣化分析摘要LTE移動互聯(lián)網(wǎng)開展迅猛，為了吸引更多的用戶從2G/3G往4G上遷移，擴大LTE用戶群，電信從2021年7月份開始推出“無限流量〞套餐來吸引用戶，“無限流量〞套餐會促使用戶消費更多的LTE流量，產(chǎn)生一批高流量用戶，增大基站負荷，對LTE全網(wǎng)造成一系列的影響。本文主要通過感知分析系統(tǒng)對高流量用戶引起的質(zhì)差進行感知分析和問題定位，在用戶投訴前提早發(fā)現(xiàn)問題并及時處理，以此支撐幫助客服部門應對4G“無限流量〞套餐引起的投訴，提高質(zhì)差小區(qū)派單準確性，提升電信的品牌效益。關鍵字：感知分析系統(tǒng)、DPI感知分析、問題定位、客服支撐

目錄一、工程概述 3二、工程關鍵創(chuàng)新點 4三、創(chuàng)新成果展示 5四、成果簡介 54.1、背景介紹 54.2、優(yōu)化分析 64.2.1感知平臺問題定位分析 64.2.2站點告警核查 84.2.3KPI指標核查 8、4.2.4小區(qū)用戶指標統(tǒng)計分析 94.2.5跟蹤用戶信令 114.2.6用戶異常行為確認 124.3、解決措施 124.4、經(jīng)驗總結 13五、效益評估及成果價值 145.1降本增效 145.2提升優(yōu)化效率 15六、成果推廣現(xiàn)狀及應用 156.1推廣現(xiàn)狀 156.2平臺應用 15

一、工程概述江蘇電信推出“無限流量〞套餐以來，用戶業(yè)務行為逐步豐富，LTE網(wǎng)絡負荷驟增，同時市場的開展及用戶業(yè)務行為模型的改變對基站DPI指標帶來不同程度的影響，依據(jù)傳統(tǒng)分析方法及傳統(tǒng)工具難以定位問題。南通電信無線中心以DPI感知指標為切入點，利用移動網(wǎng)端到端感知分析監(jiān)測系統(tǒng)，從感知、業(yè)務、終端、小區(qū)等方面著手，數(shù)據(jù)采集量大，多維度深入分析，實現(xiàn)技術創(chuàng)新及高效準確定位問題。利用移動網(wǎng)端到端感知分析監(jiān)測系統(tǒng)及用戶感知分析系統(tǒng)快速精準定位問題，該平臺能夠反映用戶真實感知，輸出用戶業(yè)務模型，并采用報表形式輸出不同場景不同類型指標，有效評估用戶業(yè)務感知質(zhì)量。江蘇電信感知平臺擁有感知評估、問題定界、重點場景專題、橫向支撐等功能，具體包括利用感知評估功能分析用戶感知指標及DPI指標趨勢，利用問題定界功能定位質(zhì)差小區(qū)、及TOP用戶，利用橫向支撐功能掌握用戶具體行業(yè)用戶行為，感知平臺功能的綜合運用對定位網(wǎng)絡DPI指標劣化問題起到事半功倍的效果。成果運用：本分析方法已在南通全區(qū)推廣，適合各種場景包括高鐵、高速、高校等重點場所，按照此類分析方法能夠極大減少人工本錢及現(xiàn)場測試本錢，按照每測試點0.5人天和測試本錢150元統(tǒng)計，預計一年可節(jié)省人力及測試費用50萬元，可創(chuàng)造直接經(jīng)濟效益。目前南通電信已輸出相關感知系統(tǒng)應用文檔2篇，相關案例17篇。二、工程關鍵創(chuàng)新點利用感知分析系統(tǒng)，創(chuàng)新定位用戶感知問題，實現(xiàn)多維度掌握網(wǎng)絡整體感知性能指標，利用問題診斷功能，發(fā)現(xiàn)網(wǎng)絡短板，高效定位用戶感知質(zhì)差問題，全自動輸出網(wǎng)絡感知指標及日報。圖2-1傳統(tǒng)定位分析方法與創(chuàng)新定位分析方法比照創(chuàng)新點1：利用感知平臺分析，高效定位終端當熱點業(yè)務行為造成DPI感知指標劣化問題；創(chuàng)新點2：快速定位用戶業(yè)務行為異常事件，支撐客服“無限流量〞套餐限速后投訴類問題處理；三、創(chuàng)新成果展示圖3-1創(chuàng)新定位分析方法與傳統(tǒng)定位分析方法效益比照創(chuàng)新定位分析方法相對于傳統(tǒng)定位分析方法效益更高，在同等工作量的根底上能夠節(jié)省50%的人力資源本錢，真正做到事半功倍。創(chuàng)新成果主要為：技術創(chuàng)新：利用移動網(wǎng)端到端感知分析監(jiān)測系統(tǒng)及用戶感知分析系統(tǒng)完全代替?zhèn)鹘y(tǒng)人工現(xiàn)場定位問題方法及傳統(tǒng)KPI指標逐步分析方法，定位問題準確性及有效性提升?？头危撼浞终莆沼脩魳I(yè)務行為，及時定位影響用戶感知問題原因，高效支撐客服，有效引導用戶業(yè)務行為，提高用戶感知。四、成果簡介4.1、背景介紹2021年9月12號對南通感知指標進行日常統(tǒng)計監(jiān)控，發(fā)現(xiàn)南通整體DPI指標突然惡化，對問題時段南通各區(qū)縣進行細分統(tǒng)計，南通區(qū)縣“海門〞DPI指標在11號出現(xiàn)嚴重劣化跟南通整體DPI指標惡化情況一致，指標如下所示：圖4-1DPI優(yōu)良率圖示由上圖初步認定海門DPI指標從9月11號開始惡化，影響南通整體DPI指標下降，對海門指標惡化進行分析定位處理。4.2、優(yōu)化分析4.2.1感知平臺問題定位分析感知平臺介紹：是江蘇電信針對江蘇省用戶感知指標監(jiān)控及提取研發(fā)的平臺，通過感知平臺——問題定界——SQL查詢，可以提供更細化的問題定位。對海門9月份DPI指標和視頻業(yè)務指標統(tǒng)計分析，發(fā)現(xiàn)海門指標保持平穩(wěn)，視頻業(yè)務指標惡化導致海門指標整體惡化，如下所示：圖4-2視頻下載速率優(yōu)良率圖4-3-DPI優(yōu)良率 通過用戶感知平臺對海門9月11號視頻業(yè)務指標進行小區(qū)級別統(tǒng)計，查看是否由于top小區(qū)引起，統(tǒng)計發(fā)現(xiàn)NTL2NTC海門_證大清華園_2〔CI:46011075008562〕在問題時間段指標惡化嚴重,全天產(chǎn)生16397視頻質(zhì)差次數(shù),占海門全天視頻質(zhì)差的68.5%,如下表所示:表4-1視頻下載指標地市日期CI優(yōu)良率視頻下載總數(shù)視頻下載速率質(zhì)差次數(shù)視頻下載速率優(yōu)良率南通2021/9/114601107500856265.53222891639726.43南通2021/9/11海門87.081608542393585.12南通2021/9/11海門剔除top小區(qū)90.07138565753894.56 由上表可知,海門視頻質(zhì)差主要由于top小區(qū)(CI:46011075008562)導致，在剔除top小區(qū)后，海門視頻優(yōu)良率由85.12提升到94.56，下一步對小區(qū)異常進行核查，分析原因。4.2.2站點告警核查站點是否有影響業(yè)務的告警〔RP3，駐波等〕，將會直接影響用戶感知，如下列圖所示，質(zhì)差TOP小區(qū)小區(qū)目前沒有告警，故排除故障對指標的影響。圖4-4告警圖示4.2.3KPI指標核查以下是該小區(qū)最近一周的KPI指標，具體如下表所示：表4-2KPI指標小區(qū)名無線連接建立成功率(%)E-RAB掉線率(%)eNodeB內(nèi)同頻切換出成功率(%)下行PRB平均利用率(%)覆蓋優(yōu)良比(CQI>=7比例)(%)4G到3G重定向比例(%)NTL2NTC海門_證大清華園_299.960.0099.922.9197.510.25全網(wǎng)平均99.930.0899.321.7394.930.19通過提取KPI，TOP小區(qū)KPI指標正常，初步認定小區(qū)正常，疑心單用戶導致小區(qū)感知指標惡化，對小區(qū)單用戶進行分析。、4.2.4小區(qū)用戶指標統(tǒng)計分析統(tǒng)計top小區(qū)對應時間段用戶指標，發(fā)現(xiàn)存在質(zhì)差用戶〔IMSI:460110163620783,號碼，該用戶11號全天在top小區(qū)下面視頻業(yè)務統(tǒng)計到16397次質(zhì)差，占該小區(qū)全天視頻質(zhì)差次數(shù)的100%，如下所示：表4-3用戶視頻指標地市日期視頻下載總數(shù)視頻下載速率質(zhì)差次數(shù)視頻下載速率優(yōu)良率南通2021/9/11CI:46011075008562222891639726.43南通2021/9/11IMSI:460110163620783222771639726.39南通2021/9/11該小區(qū)剔除單用戶120100該小區(qū)剔除單用戶后視頻優(yōu)良率感知指標由26.43提升到100，認定是由該用戶導致小區(qū)質(zhì)差，跟客服投訴部門溝通，沒有發(fā)現(xiàn)該用戶的投訴，為預防該用戶可能引起的4G體驗投訴和提高南通整體感知，對該質(zhì)差用戶進行分析定位和處理。通過用戶感知平臺二級客服定位用戶當天活動區(qū)域，并對活動區(qū)域進行實地測試，發(fā)現(xiàn)用戶活動區(qū)域LTE覆蓋正常，峰值速率不存在問題，排除無線環(huán)境問題，初步認定用戶終端側原因所致。圖4-5感知分析系統(tǒng)“二級客服〞功能圖4-6現(xiàn)場測試指標通過用戶感知平臺提取質(zhì)差用戶視頻業(yè)務小時級指標進行分析，發(fā)現(xiàn)該用戶11號只對騰訊視頻進行使用，視頻請求次數(shù)異常高，如下所示：表4-4視頻指標由上表可知該用戶視頻業(yè)務存在行為異常，主要表現(xiàn)用戶視頻請求次數(shù)過多，在11號14點用戶對騰訊發(fā)起了13629次視頻請求，平均每秒發(fā)起4次，遠高于正常值，平均每次消耗視頻流量70kb。視頻請求次數(shù)過多疑心用戶通過軟件刷視頻或者開熱點給多人使用所致。同時用戶視頻平均速率偏低，11號14點視頻平均速率僅為652kbps,低于南通視頻平均值。這兩點導致用戶在11號一天產(chǎn)生了16397次視頻質(zhì)差次數(shù)，拉低了海門乃至整個南通地區(qū)的指標。用戶行為異常可能是由于用戶主觀行為導致，需要跟用戶進行進一步溝通確認。先針對用戶視頻速率低現(xiàn)象進行信令追蹤，查明問題原因。4.2.5跟蹤用戶信令通過對用戶的原始數(shù)據(jù)分析，跟蹤用戶15日業(yè)務信令，如下列圖所示：圖4-7信令跟蹤圖4-8信令跟蹤從跟蹤的信令中得知當前用戶簽約速率為1Mbps，LTE使用存在限速，查詢用戶套餐，該用戶辦理了〞無限流量〞套餐，且當月4G使用流量超過40G?！盁o限流量〞套餐在用戶流量使用超過40G后會將用戶的上下行速率會限制為1Mbps。用戶視頻業(yè)務平均速率偏低是由于流量使用超過套餐門限限速導致。4.2.6用戶異常行為確認和用戶溝通，讓用戶了解到“無限流量〞套餐使用限制，在流量超過40GB/100GB后，上網(wǎng)速率被限制1Mbps/128Kbps，同時就視頻請求次數(shù)過多向客戶進行咨詢，客戶反應其視頻使用行為正常，沒有明確的回復這個問題，需要對用戶行為進行跟蹤，進一步確認問題原因。4.3、解決措施與用戶解釋溝通，引導用戶業(yè)務行為，LTE速率偏低是由于流量使用超過門限受到限速所致，用戶對我們的處理結果表示滿意，以下是該用戶在9月11號以后的感知指標統(tǒng)計表,比照9月11日,可以看出在跟用戶溝通后，視頻下載總數(shù)在11號以后回落，根本可以認定11號用戶視頻下載總數(shù)過高是由于用戶主觀行為導致，視頻優(yōu)良率也恢復正常，問題根本得到解決。圖4-9用戶指標跟蹤4.4、經(jīng)驗總結電信“無限流量〞套餐開通后，高流量用戶持續(xù)增長，由這些高流量用戶的使用行為異?！伯敓狳c使用或其它〕導致的感知問題不斷出現(xiàn)。如本案例所示，一個“無限流量〞用戶的異常竟能夠影響到南通整體的DPI感知，相信隨著“無限流量〞套餐用戶的增長，此類問題會不斷涌現(xiàn)，對現(xiàn)網(wǎng)感知造成越來越重大的影響，隨之引起的相關投訴也會增多。目前在感知分析平臺-橫向支撐-政企客戶群感知分析模塊中已對“無限流量〞套餐用戶進行整體監(jiān)控，但缺乏對單個用戶的指標監(jiān)控。如下列圖所示：圖4-10橫向支撐功能 建議在政企客戶群感知分析模塊中添加top用戶指標監(jiān)控，方便對異常用戶進行指標監(jiān)控和及時處理。南通這邊已對此類問題制定了初步的應對措施，通過在用戶感知平臺上采用SQL查詢對這些用戶進行感知追蹤，監(jiān)控異常用戶，在用戶對現(xiàn)網(wǎng)造成重大影響之前及時處理，防止由此引起的投訴和全網(wǎng)指標惡化，進而提升客服投訴處理效率和質(zhì)差小區(qū)派單準確性，增強南通整體感知。五、效益評估及成果價值5.1降本增效南通普及利用感知平臺分析，有效利用自定義報表系統(tǒng)，按分析人員需求，輸出不同場景、不同業(yè)務類型DPI指標，及時高效定位問題，有效降低人員分析本錢及現(xiàn)場采集數(shù)據(jù)測試本錢。圖5-1本錢分析比照南通電信無線中心網(wǎng)優(yōu)組自有人員9個，日常工作包括現(xiàn)場DT/CQT測試，KPI、DPI指標分析等，工作量大，人員少，通過感知平臺應用分析可以將現(xiàn)場測試，網(wǎng)絡指標分析等工作量降低35%，用于從事NB-IOT、VOLTE新網(wǎng)絡、新課題研究優(yōu)化工作。5.2提升優(yōu)化效率〔1〕問題發(fā)現(xiàn)更快捷、全面感知分析平臺數(shù)據(jù)采集于用戶，其優(yōu)勢在于數(shù)據(jù)面廣，且能夠記錄儲存用戶業(yè)務行為，感知分析平臺自定義報表功能模塊能夠自動輸出相關DPI指標趨勢，及時發(fā)現(xiàn)現(xiàn)網(wǎng)網(wǎng)絡短?！?〕問題定位更精確利用感知平臺其相關功能，可以更快捷定位出類似于特殊終端、用戶業(yè)務行為異常，單用戶等造成指標劣化等問題。六、成果推廣現(xiàn)狀及應用6.1推廣現(xiàn)狀目前利用移動網(wǎng)端到端感知分析監(jiān)測系統(tǒng)及用戶感知分析系統(tǒng)分析DPI感知質(zhì)差問題，能夠有效支撐客服及發(fā)現(xiàn)網(wǎng)絡短板，指導網(wǎng)絡優(yōu)化建設，后期在此系統(tǒng)平臺功能根底上擴展業(yè)務面分析，汲取更多APP數(shù)據(jù)源，大數(shù)據(jù)與感知優(yōu)化相結合，進一步提高優(yōu)化效率，降低優(yōu)化本錢。6.2平臺應用〔1〕移動網(wǎng)端到端感知分析監(jiān)測系統(tǒng)模塊嵌入“應用〞→“感知分析系統(tǒng)〞→“問題診斷〞→“APP問題定界4.0〞/“用戶定界定段〞/“業(yè)務問題定界3.1〞/“小區(qū)定界定段4.0〞圖6-1移動網(wǎng)端到端感知分析監(jiān)測系統(tǒng)功能〔2〕中國電信江蘇分公司用戶感知分析系統(tǒng)系統(tǒng)平臺模塊主要包括感知評估、問題定界、重點場景專題、橫向支撐、VOLTE五大類，其中“橫向支撐〞模塊中“二級客服〞支撐能夠精準定位用戶業(yè)務行為，對DPI感知分析具有重大意義。