VOLTE自動測試系統(tǒng)的研發(fā)及異常事件智能(網(wǎng)絡部)探素課件

1、VoLTE智能自動測試分析系統(tǒng)中國移動集團 網(wǎng)絡部 設計院2015年11月第1頁，共19頁。目錄一、研發(fā)背景二、主要成果三、核心創(chuàng)新點四、實際應用情況4新、4無、4有一套系統(tǒng)、一個體系、一組結(jié)果數(shù)據(jù)甄別算法關聯(lián)定位算法bit位圖快速比對算法海量數(shù)據(jù)全流程一點集中處理定向多點分發(fā)VoLTE質(zhì)量評估體系第2頁，共19頁。一、研發(fā)背景4無4新4有新協(xié)議：引入基于互聯(lián)網(wǎng)的通信控制協(xié)議（ SIP/SDP會話協(xié)議、RTP/RTCP傳輸協(xié)議、Diameter認證系統(tǒng)協(xié)議等 ）新終端：增加VoLTE語音/視頻撥打功能、自適應AMR-WB語音編碼、H.264/H.263視頻編碼、SIP/RTP協(xié)議。新網(wǎng)絡：巨量

2、網(wǎng)絡改造、新舊網(wǎng)絡交插、網(wǎng)元、接口數(shù)量激增（改造涉及十大領域，覆蓋現(xiàn)網(wǎng)90%的網(wǎng)元，數(shù)量接近100萬，各類接口38個）、呼叫流程長，2G/4G配合、CS、PS、IMS多域互操作新感受：低時延、高清語音、高清視頻通話無測試設備：2014年，無測試手機、無芯片模塊、無測試軟件無信令監(jiān)測：2014年，未建成VoLTE信令監(jiān)測系統(tǒng)，且信令無法提供競對數(shù)據(jù)和語音/視頻質(zhì)量等數(shù)據(jù)無數(shù)據(jù)支撐：2014年，缺少可以反映VoLTE網(wǎng)絡質(zhì)量的各項數(shù)據(jù)統(tǒng)計結(jié)果無分析方法：2014年，無現(xiàn)網(wǎng)數(shù)據(jù)可供分析，未形成有效分析方法有需求：急需隨時掌握了解移動/聯(lián)通/電信網(wǎng)絡/業(yè)務質(zhì)量（語音/視頻質(zhì)量），擁有快速發(fā)現(xiàn)、定位問題

3、的能力，能夠有數(shù)據(jù)、有方法督促省公司/廠家解決問題/優(yōu)化網(wǎng)絡、設備，提升端到端客戶感知，推動商用部署有基礎：2/3/4G網(wǎng)絡質(zhì)量管理體系較為完善，多網(wǎng)競對、分層測試方法、測試系統(tǒng)，數(shù)據(jù)分析方案較為健全有能力：網(wǎng)絡部/設計院分析經(jīng)驗豐富，學習能力強；自動測試系統(tǒng)可擴展能力強有支撐：設計院/網(wǎng)絡部聯(lián)合創(chuàng)新、快速迭代能力強，新需求能夠快捷落地第3頁，共19頁。 全網(wǎng)一套測試系統(tǒng)，各省分布測試，測試設備集中調(diào)度，測試數(shù)據(jù)集中甄別分析處理，測試問題定向反饋，閉環(huán)管理。二、主要成果 一套系統(tǒng)后臺系統(tǒng)集中部署南方基地測試前端分布全國測試狀態(tài)實時監(jiān)控CMNET集中處理定向反饋設備調(diào)試設備驗證異常復測測試任務分

4、級管理前端設備多種多樣PC+測試手機+MOS盒ATU+測試手機ATU測試場景各式各樣集團公開巡檢集團摸底測試集團委托測試省公司巡檢日常優(yōu)化測試道路校園風景區(qū)高鐵地鐵鐵路酒店商場交通樞紐居民樓測試結(jié)果分發(fā)全網(wǎng)第4頁，共19頁。關于印發(fā)VoLTE業(yè)務網(wǎng)絡測試規(guī)范的通知(網(wǎng)通 2015 189 號)二、主要成果 一個體系測試數(shù)據(jù)網(wǎng)格LOG級甄別單一事件級甄別快速反應 宏觀：整體指標分析 微觀：網(wǎng)格柵格事件異常判別RTP丟包率，RTP抖動時延，eSRVCC切換中斷時延覆蓋率，IMS注冊成功率，eSRVCC切換成功率VoLTE全程呼叫成功率，VoLTE呼叫建立時延，MOS均值VoLTE用戶網(wǎng)絡滿意度；萬

5、用戶投訴比QoEKQIKPIPI一本測試規(guī)范多種測試工具一組甄別方案多種分析方法一套評估標準多維短板對比VoLTE質(zhì)量評估分析管理體系ATUATU+終端筆記本MOS盒終端第5頁，共19頁。二、主要成果 一組結(jié)果宏觀層面：指標 4月測試 8月測試 GSM 接通率（%） 95.87%95.69%98.99%掉話率（%） 5.09%1.32%0.59%呼叫建立時延(s) 4.074.26 6.25MOS均值3.573.60 2.22.6 MOS 3.0以上占比 84.63%86.50%MOS 3.5以上占比 72.15%80.78%IMS注冊成功率（%） 93.00%97.60%eSRVCC成功率（

6、%） 93.00%86.32%eSRVCC切換時延 （用戶面）278260.07 4月： 無線網(wǎng)問題占39%，核心網(wǎng)與IMS網(wǎng)問題占24%，終端問題占14%，其他問題占比23%。 8月：核心網(wǎng)與IMS網(wǎng)問題占34%，終端問題占28%，無線網(wǎng)問題占23%，其他問題占比15%。微觀層面：每個城市的volte業(yè)務黑點分布，具體問題，發(fā)生時間，網(wǎng)絡環(huán)境，參數(shù)配置 有效支撐了系統(tǒng)聯(lián)調(diào)和網(wǎng)絡優(yōu)化。1、了解特點趨勢，堅定發(fā)展信心2、掌握原因變化，明確主攻方向 3、分城市分廠家，比對有效督促 VoLTE業(yè)務質(zhì)量已經(jīng)能夠體現(xiàn)出VoLTE的技術優(yōu)勢，話音質(zhì)量較高，接續(xù)速度較快，但接通率、掉話率還劣于GSM和CSF

7、B。在各試點城市的持續(xù)優(yōu)化下，網(wǎng)絡質(zhì)量穩(wěn)步提升。城市諾西華為愛立信中興杭州97.19%長沙95.73%97.84%福州99.64%86.49%廣州93.59%92.47%匯總99.64%96.46%93.59%92.27%城市主要網(wǎng)絡問題次要網(wǎng)絡問題最次網(wǎng)絡問題杭州LTE核心網(wǎng)問題（25%）IMS網(wǎng)絡問題（16%）無線環(huán)境問題（3%）南京LTE核心網(wǎng)問題（61%）IMS網(wǎng)絡問題（9%）無線環(huán)境問題（2%）長沙LTE核心網(wǎng)或與接入網(wǎng)配合問題（23.3%）IMS網(wǎng)絡問題（23.3%）無線環(huán)境問題（16.4%）福州LTE核心網(wǎng)問題（44.0%）IMS網(wǎng)絡問題（26.4%）無線環(huán)境問題（0%）廣州LT

8、E核心網(wǎng)或與接入網(wǎng)配合問題（36.9%）IMS網(wǎng)絡問題（21.9%）無線環(huán)境問題（7.6%） 發(fā)現(xiàn)、定位并推動解決系統(tǒng)設備、協(xié)議配合、終端功能、網(wǎng)絡配置等全程全網(wǎng)共性、或個性重大問題108例。發(fā)現(xiàn)典型問題，組織重點突破 找到黑點分布，督促逐一解決第6頁，共19頁。三、核心創(chuàng)新點 數(shù)據(jù)甄別算法 準確及時，快速響應：自動檢查測試數(shù)據(jù)中的各類異常，排除由于設備異常、測試執(zhí)行異常等問題導致的數(shù)據(jù)準確性偏差，實現(xiàn)測試數(shù)據(jù)自動甄別，快速響應。測試異常呼叫級排查試呼空閑接通VoLTE狀態(tài)終端網(wǎng)絡INVITE REQUESTINVITE OKINVITE REQUEST起呼接通再起呼為VoLTE設置默認流程系

9、統(tǒng)判斷流程亂序時，自動快速甄別，輸出異常人工核定，有效剔除測試異常網(wǎng)格級、log級排查為VoLTE關鍵指標設置默認門限系統(tǒng)判斷某完整測試數(shù)據(jù)的指標超過該門限時，自動快速甄別，輸出異常人工核定，快速響應，對異常區(qū)域，即時安排復測測試執(zhí)行數(shù)據(jù)回傳指標超過門限自動排除快速響應主被叫LOG RSRP差異超過10%終端天線測量異常主被叫LOG RSRP差異超過10%終端天線測量異常連續(xù)大量未接通疑似欠費或終端故障語音MOS嚴重偏低終端故障超呼叫時長終端網(wǎng)絡INVITE REQUESTINVITE OKINVITE REQUEST起呼接通外電呼入滿3分鐘未能掛斷，30秒后再發(fā)起起呼設備過熱導致軟件觸發(fā)的掛

10、機AT指令無法生效接通狀態(tài)未滿3分鐘外電呼入導致再次進入試呼狀態(tài)未到呼叫時長第7頁，共19頁。三、核心創(chuàng)新點 關聯(lián)定位算法起呼INVITE REQUST不簡單局限于單一信令單一錯誤代碼，著眼VOLTE呼叫全流程，關聯(lián)端到端網(wǎng)元交互，精準定位問題 。 單一基于錯誤代碼判斷，片面不科學SIP消息消息描述問題定位invite 500內(nèi)部服務器錯誤IMS網(wǎng)絡網(wǎng)元服務異常invite 503臨時得不到服務Invite 580預進程處理失敗傳統(tǒng)分析軟件智能分析系統(tǒng)全面跟蹤信令流程網(wǎng)元交互，分析定位智能化IMS終端TRYING例如：簡單分析邏輯：IMS內(nèi)部回復臨時得不到服務，媒體流丟失，即IMS網(wǎng)絡網(wǎng)元故障

11、 Invite 503臨時得不到服務無線質(zhì)量全檢測SIP信令全跟蹤呼叫流程全監(jiān)控網(wǎng)元交互全識別EPC問題EPS承載激活或修改異常，如切換與承載碰撞，華為EPC不進行承載流程無線網(wǎng)問題弱覆蓋質(zhì)差等情況下無線鏈路失敗，重建專載未建立IMS問題流描述攜帶非IPV6，未攜帶帶寬參數(shù)，如中興SBC配合問題中興SBC與華為EPC計費標識理解差異第8頁，共19頁。三、核心創(chuàng)新點 bit位圖快速比對算法BIT位圖案例庫異常呼叫BIT圖直觀清晰、易于擴展經(jīng)驗固化、高效比對Bit位圖算法設計：各階段是否信號正常：置位“1”是，“0”否。包含電平RSRP、干擾SINR、BLER等。各階段SIP信令是否正常：置位“1

12、”是，“0”否。各SIP響應消息，如是否有SIP trying等、各階段流程是否正常：置位“1”是，“0”否。如EPS承載是否正常等針對網(wǎng)元特征識別：置位“1”是，“0”否。如中興異頻重定向、S1_MME PAGING觸發(fā)源等 以bit位圖形式描述VOLTE信令流程，按照人工分析邏輯構(gòu)建標準位圖案例庫（新增無需修改程序，擴展便利），利用計算機進行智能（人工經(jīng)驗程序化嵌入）、快速比對（計算機二進制比對），實現(xiàn)問題定位的高效輸出，結(jié)構(gòu)清晰擴展性強。智能輸出實現(xiàn)：人工分析經(jīng)驗異常呼叫信令第9頁，共19頁。三、核心創(chuàng)新點 海量一點處理 定向多點分發(fā)定向分發(fā)智能分析數(shù)據(jù)甄別數(shù)據(jù)分類數(shù)據(jù)采集測試自動執(zhí)行與

13、處理：自動測試：ATU、終端、PC自動回傳：測試數(shù)據(jù)自動回傳全流程自動化傳統(tǒng)人工數(shù)據(jù)按不同維度自動分類、存儲：場景維度：城市測試/鐵路測試/高速測試任務維度：集團秘測/省內(nèi)巡檢/日常優(yōu)化測試數(shù)據(jù)自動甄別，排除測試異常：整體排查：設置指標門限排查設備異常細節(jié)排查：監(jiān)控設備狀態(tài)排查流程異常網(wǎng)絡質(zhì)量智能分析：宏觀分析：統(tǒng)計指標橫向?qū)Ρ任⒂^分析：定位異常、關聯(lián)分析人工測試PC連接VoLTE終端測試數(shù)據(jù)本地處理不分類存儲數(shù)據(jù)存儲不分類多維度需人工合并人工清洗不清洗或人工清洗人工排查耗時耗力人工分析人工分析效率低下人員不同參差不齊 系統(tǒng)采用全網(wǎng)一點集中處理，將測試中的數(shù)據(jù)采集、分類、甄別、分析、分發(fā)等流程

14、有機串聯(lián)，效率高、易管理、標準統(tǒng)一。集中管理定向分發(fā)：集中管理：設備統(tǒng)一管理、數(shù)據(jù)集中處理定向分發(fā)：集團、省市任務定向分發(fā)分散管理設備、數(shù)據(jù)分散管理各級用戶不做區(qū)分第10頁，共19頁。三、核心創(chuàng)新點 VoLTE質(zhì)量評估體系 構(gòu)建基于客戶感知的端到端VoLTE質(zhì)量指標集111個，關聯(lián)VoLTE業(yè)務面，控制面，承載面。關于印發(fā)LTE/VOLTE信令采集指標等規(guī)范的通知（網(wǎng)通 2014 238 號）關于印發(fā)“LTE/VOLTE信令監(jiān)測及互聯(lián)網(wǎng)KQI指標相關規(guī)范”的通知（網(wǎng)通 2015 159 號）第11頁，共19頁。三、核心創(chuàng)新點 VoLTE質(zhì)量評估體系 分級VOLTE指標，從體驗類、接入類、保持類

15、、感知類多維度構(gòu)建volte質(zhì)量評估體系，開展基于用戶感知的VOLTE質(zhì)量評估，促進VOLTE網(wǎng)絡質(zhì)量持續(xù)提升，全面支撐VOLTE商用。VoLTE質(zhì)量指標分級接通率呼叫建立時延MOS均值eSRVCC切換成功率掉話率IMS注冊成功率重要評估指標日常分析指標接入類無線接通率率VoLTE語音專用承載建立成功率VoLTE視頻專用承載建立成功率保持類LTE通話時長占比eSRVCC切換占比無線掉線率完整類RTP丟包率RTP端到端時延RTP抖動感知類掛機時延IMS注冊時延eSRVCC切換時延MOS3.5以上占比問題分析指標平均RSRP平均SINRVoLTE用戶平均占用RB數(shù)終端問題占比無線問題占比IMS問題

16、占比EPC問題占比VoLTE質(zhì)量評估體系體驗類接入類保持類感知類指標項分值門限VOLTE業(yè)務質(zhì)量滿意度5待定VOLTE業(yè)務萬用戶投訴比5待定指標項分值門限IMS網(wǎng)絡注冊成功率595%無線接通率595%VoLTE視頻專用承載建立成功率595%VoLTE語音專用承載建立成功率595%指標項分值門限LTE通話時長占比1080%無線掉線率52%指標項分值門限VoLTE始呼接續(xù)時長55sVOLTE語音接通率1595%VoLTE掉話率151%VoLTE呼叫建立時延74s平均MOS83.5MOS3.5以上占比580%第12頁，共19頁。四、實際應用情況系統(tǒng)全網(wǎng)廣泛應用：集團層面：2015年完成VOLTE3次

17、拉網(wǎng)評估，1次正在進行。累計測試1萬余公里，累計呼叫1.4萬次。省公司層面：北京、天津、陜西等11個省公司使用本測試系統(tǒng)，累計測試1.3萬公里，累計呼叫2.5萬次。準確輸出多項指標：第一批試點城市VoLTE質(zhì)量在各省持續(xù)優(yōu)化下穩(wěn)步提升，后續(xù)試點城市VoLTE質(zhì)量特點明顯指標 VoLTE試驗網(wǎng)城市非VoLTE試驗網(wǎng)城市福州杭州南京長沙蘇州濟南上海無錫接通率 98.5%91.0%96.2%97.4%98.9%97.3%93.4%99.5%掉話率2.98%1.95%0.88%0.15%0.65%0.47%2.32%0.47%呼叫建立時延5.74.2 4.912.91 4.64.343.894.72M

18、OS 3.0以上占比 86.41%82.42%85.5995.1% 92.25%66.02%88.00%76.41%經(jīng)濟效益平均每城市測試費用降低60%：全國單位城市輪次的測試費用（包括測試設備成本、人工出差補助、合同利潤等）平均花費在5萬元左右。使用自動測試系統(tǒng)后，無須配備現(xiàn)場工程師，僅需遠程配備一名后臺人員，每個城市輪次的平均花費預計在2萬左右。每年總產(chǎn)值超過8000萬。質(zhì)量評估、數(shù)據(jù)分析效率提升約34倍：自動化智能化網(wǎng)絡質(zhì)量評估、數(shù)據(jù)異常原因分析及定界可節(jié)約100人（每個省3人）的資源投入，節(jié)約人力資源投入超過2000萬元。第13頁，共19頁。四、實際應用情況典型問題發(fā)現(xiàn)解決：中興設備：

19、不合適的異頻重定向功能導致VOLTE掉話（廠家已有解決方案） 中興基站設備默認開啟異頻重定向，在異頻鄰區(qū)未配情況下以重定向方式進行異頻互操作。此種方式不影響LTE數(shù)據(jù)業(yè)務感知質(zhì)量，但會導致VOLTE專用承載接續(xù)失敗而掉話。需要中興對ENODEB設備進行升級解決。含中興ENODEB城市異頻重定向掉話次數(shù)原因長沙無3月已發(fā)現(xiàn)，升級已解決福州無3月已發(fā)現(xiàn)，升級已解決濟南8首次測試，尚未升級北京39首次測試，尚未升級卡特設備：enodeb不具備相應自適應功能造成掉話（廠家已有解決方案） PDCP數(shù)據(jù)包SN SIZE長度有12bit、7bit等多種格式，卡特設備僅支持自身的7bit模式，不支持其他模式，

20、跨廠家呼叫時會發(fā)生掉話。華為設備：機械執(zhí)行協(xié)議，強制釋放VOLTE通話（廠家正在制定解決方案） 3GPP協(xié)議規(guī)定終端應至少1小時進行1次周期性IMS注冊。華為在1小時以內(nèi)未收到注冊請求，強制把用戶正在進行的volte通話釋放，造成掉話。沒有照顧到用戶體驗，應在當前用戶通話完畢之后再進行相應操作。諾西設備：諾西BUG造成跨廠家volte掉話（廠家正在制定解決方案） 諾西SGW只支持CMNET APN與IMS APN承載于相同PGW的組網(wǎng)模式，如2者承載于不同PGW，則跨廠家呼叫時會發(fā)生掉話。諾西MME/SGW需要版本升級解決。 截至10月底，共發(fā)現(xiàn)問題1363例，已解決776例，主要涉及設備功能（29%），參數(shù)配置（21%），終端（19%），異廠家IOT（19%）。第14頁，共19頁。四、實際應用情況服務集團領導 劉愛力副總裁在杭州VOLTE商用工作推進會上講話引用。支持外部門工作計劃部VOLTE現(xiàn)網(wǎng)試點及網(wǎng)絡建設工作進展通報中多次引用。支撐本部門重點工作集團以及網(wǎng)絡部生產(chǎn)分析會材料多次展示支撐volte網(wǎng)絡質(zhì)量商用標準制定數(shù)據(jù)、指標、分析結(jié)果廣泛應用：KPI商用初期成熟期接通率（%）95%97%掉話率（%）2%1%呼叫建立時延(s)54MOS3.0以上占比80%85%IMS注冊成功