《移動網(wǎng)絡(luò)評價準(zhǔn)則》

ICS03.120.10

A00

中國質(zhì)量協(xié)會團(tuán)體標(biāo)準(zhǔn)

T/CAQXXXXX—XXXX

移動網(wǎng)絡(luò)質(zhì)量評價準(zhǔn)則

Criteriaformobilenetworkqualityevaluation

XXXX-XX-XX發(fā)布XXXX-XX-XX實施

中國質(zhì)量協(xié)會發(fā)布

移動網(wǎng)絡(luò)質(zhì)量評價準(zhǔn)則

1范圍

本標(biāo)準(zhǔn)提出了基于用戶體驗的移動網(wǎng)絡(luò)質(zhì)量評價方法。

本標(biāo)準(zhǔn)適用于通信行業(yè)測評客戶滿意度。適用于運營商建立一個面向體驗、標(biāo)準(zhǔn)一致的2G/3G/4G

移動網(wǎng)絡(luò)體驗評價指數(shù)體系。

本標(biāo)準(zhǔn)附錄A為移動網(wǎng)絡(luò)質(zhì)量評價理論模型、本標(biāo)準(zhǔn)附錄B為評價指標(biāo)的選擇方法、本標(biāo)準(zhǔn)附錄C為

評價指標(biāo)的門限設(shè)置方法、本標(biāo)準(zhǔn)附錄D為評價指標(biāo)的權(quán)重設(shè)置方法。

2規(guī)范性引用文件

下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅所注日期的版本適用于本文

件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

GB/T19000質(zhì)量管理體系基礎(chǔ)和術(shù)語

GB/T19001質(zhì)量管理體系要求

GB/T10303基于顧客感知的品牌評價指南

3術(shù)語和定義

GB/T19000界定的以及下列術(shù)語和定義適用于本文件。

3.1

網(wǎng)絡(luò)體驗指數(shù)(NetworkExperienceIndex,NEI)

通過重要性分析、相關(guān)性過濾和專家經(jīng)驗層層篩選，最終確定能夠反映用戶網(wǎng)絡(luò)體驗的關(guān)鍵指標(biāo)。

3.2

VOLTE(VoiceoverLong-TermEvolution)

長期演進(jìn)語音承載,是一個面向手機和數(shù)據(jù)終端的高速無線通信標(biāo)準(zhǔn),提供高清的音頻和視頻通話。

4評價要求

4.1評價理論模型

移動網(wǎng)絡(luò)領(lǐng)域網(wǎng)絡(luò)體驗評估存在指標(biāo)多、各網(wǎng)絡(luò)體系不統(tǒng)一等問題，參照本標(biāo)準(zhǔn)附錄A，通過系統(tǒng)

化的指數(shù)構(gòu)建方法，輸出借鑒典型抽樣（關(guān)鍵業(yè)務(wù)、關(guān)鍵指標(biāo)）和加權(quán)平均，實現(xiàn)網(wǎng)絡(luò)體驗評價的數(shù)字

化評呈現(xiàn)。

4.2評價指標(biāo)選擇流程

1

圖1評價指標(biāo)選擇流程圖

4.2.1確定體驗指標(biāo)全集

應(yīng)基于移動網(wǎng)絡(luò)業(yè)務(wù)體驗全過程，通過用戶感知關(guān)聯(lián)，進(jìn)行評價指標(biāo)初選，確定體驗指標(biāo)全集。

4.2.2指標(biāo)重要性分析

指標(biāo)的重要性體現(xiàn)為該指標(biāo)的變化對網(wǎng)絡(luò)整體的影響，通過系統(tǒng)地構(gòu)建指標(biāo)之間的網(wǎng)絡(luò)關(guān)系，可以

篩選出重要的指標(biāo)節(jié)點。參照本標(biāo)準(zhǔn)附錄B，通過加權(quán)基因共表達(dá)網(wǎng)絡(luò)分析法（WGCNA），確定移動網(wǎng)絡(luò)

業(yè)務(wù)體驗全過程中對網(wǎng)絡(luò)整體產(chǎn)生影響的重要性指標(biāo)，同時剔除非重要性指標(biāo)。

4.2.3評價指標(biāo)篩選

參照本標(biāo)準(zhǔn)附錄B，通過皮爾遜相關(guān)性分析法對上面得到的重要性指標(biāo)進(jìn)行過濾，剔除相關(guān)性大（變

化趨勢相同）的指標(biāo)，實現(xiàn)指數(shù)聚焦關(guān)鍵體驗和主要矛盾。

4.2.4網(wǎng)絡(luò)體驗指數(shù)

參照本標(biāo)準(zhǔn)附錄B，通過專家經(jīng)驗審視，最終確定能夠反映用戶網(wǎng)絡(luò)體驗的關(guān)鍵指標(biāo)。

4.3評價指標(biāo)要求

4.3.1語音體驗

全程呼叫成功率

用戶無論主被叫，在建立語音通話時，應(yīng)滿足：

——排除用戶早釋原因，VoLTE網(wǎng)絡(luò)呼叫請求成功、穩(wěn)定接通；

——VoLTE網(wǎng)絡(luò)呼叫全程處于連續(xù)、暢通狀態(tài)。

呼叫建立時長

該指標(biāo)用于評估主被叫均處于VoLTE的場景下，用戶對于語音通話建立的速度快慢感知，應(yīng)滿足：

——移動網(wǎng)絡(luò)成功收到主叫用戶起呼請求；

——移動網(wǎng)絡(luò)對主叫用戶起呼請求進(jìn)行快速響應(yīng)。

2

4.3.2網(wǎng)頁體驗

網(wǎng)頁瀏覽成功率

用戶進(jìn)行網(wǎng)頁瀏覽時，應(yīng)滿足：

——合成頁面的請求得到成功響應(yīng)；

——成功完成數(shù)據(jù)傳輸并打開頁面。

網(wǎng)頁打開時長

該指標(biāo)用于評估用戶對于頁面打開的速度快慢感知，應(yīng)滿足：

——移動網(wǎng)絡(luò)快速響應(yīng)用戶的合成頁面請求；

——移動網(wǎng)絡(luò)快速完成數(shù)據(jù)傳輸并打開頁面。

4.3.3視頻體驗

視頻播放成功率

用戶進(jìn)行視頻播放時，應(yīng)滿足：

——移動網(wǎng)絡(luò)成功響應(yīng)視頻播放請求；

——移動網(wǎng)絡(luò)成功完成數(shù)據(jù)傳輸并開始視頻播放。

視頻播放等待時長

該指標(biāo)應(yīng)用于評估用戶對于視頻播放的速度快慢感知，應(yīng)滿足：

——移動網(wǎng)絡(luò)快速響應(yīng)視頻播放請求；

——移動網(wǎng)絡(luò)快速完成數(shù)據(jù)傳輸并開始視頻播放。

視頻卡頓時長占比

該指標(biāo)應(yīng)用于用戶對于視頻播放流暢性的評估，應(yīng)滿足：

——從視頻開始播放至播放結(jié)束的整個過程均連續(xù)、流暢；

——在視頻播放過程中不出現(xiàn)或盡可能少地出現(xiàn)卡頓現(xiàn)象。

4.3.4基礎(chǔ)能力

綜合覆蓋率

該指標(biāo)應(yīng)用于基站的網(wǎng)絡(luò)信號覆蓋能力的評估，采樣點的參考信號接收功率值應(yīng)位于-110dbm及以

上。

注：dbm（decibelrelativetoonemilliwatt），分貝毫瓦，指代功率的絕對值。

下載速率(Mbps)

該指標(biāo)應(yīng)用于評估用戶數(shù)據(jù)下載速率的快慢感知，應(yīng)滿足規(guī)定的時間內(nèi)完成特定數(shù)據(jù)量的下載。

3

上傳速率(Mbps)

該指標(biāo)應(yīng)用于評估用戶上傳數(shù)據(jù)速率的快慢感知，應(yīng)滿足規(guī)定的時間內(nèi)完成特定數(shù)據(jù)量的上傳。

5結(jié)果評價

5.1維度

移動網(wǎng)絡(luò)質(zhì)量評價從語音質(zhì)量體驗（4.2）、網(wǎng)頁瀏覽體驗（4.3）、視頻業(yè)務(wù)體驗（4.4）、網(wǎng)絡(luò)

基礎(chǔ)能力（4.5）4個維度綜合考量一張移動通信網(wǎng)絡(luò)的用戶體驗感知。其中話音質(zhì)量體驗由全程呼叫成

功率、呼叫建立時長2個指標(biāo)體現(xiàn)；網(wǎng)頁瀏覽體驗由網(wǎng)頁瀏覽成功率、網(wǎng)頁打開時長2個指標(biāo)體現(xiàn)；視頻

業(yè)務(wù)體驗由視頻播放成功率、視頻播放等待時長、視頻卡頓時長占比3個指標(biāo)體現(xiàn)。網(wǎng)絡(luò)基礎(chǔ)能力由綜

合覆蓋率、下載速率、上傳速率3個指標(biāo)體現(xiàn)。

5.2評價指標(biāo)評分設(shè)置

5.2.1評價指標(biāo)門限設(shè)置

移動網(wǎng)絡(luò)質(zhì)量采用NEI數(shù)值作為結(jié)果評價。

NEI的每個指標(biāo)具有基準(zhǔn)值和挑戰(zhàn)值2個門限，參照本標(biāo)準(zhǔn)附錄C，基于指標(biāo)類別進(jìn)行設(shè)置。針對感

知類指標(biāo)（如呼叫建立時延、下載速率等）,采用人因工程方法設(shè)定門限；針對統(tǒng)計類指標(biāo)（如全程呼

叫成功率、視頻播放成功率等）,采用在險價值分析法設(shè)定門限。

5.2.2評價指標(biāo)權(quán)重設(shè)置

參照本標(biāo)準(zhǔn)附錄D，評價指標(biāo)權(quán)重設(shè)置原則主要考慮業(yè)務(wù)貢獻(xiàn)、感知影響和專家調(diào)查三部分因素。

表1移動網(wǎng)絡(luò)體驗指數(shù)（NEI）

基挑

指標(biāo)數(shù)據(jù)指標(biāo)

維度NEI指標(biāo)指標(biāo)定義準(zhǔn)戰(zhàn)

類別來源權(quán)重

值值

VoLTE網(wǎng)絡(luò)接通率（語音）=（VoLTE語音始呼接通次數(shù)

+VoLTE語音終呼接通次數(shù)）/（VoLTE語音始呼總次數(shù)

+VoLTE語音終呼總次數(shù)-VoLTE語音始呼中部分響應(yīng)消

全程呼叫成統(tǒng)計DPI信

息及487內(nèi)的用戶早釋次數(shù)-VoLTE語音終呼中部分響應(yīng)97%99%20%

語音體驗功率類令

消息及487內(nèi)的用戶早釋次數(shù)）

（35%）

VoLTE網(wǎng)絡(luò)原因掉話率（語音）=VoLTE語音掉話次數(shù)/

（VoLTE語音始呼應(yīng)答次數(shù)+VoLTE語音終呼應(yīng)答次數(shù)）

呼叫建立時在“VoLTE始呼接續(xù)時長”定義的基礎(chǔ)上，單獨統(tǒng)計V-V感知DPI信

7315%

長（s）場景類令

網(wǎng)頁瀏覽成合成頁面中，90%請求得到成功響應(yīng)并完成數(shù)據(jù)傳輸?shù)谋冉y(tǒng)計DPI信

97%99%10%

功率例。合成頁面成功顯示的次數(shù)/合成頁面?zhèn)€數(shù)。類令

網(wǎng)頁體驗

合成頁面中，90%請求完成數(shù)據(jù)傳輸?shù)臅r間。合成頁面中

（18%）網(wǎng)頁打開時感知DPI信

最晚結(jié)束get的結(jié)束時間-合成頁面中首get的開始時528%

長（s）類令

間）/合成頁面?zhèn)€數(shù)。

視頻體驗視頻播放成統(tǒng)計時間段內(nèi)視頻播放成功比例。[GET響應(yīng)成功統(tǒng)計DPI信

94%99%7%

（17%）功率率]*[（傳輸足夠初緩時間播放數(shù)據(jù)的次數(shù)/合成視頻總類令

4

個數(shù)）]

評估視頻從點擊到開始播放的等待時長。從點擊視頻鏈

視頻播放等感知DPI信

接到視頻開始播放的時間。若視頻前播放廣告，則廣告526%

待時長（s）類令

時間不算在內(nèi)。

計算從視頻開始播放到播放結(jié)束之間發(fā)生總卡頓時長占

視頻卡頓時比。若視頻前播放廣告，則廣告卡頓不算在內(nèi)；若客戶統(tǒng)計DPI信0.5

2%4%

長占比進(jìn)行暫停操作造成視頻未連續(xù)播放，則不算在內(nèi)；客戶類令%

每次進(jìn)行拖動操作造成的首次卡頓不算在內(nèi)

統(tǒng)計

綜合覆蓋率所有小區(qū)RSRP≥-110dbm的采樣點總數(shù)/采樣點總數(shù)MR85%95%8%

類

HTTP話單的總下載數(shù)據(jù)量除以總下載傳輸時長（500KB

基礎(chǔ)能力下載速率感知DPI信

以上會話大小，下載時延取HTTP話單最后一個內(nèi)容包時208012%

（30%）(Mbps)類令

延）

上傳速率HTTP話單的總上行數(shù)據(jù)量除以總傳輸時長（傳輸時長取感知DPI信

52010%

(Mbps)HTTP話單最后一個內(nèi)容包時延）類令

5.3評分規(guī)則

NEI中各個指標(biāo)的數(shù)值如優(yōu)于挑戰(zhàn)值得100分，如劣于基準(zhǔn)值得0分，如介于二者之間則基于感知類

指標(biāo)和統(tǒng)計類指標(biāo)涉及不同的評分規(guī)則。其中速率、時延等感知類指標(biāo)對感知的影響度為非線性關(guān)系，

采用CRRA非線性函數(shù)；成功率、卡頓率等統(tǒng)計類指標(biāo)對感知影響度為線性關(guān)系，采用線性打分。

表2NEI指標(biāo)評分規(guī)則

各項指標(biāo)評分規(guī)則

維度NEI指標(biāo)指標(biāo)類別

低于基準(zhǔn)值基準(zhǔn)值和挑戰(zhàn)值之間高于挑戰(zhàn)值

語音體驗全程呼叫成功率（20%）統(tǒng)計類0分分線性得分100分

（35%）呼叫建立時長（s）（15%）感知類0分CRRA非線性函數(shù)打分100分

網(wǎng)頁體驗網(wǎng)頁瀏覽成功率（10%）統(tǒng)計類0分線性得分100分

（18%）網(wǎng)頁打開時長（s）（8%）感知類0分CRRA非線性函數(shù)打分100分

視頻播放成功率（7%）統(tǒng)計類0分線性得分100分

視頻體驗

視頻播放等待時長（s）（6%）感知類0分CRRA非線性函數(shù)打分100分

（17%）

視頻卡頓時長占比（20%）統(tǒng)計類0分線性得分100分

綜合覆蓋率（20%）統(tǒng)計類0分線性得分100分

基礎(chǔ)能力

下載速率(Mbps)（20%）感知類0分CRRA非線性函數(shù)打分100分

（30%）

上傳速率(Mbps)（20%）感知類0分CRRA非線性函數(shù)打分100分

CPPA非線性函數(shù)打分:

（1）時延類指標(biāo)（負(fù)向指標(biāo)，指標(biāo)值越小越好）

其中，cmax為評分上限即基準(zhǔn)值，cmin為評分下限即挑戰(zhàn)值，c為指標(biāo)數(shù)值。

（2）速率類指標(biāo)（正向指標(biāo)，指標(biāo)值越大越好）

5

1080P視頻對應(yīng)的上/下行速率感知函數(shù)：

720P視頻對應(yīng)的上/下行速率感知函數(shù)：

其中，cmax為評分上限即挑戰(zhàn)值，cmin為評分下限即基準(zhǔn)值，c為指標(biāo)數(shù)值。

線性打分:

綜上，10個指標(biāo)根據(jù)實際數(shù)值、門限，照此評分規(guī)則以及指標(biāo)所占權(quán)重即可得到一張網(wǎng)絡(luò)的NEI總

得分。計算方法見下式：

NEI總得分=Σ指標(biāo)得分值*指標(biāo)權(quán)重………………(1)

5.4評價級別

移動網(wǎng)絡(luò)質(zhì)量評價共分為4個級別，各級描述如下：

表3移動網(wǎng)絡(luò)質(zhì)量評價級別

級別級別I(優(yōu)秀)級別II（良好）級別III（中等）級別IV（較差）

描述90≤NEI總得分≤10075≤NEI總得分＜9060≤NEI總得分＜75NEI總得分＜60

6

AA

附錄A

（資料性附錄）

理論模型參考

復(fù)雜系統(tǒng)綜合評價模型是系統(tǒng)化的指數(shù)構(gòu)建方法，具體模型如下：

圖A.1復(fù)雜系統(tǒng)綜合評價模型

步驟1：總體目標(biāo)確定，確定指數(shù)需要反映的問題和現(xiàn)象；

步驟2：評價指標(biāo)選取，選擇需要進(jìn)行評價的指標(biāo)、評價對象（類似業(yè)務(wù)）、指標(biāo)集（類似評價業(yè)

務(wù)的指標(biāo)）；

步驟3：評價指標(biāo)量化，各個指標(biāo)的單位是不一致的，需要去量綱化，指數(shù)去量綱化的過程就是打

分的過程；

步驟4：權(quán)重設(shè)置，指數(shù)是針對單一指標(biāo)的綜合計算結(jié)果，針對每個指標(biāo)，需要基于其重要性進(jìn)行

權(quán)重設(shè)置，最后計算綜合得分；

步驟5：綜合評價設(shè)計，基于單指標(biāo)得分和指標(biāo)權(quán)重進(jìn)行綜合計算（一般為直接加權(quán)）；

步驟6：閉環(huán)驗證，即驗證指數(shù)與要反映的社會現(xiàn)象的匹配度情況。

7

附錄B

（資料性附錄）

評價指標(biāo)的選擇方法

步驟1：應(yīng)基于移動網(wǎng)絡(luò)業(yè)務(wù)體驗全過程，通過用戶感知關(guān)聯(lián)，進(jìn)行評價指標(biāo)初選，確定體驗指標(biāo)

全集。

步驟2：加權(quán)基因共表達(dá)網(wǎng)絡(luò)分析法(WeightedGeneCo-expressionNetworkAnalysis，WGCNA)，

用于描述不同樣品之間基因關(guān)聯(lián)模式的系統(tǒng)生物學(xué)方法，可以用來鑒定高度協(xié)同變化的基因集,并根據(jù)

基因集的內(nèi)連性和基因集與表型之間的關(guān)聯(lián)鑒定候補生物標(biāo)記基因或治療靶點。

通過WGCNA方法計算指標(biāo)的重要性（連接度表征重要性）進(jìn)行指標(biāo)選擇。指標(biāo)的重要性體現(xiàn)為該指

標(biāo)的變化對網(wǎng)絡(luò)整體的影響，等于該指標(biāo)與網(wǎng)絡(luò)中其它每個指標(biāo)的全面相似性的總和，計算公式如下：

n

i=i,j

j=1

其中ω_ij表征指標(biāo)i與j的全面相似性，公式如下:

liAilAjl+Aij

ifij

TopOverlapij=wij=minliAil?Aij,ljAjl?Aij+1

1ifi=j

其中，A_ij表示指標(biāo)i和j之間的相關(guān)性，A_il表示指標(biāo)i和l之間的相關(guān)性，A_jl表示指標(biāo)j和l之間

的相關(guān)性，l為網(wǎng)絡(luò)中任一其它指標(biāo)。

通過公式可以看出全面相似性不僅考慮兩個指標(biāo)之間的相關(guān)性，還從網(wǎng)絡(luò)的角度分析這兩個指標(biāo)是

否有共同相關(guān)性較高的其它指標(biāo)。

步驟3：通過計算兩兩指標(biāo)的相關(guān)性，剔除相關(guān)性大的指標(biāo)

相關(guān)性是反應(yīng)兩個指標(biāo)變化趨勢的一致性程度，建模中使用的是皮爾遜相關(guān)系數(shù)。如下是相關(guān)系數(shù)

的計算公式:

Cov(X,Y)

r(X,Y)=

VarXVarY

步驟4：專家評價法，人工二次確定最終指標(biāo)集。

8

BB

附錄C

（資料性附錄）

評價指標(biāo)的門限設(shè)置方法

針對感知類指標(biāo)(MOS、時延、視頻卡頓等)，采用人因工程方法研究人體感知極限能力與業(yè)務(wù)體驗

指標(biāo)之間的關(guān)系（例如用戶瞳孔變化），確定指標(biāo)的上下限。

人因工程方法說明：研究利用人的感知極限能力與人的眼球瞳孔直徑之間的緊密關(guān)系，通過視線追

蹤儀測量用戶瞳孔尺寸的變化，獲得用戶的感知心理，反應(yīng)極限（如零覺察、零等待）。

圖B.1人因工程法

針對統(tǒng)計類指標(biāo)(完成率、中斷率等)，采用在險價值分析法（VaR），在險價值分析就是分析對象

在一定概率下（風(fēng)險承受因子ω=5%）出現(xiàn)極大值的下限和極小值的上限，對應(yīng)門限可作為該對象上下

門限設(shè)置的參考。

圖B.2在險價值分析法（VaR）

VaR是基于極值分布函數(shù)以及其與分布函數(shù)的關(guān)系，得到指標(biāo)的分布函數(shù)，基于分布函數(shù)和輸入的

風(fēng)險承受因子得到對應(yīng)的指標(biāo)上下限。其中極值分布函數(shù)公式如下：

?

x?u

1?,x+

G（x,u,,)=0

0,x+

9