競品分析測試方案

1、文檔名稱文檔密級 TIME yyyy-M-d 2013-10-31華為保密信息,未經(jīng)授權禁止擴散第頁競品分析測試方案測試哪些競品？將RCS的業(yè)務進行劃分，各自選擇12款當前最流行的APP應用作為競爭產(chǎn)品進行分析，其中：視頻業(yè)務區(qū)分ios平臺和android平臺，分別選擇FaceTime和微信作為分析對象；消息類業(yè)務區(qū)分國內外的流行軟件，國內主要是微信，海外主要是whatsapp業(yè)務，分析過程中同時拿兩款app作為分析對象；呈現(xiàn)類業(yè)務，目前做的最好的軟件微信作為分析對象；綜合指標部分選擇和RCS業(yè)務最相似的微信和skype作為分析對象。對比項RCS微信SkypeWhatsappFaceTime音

2、頻業(yè)務視頻業(yè)務消息類業(yè)務登錄注銷呈現(xiàn)類業(yè)務性能指標測試哪些維度？測試維度功能完備性Qos主觀評價音頻業(yè)務靜音、外放、DTMF、音量控制方式、業(yè)務觸發(fā)入口、其它特色功能、編解碼、撥號盤、歷史記錄在不同網(wǎng)絡質量下的通話質量、最優(yōu)質量的網(wǎng)絡要求結合主觀概念進行綜合評價視頻業(yè)務靜音、外放、DTMF、音量控制方式、攝像頭切換、音視頻互換、窗口隱藏、業(yè)務觸發(fā)入口、編解碼、其它特色功能在不同網(wǎng)絡質量下的通話質量、最優(yōu)質量的網(wǎng)絡要求結合主觀概念進行綜合評價消息類業(yè)務回執(zhí)、輸入狀態(tài)、表情、共享內容、群聊、業(yè)務觸發(fā)入口在不同網(wǎng)絡質量下的業(yè)務成功率.時延等結合主觀概念進行綜合評價登錄注銷自動登陸、靜默登陸、網(wǎng)絡狀態(tài)

3、提示、其它特殊業(yè)務對網(wǎng)絡狀態(tài)的敏感程度、登陸耗時結合主觀概念進行綜合評價呈現(xiàn)類業(yè)務呈現(xiàn)信息的內容、內容大小，圖片質量各種呈現(xiàn)信息更新的成功率和時延結合主觀概念進行綜合評價性能指標業(yè)務場景下的流量、電量、內存、CPU、安裝包大小不涉及結合主觀概念進行綜合評價用例體驗評估RCS的用戶體驗以及對比分析競品之間的差異Qos測試基于網(wǎng)絡有一定網(wǎng)絡話務模型下進行競品測試。根據(jù)QoS&話務模型&性能規(guī)格（2013-7-22刷新）中的定義，典型網(wǎng)絡QoS模型如下：注：其中WIFI/寬帶接入為必選場景，3G接入/2G接入為可選場景。“丟包率、時延、抖動”等數(shù)值均指一側的數(shù)據(jù)，即指UE-SBC-IMS(AS)的數(shù)

4、據(jù)。需要注意的是，在測試部分場景時，需要在兩個UE側加擾，比如在測試音頻的“WIFI:較差”場景時，需要在UE1-SBC-IMS(AS)一側按照丟包：11.5%，時延：215ms，抖動：100ms加擾，同時需要在UE2-SBC一側也按照丟包：11.5%，時延：215ms，抖動：100ms加擾。測試哪些項？音頻業(yè)務功能完備性針對音頻呼叫的功能完備性，進行如下維度的功能完備性測試類型功能點測試點描述音頻呼叫業(yè)務發(fā)起入口來電鈴聲大小控制來電鈴聲的大小控制，在各種手機情景模式下的來電鈴聲接聽方式包括鎖屏狀態(tài)下的接聽、正常下的接通界面呈現(xiàn)信息在振鈴態(tài)通話態(tài)各自能夠呈現(xiàn)多少信息？靜音功能是否支持外放功能是

5、否支持DTMF信息查詢在通話態(tài)能夠并行操作多少業(yè)務轉CS呼叫編解碼支持哪些編解碼切換視頻呼叫補充業(yè)務與呼叫的沖突包括PS業(yè)務的沖突和CS呼叫的沖突通話記錄通話記錄查詢通話記錄刪除功能通話記錄詳情界面信息呈現(xiàn)撥號盤撥號盤搜索撥號盤刪除功能其它其它特色功能Qos質量在對比測試過程中，各個影響參數(shù)的設置如下：設置項RCSSkype組網(wǎng)RCS的主流組網(wǎng)（內置SVN）默認配置（安裝后默認配置）編解碼使用默認編解碼opus2198冗余支持（按照默認配置支持二級冗余）針對語音呼叫的Qos分析，需要測試的關鍵指標如下（包括統(tǒng)計方法）：關鍵指標RCSSkype接通率連續(xù)測試10次，計算接通率連續(xù)測試10次，計算

6、接通率接續(xù)時長從日志中獲取接續(xù)時長通過外部計時的方式實現(xiàn)（秒表）語音時延以DSLA的測試數(shù)據(jù)為準以DSLA的測試數(shù)據(jù)為準MOS以DSLA的測試數(shù)據(jù)為準以DSLA的測試數(shù)據(jù)為準視頻業(yè)務功能完備性針對視頻頻呼叫的功能完備性，進行如下維度的功能完備性測試類型功能點測試點描述視頻呼叫業(yè)務發(fā)起入口來電鈴聲大小控制來電鈴聲的大小控制，在各種手機情景模式下的來電鈴聲接聽方式包括鎖屏狀態(tài)下的接聽、正常下的接通界面呈現(xiàn)信息在振鈴態(tài)通話態(tài)各自能夠呈現(xiàn)多少信息？靜音功能是否支持外放功能是否支持DTMF攝像頭切換窗口切換窗口隱藏信息查詢在通話態(tài)能夠并行操作多少業(yè)務編解碼支持哪些編解碼切換音頻呼叫補充業(yè)務與呼叫的沖突包

7、括PS業(yè)務的沖突和CS呼叫的沖突其它其它特色功能Qos質量在對比測試過程中，各個影響業(yè)務的參數(shù)設置如下：設置項RCSFaceTime/微信組網(wǎng)RCS的主流組網(wǎng)（內置SVN）默認配置（安裝后默認配置）編解碼音頻編解碼視頻opus；視頻編解碼使用H.2642198冗余支持（按照默認配置支持二級冗余）針對視頻呼叫的Qos分析，需要測試的關鍵指標如下（包括統(tǒng)計方法）關鍵指標RCSSkype接通率連續(xù)測試10次，計算接通率連續(xù)測試10次，計算接通率接續(xù)時長從日志中獲取接續(xù)時長通過外部計時的方式實現(xiàn)（秒表）視頻質量ICT工具評測（工具正在調試，如果不能完成測試，則采用視頻主觀判斷）視頻主觀判斷（只針對主觀

8、感受對比）音頻質量以DSLA的測試數(shù)據(jù)為準以DSLA的測試數(shù)據(jù)為準MOS以DSLA的測試數(shù)據(jù)為準以DSLA的測試數(shù)據(jù)為準消息類業(yè)務功能完備性類型功能點測試點描述單聊業(yè)務發(fā)起入口草稿保存狀態(tài)顯示輸入狀態(tài)顯示表情消息分頁加載來電提示方式界面呈現(xiàn)信息消息置頂單聊支持的內容消息同源其它特色功能群聊群聊發(fā)起入口群聊支持的內容群聊人數(shù)限制群聊的參數(shù)其它特色功能圖片共享圖片共享入口照片墻點擊下載其它特色功能位置位置共享入口其它特色功能PTT共享入口PTT時長PTT取消PTT信息顯示PTT播放模式其它特性功能名片共享共享入口共享的信息項其它特色功能視頻文件共享共享入口支持的格式文件大小限制點擊下載其它特色功能

9、Qos質量【IM業(yè)務】在IM業(yè)務的對比測試過程中，各個影響業(yè)務的參數(shù)設置如下：設置項RCS微信消息模式Session模式（RCS默認模式）默認配置（安裝后默認配置）組網(wǎng)MSRP over TCP消息內容根據(jù)Qos測試要求設置根據(jù)Qos測試要求設置針對IM業(yè)務的Qos分析，需要測試的關鍵指標如下（包括統(tǒng)計方法）關鍵指標RCS微信成功率連續(xù)測試10次，計算接通率連續(xù)測試10次，計算接通率時延從日志中獲取接續(xù)時長通過外部計時的方式實現(xiàn)（秒表）【位置業(yè)務】位置業(yè)務使用IM消息發(fā)送，測試結果以IM業(yè)務的測試結果為準，不針對位置業(yè)務進行獨立的Qos測試。【圖片共享】在圖片共享的對比測試過程中，各個影響業(yè)務

10、的參數(shù)設置如下設置項RCS微信消息模式Session模式（RCS默認模式）默認配置（安裝后默認配置）組網(wǎng)MSRP over TCP共享內容根據(jù)Qos測試要求設置根據(jù)Qos測試要求設置針對圖片共享的Qos分析，需要測試的關鍵指標如下（包括統(tǒng)計方法）關鍵指標RCS微信成功率連續(xù)測試10次，計算接通率連續(xù)測試10次，計算接通率時延從日志中獲取接續(xù)時長（時延從何時開始？何時結束？）需要刷新通過外部計時的方式實現(xiàn)（秒表）速率文件大小/發(fā)送時長（指端到端的？還是單向？雙向？）【名片共享】名片共享業(yè)務使用IM消息發(fā)送，測試結果以IM業(yè)務的測試結果為準，不針對名片共享進行獨立的Qos測試?！疽曨l文件共享】在視

11、頻文件共享的對比測試過程中，各個影響業(yè)務的參數(shù)設置如下設置項RCS微信消息模式Session模式（RCS默認模式）默認配置（安裝后默認配置）組網(wǎng)MSRP over TCP共享內容根據(jù)Qos測試要求設置（是否可以采用自身的錄制時間為準，錄制畫面如何處理）根據(jù)Qos測試要求設置針對視頻文件共享的Qos分析，需要測試的關鍵指標如下（包括統(tǒng)計方法）關鍵指標RCS微信成功率連續(xù)測試10次，計算接通率連續(xù)測試10次，計算接通率時延從日志中獲取接續(xù)時長（時延從何時開始？何時結束？）通過外部計時的方式實現(xiàn)（秒表）速率文件大小/發(fā)送時長（指端到端的？還是單向？雙向？）【PTT共享】在PTT共享的對比測試過程中，

12、各個影響業(yè)務的參數(shù)設置如下設置項RCS微信消息模式Session模式（RCS默認模式）默認配置（安裝后默認配置）組網(wǎng)MSRP over TCP共享內容根據(jù)Qos測試要求設置（是否可以采用自身的錄制時間為準，錄制畫面如何處理）根據(jù)Qos測試要求設置針對PTT共享的Qos分析，需要測試的關鍵指標如下（包括統(tǒng)計方法）關鍵指標RCS微信成功率連續(xù)測試10次，計算接通率連續(xù)測試10次，計算接通率時延從日志中獲取接續(xù)時長（時延從何時開始？何時結束？）通過外部計時的方式實現(xiàn)（秒表）速率文件大小/發(fā)送時長（指端到端的？還是單向？雙向？）登陸注銷（包括斷網(wǎng)重連）功能完備性類型功能點測試點描述登陸注銷開機自動登陸

13、后臺運行開銷戶失敗原因提醒斷網(wǎng)重連終端狀態(tài)的檢測IM下的斷網(wǎng)重連音視頻下的斷網(wǎng)重連內容共享的斷網(wǎng)重連Qos質量測試RCS和競爭產(chǎn)品在現(xiàn)網(wǎng)WiFi網(wǎng)絡上的注冊時長和成功率，每種場景測試10次，取其平均值作為測試結果。呈現(xiàn)類業(yè)務功能完備性類型功能點測試點描述呈現(xiàn)類呈現(xiàn)的內容內容刷新周期Presence信息的顯示好友發(fā)現(xiàn)的方式Qos質量RCS和微信在Presence業(yè)務上的實現(xiàn)存在一定的差異。測試策略如下：呈現(xiàn)內容RCS微信測試分析登錄狀態(tài)有“離線”和“在線狀態(tài)”實時呈現(xiàn)在聯(lián)系人列表沒有登錄狀態(tài)的呈現(xiàn)不進行Qos測試簽名刷新好友更新簽名后，自動更新在聯(lián)系人列表中不自動更新，點擊好友簽名時更新業(yè)務時延

14、：微信從手動刷新開始，rcs已好友更新時間開始成功率：正常統(tǒng)計頭像更新好友更新頭像后，自動更新在聯(lián)系人列表中不自動更新，點擊好友頭像時更新業(yè)務時延：微信從手動刷新開始，rcs已好友更新時間開始成功率：正常統(tǒng)計好友發(fā)現(xiàn)自動發(fā)現(xiàn)好友，周期可以配置不自動發(fā)現(xiàn)，手動發(fā)起好友檢測（根據(jù)QQ聯(lián)系人/手機聯(lián)系人），檢測到好友后，需要手動發(fā)起增加為好友的操作。不進行Qos測試性能指標性能測試指標是除業(yè)務完備度和用戶體驗外，最直接的競爭力體現(xiàn)。本測試方案針對安裝包大小CPU、內存、流量、電量、流暢度進行對比測試。安裝包大小比較軟件的安裝包大小。CPU對于APP來講，CPU測試和內存測試根據(jù)如下幾點考慮測試場景。

15、在相對穩(wěn)定的狀態(tài)進行CPU的測試和對比；說明：對APP的穩(wěn)定狀態(tài)進行測試，因為用戶一般不會感受到CPU的飆高，CPU的對外呈現(xiàn)是終端的發(fā)熱量、app的使用流暢度。對于操作過程瞬時狀態(tài)用戶較難察覺，因此競品測試過程中基于如下兩個原則設計場景：針對場景進行的通用性。說明：由于軟件的業(yè)務和架構不同，無法做到很細節(jié)場景的對比，因此測試過程中關注業(yè)務場景，對應的配置以默認配置為準。某些業(yè)務獨有的特性在業(yè)務實現(xiàn)完備性章節(jié)進行測試，不在性能指標中作為專項測試?；谝陨显瓌t，抽象出以下幾種測試場景：后臺運行場景構造：空聯(lián)系人，同一款終端，登陸10分鐘后在后臺運行。測試方法：觀察CPU的占用持續(xù)5分鐘。前臺運行

16、場景構造：空聯(lián)系人，同一款終端，登陸10分鐘后在后臺運行。測試方法：在被測系統(tǒng)運行在前臺，按照正常使用速度且在“1級”頁面切換，觀察CPU的占用持續(xù)5分鐘。IM聊天過程中場景構造：每個終端1個聯(lián)系人。兩個終端之間互發(fā)進行操作。測試方法：按照如下順序循環(huán)發(fā)送，若不支持則跳過。A發(fā)送消息給B；B發(fā)送消息給A；A發(fā)送表情給B；B發(fā)送表情給A；A發(fā)送照片給B；B發(fā)送照片給A；A發(fā)送名片給B；B發(fā)送名片給A；循環(huán)操作，持續(xù)5分鐘觀察cpu變化。業(yè)務結束后須持觀察CPU5分鐘。音視頻呼叫過程中場景構造：每個終端1個聯(lián)系人。測試方法：從呼叫開始前30s開始到呼叫接觸后持續(xù)觀察5分鐘。呼叫持續(xù)5分鐘。內存同C

17、PU測試場景，抽象出以下幾種測試場景：后臺運行場景構造：空聯(lián)系人，同一款終端，登陸10分鐘后在后臺運行。測試方法：觀察CPU的占用持續(xù)5分鐘。前臺運行場景構造：空聯(lián)系人，同一款終端，登陸10分鐘后在后臺運行。測試方法：在被測系統(tǒng)運行在前臺，按照正常使用速度且在“1級”頁面切換，觀察內存的占用持續(xù)5分鐘。IM聊天過程中場景構造：每個終端1個聯(lián)系人。兩個終端之間互發(fā)進行操作。測試方法：按照如下順序循環(huán)發(fā)送，若不支持則跳過。A發(fā)送消息給B；B發(fā)送消息給A；A發(fā)送表情給B；B發(fā)送表情給A；A發(fā)送照片給B；B發(fā)送照片給A；A發(fā)送名片給B；B發(fā)送名片給A；循環(huán)操作，持續(xù)5分鐘觀察cpu變化。業(yè)務結束后須持

18、觀察CPU5分鐘。音視頻呼叫過程中場景構造：每個終端1個聯(lián)系人。測試方法：從呼叫開始前30s開始到呼叫接觸后持續(xù)觀察5分鐘。呼叫持續(xù)5分鐘。流量流量測試采用第三方軟件進行統(tǒng)計。采用瓦力流量儀作為測試工具預置條件：區(qū)分android和ios平臺，Android使用防火墻屏蔽其他APP訪問網(wǎng)絡，ios在后臺刪除掉非被測軟件和統(tǒng)計工具外的其它APP應用。軟件的設置項采用APP應用的默認設置。測試場景：空跑一輪不安裝被測軟件，只安裝統(tǒng)計工具，目的是將測試結果作為參考基線，減少測試過程中誤差登陸被測軟件均統(tǒng)計在安裝軟件后首次登陸消耗的流量。由于當前RCS做成自動發(fā)現(xiàn)好友。在和不同軟件時間進行對比時，需要

19、完成的流程如下：被測對象操作步驟后臺完成動作RCS使用老號碼；進行首次登陸；啟動CAB之后，進行一輪CAB好友發(fā)現(xiàn)登陸流程自動匹配聯(lián)系人中好友下載好友信息微信使用老號碼；進行首次登陸；進行一輪號碼本匹配登陸流程下載好友信息自動匹配聯(lián)系人中好友說明：得到測試數(shù)據(jù)后，需要結合好友數(shù)量才能比對產(chǎn)品之間的測試數(shù)據(jù)。后臺運行1個小時登陸成功后在后臺運行1個小時。前臺運行1個小時登陸成功后在前臺運行1個小時。被測軟件停留在登陸后的默認頁面，關閉系統(tǒng)鎖屏功能。IM發(fā)送文本50條（測試3組數(shù)據(jù)）終端A和終端B登陸后，互發(fā)IM文本消息，互發(fā)30分鐘，文本內容固定為“1”-“50”依次增加1.音頻10分鐘以默認編

20、解碼進行測試視頻10分鐘以默認編解碼進行測試電量電量測試繼承使用版本測試的方法，使用如下幾種測試場景進行和競品的分析。后臺運行12個小時；視頻呼叫1個小時；音頻呼叫1個小時；說明：iOS平臺直接讀取iPhone自身電量顯示。Android平臺采用第3方電量測試工具（金山電池醫(yī)生）顯示電量。測試時通過殺死后臺程序的方式僅保留被測軟件和測量工具。發(fā)熱量本方案暫時不關注流暢度流暢度的測試在本版本首次執(zhí)行，作為一個獨立的測試項，需要輸入單獨的文檔，本文檔不進行描述，具體測試方案請參考RCS Client V100R005C00流暢度測試方案用戶體驗評估測試思路將RCS的業(yè)務抽象成各種任務，這些任務的集

21、合能夠覆蓋RCS的主要功能場景（超過90%）。測試人員在執(zhí)行這些任務的過程中評估用戶的體驗效果。任務劃分測試任務劃分如下，所有測試任務的其實頁面均從登陸后的默認頁面開始。任務編號任務名稱任務描述任務01音頻呼叫從撥號盤發(fā)起音頻呼叫任務02視頻呼叫從聯(lián)系人詳情中發(fā)起視頻呼叫任務03刪除呼叫記錄刪除某個聯(lián)系人的所有通話記錄任務04發(fā)起IM從聯(lián)系人詳情中發(fā)起1-1聊天業(yè)務任務05接收IM被測軟件在后臺運行，收到IM消息后，查看IM消息，且回復任務06發(fā)送圖片從聯(lián)系人詳情中發(fā)起圖片共享業(yè)務（即時拍）任務07發(fā)送視頻從聯(lián)系人詳情中發(fā)起視頻文件共享業(yè)務（被測系統(tǒng)進行錄制）任務08發(fā)送名片從聯(lián)系人詳情中發(fā)起名片共享業(yè)務（從聯(lián)系人中選擇）任務09發(fā)送PTT從聯(lián)系人詳情中發(fā)起PTT文件共享業(yè)務任務10發(fā)送位置從聯(lián)系人詳情中發(fā)起位置共享業(yè)務任務11接收圖片在登陸后的默認頁面，收到好友發(fā)送過來的圖片，瀏覽后保存到本地任務12接收視頻在登陸后的默認頁面，收到好友發(fā)送過來的