面向云邊協(xié)同的視頻質(zhì)量評估場景及方案白皮書

·中國移動研究院面向云邊協(xié)1 1 2 2 2 3 4 5 6 6 7 10 10 12 14 16 19 22 24 26 27 28中國移動研究院面向云邊協(xié)21.1海量視頻業(yè)務(wù)催生視頻體驗(yàn)?zāi)耆蛞苿釉O(shè)備的平均帶寬提高到編解碼技術(shù)的不斷發(fā)展,越來越多的設(shè)的需求正呈爆炸式增長，思科預(yù)測到2022年，視頻流量將翻兩番，視頻將在視頻流業(yè)務(wù)呈爆炸式增長的同時,其性能評估的重要性日益突顯。視頻業(yè)務(wù)質(zhì)量的優(yōu)劣不僅直接影響用戶的感受,而且成為業(yè)務(wù)吸引和保持用戶頻業(yè)務(wù)質(zhì)量評估可以幫助運(yùn)營團(tuán)隊根即使它被數(shù)字化并壓縮后所含數(shù)據(jù)量系統(tǒng)前后端的實(shí)時評估也帶來巨大的圖像的質(zhì)量評估方法包括主觀評估方法根據(jù)用戶本身對視頻的主觀體人的主觀性也導(dǎo)致結(jié)果會有一定的偏量評估根據(jù)算法對于參考圖像的依賴中國移動研究院面向云邊協(xié)3需要用到無損圖像和待評估圖像的全參考質(zhì)量評估算法則不需要用到無損視頻進(jìn)行逐幀對比進(jìn)行像素點(diǎn)級的分騰訊多媒體實(shí)驗(yàn)室設(shè)計了基于深度學(xué)習(xí)的全參考視頻質(zhì)量評估算法據(jù)來訓(xùn)練基于深度學(xué)習(xí)的客觀質(zhì)量評視覺建模與機(jī)器學(xué)習(xí)相結(jié)合的視頻質(zhì)），銀行領(lǐng)域也已經(jīng)廣泛采用視頻質(zhì)?？低曂ㄟ^對前端設(shè)備傳回的頻圖像中存在的質(zhì)量問題進(jìn)行智能分中國移動研究院面向云邊協(xié)4邊緣計算是在靠近物或數(shù)據(jù)源頭安全與隱私保護(hù)（Security），簡稱CROSS。云邊協(xié)同是邊緣計算多數(shù)部署和應(yīng)用場景需要邊緣側(cè)與中心云的協(xié)所以，邊云協(xié)同的內(nèi)涵也涉及IaaS、PaaS、SaaS三個層面的全面協(xié)同。在景又被分為六大類：EC-IaaS與云端安全等的資源協(xié)同；EC-PaaS與云端邊緣計算的CROSS價值推動計算模型從集中式的云計算走向更加分布式的邊緣計算，邊緣計算正在快速興起，未來幾年將迎來爆炸式增長。字業(yè)務(wù)的不斷發(fā)展，75%的企業(yè)生成數(shù)據(jù)將會在傳統(tǒng)的集中式數(shù)據(jù)中心或云算與云計算需要通過緊密協(xié)同才能更過大數(shù)據(jù)分析優(yōu)化輸出的業(yè)務(wù)規(guī)則或52.2云邊協(xié)同的視頻質(zhì)量評估的傳統(tǒng)的視頻質(zhì)量評估一般是基于中心的或者基于端側(cè)的,當(dāng)時的質(zhì)量評一類較復(fù)雜的視頻分析技術(shù)在前端設(shè)緣計算在視頻評估應(yīng)用系統(tǒng)的前端智夠?yàn)橐曨l業(yè)務(wù)運(yùn)維和決策支撐等方面如傳統(tǒng)的視頻分析技術(shù)通過提取水平和豎直邊緣的梯度信息來計算結(jié)種情況下端側(cè)往往就具備相應(yīng)的計算網(wǎng)絡(luò)來分析當(dāng)前視頻的模糊度比傳統(tǒng)總各個邊緣節(jié)點(diǎn)相關(guān)的視頻質(zhì)量信息中國移動研究院面向云邊協(xié)6的視頻質(zhì)量分析解決了視頻處理的大更靈活的使用方式為視頻質(zhì)量評估提云端對視頻質(zhì)量處理后的數(shù)據(jù)進(jìn)行進(jìn)視頻質(zhì)量評估有了更廣闊的應(yīng)用場景持續(xù)基于端、邊、云數(shù)據(jù)協(xié)同來驅(qū)動QoE、QoS優(yōu)化；二是構(gòu)建音視頻內(nèi)容?？低曖槍ξ锫?lián)網(wǎng)應(yīng)用提出AI邊緣域位于智能物聯(lián)網(wǎng)中以充分利用于云邊協(xié)同使得視頻質(zhì)量診斷功能效產(chǎn)生的數(shù)據(jù)無法直接傳送至云側(cè)進(jìn)行基于云邊協(xié)同的視頻質(zhì)量評估平臺提3.1云邊協(xié)同下的視頻質(zhì)量評為解決數(shù)據(jù)隱私和視頻質(zhì)量評測中國移動研究院面向云邊協(xié)7略配置利用本地數(shù)據(jù)進(jìn)行增量學(xué)習(xí)模2）評估方式多樣性，包含多種全VMAF等，無參考評估方式包括對待評估視頻進(jìn)行畫面質(zhì)量分析的內(nèi)容評估方式和結(jié)合待評估視頻及網(wǎng)絡(luò)參數(shù)進(jìn)4）性能無關(guān)性，對現(xiàn)有視頻系統(tǒng)5）結(jié)果可視化，對質(zhì)量評估結(jié)果3.2云邊協(xié)同下的視頻質(zhì)量評頻業(yè)務(wù)質(zhì)量評估算法能力和數(shù)據(jù)分析提供質(zhì)量評估云邊協(xié)同管理用戶操作頁面和質(zhì)量評估結(jié)果展示及分析報表中國移動研究院面向云邊協(xié)8質(zhì)量評估算法層是質(zhì)量評估系統(tǒng)因?yàn)椴煌瑧?yīng)用對視頻QoE要求不盡相估相關(guān)算法模塊使用預(yù)訓(xùn)練的模型根置使用視頻內(nèi)容質(zhì)量評估算法對視頻為應(yīng)用層的質(zhì)量評估結(jié)果展示模塊提中國移動研究院面向云邊協(xié)9位模塊根據(jù)數(shù)據(jù)分析結(jié)果針對單視頻用增量學(xué)習(xí)和聯(lián)邦學(xué)習(xí)對模型進(jìn)行優(yōu)服務(wù)器提供不同種類的應(yīng)用類型服務(wù)指標(biāo)選擇啟動相應(yīng)的質(zhì)量評估算法模用統(tǒng)計功能，包括CPU、內(nèi)存、GPU、中國移動研究院面向云邊協(xié)傳統(tǒng)視頻監(jiān)控行業(yè)的主要客戶為現(xiàn)在用戶面前的不再單純是大量視頻視頻監(jiān)控應(yīng)用場景廣泛覆蓋家庭、行部署在出入口、周界以及生產(chǎn)設(shè)備周出入園區(qū)的人員情況進(jìn)行實(shí)時監(jiān)控管違規(guī)情況可及時通知管理人員進(jìn)行處通過將大數(shù)據(jù)技術(shù)與視頻監(jiān)控結(jié)智慧城市視頻監(jiān)控可以實(shí)時匯總并分中國移動研究院面向云邊協(xié)在攝像頭側(cè)影響視頻監(jiān)控質(zhì)量的頭本身的配置會影響監(jiān)控畫面的拍攝或人為惡意改變攝像頭朝向使拍攝角編解碼及網(wǎng)絡(luò)傳輸將數(shù)據(jù)發(fā)送給監(jiān)控臺接收的視頻畫面可能出現(xiàn)花屏、條4.1.3基于云邊協(xié)同的視頻監(jiān)控質(zhì)量傳統(tǒng)視頻監(jiān)控需要運(yùn)維人員對監(jiān)采用集中處理+分布采集和控制的用增量學(xué)習(xí)、聯(lián)邦學(xué)習(xí)等更新訓(xùn)練模中國移動研究院面向云邊協(xié)視頻監(jiān)控質(zhì)量評估可大大減小人尤其是對監(jiān)控點(diǎn)分散或危險場地等場同視頻監(jiān)控質(zhì)量評估方案通過在更靠小了云端的算力負(fù)擔(dān)及網(wǎng)絡(luò)核心節(jié)點(diǎn)以實(shí)現(xiàn)及時準(zhǔn)確的告警并支撐運(yùn)維人用戶上傳后都會經(jīng)過一系列的視頻制將網(wǎng)上下載視頻經(jīng)過批量地二次加工中國移動研究院面向云邊協(xié)視頻內(nèi)容分析和用戶標(biāo)簽挖掘共效解決視頻因缺乏標(biāo)簽導(dǎo)致的無法露利用視頻內(nèi)容分析和視頻智能產(chǎn)杯比賽結(jié)束后利用賽場視頻快速生成內(nèi)容自動生成各位演員的片段集錦視視頻網(wǎng)站運(yùn)營商不僅要對視頻制作內(nèi)視頻封面圖質(zhì)量代表了用戶對視面圖低質(zhì)問題可歸納為以下幾種：模視頻內(nèi)容質(zhì)量對平臺用戶體驗(yàn)的屏等客觀存在的問題通常與視頻內(nèi)容4.2.3基于云邊協(xié)同的視頻制作內(nèi)容批量化地準(zhǔn)確識別視頻質(zhì)量有助制作內(nèi)容質(zhì)量評估方案可使用戶快速智能推薦、智能生成等功能的性能提云邊協(xié)同的視頻制作內(nèi)容質(zhì)量評估方中國移動研究院面向云邊協(xié)在更靠近數(shù)據(jù)源的邊緣側(cè)對較簡視頻樣本在邊緣側(cè)的預(yù)測置信度未滿很大程度地減輕網(wǎng)絡(luò)核心節(jié)點(diǎn)的傳輸量評估可以監(jiān)測實(shí)時視頻通信業(yè)務(wù)的中國移動研究院面向云邊協(xié)措施，保障實(shí)時視頻通信業(yè)務(wù)穩(wěn)定運(yùn)實(shí)時視頻通信相結(jié)合能為在線教育提供更好的互動創(chuàng)作條件，支持場景化解決目前在線教育普遍存在的缺乏同利用視頻會議技術(shù)可有效解決傳緩解線下醫(yī)院診療壓力。疫情爆發(fā)至AR增強(qiáng)等，之后視頻流經(jīng)過編碼、網(wǎng)音視頻流相關(guān)因素對發(fā)送端采集頻通信質(zhì)量的主要視頻流相關(guān)參數(shù)有通信質(zhì)量的主要音頻流相關(guān)參數(shù)有音網(wǎng)絡(luò)傳輸相關(guān)因素對發(fā)送端與接響實(shí)時視頻通信質(zhì)量的網(wǎng)絡(luò)傳輸相關(guān)播放終端相關(guān)因素會對接收端音中國移動研究院面向云邊協(xié)時視頻通信質(zhì)量的播放終端相關(guān)參數(shù)4.3.3基于云邊協(xié)同的實(shí)時視頻通信針對實(shí)時視頻通信用戶可能處于質(zhì)量評估模型對采集數(shù)據(jù)進(jìn)行初步預(yù)相較于集中式的實(shí)時視頻通信質(zhì)于監(jiān)控實(shí)時視頻通話業(yè)務(wù)整體運(yùn)行狀隨著媒介數(shù)字化技術(shù)的發(fā)展和人民的消費(fèi)升級,信息的獲取渠道不斷增多,其中視頻需求量大大提升。常見的中國移動研究院面向云邊協(xié)超高清視頻能夠提供畫質(zhì)觀看體視頻服務(wù)是廣播電視的核心,對視頻質(zhì)等場景提供更真實(shí)的體驗(yàn)。例如愛奇中央電視臺近年來開始提供春節(jié)聯(lián)歡境層面及用戶層面三個方面出發(fā)。其以及服務(wù)運(yùn)行環(huán)境（包括軟硬件環(huán)境用戶體驗(yàn)評估主要針對服務(wù)層面進(jìn)行中國移動研究院面向云邊協(xié)3）服務(wù)層：服務(wù)層主要為用戶使4.4.3基于云邊協(xié)同的超高清視頻評超高清視頻評測往往基于中心的緣計算進(jìn)行前端智能化，提高可擴(kuò)展1）邊緣側(cè)通過超高清視頻直播/端部署的超高清視頻質(zhì)量評估模型對2）邊緣端處理得到的評估結(jié)果送中國移動研究院面向云邊協(xié)XR擴(kuò)展現(xiàn)實(shí)主要包括虛擬現(xiàn)實(shí)戴設(shè)備和計算機(jī)技術(shù)，XR可為受眾帶來真實(shí)與虛擬結(jié)合、人機(jī)交互的環(huán)境，對XR體驗(yàn)過程的質(zhì)量評估也應(yīng)運(yùn)而近年來，XR技術(shù)的發(fā)展、落地、展覽、教育等大批新應(yīng)用場景，為XRXR體驗(yàn)中的多個關(guān)鍵技術(shù)指標(biāo)進(jìn)行量帶來更加真實(shí)逼真的體驗(yàn)。例如2020首場“5G+8K+XR云演藝盛典直播”，開啟了云上演藝新時代；2021年央視中國移動研究院面向云邊協(xié)行“虛擬實(shí)地之旅”；VR技術(shù)也可應(yīng)戰(zhàn)；2020年我國“奮斗者”號載人潛水器成功坐底馬里亞納海溝的重要時音視頻內(nèi)容源的質(zhì)量和音視頻內(nèi)容在確的圖像識別等技術(shù)來判斷物體所處的位置、3D坐標(biāo)等信息；另外也需要丟包率Loss、數(shù)據(jù)重傳率、數(shù)據(jù)冗余占比、Tcp吞吐率throughput、中國移動研究院面向云邊協(xié)傳到云端進(jìn)行處理對云端造成巨大的式可以有效減輕網(wǎng)絡(luò)核心節(jié)點(diǎn)傳輸?shù)念l源或者用戶側(cè)視頻流本身的視頻質(zhì)2）邊緣評估結(jié)果以間隔時間上報3）邊云相互合作，互為補(bǔ)充，提中國移動研究院面向云邊協(xié)玩家可以通過任意控制終端進(jìn)行游戲媒體平臺再將畫面分發(fā)至終端顯示設(shè)為雙千兆應(yīng)用中最快爆發(fā)的垂直應(yīng)用終端無需擁有強(qiáng)大的圖形運(yùn)算與數(shù)據(jù)能力與獲取玩家輸入指令并發(fā)送給云以往游戲中的合作都基于局域網(wǎng)統(tǒng)的本地雙人/多人對戰(zhàn)模式，即使玩中國移動研究院面向云邊協(xié)進(jìn)行評估和監(jiān)測，支撐網(wǎng)絡(luò)和業(yè)務(wù)調(diào)云游戲等強(qiáng)交互業(yè)務(wù)允許用戶通過終端傳感器與云端應(yīng)用進(jìn)行復(fù)雜的的方式將響應(yīng)畫面回傳到終端播放器視覺上觀察到的運(yùn)動狀態(tài)和前庭系統(tǒng)所感知的運(yùn)動狀態(tài)不一致所引發(fā)的癥云游戲服務(wù)器通常只渲染和傳輸用戶曲技術(shù)可以根據(jù)用戶頭部姿態(tài)變化對它畢竟無法像渲染服務(wù)器一樣生成新原云渲染畫面的部分會被顯示成黑邊問題，會導(dǎo)致用戶側(cè)無法正常接收數(shù)5）網(wǎng)絡(luò)帶寬延遲：云游戲在降低對于本地游戲，額外增加了來自于輸6）抖動：幀率是游戲玩家十分看戲畫面受某些原因遲到就會造成后面中國移動研究院面向云邊協(xié)4.6.3基于云邊協(xié)同的云游戲評測評估信息分析提取有價值和意義的關(guān)鍵數(shù)據(jù)同步到邊緣云和中心云進(jìn)行分選擇最短的鏈路打通邊緣節(jié)點(diǎn)與終端通過云游戲質(zhì)量評估對網(wǎng)絡(luò)狀況與終完成對游戲數(shù)據(jù)流的本地渲染呈現(xiàn)以網(wǎng)絡(luò)帶寬和設(shè)備性能條件下如何能提供更好的視頻服務(wù)體驗(yàn)越來越受到業(yè)中國移動研究院面向云邊協(xié)式下，邊緣的視頻處理可以滿足大帶頻質(zhì)量評估算法能夠在邊緣側(cè)得到充同的視頻質(zhì)量評估的計算復(fù)雜度會更中國移動作為用戶規(guī)模最大的電商自身網(wǎng)絡(luò)覆蓋范圍廣和基礎(chǔ)設(shè)施資評估方向的積累，吸收業(yè)界的先進(jìn)技探索不同的視頻業(yè)務(wù)場景下視頻質(zhì)量和產(chǎn)業(yè)生態(tài)需求的視頻質(zhì)量評估解決提升用戶體驗(yàn)，抓住邊緣計算產(chǎn)業(yè)浪縮略語列表ArtificialIntelligenceApplicationProgrammingInterfaceCustomerExp