IPTV架構(gòu)下VR業(yè)務(wù)關(guān)鍵技術(shù)與解決方案

IPTV架構(gòu)下VR業(yè)務(wù)關(guān)鍵技術(shù)與解決方案李峰;楊琛;李興達【摘要】虛擬現(xiàn)實技術(shù)作為一種全新的技術(shù),在視頻方面的革新帶給用戶全新的交互體驗?介紹了國內(nèi)外VR/AR產(chǎn)業(yè)的發(fā)展情況,分析了IPTV架構(gòu)下VR業(yè)務(wù)的需求;對編解碼、投影、業(yè)務(wù)平臺、機頂盒和網(wǎng)絡(luò)傳輸?shù)汝P(guān)鍵技術(shù)進行了研究解析;然后從VR的兩種不同使用場景出發(fā),提出了IPTV架構(gòu)下VR業(yè)務(wù)的解決方案及業(yè)務(wù)流程，為IPTVVR的發(fā)展提供了一種可供參考的解決方案.期刊名稱】《電信科學(xué)》年(卷),期】2018(034)011【總頁數(shù)】7頁（P119-125）【關(guān)鍵詞】IPTV;VR；解決方案【作者】李峰;楊琛;李興達【作者單位】中國電信股份有限公司上海研究院,上海200122;中國電信股份有限公司上海研究院,上海200122;中國電信股份有限公司上海研究院,上海200122【正文語種】中文【中圖分類】TN919.8當(dāng)前VR/AR（虛擬現(xiàn)實/增強現(xiàn)實）產(chǎn)業(yè)的發(fā)展已進入高速增長期，業(yè)內(nèi)普遍認(rèn)為VR將是個萬億級市場。據(jù)預(yù)測，到2025年全球VR市場的年營收規(guī)模將達到1100億美元（約7100億元），相關(guān)的軟件銷售額達720億美元，這意味著屆時VR領(lǐng)域總的市場規(guī)模將達到1820億美元（約12000億元），成長為一個萬億級別的新市場。在我國，VR技術(shù)已經(jīng)列入《“十三五”國家科技創(chuàng)新規(guī)劃》十大新一代信息技術(shù)，VR產(chǎn)業(yè)覆蓋技術(shù)領(lǐng)域廣泛、業(yè)務(wù)形態(tài)豐富、產(chǎn)業(yè)發(fā)展?jié)摿Υ?、社會效益強，是新—代信息通信技術(shù)（ICT）發(fā)展的新動能之一。雖然目前VR技術(shù)與應(yīng)用的發(fā)展還處于爆發(fā)式增長的前夜，但是作為一個具有較長發(fā)展歷史、經(jīng)歷完整Gartner技術(shù)成熟度曲線的產(chǎn)業(yè)，隨著真實應(yīng)用需求的增加，可以相信這是一個新起點。普遍認(rèn)為，VR技術(shù)將成為“下一代互聯(lián)網(wǎng)”和“下一代計算平臺”，并給人們的生產(chǎn)和生活方式帶來革命性的變化。與此同時，IPTV（交互式網(wǎng)絡(luò)電視）經(jīng)過十多年的持續(xù)創(chuàng)新發(fā)展，已成為融合傳統(tǒng)媒體和新興媒體通過數(shù)據(jù)網(wǎng)絡(luò)傳播視頻內(nèi)容的主導(dǎo)渠道，成為提高信息消費供給水平、豐富數(shù)字創(chuàng)意內(nèi)容和服務(wù)的重要方式，目前已經(jīng)積累了上億用戶群。依托IPTV業(yè)務(wù)、網(wǎng)絡(luò)和終端在智慧家庭側(cè)的規(guī)模化覆蓋能力以及IPTV領(lǐng)域的技術(shù)創(chuàng)新活力，結(jié)合VR近眼顯示、渲染處理、網(wǎng)絡(luò)傳輸和內(nèi)容制作技術(shù)的最新成果，在應(yīng)用中改進VR沉浸體驗、提高VR虛實交互，將會是IPTV和VR未來發(fā)展的重要方向之一，也是VR快速落地的重要路徑之一［1-2］。IPTV業(yè)務(wù)一直以來引領(lǐng)、推動著運營商網(wǎng)絡(luò)帶寬和視頻業(yè)務(wù)的發(fā)展。從2005年開始，一步步推動視頻成為運營商第四個億級用戶規(guī)模的基礎(chǔ)業(yè)務(wù)，成為媒體網(wǎng)絡(luò)傳播的重要渠道。近幾年，IPTV以4K技術(shù)為引領(lǐng)，成為創(chuàng)新型的基礎(chǔ)業(yè)務(wù)，有效地推動百兆寬帶成為剛需。但是，居安思危，IPTV未來向何處去已經(jīng)成為擺在業(yè)務(wù)運營方案頭的重要課題。同時由于家庭觀看視頻環(huán)境的限制，據(jù)家庭電視觀看距離與屏幕大小、分辨率關(guān)聯(lián)度數(shù)據(jù)分析，在一般家庭2~4m的觀看環(huán)境下，80~100英寸屏幕下4K視頻與8K視頻肉眼見看差異不明顯，超過2m距離看100英寸電視，4K就已經(jīng)超過人眼分辨力。因此，對于家庭電視體驗來說，分辨率4K已經(jīng)到了極致。但隨著技術(shù)的發(fā)展，數(shù)字視頻內(nèi)容的解析度越來越高，正在從4K向8K甚至更高分辨率的方向發(fā)展，用戶仍然會追求極致影音體驗。在這樣一對技術(shù)與需求的推動下，超大型場景、高分辨率的VR視頻（比如大型演唱會、大型體育賽事的現(xiàn)場直播等）將是VR業(yè)務(wù)的一個重要市場切入點［3］。VR內(nèi)容對GPU芯片性能、數(shù)據(jù)存儲、傳輸碼率、數(shù)據(jù)傳輸時延等各個方面的要求都遠超過現(xiàn)有視頻內(nèi)容的技術(shù)標(biāo)準(zhǔn)，因此VR視頻的在線傳輸需要一個高帶寬、低時延的寬帶網(wǎng)絡(luò)支持。從目前寬帶網(wǎng)絡(luò)的發(fā)展看，隨著用戶側(cè)的帶寬資源正在從兆級向百兆、吉比特級發(fā)展，原來限制高帶寬業(yè)務(wù)發(fā)展的瓶頸正在消失，而沒有業(yè)務(wù)填充的帶寬冗余是一種浪費，VR作為一種提高帶寬利用率，推動流量的精細化經(jīng)營的應(yīng)用正可以成為業(yè)務(wù)與技術(shù)研究的新方向。目前市場上存在的VR使用形態(tài)中：PC+HMD（頭戴式顯示設(shè)備，簡稱“頭顯”）的模式對主機成本和硬件門檻要求高，用戶群體難以大規(guī)模普及；手機+HMD模式VR主機處理能力有限。在這種情況下，隨著IPTV機頂盒能力的提升，IPTVVR的機頂盒+HMD的業(yè)務(wù)場景清晰，成本相對較低，可以搶占HMD的主機地位。結(jié)合HMD設(shè)備功能和體驗的提升，尤其是分辨率和視場角的提升；對終端接口和協(xié)議標(biāo)準(zhǔn)化推廣，可以大幅提升用戶在家庭中使用VR的用戶體驗，推動VR在家庭的普及應(yīng)用，廣泛激活用戶的體驗興致。同時，依托IPTV業(yè)務(wù)、網(wǎng)絡(luò)和終端在智慧城市家庭的規(guī)?；采w能力以及IPTV領(lǐng)域的技術(shù)創(chuàng)新活力，依托IPTV擁有的專網(wǎng)專用、海量視頻資源的先發(fā)優(yōu)勢，同時利用IPTV機頂盒作為家庭的規(guī)模化視頻娛樂中心的地位、由家庭固網(wǎng)帶寬支持、相對固定的使用場景，同時依托搭載的高性能芯片解碼高質(zhì)量的視頻內(nèi)容，在這樣的條件下，對視頻質(zhì)量要求高的VR與IPTV結(jié)合，加上多樣化的VRHMD設(shè)備，既賦予了IPTV業(yè)務(wù)發(fā)展的新領(lǐng)域和新能量，又為VR業(yè)務(wù)的發(fā)展與起飛提供了堅實的用戶基石與內(nèi)容平臺［4-5］?！銇碚f，目前的VR內(nèi)容的應(yīng)用場景可以分為弱交互和強交互兩類，所謂弱交互類應(yīng)用場景是指對適時渲染要求比較低，終端和服務(wù)器端在內(nèi)容播放過程中交互信令較少，典型應(yīng)用如VR視頻播放等；而強交互類則是在內(nèi)容播放過程中交互信令頻繁的應(yīng)用，如大型交互式在線游戲等。針對這兩類應(yīng)用場景的特點，根據(jù)對網(wǎng)絡(luò)條件、渲染方式、MTP(motiontophoton)時延等的要求，完全利用現(xiàn)有IPTV架構(gòu)采用“云+機頂盒+頭顯”模式實現(xiàn)兩類場景的播控存在一定技術(shù)難度，因為強交互類使用場景對MTP、渲染實現(xiàn)方式的技術(shù)指標(biāo)更加嚴(yán)格，所以在設(shè)計IPTVVR技術(shù)架構(gòu)時考慮采用“利舊+新增”的方案：弱交互類場景利用IPTV現(xiàn)有架構(gòu)走視頻流，強交互類場景新增云渲染系統(tǒng)實現(xiàn)低MTP時延、適時渲染的技術(shù)要求。具體的技術(shù)解決方案軟件邏輯架構(gòu)如圖1所示。方案中充分利用了現(xiàn)有IPTV架構(gòu)下的設(shè)備與架構(gòu)，對于弱交互類業(yè)務(wù)利用現(xiàn)有IPTV直播與點播模塊與功能進行內(nèi)容的播放與控制。新增的云渲染系統(tǒng)用于強交互類業(yè)務(wù)的播放與控制，通過云渲染系統(tǒng)實現(xiàn)實時建模、渲染、編解碼及控制流交互功能。機頂盒(STB)支持VR視頻流的本地解碼、渲染、VR視頻播放器等功能，同時根據(jù)VRHMD接入方式的不同，機頂盒支持有線和無線兩種連接接口，支持的接口類型包括：USB/HDMI/Wi-Fi/5G等；根據(jù)接入HMD具備的功能不同，機頂盒支持本地解碼/渲染功能和透傳功能。HMD作為用戶端設(shè)備，支持設(shè)備鑒權(quán)與VR視頻流播放功能。在IPTVVR系統(tǒng)組網(wǎng)方案設(shè)計時，考慮到VR流對MTP時延指標(biāo)普遍要＜20ms,以及現(xiàn)有寬帶網(wǎng)絡(luò)部署架構(gòu)和技術(shù)指標(biāo)在內(nèi)容服務(wù)器與云渲染平臺的部署上強調(diào)靠近用戶端部署，因此服務(wù)于VR的CDN和云渲染平臺選擇部署于邊緣節(jié)點而不是中心節(jié)點。具體的組網(wǎng)架構(gòu)方案如圖2所示。在弱交互類使用場景下，如圖3所示，用戶在點擊VR視頻播放后，STB處理用戶向CDN發(fā)起HTTP/RTSP請求，CDN將通過調(diào)度策略管理機制，根據(jù)網(wǎng)絡(luò)鏈路質(zhì)量，將用戶調(diào)度至網(wǎng)絡(luò)質(zhì)量最優(yōu)、訪問速度最快的服務(wù)節(jié)點。該節(jié)點作為CDN系統(tǒng)的VR內(nèi)容注入口，負責(zé)存儲CDN系統(tǒng)中的所有內(nèi)容，同時還為業(yè)務(wù)提供所承載VR內(nèi)容的管理、處理、分發(fā)等功能。在服務(wù)節(jié)點未命中的場景下，內(nèi)容中心作為內(nèi)容源為服務(wù)節(jié)點提供內(nèi)容服務(wù)。CDN向STB提供高質(zhì)量的VR視頻服務(wù)，基于HLS視頻的點播功能，通過與用戶HMD配合，支持實現(xiàn)碼率自適應(yīng)。根據(jù)內(nèi)容管理平臺查詢到邊緣節(jié)點，通過邊緣節(jié)點CDN下發(fā)視屏流，STB接收并緩存在本地，STB的硬件解碼器基于H.265對視頻流解碼，解碼后的數(shù)據(jù)發(fā)送給GPU做相應(yīng)的VR處理，最終顯示呈現(xiàn)給用戶HMD。在強交互類使用場景下，與STB本地進行解碼、渲染等處理不同，這些處理流程都在云渲染平臺進行，最終將處理好后的視頻流下發(fā)用戶側(cè)HMD，為保證MTP時延，云平臺對視頻流的處理需要運用按需傳輸?shù)仁侄芜M行特殊處理。IPTVVR解決方案所涉及關(guān)鍵技術(shù)除了目前VR技術(shù)研究的熱點：編解碼技術(shù)、投影技術(shù)、傳感器技術(shù)等領(lǐng)域外，還具有其自身特定的關(guān)鍵技術(shù)領(lǐng)域，如機頂盒技術(shù)內(nèi)容分發(fā)與播控技術(shù)、網(wǎng)絡(luò)傳輸技術(shù)等方面。編解碼技術(shù)VR視頻目前應(yīng)用最多的視頻編碼技術(shù)是H.264，業(yè)界公認(rèn)的下一代編碼技術(shù)是HEVC和VP9。根據(jù)業(yè)界的測試結(jié)論，在保證同等畫質(zhì)的前提下，HEVC和VP9的壓縮效率大約比H.264的最新版本提升30%左右。近期，F(xiàn)acebook研發(fā)的棱錐結(jié)構(gòu)編碼技術(shù)成為業(yè)界研究的重點，結(jié)合按需傳輸方法，可以將VR視頻大小減少80%。投影技術(shù)目前VR視頻投影技術(shù)主要有等角投影(equirectangularprojection，ERP)和多面體投影(platonicsolidprojection，PSP)兩大類?！?ERPERP是當(dāng)前全景視頻主流格式，但畫質(zhì)存在失真，壓縮效率存在瓶頸。這種投影方式使用了一種經(jīng)典地圖經(jīng)緯線投影的思想，將球面展開為平面矩形。由于球面兩極區(qū)域展開后，靠增大面積保持角度不變，引入了更多的無效冗余像素，導(dǎo)致視頻文件編碼壓縮效率不佳。該投影方式通過VRHMD和應(yīng)用軟件將這些明顯變形的畫面還原為全視角的內(nèi)容，讓使用者有一種身臨其境的包圍感。目前Oculus、SamsungGear、優(yōu)酷、愛奇藝均采用此種投影格式生產(chǎn)VR360度媒體文件。□?PSP目前，PSP是業(yè)界關(guān)注的新方向，具有失真小、壓縮效率高的特點。按相等經(jīng)差與緯差的經(jīng)緯線將球面劃分為許多球面梯形，投影到某種多面體上，此處的多面體可以為四面體、立方體、金字塔、12面體等。由于每個梯形單獨投影，因此失真極其微小。（3） VR業(yè)務(wù)平臺技術(shù)高分辨率VR視頻內(nèi)容的分發(fā)對現(xiàn)有IPTV架構(gòu)下的內(nèi)容分發(fā)提出了新要求。VR超高分辨率視頻比普通平面視頻的碼率高出十倍以上，即使采用基于分片編碼與按需傳輸?shù)募夹g(shù)方案也對采用傳統(tǒng)的將尋址文件全部傳輸?shù)姆职l(fā)方式提出挑戰(zhàn)，對CDN的處理形成很大的壓力；另外基于云渲染的內(nèi)容處理也對CDN提出了很高的技術(shù)要求。因此當(dāng)前對業(yè)務(wù)平臺方面的研究關(guān)注點在于：基于IPTV架構(gòu)下的CDN并行流化處理技術(shù)研究，高效存儲、網(wǎng)絡(luò)均衡、智能調(diào)度和流媒體能力優(yōu)化的CDN平臺技術(shù)研究，針對VR的QoS保障技術(shù)研究等［6］。（4） 機頂盒技術(shù)當(dāng)前推廣的機頂盒在芯片、內(nèi)存、Flash方面都以全4K能力為基礎(chǔ)設(shè)計，要支持VR的關(guān)鍵是能支持HMD設(shè)備，尤其是滿足高清全景視頻（單眼分辨率＞4K）的解碼能力，現(xiàn)有的硬件和軟件能力明顯不足。因此對于需要本地渲染能力的機頂盒硬件研究的關(guān)鍵點在于GPU性能、VR視頻處理專用硬件、內(nèi)存容量速率規(guī)格的提升。同時，在硬件接口上，VR機頂盒要具備連接大屏電視和HMD的能力，且HMD和VR外設(shè)所用到的陀螺儀、手柄等傳感器信息也需要通過相應(yīng)接口傳給機頂盒進行對應(yīng)處理，因此機頂盒的多接口支持也是技術(shù)研究的關(guān)鍵點。VR機頂盒和HMD之間采用HDMI/USB線連接完成視頻傳輸、傳感信息回傳和供電，這造成使用者移動不便，對用戶體驗影響嚴(yán)重，因此，無線傳輸方式成為目前研究的重要方向。目前廣泛應(yīng)用的Wi-Fi協(xié)議并不能滿足VR高分辨率視頻傳輸和MTP20ms的剛性要求，因此對WiGig(IEEE802.11ad)、WirelessHD、Li-Fi等可見光通信技術(shù)的研究與應(yīng)用也是一個熱點領(lǐng)域。網(wǎng)絡(luò)傳輸技術(shù)目前VR視頻內(nèi)容的在線傳輸方案有兩種主要的技術(shù)路線：全視角網(wǎng)絡(luò)傳輸和FOV網(wǎng)絡(luò)傳輸。?全視角網(wǎng)絡(luò)傳輸全視角網(wǎng)絡(luò)傳輸方式將360°環(huán)繞的畫面全部傳輸給終端，畫面切換等處理均在本地完成，即終端接收到的一幀數(shù)據(jù)中包含了用戶可看到的空間球?qū)?yīng)的全部視角信息。用戶改變視角的交互信號在本地終端完成處理，終端根據(jù)視角信息從已緩存到本地的幀中解出對應(yīng)的FOV信息，在播放器中進行矯正還原，使用戶看到正常視角的視覺信息。因此，在交互過程中涉及的時延等問題，均由終端性能來決定。這種方案對帶寬的要求高，對時延的要求低。?FOV網(wǎng)絡(luò)傳輸FOV(fieldofview)傳輸方案主要傳輸當(dāng)前視角中的可見畫面。通常情況下，將360度全景視野劃分為若干個視角，每個視角生成一個視頻文件，只包含視角內(nèi)高分辨率和周圍部分低分辨率視覺信息，終端根據(jù)用戶當(dāng)前視角姿態(tài)位置，向服務(wù)器請求對應(yīng)的視角文件。當(dāng)頭部轉(zhuǎn)動視角發(fā)生變化時，終端向服務(wù)器請求新視角對應(yīng)的視角文件。分視角傳輸示意圖如圖4所示。VR業(yè)務(wù)的在線傳輸還對寬帶網(wǎng)絡(luò)提出了更高的技術(shù)要求。VR業(yè)務(wù)改變了人機交互的方式，既包含傳統(tǒng)的人機交互行為，又有VR特有的虛擬交互行為。不同的交互形式和預(yù)期帶來了對網(wǎng)絡(luò)傳輸?shù)牟煌枨?，根?jù)不同的業(yè)務(wù)需求對帶寬及MTP時延的要求見表1VR業(yè)務(wù)所需要的網(wǎng)絡(luò)，關(guān)鍵在于提供穩(wěn)定的高帶寬和低時延，以保障VR業(yè)務(wù)的每一次交互行為體驗[7-8]。隨著超高清視頻技術(shù)的發(fā)展，一般家庭環(huán)境下的4K分辨率已經(jīng)到了極致。在數(shù)字視頻解析度越來越高的大趨勢下，VR的出現(xiàn)正好給家庭視頻觀看方式的發(fā)展提供了新的方向。目前，IPTV架構(gòu)下開展VR業(yè)務(wù)尚處在探索階段，需要內(nèi)容制作、CDN分發(fā)、帶寬升級乃至整個視頻產(chǎn)業(yè)鏈來共同推動其發(fā)展和完善，加快IPTVVR的商業(yè)化進程。李峰（1971-），男，中國電信股份有限公司上海研究院高級工程師，主要研究方向為視頻技術(shù)與應(yīng)用、交互式網(wǎng)絡(luò)電視、虛擬現(xiàn)實等。楊?。?981-），女，中國電信股份有限公司上海研究院研發(fā)工程師，主要研究方向為超高清視頻技術(shù)家庭應(yīng)用、虛擬現(xiàn)實等。李興達（1987-），男，中國電信股份有限公司上海研究院研發(fā)工程師，主要研究方向為超高清視頻技術(shù)家庭應(yīng)用、DRM等。【相關(guān)文獻】中國智慧家庭產(chǎn)業(yè)聯(lián)盟?IPTVVR技術(shù)產(chǎn)業(yè)白皮書[R].2017.ChinaIntelligentFamilyIndustryAlliance.IPTVVRtechnologyindustrywhitepaper[R].2017.華為iLab.面向CloudVR的承載網(wǎng)絡(luò)白皮書[R].2017.HuaweiiLab.CarriernetworkswhitepaperforcloudVR[R].2017.徐火順，葉劍章,尹海生.大視頻VR直播業(yè)務(wù)及其技術(shù)[J].中興通訊技術(shù),2017（6）:24-27.XUHS,YEJZ,YINHS.ServiceandtechnologyofVRliveonbigvideosystem[J].ZTETechnologyJournal,2017（6）:24-27.[4]金偉.IPTV機頂盒現(xiàn)狀與趨勢的研究[J].電信科學(xué),2006,22(3):28~31.JINW.StudyonIPTVSTB:statusandtrends[J].TelecommunicationsScience,2006,22(3):28-31.⑸羅傳飛，孔德輝，劉翔凱,等.智慧家庭的VR全景視頻業(yè)務(wù)實現(xiàn)[R].電信科學(xué),2017,33(10):185-193.LUOCF,KONGDH,LIUXK,etal.AbusinessrealizationofVRpanoramicvideoin