三網(wǎng)融合背景下數(shù)字媒體技術(shù)的轉(zhuǎn)型

三網(wǎng)融合背景下數(shù)字媒體技術(shù)的轉(zhuǎn)型

1總結(jié)2視頻直播發(fā)作多屏互動(dòng)是將視頻內(nèi)容通過(guò)不同的傳輸方式傳輸給不同的用戶，包括電視、屏設(shè)備、手機(jī)和其他視頻設(shè)備，以實(shí)現(xiàn)設(shè)備之間的完美連接和視頻傳輸。用戶通過(guò)智能終端進(jìn)行內(nèi)容播放視頻，多類型終端屏幕上顯示的內(nèi)容可以實(shí)現(xiàn)同步，內(nèi)容運(yùn)營(yíng)商可以在用戶的互動(dòng)操作下將內(nèi)容提供到不同的終端屏幕上，并根據(jù)終端類型匹配視頻內(nèi)容不同的質(zhì)量（視頻分辨率和碼率）。對(duì)內(nèi)容運(yùn)營(yíng)商而言，其核心在于如何將高質(zhì)、高效率、低成本的視頻內(nèi)容交付到各類終端屏幕。本文針對(duì)視頻傳輸?shù)膮f(xié)議和方式進(jìn)行分析?，F(xiàn)階段數(shù)字視頻直播在互聯(lián)網(wǎng)上傳輸協(xié)議主要分為下面幾種：RTMP（實(shí)時(shí)消息傳輸協(xié)議）、HLS（基于HTTP的實(shí)時(shí)流協(xié)議）、DASH（在HTTP上的動(dòng)態(tài)自適應(yīng)流協(xié)議）和CMAF（通用媒體應(yīng)用格式）。上述數(shù)字視頻傳輸協(xié)議為目前主流的、較為常用媒體分發(fā)協(xié)議。RTMP協(xié)議屬于即將過(guò)時(shí)的協(xié)議，但由于目前仍有大量被使用的場(chǎng)景及業(yè)務(wù)，將對(duì)其進(jìn)行簡(jiǎn)要分析。在互聯(lián)網(wǎng)流媒體行業(yè)發(fā)展初期，RTMP在Adobe公司的積極推廣下成為了互聯(lián)網(wǎng)視頻傳輸?shù)墓J(rèn)標(biāo)準(zhǔn)，相比傳統(tǒng)的MPEG-TSoverIP技術(shù)，RTMP協(xié)議工作在TCP協(xié)議之上，確保了視頻傳輸?shù)目煽啃裕ㄟ^(guò)協(xié)議擴(kuò)展的方式RTMP可以保持流暢的視頻體驗(yàn)。由于RTMP視屏播放能力原生集成在Flash播放器中，使其流行成為可能，但隨著Flash逐步退出歷史舞臺(tái)，各大瀏覽器廠商對(duì)Flash停止支持，各大視頻平臺(tái)逐步在向新一代的傳輸分發(fā)協(xié)議演進(jìn)，例如HLS、DASH、CMAF等，在P2P的視頻傳輸上，RTMP也逐漸被SRT、ZIXI或RIST等針對(duì)互聯(lián)網(wǎng)的視頻傳輸協(xié)議所替代，RTMP的使用場(chǎng)景也在逐年下降。造成上述結(jié)果的最主要原因是該協(xié)議有以下不足：協(xié)議從2009年至今沒(méi)有更新，視頻編碼方式支持到H.264，無(wú)法支持H.265、AC3等音視頻協(xié)議傳輸；播放器終端的兼容性存在較大問(wèn)題；無(wú)iOS或Android原生支持；無(wú)針對(duì)視頻的QoS的優(yōu)化,傳輸嚴(yán)重依賴底層TCP協(xié)議；傳輸延時(shí)高達(dá)5～10s；大規(guī)模視頻內(nèi)容分發(fā)應(yīng)對(duì)不足。鑒于上述缺陷，RTMP繼續(xù)成為視頻直播分發(fā)技術(shù)的可能性已經(jīng)喪失殆盡。HLS是HLS協(xié)議原生使用HTTP協(xié)議作為基礎(chǔ)，而互聯(lián)網(wǎng)應(yīng)用基本都在使用HTTP協(xié)議，使得基于HLS協(xié)議的視頻始終通過(guò)標(biāo)準(zhǔn)的80、443端口進(jìn)行傳輸，確保不被防火墻阻攔。如圖1所示，HLS協(xié)議將不同分辨率、碼率的直播視頻內(nèi)容進(jìn)行切片，每個(gè)視頻切片文件從2s到10s不等，使用.ts文件名后綴，切片文件的URL訪問(wèn)地址及其碼率、分辨率等特征信息將統(tǒng)一記錄在m3u8播放列表中，編碼切片設(shè)備將這些切片文件和播放列表文件推送到標(biāo)準(zhǔn)HTTP服務(wù)器上進(jìn)行存儲(chǔ)，然后分發(fā)到各CDN節(jié)點(diǎn)，各終端通過(guò)HTTP協(xié)議訪問(wèn)源站或CDN節(jié)點(diǎn)，終端播放器將根據(jù)當(dāng)前網(wǎng)絡(luò)實(shí)際情況自動(dòng)選擇播放最適合當(dāng)前帶寬的播放列表，確保播放流暢。得益于蘋果設(shè)備終端的普及，HLS成為了互聯(lián)網(wǎng)媒體分發(fā)的主要協(xié)議，超過(guò)70%的互聯(lián)網(wǎng)流媒體分發(fā)應(yīng)用采用了該協(xié)議。但HLS協(xié)議高延遲（30s到1min左右延遲），使得直播互動(dòng)性、直播精細(xì)化控制變得相對(duì)困難，基于上述問(wèn)題MPEG組織推出了基于ABR的流媒體分發(fā)技術(shù)MPEG-DASH。該協(xié)議與HLS類似，也是通過(guò)將視頻分解為較小的塊，并以不同的質(zhì)量級(jí)別對(duì)這些塊進(jìn)行編碼，實(shí)現(xiàn)流式傳輸不同質(zhì)量等級(jí)的視頻，并動(dòng)態(tài)的根據(jù)網(wǎng)絡(luò)狀況在不同的質(zhì)量等級(jí)間切換。但MPEG-DASH帶來(lái)以下新的技術(shù)改變：支持廣泛的編碼格式，允許使用任何音視頻編碼標(biāo)準(zhǔn)；采用MP4(ISO-BMFF）先進(jìn)的媒體存儲(chǔ)格式，存儲(chǔ)的效率更高；更小的切片尺寸通常為2～4s，播放過(guò)程中可以更快地在不同質(zhì)量級(jí)別之間進(jìn)行切換，從而更快適應(yīng)網(wǎng)絡(luò)變化；播放控制更加精細(xì)，可以通過(guò)NTP的同步，實(shí)現(xiàn)所有終端的播放時(shí)延的控制。圖2是DASH的數(shù)據(jù)存儲(chǔ)模型，可以看出，在MPEG-DASH上可以有更靈活的分段模型，可以定義靈活的廣告插播動(dòng)作等。雖然MPEG-DASH具有很多優(yōu)點(diǎn)，但依舊有很多問(wèn)題沒(méi)有得到好的解決，例如：HTML5瀏覽器無(wú)法原生支持；小分片的引入雖然降低了延遲，但依舊有10s到30s之間的延時(shí)；與傳統(tǒng)的廣播電視傳輸技術(shù)相比存在不少差距；HLS的大規(guī)模使用造成了運(yùn)營(yíng)商需要同時(shí)支持HLS和CMAF兩種協(xié)議，帶來(lái)處理、存儲(chǔ)和傳輸上巨大的成本壓力。2016年，由微軟和蘋果牽頭與MPEG組織共同制定了一個(gè)通用的媒體應(yīng)用格式CMAF。這是一項(xiàng)跨企業(yè)和行業(yè)的協(xié)作，通過(guò)共同努力降低在線傳輸視頻時(shí)的復(fù)雜性，簡(jiǎn)單來(lái)說(shuō)是希望通過(guò)CMAF融合HLS和DASH的媒體分片存儲(chǔ)格式，降低媒體儲(chǔ)存和傳輸?shù)膲毫Α?017年7月合作開發(fā)者已經(jīng)完成了CMAF的規(guī)范，并于2018年1月發(fā)布了該標(biāo)準(zhǔn)。CMAF協(xié)議定義了一個(gè)通用的媒體分片存儲(chǔ)格式，確保HLS和DASH的終端均可以讀取。在其之上，播放列表還保有HLS和DASH的特點(diǎn)，這樣就確保了各自協(xié)議的特點(diǎn)，更好地使用各自的終端，省卻了重復(fù)的媒體內(nèi)容的存儲(chǔ)，降低CDN分發(fā)和存儲(chǔ)的成本，也降低了網(wǎng)絡(luò)擁塞可能性。CMAF對(duì)視頻傳輸帶來(lái)的好處不言而喻，它不僅降低視頻傳輸?shù)膹?fù)雜性和成本，還解決互動(dòng)視頻傳輸中的很多難題。而現(xiàn)實(shí)中，直播視頻傳輸遇到關(guān)鍵問(wèn)題就是延時(shí)，即使在使用CMAF后，視頻直播也需要30秒左右才能交付給終端，這樣的用戶體驗(yàn)在大型活動(dòng)、體育賽事上是很難被接受的。為了解決這個(gè)延時(shí)問(wèn)題，引入了LL-CMAF(LowLatencyCMAF），即低延時(shí)的CMAF，通過(guò)低延時(shí)CMAF技術(shù)將直播視頻的延時(shí)降低，提供比傳統(tǒng)廣播電視更低的延時(shí)。如圖3所示，傳統(tǒng)廣播電視傳輸技術(shù)（如DTT、DTH、IPTV）等的延時(shí)大概在3s到10s之間，而現(xiàn)階段多屏傳輸技術(shù)的延時(shí)基本都在30s以上，引入LL-CMAF就是將端到端的延時(shí)降低到200ms到6s之間。LL-CMAF通過(guò)HTTP1.1的協(xié)助以及更小的輸出分片，實(shí)現(xiàn)了推送式流分發(fā)以及更低的編碼輸出延時(shí)，從原來(lái)的幾秒變?yōu)閹装俸撩?，大大降低了各傳輸環(huán)節(jié)帶來(lái)的延時(shí)。通過(guò)測(cè)試，LL-CMAF可以在1080p的直播中實(shí)現(xiàn)大概1.6s到2s的端到端延時(shí)，對(duì)比傳統(tǒng)IPTV視頻傳輸?shù)?～10s延時(shí)有了極大的提升。因此，在新一代的直播視頻分發(fā)協(xié)議選擇上，CMAF（包括LL-CMAF）將會(huì)是一個(gè)重要的選項(xiàng)。而WebRTC或SRT等協(xié)議，由于其對(duì)大規(guī)模分發(fā)的優(yōu)化以及針對(duì)電視行業(yè)的畫質(zhì)要求等，我們認(rèn)為現(xiàn)階段并不適用于廣播電視直播的分發(fā)（SRT在制作回傳領(lǐng)域有其優(yōu)勢(shì)）。3視頻行業(yè)的發(fā)展全文淺析了數(shù)字視頻直播的多種分發(fā)技術(shù)，相信在5G技術(shù)的大規(guī)模商用以及廣電5G牌照的背景下，數(shù)字視頻的直播技術(shù)會(huì)有更多的應(yīng)用，而更多傳統(tǒng)內(nèi)容運(yùn)營(yíng)商也會(huì)更快利用如CMAF等新的視頻分發(fā)技術(shù)。與此同時(shí)，如何提高編碼效率，提升視頻質(zhì)量或引入更多的特性，如HDR、8K、VR等也會(huì)是視頻從業(yè)者熱門的話題。2020年不僅是5G技術(shù)商用元年，更是視頻行業(yè)迅猛發(fā)展的一年。在疫情的大背景下，視頻行業(yè)在2020年有了極大的發(fā)展，不僅僅是遠(yuǎn)程教育、遠(yuǎn)程辦公、遠(yuǎn)程醫(yī)療這些新型應(yīng)用場(chǎng)景，還包括傳統(tǒng)互聯(lián)網(wǎng)視頻行