多視角視頻業(yè)務(wù)應(yīng)用場(chǎng)景與需求

多視角視頻業(yè)務(wù)應(yīng)用場(chǎng)景與需求本文件規(guī)定了多視角視頻業(yè)務(wù)的主要應(yīng)用場(chǎng)景，提供多視角視頻業(yè)務(wù)的功能需求本文件適用于指導(dǎo)多視角視頻業(yè)務(wù)系統(tǒng)的產(chǎn)品設(shè)計(jì)、標(biāo)準(zhǔn)編制2規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件GB/T29861-2013IPTV安全體系架構(gòu)3術(shù)語(yǔ)和定義GB/T29861-2013和GB/T38801-2020界定的以在IP網(wǎng)絡(luò)上傳送包含電視、視頻、文本、圖像和數(shù)據(jù)等，提供服務(wù)質(zhì)量/體驗(yàn)質(zhì)量、安全、交互性和可靠性的可管理的多媒體業(yè)務(wù)。與六自由度視頻同義，指視頻可以提供用戶(hù)在三維空間的X,Y,z軸方向自由移動(dòng)視點(diǎn)，以及圍繞X,Y,Z軸自由旋轉(zhuǎn)視點(diǎn)的高自由度觀看體驗(yàn)為更有效地向端用戶(hù)交付內(nèi)容，在4層-7層網(wǎng)絡(luò)單元進(jìn)行互操作的網(wǎng)絡(luò)基礎(chǔ)設(shè)施。用電子計(jì)算機(jī)輔助的攝影技術(shù)模擬變速特效，例如強(qiáng)化的慢鏡頭、時(shí)間靜止等效果。常用于電影、電視廣告或電腦游戲中。一段時(shí)間軸上，全方位的觀看具體的場(chǎng)景或者實(shí)物的運(yùn)動(dòng)畫(huà)面。以被拍攝物體場(chǎng)景為中心，通過(guò)多機(jī)位或環(huán)繞機(jī)位向用戶(hù)提供整個(gè)場(chǎng)地的任意角度視頻信息，能夠讓用戶(hù)通過(guò)操控界面，從多角度自由旋轉(zhuǎn)觀看被拍攝物體/場(chǎng)景的業(yè)務(wù)形態(tài)。下列縮略語(yǔ)適用于本文件。CDN:內(nèi)容分發(fā)網(wǎng)絡(luò)(contentdeliverynetwork)FPS;畫(huà)面每秒傳輸幀數(shù)(framespesecond)HLS:基于HTTP的自適應(yīng)碼率流媒體傳輸協(xié)議(HTTPLiveStreamingIPTV:互聯(lián)網(wǎng)協(xié)議電視(InternetProtocolTelevision)RTSP:實(shí)時(shí)流媒體協(xié)議(RealTimeStreamingProtocol)視頻業(yè)務(wù)的市場(chǎng)需求經(jīng)歷了從標(biāo)清到高清、從單向到互動(dòng)、從單視角到多視角的變化。其中多視角視頻是一種可以支持用戶(hù)多角度觀君的視頻，給用戶(hù)帶來(lái)更多的主動(dòng)權(quán)，實(shí)現(xiàn)用戶(hù)自主導(dǎo)播。近幾年興起的自由視角、精彩瞬間等新興多視角視頻所提供的3DoF+/6DoF交互式視差特性、“時(shí)間凝固”等顛覆性特性，為觀看者提供更接近自然體驗(yàn)的視覺(jué)效果傳統(tǒng)視頻拍攝與制作是一種固定跟隨拍攝者的視角，制約了視頻使用者的視野，也讓更多內(nèi)容流失，容易導(dǎo)致花絮內(nèi)容成為稀缺資源，形成千篇一律的觀看體驗(yàn)。如傳統(tǒng)現(xiàn)場(chǎng)競(jìng)賽直播因角度、機(jī)位限制，或受導(dǎo)播意志左右，觀眾往往不能自主地選擇觀看自己最喜歡的角度多視角視頻業(yè)務(wù)是指通過(guò)多個(gè)攝像機(jī)，在多個(gè)角度同時(shí)拍攝，可給用戶(hù)同時(shí)提供不同視角的一種視頻業(yè)務(wù)，特點(diǎn)是視頻量大，存儲(chǔ)和傳輸都需要大量的資源，在視點(diǎn)切換時(shí)還需要編解碼資源。隨著視頻技術(shù)的發(fā)展，對(duì)于多視角視頻的應(yīng)用逐漸成熟，應(yīng)用場(chǎng)景逐漸清晰化。多視角視頻業(yè)務(wù)可分為傳統(tǒng)多視角視頻業(yè)務(wù)和新興多視角視頻業(yè)務(wù)。傳統(tǒng)的多視角視頻業(yè)務(wù)常見(jiàn)于多個(gè)攝像機(jī)的視角以畫(huà)中畫(huà)或馬賽克視頻方式向用戶(hù)提供多個(gè)角度的視頻。新興多視角視頻業(yè)務(wù)是指近年來(lái)出現(xiàn)的子彈時(shí)間、精彩瞬間、自由視角等，這些新興多視角業(yè)務(wù)是指在節(jié)目制作和播出時(shí)，利用多機(jī)位或環(huán)繞機(jī)位向用戶(hù)提供環(huán)繞整個(gè)場(chǎng)地的任意角度視頻信息，供用戶(hù)在終端以滑動(dòng)屏幕的方式找到自己希望的視角和最佳追隨觀看位置。新興多視角業(yè)務(wù)可讓視頻內(nèi)容無(wú)死角，觀看視頻內(nèi)容有新選擇，體驗(yàn)不同“位置”帶來(lái)觀看視頻的新體驗(yàn)，讓用戶(hù)可時(shí)刻體驗(yàn)場(chǎng)館各類(lèi)位置帶來(lái)視覺(jué)和聽(tīng)覺(jué)效果，更加逼真呈現(xiàn)現(xiàn)場(chǎng)效果。圖1是多視角視頻業(yè)務(wù)系統(tǒng)示意圖，系統(tǒng)包含采集制作模塊，預(yù)處理模塊、媒體分發(fā)模塊、終端呈現(xiàn)模塊。采集制作模塊通過(guò)圍繞比賽區(qū)域部署高清攝像機(jī)，每臺(tái)攝像頭在進(jìn)行時(shí)鐘校準(zhǔn)后同時(shí)采集視頻信號(hào)，提供給現(xiàn)場(chǎng)預(yù)處理設(shè)備現(xiàn)場(chǎng)預(yù)處理模塊通過(guò)視頻源表示模型，再對(duì)多路畫(huà)面進(jìn)行計(jì)算、渲染、編碼，合成虛擬視角；媒體分發(fā)模塊完成內(nèi)容管理、內(nèi)容運(yùn)營(yíng)、內(nèi)容存儲(chǔ)和CDN分發(fā)：終端呈現(xiàn)模塊完成多視角重建、渲染過(guò)程。在自由視角應(yīng)用場(chǎng)景中，可實(shí)現(xiàn)用戶(hù)以旋轉(zhuǎn)切換的方式找到自己希望的視角和最佳追隨觀看位置。視頻云處理，終端呈現(xiàn)前端拍攝，現(xiàn)場(chǎng)預(yù)處理視頻云處理，終端呈現(xiàn)tCDXCDX分發(fā)采集和采集和圖1多視角視頻業(yè)務(wù)系統(tǒng)示意圖6多視角視頻業(yè)務(wù)主要應(yīng)用場(chǎng)景6.1傳統(tǒng)多視角視頻業(yè)務(wù)傳統(tǒng)的多視角視頻業(yè)務(wù)通過(guò)多個(gè)攝像機(jī)，同時(shí)在多個(gè)角度進(jìn)行拍攝，在終端上通過(guò)畫(huà)中畫(huà)、多屏同看、九屏導(dǎo)視等方式向用戶(hù)同時(shí)提供不同的視角，如圖2所示。該效果在傳統(tǒng)的有線(xiàn)電視和IPTV業(yè)務(wù)中多用于直播頻道觀看體驗(yàn)增強(qiáng)，目前被廣泛使用在賽事、文娛晚會(huì)等大型活畫(huà)面1畫(huà)面1畫(huà)面4畫(huà)面7畫(huà)面2畫(huà)面5多屏同看面面4畫(huà)面3面面2九屏導(dǎo)視畫(huà)中畫(huà)圖2畫(huà)中畫(huà)、多屏同看、九屏導(dǎo)視示意圖a)傳統(tǒng)的多視角視頻業(yè)務(wù)，其特點(diǎn)是視角的數(shù)量較少，各視角的畫(huà)面一般不存在相關(guān)性，視角間的切換一般由用戶(hù)主動(dòng)發(fā)起，對(duì)切換后畫(huà)面的連續(xù)性要求不高：b)畫(huà)中畫(huà)/九屏導(dǎo)視是這種多視角業(yè)務(wù)的具體展現(xiàn)形式。畫(huà)中畫(huà)的方式，采用觀看的視點(diǎn)為大畫(huà)面，其他視點(diǎn)采用小畫(huà)面展示，在視點(diǎn)比較多時(shí)，小畫(huà)面可以翻動(dòng)，畫(huà)中畫(huà)的特點(diǎn)是用戶(hù)關(guān)注視點(diǎn)突出，播放選中窗口的聲音。九屏導(dǎo)視則可以采用類(lèi)似九宮格等方式展示，在視點(diǎn)比較多的情況下可以翻頁(yè)，可以容納更多的視點(diǎn)，信息更全面：o)連幅畫(huà)廊是多屏同看業(yè)務(wù)的一種延伸，將全景視頻平鋪展示，用戶(hù)可以全景展示比賽全貌，手指滑動(dòng)可以左右拖動(dòng)選擇視窗。圖3是連幅畫(huà)廊示意圖：d)主輔視角同播也是多視角場(chǎng)景之一，與多屏同看不同的是，其主視角和多路輔助視角同時(shí)播放，時(shí)間同步；內(nèi)容展示的是同一場(chǎng)景的不同角度、不同細(xì)節(jié)(全景/局部)用戶(hù)通過(guò)自主選擇對(duì)主輔屏進(jìn)行切換，從而切換觀看視角。圖4是主輔視角同播示意輔視角3主視角輔視角1圖4主輔視角同播示意圖6.2子彈時(shí)間類(lèi)應(yīng)用場(chǎng)品子彈時(shí)間是用電子計(jì)算機(jī)輔助的攝影技術(shù)模擬變速特效，例如強(qiáng)化的慢鏡頭、時(shí)間靜止等效果。子彈時(shí)間類(lèi)基于多攝像頭的智能拍攝系統(tǒng)，通過(guò)模擬變速特效，實(shí)現(xiàn)如強(qiáng)化的慢鏡頭、時(shí)問(wèn)靜止等效果，子彈時(shí)間目前己被廣泛應(yīng)用在電影、電視、廣告及游戲特效中。子彈時(shí)間類(lèi)業(yè)務(wù)特點(diǎn)是不但在時(shí)間上有特殊變化，而且在空間上也有特殊變化，如在慢鏡頭條件下通過(guò)時(shí)間和空間變化，或拍攝角度變化，實(shí)現(xiàn)視頻特效(如子彈級(jí)慢飛過(guò)頭頂?shù)绕匠２荒芤?jiàn)到的景象)、在慢鏡頭的同時(shí)拍攝角度也圍繞場(chǎng)景旋轉(zhuǎn)，這些效果是傳統(tǒng)攝影技術(shù)無(wú)法實(shí)現(xiàn)的，例如在極短時(shí)間內(nèi)攝影機(jī)的空間變化中，只有通過(guò)部署多臺(tái)環(huán)繞場(chǎng)景的攝像機(jī)或者虛擬攝影機(jī)(通常用計(jì)算機(jī)模擬)才可能“拍攝”出子彈時(shí)間的效果。6.3精彩瞬間類(lèi)應(yīng)用場(chǎng)景精彩降間類(lèi)業(yè)務(wù)利用分布在場(chǎng)地四周的攝像機(jī)采集同一物體/場(chǎng)景全部角度信息，采集信息傳輸?shù)揭曨l處理服務(wù)器，通過(guò)專(zhuān)用剪輯軟件實(shí)現(xiàn)多個(gè)關(guān)鍵時(shí)間點(diǎn)的切片視頻。該視頻可以導(dǎo)入導(dǎo)播合進(jìn)行節(jié)目直播或錄播，支持時(shí)空凝結(jié)、動(dòng)態(tài)流轉(zhuǎn)、慢動(dòng)作、拉進(jìn)拉遠(yuǎn)及組合等多種特效模式。例如，在球場(chǎng)部署自由視角拍攝系統(tǒng)，全方位的記錄發(fā)球、擊球的各角度信息，可多次生成同一場(chǎng)景的各類(lèi)時(shí)間切片視頻精彩瞬間類(lèi)視頻業(yè)務(wù)是一段時(shí)間軸上、全方位的觀看具體的場(chǎng)景或者事物的運(yùn)動(dòng)畫(huà)面。比如在體育動(dòng)作教學(xué)過(guò)程中觀看整個(gè)動(dòng)作多方位的細(xì)節(jié)在體育直播中觀看精彩射門(mén)，或者判斷球員是否越位等。精彩瞬間類(lèi)業(yè)務(wù)的主要特點(diǎn)是視頻觀看視角是由導(dǎo)播控制的，用戶(hù)不能自主改變視角。6.4自由視角類(lèi)應(yīng)用場(chǎng)景自由視角類(lèi)視頻業(yè)務(wù)利用安裝在場(chǎng)地四周的攝像機(jī)實(shí)時(shí)采集同一物體/場(chǎng)景全部角度信息，實(shí)時(shí)傳輸至本地或云端服務(wù)器。用戶(hù)可以通過(guò)手機(jī)終端對(duì)屏幕滑動(dòng)，自由選擇觀看角度，實(shí)現(xiàn)視頻內(nèi)容的千人千面，體驗(yàn)不同角度帶來(lái)的參與感、交互感的觀看視頻新體驗(yàn)自由視角類(lèi)視頻業(yè)務(wù)與精彩瞬間類(lèi)業(yè)務(wù)相似，但自由視角類(lèi)視頻業(yè)務(wù)強(qiáng)調(diào)用戶(hù)的自由選擇權(quán)，即用戶(hù)可自由的切換或選擇不同的觀看角度和觀看興趣點(diǎn)表1為傳統(tǒng)多視角視頻和新興多視角視頻在視角分辨率等方面的對(duì)比。表1傳統(tǒng)多視角視頻和新興多視角視頻的對(duì)比熟及率目前以主多視角 的范圍要求高7多視角視頻業(yè)務(wù)功能需求7.1視頻源屬性要求多視角視頻業(yè)務(wù)給用戶(hù)呈現(xiàn)的畫(huà)面的受多個(gè)因素影響，以下是主要影響因子。a)多視角視頻質(zhì)量影響因子數(shù)包括傳統(tǒng)因子，如：1)視頻分辨率：衡量圖像/視頻的精細(xì)程度，多視角視頻分辨率由于視野范圍有限，有部分視頻并不會(huì)在終端呈現(xiàn)，因此建議分辨率可統(tǒng)一使用PPD來(lái)表示。PPD越大，觀看清斷度越高，當(dāng)PPD達(dá)到60(人眼視網(wǎng)膜極限)時(shí)觀看清晰度最高，建議普通標(biāo)清視頻的PPD約為11,高清的PPD約為20;2)視頻幀率：以幀為單位的圖像連續(xù)呈現(xiàn)的頻率，幀率越高則流暢度越好，宜最低3)視頻碼率：視頻文件在單位時(shí)間內(nèi)的數(shù)據(jù)流量，碼率越高則視頻畫(huà)面更清晰，畫(huà)質(zhì)更高；4)動(dòng)態(tài)范圍：宜采用HDR技術(shù)拍攝視頻，能夠展現(xiàn)出更豐富的高亮與低暗部分的亮度變化細(xì)節(jié)：5)色域：宜采集BT.2020,能夠展現(xiàn)更接近真實(shí)世界的色彩范圍6)位深：宜10bit及以上，能夠量化的顏色種類(lèi)更多，表現(xiàn)的顏色細(xì)節(jié)也更為細(xì)膩b)多視角業(yè)務(wù)視頻源也需考慮自身業(yè)務(wù)特征，如：1)自由導(dǎo)播：可支持用戶(hù)自主切換視角及自主播放子彈時(shí)間：2)視角需求：自由視點(diǎn)根據(jù)用戶(hù)可旋轉(zhuǎn)的角度和旋轉(zhuǎn)順滑度考慮，相機(jī)部署數(shù)目和7虛擬視角個(gè)數(shù)要求：——旋轉(zhuǎn)120°視角，推薦部署相機(jī)數(shù)目(16-24)個(gè)，虛擬視角不少于32個(gè)：——旋轉(zhuǎn)180°視角，推薦部署相機(jī)數(shù)目(24-32)個(gè)，虛擬視角不少于48個(gè)：——旋轉(zhuǎn)360°視角，推薦部署相機(jī)數(shù)目(48-72)個(gè)，虛擬視角不少于96個(gè)。3)視角音頻需求：攝像機(jī)話(huà)筒能采集現(xiàn)場(chǎng)細(xì)節(jié)聲和環(huán)境氣氛聲，能加嵌現(xiàn)場(chǎng)評(píng)論聲后制成一路混合評(píng)論聲，支持多聲道。4)特效需求；多視角視頻子彈時(shí)間場(chǎng)景中，用電子計(jì)算機(jī)輔助的攝影技術(shù)模擬變速特效，例如強(qiáng)化的慢鏡頭、時(shí)間靜止等效果：子彈時(shí)間類(lèi)基于多攝像頭的智能拍攝系統(tǒng)，通過(guò)模擬變速特效，實(shí)現(xiàn)如強(qiáng)化的慢鏡頭、時(shí)間靜止等效果7.2播放功能需求多視角業(yè)務(wù)播放功能除了包含傳統(tǒng)的視頻播放功能需求，還包含其特有的功能需求。a)多視角業(yè)務(wù)播放功能包括傳統(tǒng)的功能要求，如：-—多視角、連幅畫(huà)廊、自由視角支持RISP、HLS等點(diǎn)播——多視角播放，支持同步快進(jìn)快退。2)直播：多視角、連幅畫(huà)廊、自由視角支持RTSP、HLS等直播—多視角、連幅畫(huà)廊、自由視角支持RTSP、HLS等時(shí)移——多視角播放，支持同步時(shí)移4)回看：多視角多視角、連幅畫(huà)廊，自由視角支持直播錄制，回看功能。b)多視角業(yè)務(wù)播放功能也應(yīng)包括其的特有的功能要求，如1)子彈時(shí)間：點(diǎn)播/直播過(guò)程中暫停畫(huà)面，切換到子彈時(shí)間視頻，支持順時(shí)針旋轉(zhuǎn)和逆時(shí)針旋轉(zhuǎn)。2)旋轉(zhuǎn)點(diǎn)播/直播過(guò)程中旋轉(zhuǎn)畫(huà)面，進(jìn)行自由視角切換，支持順時(shí)針旋轉(zhuǎn)和逆時(shí)針旋轉(zhuǎn)。3)精彩瞬間：直播/提前錄制的一段視頻片段，在點(diǎn)播過(guò)程中點(diǎn)擊時(shí)間切片列表，插放精彩瞬間片段?！С秩我鈺r(shí)間點(diǎn)的靜態(tài)視點(diǎn)切換——支持任意時(shí)間點(diǎn)的動(dòng)態(tài)視點(diǎn)切換；——視點(diǎn)A直接切換到視點(diǎn)B,不連接特效視頻。交互功能涉及到觸摸屏客戶(hù)端和遙控器類(lèi)客戶(hù)端b)口遙控器類(lèi)客戶(hù)端由模擬遙控器操作來(lái)實(shí)現(xiàn)交互，如機(jī)頂盒。1)多路視頻同時(shí)播放(一般為橫屏模式),如1+3模式2)單擊小窗口，進(jìn)行大小屏位置調(diào)整3)雙擊大窗口，大窗口全屏播放4)單擊大窗口，調(diào)出播放控制菜單或功能條，進(jìn)行播放功能操作。包括快進(jìn)快退功能，倍速播放或拖動(dòng)播放等；5)同步時(shí)移：時(shí)移操作時(shí)，所有畫(huà)面同步時(shí)移1)左右滑動(dòng)，選擇播放的視頻，滑動(dòng)過(guò)程中，所有畫(huà)面連續(xù)播放：停止滑動(dòng)后，畫(huà)廊位置移動(dòng)停止，畫(huà)面連續(xù)播放2)雙擊某播放窗口，切換到該路碼流的全屏播放狀態(tài)：3)再次雙擊，返回到畫(huà)廊模式，畫(huà)廊模式下單擊調(diào)出播控菜單。1)手指滑動(dòng)，自動(dòng)平滑切換視角，視角的切換要求響應(yīng)時(shí)間在200ms以?xún)?nèi)；2)通過(guò)播控菜單/播控條或手指在屏幕上滑動(dòng)，進(jìn)行時(shí)移操作(快進(jìn)快退功能，倍速播放或拖動(dòng)播放等),在時(shí)移操作時(shí)，視角不變；3)單擊“子彈時(shí)間/精彩瞬間”按鍵進(jìn)入子彈時(shí)間/精彩腳間模式。7.3.2遙控器類(lèi)客戶(hù)端交互需求遙控器類(lèi)客戶(hù)端交互需求包括：1)多屏同看播放模式下，遙控器選擇一路小窗口視頻，按OK鍵選中小窗口，92)當(dāng)焦點(diǎn)在大窗口視頻上，選擇OK鍵進(jìn)入全屏播放，當(dāng)焦點(diǎn)在大窗口視頻上，按上下健調(diào)出播放控制菜單或功能條，進(jìn)行播放功能的操作，包括時(shí)移操作(快進(jìn)快退功能，倍速播放或拖動(dòng)播放等):3)同步時(shí)移：時(shí)移操作時(shí)，所有畫(huà)面同步時(shí)移。e)連幅畫(huà)庫(kù)交互需求1)按左右鍵可以選擇播放的視頻，焦點(diǎn)移動(dòng)進(jìn)行滑動(dòng)，滑動(dòng)過(guò)程中所有畫(huà)面連續(xù)播放，停止滑動(dòng)后，畫(huà)廊位置移動(dòng)停止，畫(huà)面連續(xù)播放2)當(dāng)對(duì)焦點(diǎn)在畫(huà)廊可見(jiàn)部分某播放窗口時(shí)，調(diào)出播控菜單，支持全屏播放功能，即切