2024 全球6G技術(shù)大會 -10.0R 6G+未來電視視頻應(yīng)用場景需求與技術(shù)解析

前言 21、從5G向6G，新視頻應(yīng)用與新終端的發(fā)展特點及技術(shù)需求 31.13D技術(shù)與應(yīng)用的發(fā)展趨勢 31.2VR/XR技術(shù)與應(yīng)用的發(fā)展趨勢 42、“未來電視”不同終端應(yīng)用場景的特點及技術(shù)需求 52.1“未來電視”的概念與發(fā)展趨勢 52.2呈現(xiàn)方式多樣化與視聽體驗沉浸化制作的特點 52.36G+超高清相關(guān)應(yīng)用場景的發(fā)展 143、8KVR沉浸式視頻直播的技術(shù)流程與特點 203.18KVR直播系統(tǒng)整體框架 203.2VR內(nèi)容采集與拼接 213.3VR視頻編碼 213.4VR內(nèi)容分發(fā) 233.5VR流媒體傳輸 23 243.78KVR現(xiàn)場直播系統(tǒng)的技術(shù)特點 244.未來電視對6G移動網(wǎng)絡(luò)的需求 28 30參與單位及人員 322/32從中國進(jìn)入5G時代伊始，5G+超高清技術(shù)與應(yīng)用結(jié)合，成為了5G相關(guān)應(yīng)用中發(fā)展和普及速度最快的場景。大量優(yōu)質(zhì)超高清內(nèi)容的涌現(xiàn)滿足了5G移動終端的用戶體驗需求，特別是4K、8K直播場景借助于5G“大帶寬、低延時”特性，為制作域提供了更高效、靈活的大帶寬無線傳輸方案。同時，超高清技術(shù)作為5G技術(shù)拓展的核心支撐技術(shù)，賦能于多個領(lǐng)域的跨行業(yè)數(shù)字化轉(zhuǎn)型，為工業(yè)、醫(yī)療、軍事、教育等提供了更豐富的數(shù)字解決方案。隨著移動通信技術(shù)的進(jìn)一步發(fā)展，下一代移動通信技術(shù)6G概念推出與更多應(yīng)用場景的需求涌現(xiàn)，“更大帶寬”、“更低延時”的技術(shù)迭代升級和超高清8K、沉浸式交互式視頻體驗應(yīng)用開發(fā)，推動了VR/XR與3D立體呈現(xiàn)等新的終端體驗的快速發(fā)展。廣大用戶也將充分享受到新技術(shù)、新終端升級帶來的全新視聽和感觀體驗。廣電總局等多部委從2023年開始推動中國面向“未來電視”的發(fā)展規(guī)劃，“電視”這一概念將不再局限于傳統(tǒng)平面電視這一單一平臺，戶外大屏、手機(jī)/PAD等移動互聯(lián)網(wǎng)終端、VR/AR等交互式頭顯終端、新一代3D立體呈現(xiàn)終端（包括3DLED屏幕，應(yīng)用裸眼3D技術(shù)的手機(jī)和PAD等）乃至一些還在開發(fā)中尚未面世的新型視頻終端載體，都將成為“未來電視”理念中的“電視”內(nèi)容傳播載體。每一個視頻終端載體的呈現(xiàn)方式不同，使用場景也有差異，對于技術(shù)規(guī)格的需求也不盡相同。但是，觀眾對于視聽體驗的質(zhì)量隨著技術(shù)優(yōu)化而不斷升級的愿望是不會改變的，4K/8K及HDR、三維聲等新型視聽技術(shù)的加持，更大尺寸的平面終端，VR等超大視角范圍的交互式終端，都對8K分辨率、高幀率以及更大的實時傳輸能力提出要求；同時不可忽視的一點，用戶對于不同終端之間的視頻內(nèi)容切換，如手機(jī)到大屏到頭顯等不同終端之間（“屏”與“屏“之間的，廣電、運營商、自媒體等不同內(nèi)容提供方的內(nèi)容在不同終端之間的顯示投射方式的轉(zhuǎn)換）的“投射”轉(zhuǎn)換的平滑程度（無縫和高同步、無延時感的信號切換銜接能力對于最終用戶的體驗感受同樣至關(guān)重要。本白皮書主要針對于“未來電視“所涉及場景中對于多重直播應(yīng)用的特點、技術(shù)需求、建議解決方案，以及與6G技術(shù)和應(yīng)用場景如何更緊密結(jié)合，實現(xiàn)更多創(chuàng)新型的內(nèi)容直播、體驗及跨行業(yè)應(yīng)用解決方案提供相關(guān)建議和參考。3/321、從5G向6G，新視頻應(yīng)用與新終端的發(fā)展特點及技術(shù)需求用戶對豐富應(yīng)用的需求，驅(qū)動了網(wǎng)絡(luò)技術(shù)的不斷升級。從通信領(lǐng)域提出6G的概念到今天，6G標(biāo)準(zhǔn)、技術(shù)、應(yīng)用得到快速發(fā)展。技術(shù)的迭代升級也加速了應(yīng)用創(chuàng)新，如果說3G推動了微博、推特等社交媒體，4G推動了微信、電商等應(yīng)用場景，5G帶來高清的移動短視頻、互動直播體驗，也同時加速垂直行業(yè)的數(shù)字化轉(zhuǎn)型。6G網(wǎng)絡(luò)正在逐步走來，6G將使用中頻率上段等更多頻段進(jìn)一步提升網(wǎng)絡(luò)傳輸速率。同時需要借助新能力、新應(yīng)用場景來兌現(xiàn)網(wǎng)絡(luò)價值，賦能千行百業(yè)，通過應(yīng)用創(chuàng)新加速產(chǎn)業(yè)和商業(yè)的正循環(huán)。6G網(wǎng)絡(luò)的峰值傳輸速率將達(dá)到100Gbps以上，大幅超過了5G網(wǎng)絡(luò)的10Gbps，理論上通信時延僅為0.1毫秒，也只有5G的十分之一。這樣的技術(shù)規(guī)格，即使是用于專業(yè)超高清4K/8K廣電視頻制作領(lǐng)域，已經(jīng)能夠達(dá)到有線無壓縮傳輸?shù)募夹g(shù)規(guī)格，理論上可以大幅降低過去由于視頻信號深度壓縮帶來的編解碼延時，所以實際發(fā)生的延時總量（鏈路+處理）也將大大降低，過去無線傳輸所帶來的時延影響對專業(yè)化制作帶來的不便，也將從根本解決，同時也為更多的視頻應(yīng)用創(chuàng)新帶來了可能。而5G向著6G演進(jìn)，將為消費者帶來哪些與眾不同的應(yīng)用創(chuàng)新？這些應(yīng)用創(chuàng)新何時能實現(xiàn)規(guī)?；逃寐涞啬?？目前圍繞視頻應(yīng)用場景，我們認(rèn)為在6G階段，在原有的5G+4K/8K超高清技術(shù)結(jié)合基礎(chǔ)之上，裸眼3D的應(yīng)用以及VR/XR等場景隨著新終端不斷升級將迎來新的爆發(fā)增長機(jī)會。1.13D技術(shù)與應(yīng)用的發(fā)展趨勢隨著5G技術(shù)發(fā)展，消費者業(yè)務(wù)呈現(xiàn)云化、3D化和智能化的新趨勢。同傳統(tǒng)2D視頻相比，3D視頻同樣經(jīng)歷了漫長的發(fā)展過程，雖然受制于制作技術(shù)的復(fù)雜和成本、播放終端的技術(shù)局限（包括院線和頭戴式終端）、舒適性體驗等不足，市場占有率一直受限，目前尚不具備替代2D成為主流的實力。然而觀眾對于3D體驗的喜愛以及對3D應(yīng)用場景的消費意愿卻始終不減，在主題公園（迪斯尼樂園、環(huán)球影城等）、電影院線（特別是科幻類、動畫等題材）中3D體驗和影片的票房及受歡迎程度，充分證明3D技術(shù)與應(yīng)用具備足夠的市場競爭力。事實上，3D的發(fā)展和關(guān)注度隨著各種缺陷與不足，雖然不斷經(jīng)歷起伏變化，但隨著鏈路中各個環(huán)節(jié)技術(shù)的不斷升級，幾乎每十到十五年都會迎來一次爆發(fā)。上一次的爆發(fā)點是2010年前后隨著電影《阿凡達(dá)》的上映，3D數(shù)字院線普及觸發(fā)了優(yōu)質(zhì)3D體驗的升級，以及同階段3D電視面世引發(fā)銷售推廣熱潮，3D電視頻道不斷涌現(xiàn)，帶來了一次3D爆發(fā)式增長。然而隨著內(nèi)容制作的復(fù)雜性及高昂成本，終端體驗的舒適度和佩戴3D眼鏡帶來的不便，裸眼終端清晰度不足和效果不佳等問題，和后來快速普及的4K超高清終端相比，3D終端缺乏足夠的市場競爭力，在2016年前后3D又步入低潮期。2021年5月舉行的谷歌I/O大會上，谷歌公布了全息視頻聊天技術(shù)ProjectStarline（3D視頻聊天室基于計算機(jī)視覺、機(jī)器學(xué)習(xí)、空間音頻和數(shù)據(jù)壓縮技術(shù)打造的突破性光場顯示系統(tǒng)，旨在取代一對一的2D視頻電話會議，讓用戶感覺就像坐在真人面前一樣的溝通交互體驗，在行業(yè)內(nèi)引發(fā)了巨大反響。4/32近兩年來，新一代的3D顯示終端開始逐步成熟，包括中興電子發(fā)布的裸眼3DPAD，GOOVIS等廠家推出了可以直連5G手機(jī)的“頭戴式家庭影院”便攜型頭顯，將優(yōu)質(zhì)3D內(nèi)容體驗與5G移動終端緊密綁定；再加上VR頭顯終端本身也是3D內(nèi)容體驗的載體之一，新一代的便攜型終端出現(xiàn)也為3D再次復(fù)蘇提供了絕佳機(jī)會。伴隨3D云化視頻、裸眼3D通話、XR元宇宙等應(yīng)用創(chuàng)新，特別是超高清技術(shù)賦能于3D內(nèi)容制作與現(xiàn)實，將過去的高清3D提升到4K3D水平，真實感、沉浸感大幅升級，同時對現(xiàn)有網(wǎng)絡(luò)也提出更高要求，從云到終端的網(wǎng)絡(luò)傳輸要求更快。6G技術(shù)讓消費者未來不僅可在家里觀看裸眼3D視頻，也可在戶外、地鐵、公交車等地方隨時用手機(jī)、專用設(shè)備體驗3D視頻等豐富應(yīng)用。裸眼3D產(chǎn)業(yè)發(fā)展，離不開優(yōu)秀的視頻內(nèi)容特別是直播內(nèi)容支撐。6G提供的網(wǎng)絡(luò)高帶寬，以及快速發(fā)展的AIGC，將大幅提升內(nèi)容創(chuàng)作的效率和質(zhì)量，勢必將極大促進(jìn)3D裸眼視頻等的產(chǎn)業(yè)應(yīng)用的快速發(fā)展。1.2VR/XR技術(shù)與應(yīng)用的發(fā)展趨勢在5G時代，5G+VR已經(jīng)成為了5G標(biāo)準(zhǔn)化應(yīng)用場景之一，而各大視頻和游戲平臺已經(jīng)出現(xiàn)一批虛擬現(xiàn)實（VR）類應(yīng)用，比如VR全景視頻、VR云游戲等。在8K技術(shù)的加持之下，VR視頻內(nèi)容的呈現(xiàn)效果大幅提升，特別是當(dāng)蘋果VISIONPRO以單目4Kx4K的LED分辨率加持，在接近100°沉浸視角下實現(xiàn)了35-37PPD的高解析力，將VR頭顯終端的還原力提升到了前所未有的高度?？梢哉f，在360°VR的全沉浸視角下，8K乃至今后更高級別的清晰度規(guī)格真正成為了剛需。隨著優(yōu)質(zhì)8K及以上分辨率級別VR直播內(nèi)容不斷涌現(xiàn)，規(guī)?；某两絻?nèi)容實現(xiàn)高效量產(chǎn)，借助于6G大帶寬的傳輸能力和低延時優(yōu)勢，為觀眾能夠提供適配8K以上更高分辨率量級的高碼率實時數(shù)據(jù)傳輸能力及低延時交互響應(yīng)，高清晰的立體空間視頻借助于新一代的VR頭顯終端，可能將真正成為互聯(lián)網(wǎng)時代用戶的新寵。同時，擴(kuò)展現(xiàn)實（XR）作為元宇宙的重要技術(shù)支撐，越來越受到業(yè)界關(guān)注。隨著頭顯的輕便化發(fā)展，增強(qiáng)現(xiàn)實（AR）、混合現(xiàn)實（MR）類應(yīng)用也越來越多。目前這些頭顯主要通過有線或者Wi-Fi連接到服務(wù)器，而這限制了用戶使用業(yè)務(wù)的范圍。隨著未來6G網(wǎng)絡(luò)覆蓋的逐漸完善，6G超大帶寬、超低時延、超高速率的連接特性可滿足更廣泛的XR業(yè)務(wù)的需求。隨著更多新視頻應(yīng)用場景和終端在6G時代的不斷涌現(xiàn)，我們可以預(yù)測在不遠(yuǎn)的將來，觀眾無論身處何處，都可以采用不同的體驗方式（大屏超高清、手機(jī)豎屏、3D電視、VR和AR等，或者戶外車載設(shè)備、互聯(lián)網(wǎng)接入設(shè)備、帶有觸覺感知的體驗設(shè)備）來觀看節(jié)目內(nèi)容，并根據(jù)自身的需求和喜好，形成多樣化的觀看及交互體驗。2、“未來電視”不同終端應(yīng)用場景的特點及技術(shù)需求2.1“未來電視”的概念與發(fā)展趨勢“未來電視”是一個廣義的視聽概念，它代表著視聽產(chǎn)業(yè)的未來發(fā)展趨勢。它不止于電視，是新的理念模式，是系統(tǒng)性、革命性的迭代升級。其中的主要特征包括：呈現(xiàn)方式多樣化、視聽體驗沉浸化、應(yīng)用場景全景化、服務(wù)形態(tài)智慧化、服務(wù)供給協(xié)同化。其中，呈現(xiàn)方式多樣化表示，呈現(xiàn)載體不限于電視機(jī)，可能是生活中隨處可見的各種顯示介質(zhì)，包括各種手持終端、可穿戴設(shè)備、室外大屏等各類顯示載體；視聽體驗沉浸化，包括超高清、沉浸式、三維聲、VR/AR、MR、XR、互動視頻、自由視角、立體3D、全息成像等多種體驗方式，觀眾可以自由選擇視聽服務(wù)。應(yīng)用場景全景化希望實現(xiàn)在生活中需要視聽的各種場景中應(yīng)用，全方位融入群眾的數(shù)字生活。服務(wù)形態(tài)智慧化則考慮將實現(xiàn)現(xiàn)實世界和虛擬世界的緊密融合，節(jié)目內(nèi)容自由選擇、實時交互、需求定制、智慧分發(fā)，高度人性化，將帶來豐富的互動體驗，滿足消費者多層次需求。服務(wù)供給協(xié)同化，“未來電視”將帶動行業(yè)上下、內(nèi)外大協(xié)同、大融合，形成網(wǎng)絡(luò)互聯(lián)、業(yè)務(wù)互通、數(shù)據(jù)共享的全新制播體系、服務(wù)體系和管理體系。圖2.1.1視聽體驗多樣化和沉浸化，不同終端載體為觀眾提供更豐富的視聽選擇2.2呈現(xiàn)方式多樣化與視聽體驗沉浸化制作的特點一方面，面向不同媒體終端提供針對性更強(qiáng)的定制內(nèi)容體驗，已經(jīng)成為了剛需。無論6/32身處何處，觀眾可以采用不同的體驗方式（大屏超高清、3D電視、VR和AR等，或者戶外車載設(shè)備、互聯(lián)網(wǎng)接入設(shè)備、帶有觸覺感知的體驗設(shè)備）來觀看相同的節(jié)目內(nèi)容，形成多樣化的觀看體驗。圖2.2.1“未來電視“場景下將面對豐富的終端體驗圖2.2.2“元演播室“復(fù)合型節(jié)目制作形態(tài)為“未來電視“提供多形式內(nèi)容7/32圖2.2.3不同拍攝前端，基于標(biāo)準(zhǔn)4K/8K制播系統(tǒng)和格式，組成復(fù)合型的制作系統(tǒng)形態(tài)基于此需求和應(yīng)用場景，面向規(guī)?；墓?jié)目制作需求，可以考慮采用不同的前端拍攝設(shè)備，如4K/8K訊道轉(zhuǎn)播攝像機(jī)、8KVR攝像機(jī)、4K/3D攝像機(jī)等，遵循同一廣電制作規(guī)格，連接入4K/8K廣播級轉(zhuǎn)播系統(tǒng)，以實現(xiàn)高質(zhì)量的節(jié)目制作流程，最終通過編碼器根據(jù)不同終端及平臺的具體要求提供相應(yīng)規(guī)格的直播流，再借助5G網(wǎng)絡(luò)或者其他信道方式進(jìn)行傳輸。表2.2.1面向不同終端的制作規(guī)格參考值另一方面，視聽體驗的沉浸化，是所有視頻內(nèi)容創(chuàng)作者的終極目標(biāo)，也是視聽技術(shù)發(fā)展的源動力。我們希望創(chuàng)造出更加清晰、更為真實的視覺體驗，讓觀眾獲得身臨其境的觀感。終端的技術(shù)演進(jìn)和產(chǎn)品設(shè)計，也希望為觀眾提供更佳的沉浸式體驗。圖2.2.4采用巨幕提供盡可能大的視角范圍，是提供沉浸感體驗的常規(guī)手段為了獲得視聽體驗的沉浸感，我們首先力求為觀眾創(chuàng)造一個盡可能大的觀影范圍，盡量覆蓋觀眾的有效視野，最大程度提供有效信息（包括滿足視覺和聽覺需求）。通常60°水平視角是一個標(biāo)準(zhǔn)，一般電影院、劇場的最佳觀看位置以此定義。4K電視也以此視角來設(shè)計合理的分辨率，基于一視角分的原則（1°視角需提供不低于60個像素以保證觀看清晰最終將4K影像分辨率定義為3840x2160（寬高比16:9）。而8K（7680x4320）則在此基礎(chǔ)上進(jìn)一步提升觀影范圍，加入了更多的環(huán)境邊緣信息，使標(biāo)準(zhǔn)的觀看視角提升到96°,觀眾相當(dāng)于在1米多遠(yuǎn)的距離來觀看100寸8K電視。圖2.2.54K和8K分辨率的設(shè)計和水平視角的關(guān)系VR頭顯終端雖然體積不大，卻能夠為觀眾提供更大的觀看視野，其專門制作拍攝的VR沉浸式影像內(nèi)容可以達(dá)到180°或者360°的觀看視角，實現(xiàn)真正意義上“無邊框“的全景體驗?zāi)Ｊ健?/32圖2.2.6VR頭顯終端可提供360°的觀看視角，實現(xiàn)完全沉浸式、無邊界體驗由于VR頭顯終端所配置的LED液晶屏的視野范圍FOV都超過了90°視角，和8K大屏標(biāo)準(zhǔn)觀看影像視角接近，也就是理論上這塊LED液晶就應(yīng)該具備8K分辨率的顯示能力（PPD接近60那么對應(yīng)于360°的VR全景影像，其清晰度應(yīng)該滿足30K的水平清晰度。就目前的軟硬件制作與顯示端的處理能力，僅能滿足到8K視頻的編解碼能力，所以目前所規(guī)定的行業(yè)標(biāo)準(zhǔn)中，建議全景360°視頻達(dá)到8K分辨率，而其LED液晶屏的顯示范圍大約能接近HD高清水平，距離真正的超高清體驗尚有提升空間。圖2.2.6VR頭顯的觀看視角大于90°,8K分辨率的影像內(nèi)容只能滿足基本清晰要求隨著蘋果VISIONPRO頭顯終端的問世，“空間視頻”這一概念被廣泛提及。也包括前幾年由谷歌推出的裸眼3D全息視頻聊天技術(shù)ProjectStarline項目，都可以認(rèn)為是基于雙眼立體視覺S3D（Stereoscopic3D）呈現(xiàn)技術(shù)的進(jìn)一步升級和拓展應(yīng)用。立體影像（這里主要指雙目立體S3D基于雙眼視覺產(chǎn)生視差和視線匯聚的原理，可以使觀眾感受到真實的距離和空間感。采用雙鏡頭攝像機(jī)同步拍攝模擬人的雙眼視覺方式，可以獲得空間立體視頻，再借助于3D屏幕或者VR頭顯、AR頭顯終端就可以正確顯示出具有立體感的3D影像。3D立體效果是人類感知空間感和沉浸感的重要因素，該技術(shù)可與平面影像技術(shù)、VR/AR等顯示方式相結(jié)合，根據(jù)不同終端的視場角FOV和PPD需求，輸出如4K/HD雙目3D或者8K360°或者180°3DVR等信號，提供不同的空間立體效果。圖2.2.78K3D180°VR的沉浸式節(jié)目內(nèi)容（SidebySide方式）圖2.2.7180°3DVR與雙目3D的拍攝方式與輸出效果3D視頻與3DVR視頻相比，最大的區(qū)別在于視場角，3D視頻的視角范圍與普通2D視頻一致，主要取決于鏡頭的焦段影響，為了獲得較好的立體感，通常會采用中廣角鏡頭來覆蓋更多的空間范圍；但是也因為普通鏡頭視角范圍以及所采用的16:9畫幅比所帶來的限制，觀眾在觀看普通3D影像時，空間感和沉浸感會收到“畫框”的局限，當(dāng)立體空間中的畫面主體逐漸“走近”觀眾時，由于“畫框”的存在，主體可能無法完整的呈現(xiàn)在觀眾面前，也就是所謂的無法完整的“出屏”，觀眾會感覺不能完全融入到創(chuàng)作者所呈現(xiàn)的數(shù)字空間之中。圖2.2.8普通3D影像中的主體會受到“畫框”限制無法完整出屏3DVR影像是將全景拍攝和雙目立體拍攝兩項技術(shù)與呈現(xiàn)方式的優(yōu)勢相結(jié)合，觀眾可以在幾乎無邊框范圍的數(shù)字影像中獲得完全沉浸的效果，同時借助于3D拍攝帶來的立體視差，可以獲得極強(qiáng)的空間感，相比于普通3D影像，觀眾就可以完全進(jìn)入到3D數(shù)字空間之中，獲得真正意義上的沉浸式體驗。當(dāng)然，3DVR與普通3D還有平面大屏幕4K和8K所獲得效果不同，內(nèi)容表現(xiàn)形式和創(chuàng)作手法也不同，制作的難度也不盡相同，應(yīng)該講各有優(yōu)勢和不足，不能單純的評價孰優(yōu)孰劣。不同的制作與呈現(xiàn)技術(shù)可以根據(jù)不同內(nèi)容進(jìn)行合理的選擇，也可以在相同的場景下混合使用，為觀眾帶來不同的體驗感受，這也是“未來電視”場景下面向不同終端帶來的復(fù)合制作模式，讓觀眾根據(jù)自身喜好自由選擇希望的觀影形式。圖2.2.93D180°VR拍攝，可以將觀眾真正融入虛擬空間，獲得觸手可及的交互感在這里，超高清視音頻技術(shù)中所涉及的HDR高動態(tài)范圍、WCG寬色域技術(shù)、HFR高幀率和沉浸式空間音頻等，均可以賦能于以上提到各種終端顯示與制作系統(tǒng)中，為不同終端提供最佳的技術(shù)適配，為觀眾帶來最好的沉浸式體驗。圖2.2.10數(shù)字視音頻技術(shù)演進(jìn)方向為了保持制作、播出平臺和終端播放適配標(biāo)準(zhǔn)的統(tǒng)一性，在4K/8K領(lǐng)域的以上應(yīng)用場景，可以遵循目前國內(nèi)的超高清影像制作和傳輸標(biāo)準(zhǔn)規(guī)范?？蓞⒖贾醒霃V播電視總臺于2021年正式對外發(fā)布了《8K超高清電視節(jié)目制播技術(shù)要求（暫行）》，其中定義了國內(nèi)8K超高清電視節(jié)目視音頻基本技術(shù)參數(shù)執(zhí)行標(biāo)準(zhǔn)。以分辨率7680x4320、幀率50幀/秒、10bit量化、HDR標(biāo)準(zhǔn)HLG1000、寬色域標(biāo)準(zhǔn)BT.2020等作為8K廣電制播規(guī)格要求。如VR頭顯等終端可以根據(jù)自身的實際情況（如VR畫幅比為2:1，8K分辨率實際為7680x3840）進(jìn)行局部調(diào)整。圖2.2.11中央廣播電視總臺2021年1月發(fā)布《8K超高清電視節(jié)目制播技術(shù)要求（暫行）》中定義了8K超高清電視節(jié)目視音頻基本技術(shù)參數(shù)表同時，總臺還規(guī)定了8K超高清電視播出信號編碼標(biāo)準(zhǔn)及碼率：8K超高清電視播出信號視頻編碼時，采用AVS3標(biāo)準(zhǔn)《信息技術(shù)智能媒體編碼第2部分：視頻》（T/AI109.2—2020對8K超高清信號（7680×4320/50P/HDR）采用基準(zhǔn)10位檔（profile）、10.0.60級（level視頻編碼碼率不低于120Mbps。音頻編碼標(biāo)準(zhǔn)及碼率：采用5.1環(huán)繞聲編碼，編碼碼率為448Kbps。針對8K超高清電視互動點播，總臺規(guī)定了文件格式參數(shù)為下表要求，其中視頻編碼要求AVS3/H.266/H.265，總碼率需高于80Mbps?？梢钥吹?，隨著8K技術(shù)標(biāo)準(zhǔn)的提升，新型應(yīng)用場景對于高帶寬和低延時的實際需求，對于制作域還是傳輸域都提出了更高要求，特別是傳輸帶寬、網(wǎng)絡(luò)傳輸和處理時延、編解碼的軟硬件性能要求等，對于當(dāng)下的硬件基礎(chǔ)和網(wǎng)絡(luò)條件都提出了新的要求和挑戰(zhàn)?，F(xiàn)階段的5G網(wǎng)絡(luò)，受限于傳輸速率，及各終端的數(shù)據(jù)處理能力，必須使用高壓縮編碼（如H.265等）對4K和8K等視頻內(nèi)容進(jìn)行處理，一方面壓縮與編解碼過程對于信號本身的還原效果會帶來影響，同時編解碼所產(chǎn)生的延時量也會與信道延時疊加，從而拉開了無線鏈路與有線鏈路時延的差距。在5.5G乃至6G階段，可以逐步考慮采用低壓縮視頻編碼如JPEG-XS等，使用更低的壓縮比（如對8K信號采用10:1壓縮比，將單路數(shù)據(jù)量控制在1-10Gbps范圍內(nèi)）和相對計算復(fù)雜度低的編解碼處理過程獲得更高質(zhì)量的信號，同時降低編解碼端的整體延時。圖2.2.12中央廣播電視總臺2021年1月發(fā)布《8K超高清電視節(jié)目制播技術(shù)要求（暫行）》中定義了8K超高清電視互動點播文件格式參數(shù)2.36G+超高清相關(guān)應(yīng)用場景的發(fā)展5G發(fā)展初期，將5G+4K作為典型應(yīng)用場景，基于5G無線網(wǎng)絡(luò)“大帶寬”主要特性，滿足超高清內(nèi)容傳輸?shù)男枨?，同時借助“切片“技術(shù)，實現(xiàn)可靠穩(wěn)定傳輸鏈路，替代有線專線網(wǎng)絡(luò)或者光纖、衛(wèi)星傳輸，提供更高性價比的傳輸方案。在此基礎(chǔ)之上，進(jìn)一步發(fā)揮網(wǎng)絡(luò)優(yōu)勢，拓展應(yīng)用場景，為觀眾提供“多視角自由切換“等新交互功能體驗，實現(xiàn)多路HD或4K信號的并行同步傳輸，基于”邊緣計算“部署，完成超低延時的高質(zhì)量信號同步切換和處理能力，讓觀眾獲得無延遲感的內(nèi)容平滑切換體驗，將”大帶寬“帶來的高畫質(zhì)與”低延時“帶來的強(qiáng)交互能力更好結(jié)合。圖2.3.15G+超高清+多視角結(jié)合，帶來更好的交互式用戶體驗圖2.3.25G+4K+多視角制作系統(tǒng)框圖面向移動終端的豎屏制作，其制作系統(tǒng)本質(zhì)與橫屏并無區(qū)別，主要是畫幅和構(gòu)圖的變化。在制作手段上，可以直接采用攝像機(jī)豎置直接拍攝9:16畫面，也可以基于4K或8K橫屏拍攝后通過后端進(jìn)行豎屏裁切輸出，也可以兩個方式組合使用。呈現(xiàn)方式也可以根據(jù)用戶觀看習(xí)慣和導(dǎo)演設(shè)計，發(fā)揮豎屏觀看的特點及用戶交互式需求，引入一些新的表現(xiàn)方式，如雙屏縱向顯示帶來多視角、多場景體驗等，與橫屏的觀看形式和內(nèi)容形成更好的差異化。圖2.3.32024中央廣播電視總臺春晚豎屏直播采用了豐富的鏡頭拼接組合，為豎屏營造不同于橫屏的豐富體驗5G+VR的應(yīng)用同樣是最先出現(xiàn)的5G落地場景之一，而隨著8K技術(shù)逐漸成熟，VR頭顯終端的配置逐步升級并支持8K信號的實時解碼能力，相比于4KVR在全景視頻下的清晰度依然稍顯不足，8K的高分辨率真正實現(xiàn)了VR體驗的清晰真實感受，5G+8K+VR成為剛需。字節(jié)跳動旗下的VR平臺PICO在2022年4月舉辦的王晰演唱會中首次實現(xiàn)8K3DVR實時互動演唱會，而后鄭鈞、汪峰的演唱會也均采用8K3D180°VR+實時互動的形式。這幾次演唱會在清晰度、視角設(shè)置、場景交互等關(guān)鍵觀感因素方面實現(xiàn)巨大突破，VR直播體驗大幅提高。圖2.2.4PICO8K3DVR鄭鈞演唱會直播虛實結(jié)合體驗效果2023年，4K花園與中國移動咪咕合作，面向移動終端咪咕VR平臺和頭顯終端咪咕云VR平臺用戶，提供定制化演藝內(nèi)容8KVR直播，包括LIVEHOUSE和CGT48女團(tuán)現(xiàn)場等精彩內(nèi)容，為VR平臺注入不斷更新的高質(zhì)量、高清晰的直播VR節(jié)目。區(qū)別于以往節(jié)目的現(xiàn)場VR套拍模式，該檔節(jié)目的制作方式完全以VR終端用戶的沉浸式和臨場感體驗為優(yōu)先，還加入了虛實結(jié)合的制作手段，提供了“觀眾藝人面對面“近距離、沉浸式和交互式體驗。圖2.2.54K花園與中國移動咪咕合作推出8KVR現(xiàn)場奔赴計劃，為VR觀眾提供面對面的沉浸交互體驗除了線上用戶的VR頭顯終端，8KVR直播應(yīng)用場景還可以面向線下用戶設(shè)計更多沉浸式場景和體驗方式。包括將全景直播影像通過大尺寸半球幕LED屏方式呈現(xiàn)，以類似XR的技術(shù)方式，觀眾無需佩戴VR眼鏡就可以獲得如同身臨現(xiàn)場的真實體驗。圖2.2.68KVR直播也可以在全景式LED屏上投放，為線下觀眾提供現(xiàn)場沉浸體驗4K花園與中國傳媒大學(xué)合作在2023級中傳開學(xué)典禮中，使用多機(jī)位8KVR直播系統(tǒng)及VR群播呈現(xiàn)方案，實現(xiàn)線下群體沉浸直播觀影體驗，該場景也可應(yīng)用于更廣泛的跨行業(yè)應(yīng)用中，如文旅和商業(yè)活動、醫(yī)療教學(xué)直播、工業(yè)現(xiàn)場檢測、教育教學(xué)和沉浸式體育健身等。圖2.2.74K花園與中國傳媒大學(xué)合作在開學(xué)典禮中實現(xiàn)多機(jī)位VR直播和現(xiàn)場群體VR觀看圖2.2.86G+8KVR多機(jī)位直播及線上、線下觀影體驗系統(tǒng)框圖圖2.2.96G+8KVR直播場景的多行業(yè)跨領(lǐng)域應(yīng)用方式2023年起一批新的3D顯示終端逐漸涌現(xiàn)，特別是移動端手機(jī)、PAD、便攜AR頭顯等產(chǎn)品，可以基于5G、5.5G技術(shù)加持實現(xiàn)更好的移動式立體觀影體驗，無論是3D空間視頻體驗，或者是基于商用3D模型應(yīng)用開發(fā)等，在娛樂、教育、工業(yè)、醫(yī)療等場景中均能廣泛應(yīng)用。其終端特點相對于VR頭顯來說，更偏輕量級，制作復(fù)雜度也相對較低，更利于普及。圖2.2.103DLED大屏、裸眼3DPAD、3D頭戴頭顯等新型3D顯示終端目前市面上常見的AR頭顯和3D裸眼PAD等移動終端，屏幕的3D顯示分辨率通常在高清1080P水平，也可以支持4K3D的解碼，所以制作端可以根據(jù)需要來輸出4K或HD級別的雙目3D信號，其直播系統(tǒng)設(shè)計與3DVR多機(jī)位直播系統(tǒng)類似，主要差異在鏡頭選擇（VR使用魚眼鏡頭，3D一般使用中廣角鏡頭）。在制作端需要支持實時的立體匯聚調(diào)整（3D出入屏控制）、3D畫面誤差校正（如雙鏡頭垂直、旋轉(zhuǎn)誤差等）以及保證高精度的雙目畫面同步等功能，以避免觀眾在觀看3D時出現(xiàn)不適感。20/32圖2.2.11小型化多機(jī)位5G+4K/HD3D直播系統(tǒng)3、8KVR沉浸式視頻直播的技術(shù)流程與特點本章節(jié)主要針對“未來電視“場景下的8K直播應(yīng)用中，較為復(fù)雜的典型應(yīng)用場景8KVR沉浸式視頻直播流程的技術(shù)特點進(jìn)行分析和描述。圖3.1.18KVR直播系統(tǒng)整體框架如圖3.1.1所示，常規(guī)8KVR直播系統(tǒng)分為8KVR內(nèi)容采集、8K實時拼接和編碼、視頻流媒體處理，CDN（ContentDeliveryNetwork）分發(fā)傳輸，終端流媒體傳輸和渲染等。主要工作流程如下：現(xiàn)場直播團(tuán)隊通過8KVR攝像機(jī)采集會場多路視頻信號并回傳到8K拼接和編碼服務(wù)器；8K拼接和編碼服務(wù)器進(jìn)行實時全景視頻拼接，并編碼成8K視頻流，然21/32后通過SRT等傳輸協(xié)議推流到直播流媒體服務(wù)器；直播流媒體服務(wù)器對8K全景直播信號進(jìn)行實時處理和編碼，生成適合傳輸和終端播放的編碼格式；直播云CDN將已經(jīng)編碼的直播流分發(fā)到用戶最近的邊緣服務(wù)器；最后終端進(jìn)行VR全景直播流的下載、解碼、渲染和呈現(xiàn)。下面對上述關(guān)鍵業(yè)務(wù)流程進(jìn)行介紹。3.2VR內(nèi)容采集與拼接VR直播要求實時的內(nèi)容生產(chǎn)，內(nèi)容采集依靠360°或180°8K攝像機(jī)。全景攝像機(jī)通常具有多個鏡頭，覆蓋當(dāng)前場景全部視角。生成的視頻分辨率越高，則需要攝像機(jī)具有越高的分辨率以及越多的鏡頭數(shù)量。直播時多個攝像頭同步拍攝生成多個不同角度的畫面內(nèi)容，隨后在內(nèi)置模塊或外置服務(wù)器上進(jìn)行拼接。目前，主流的全景攝像頭基本自帶內(nèi)置拼接模塊，支持較低分辨率的實時全景拼接。而高清晰度的8K視頻畫面由于計算復(fù)雜度較高，則需要在外置的服務(wù)器上進(jìn)行拼接。常用的視頻拼接算法可分為基于變換的圖像拼接算法和基于拼接線的圖像拼接算法。基于變換的圖像拼接算法的核心思想是通過對單應(yīng)性矩陣進(jìn)行調(diào)整，通過網(wǎng)格化的扭曲使重合區(qū)域拼接的縫隙盡可能減小，該算法適合小視角變換的情況?；谄唇泳€的圖像拼接算法核心思想是通過對圖像拼接線部分的重新調(diào)整，確保拼接的自然性,該算法適合大視角變換的情況。為了達(dá)到全方位、沉浸式渲染效果，全景視頻實際上是以球面形式呈現(xiàn)，然而其傳輸過程必須遵守現(xiàn)有的視頻編碼標(biāo)準(zhǔn)，即多相機(jī)拍攝的分視角視頻在經(jīng)過拼接后，需要映射成平面矩形幀。目前主流的映射方式有圓柱型映射ERP（Equi-RectangularProjection）和立方體映射CMP（Cube-MapProjection）兩種。圓柱型映射ERP方式與世界地圖的產(chǎn)生相類似。立方體映射CMP首先將完整球面均分為六個區(qū)域，分別投影到立方體的六個面上，其中底面、背面和頂面需要再通過特定的旋轉(zhuǎn)操作與其他三個面共同排列成矩形幀。為了提高編碼效率，三個旋轉(zhuǎn)面的操作原則是使排列時面與面銜接處的媒體內(nèi)容保持連貫性。3.3VR視頻編碼VR直播系統(tǒng)中存在兩個編碼環(huán)節(jié)，一是拼接映射的視頻需要編碼為8K的直播信號，方便再次傳輸至云端流媒體服務(wù)器；二是流媒體服務(wù)器需要將信號編碼為不同目標(biāo)碼率的適合傳輸和終端播放的編碼格式。全景視頻的編碼與2D視頻編碼方法相似，都需要采用混合編碼框架對序列進(jìn)行壓縮，但是全景視頻高分辨率、高形變的特點又使其比2D視頻編碼面臨更多困難。將傳統(tǒng)編碼方案直接用于全景視頻主要會產(chǎn)生以下問題：1）全景視頻或多或少地存在不均勻采樣，由此引入了幾何失真；2）全景視頻由球到面的投影增加了人工邊界并導(dǎo)致不連續(xù)，影響空間預(yù)測效率，編碼后視頻碼率高。以上兩點都會降低視頻編碼效率。為了克服這些困難，研究者開發(fā)了各種專用于全景視頻的編碼工具，以在編碼效率和視覺質(zhì)量之間取得更好的折衷，這些工作可分為以下幾類：.區(qū)域自適應(yīng)平滑技術(shù)。該技術(shù)的出發(fā)點是在ERP投影平面中，兩個極點附近的區(qū)域要比球形區(qū)域中實際對應(yīng)的區(qū)域大很多，而實際上人眼對其不是很敏感，因此這些區(qū)域的變形變得不那么重要。具體方案是在編碼之前對ERP投影平面的頂部和底部區(qū)域進(jìn)行平滑處理，經(jīng)過平滑處理后的編碼可以節(jié)省很多比特，因為平滑區(qū)域只需要較少的變換系數(shù)。該方案的優(yōu)點在于在節(jié)約碼率的同時幾乎不會引起22/32感知質(zhì)量的下降；缺點在于難以推廣到其他投影方式中。.率失真優(yōu)化技術(shù)。通過分析球面上的失真變化并探討其對率失真優(yōu)化過程的影響，采用修改編碼優(yōu)化目標(biāo)，實現(xiàn)了在球面上進(jìn)行率失真優(yōu)化。由于該算法是基于全景視頻的質(zhì)量評價指標(biāo)的修改，因此可應(yīng)用于各種投影。但是率失真模型的建立十分困難，由于目前它使用的依然是基于像素變化的評價指標(biāo)，并不能很好地表示人的真實主觀感受，優(yōu)化效果仍有待提高。在流媒體服務(wù)器側(cè)，流媒體服務(wù)器在接收到8K直播視頻流后，需要通過轉(zhuǎn)碼、封裝等操作，形成適合在互聯(lián)網(wǎng)上進(jìn)行傳輸?shù)腄ash、HLS等流媒體格式，并通過CDN網(wǎng)絡(luò)進(jìn)行分發(fā)和傳輸。VR常用的視頻流有兩種方式：全畫幅傳輸和基于FoV（FieldofView）的分塊傳輸。全畫幅傳輸方式將360°環(huán)繞畫面都傳輸給終端，當(dāng)用戶頭部轉(zhuǎn)動需要切換畫面時，不需額外下載任何視頻分塊，因此能夠較好地響應(yīng)用戶頭部運動。該方案的缺點在于傳輸帶寬需求非常大，現(xiàn)有網(wǎng)絡(luò)條件難以有效承載。如圖3.3.1所示，基于FoV的分塊傳輸將視頻在時間上切分為多個分片（Segment將分片在空間上劃分多個分塊（Tile每個分塊擁有不同的碼率等級。服務(wù)器對源視頻進(jìn)行轉(zhuǎn)碼，以Tile為基本單元保存不同碼率等級的視頻文件。客戶端可以根據(jù)需要進(jìn)行碼率選擇，向服務(wù)器請求指定碼率等級的分塊。碼率選擇的基本思路是為視窗內(nèi)的分塊請求高碼率，不請求或僅以較低碼率請求視窗外分塊。圖3.3.1分塊VR視頻編碼基于FoV的分塊傳輸方案雖然能在最大程度上利用帶寬，但高度依賴于視窗預(yù)測（ViewportPrediction）。預(yù)測窗口較長時，F(xiàn)oV預(yù)測算法的精度非常有限，預(yù)測視窗和實際視窗偏差較大，因此終端側(cè)的接收端緩沖區(qū)不宜過大；而網(wǎng)絡(luò)帶寬劇烈波動時，接收端需要較大長度的緩沖區(qū)以應(yīng)對抖動。兩者之間存在的天然矛盾極易造成視頻黑邊和卡頓的發(fā)生。圖3.3.2分層VR視頻編碼為了解決該問題，一種分層傳輸方式開始被廣泛使用。它將視頻的每個分段編碼成一個低分辨率（比如2K）、全畫幅的基礎(chǔ)質(zhì)量分段，以及多個高分辨率的增強(qiáng)質(zhì)量分塊。終端在觀看上述編碼的VR視頻時，需要首先下載全畫幅、低分辨率的基礎(chǔ)質(zhì)量分段，以獲得基礎(chǔ)觀看體驗；根據(jù)實際網(wǎng)絡(luò)條件，選擇性下載視場內(nèi)的增強(qiáng)質(zhì)量分塊。如果視窗預(yù)測是正確的，并且增強(qiáng)質(zhì)量分塊按時交付，這樣視窗內(nèi)的視頻質(zhì)量得以增強(qiáng)。如果預(yù)測是錯23/32誤的，或者增強(qiáng)質(zhì)量分塊從遠(yuǎn)端取回后已經(jīng)錯過了播放時限，用戶仍然可以觀看基于基礎(chǔ)質(zhì)量分段渲染的低質(zhì)量視頻。因此，這種分層全景視頻傳輸方式流在應(yīng)對動態(tài)網(wǎng)絡(luò)和視窗預(yù)測誤差方面都具備了較高的魯棒性。編碼后的多碼率全景視頻將會采用與傳統(tǒng)直播類似的方式進(jìn)行CDN分發(fā)。CDN通常采用層次化網(wǎng)絡(luò)結(jié)構(gòu)，包括中心節(jié)點、區(qū)域節(jié)點和邊緣節(jié)點。通過CDN分發(fā)網(wǎng)絡(luò)，可以快速地將8KVR直播視頻內(nèi)容推流至更接近用戶的邊緣節(jié)點，從而大量減少直播數(shù)據(jù)流在骨干鏈路中的并發(fā)數(shù)量，在提升用戶體驗的同時，可以有效降低網(wǎng)絡(luò)流量壓力。隨著5G/6G和MEC（Multi-accessEdgeComputing）技術(shù)快速發(fā)展，CDN邊緣節(jié)點可以部署在距離用戶更近的地方，比如熱點區(qū)域、5G接入網(wǎng)側(cè)等，因此更能適應(yīng)8KVR視頻直播的低時延、高帶寬需求。同時，借助虛擬化技術(shù)和人工智能技術(shù)，CDN邊緣節(jié)點可以更為高效地管理計算、存儲和網(wǎng)絡(luò)等資源，提供智能化的內(nèi)容緩存、超分辨率視頻增強(qiáng)、云渲染等能力。3.5VR流媒體傳輸在8KVR直播視頻流媒體傳輸中，自適應(yīng)碼率選擇和下載調(diào)度是重要的關(guān)鍵技術(shù)之一?？紤]到不同的編碼方式，自適應(yīng)碼率選擇是指在VR客戶端在下載高分辨率Tile分塊時，根據(jù)動態(tài)的網(wǎng)絡(luò)鏈路條件，如何選擇以哪個碼率來下載相應(yīng)的分塊；而下載調(diào)度是指，應(yīng)該何時下載基礎(chǔ)質(zhì)量分段，何時下載增強(qiáng)質(zhì)量分塊。自適應(yīng)碼率選擇和下載調(diào)度算法的目標(biāo)是如何在有限的帶寬下為用戶提供更好的用戶體驗，考慮視頻卡頓、清晰度，以及對用戶頭部運動的響應(yīng)速度等因素。自適應(yīng)碼率選擇和下載調(diào)度算法依賴于視場預(yù)測的結(jié)果，為視場內(nèi)的不同Tile選擇合適的碼率進(jìn)行下載。由于Tile碼率的選擇會影響到視頻質(zhì)量、卡頓、視頻質(zhì)量波動等決定用戶最終QoE的因素，因此上述問題是一個復(fù)雜的動態(tài)規(guī)劃問題。目前解決方案主要分為基于規(guī)則的啟發(fā)式方法和基于學(xué)習(xí)的方案。傳統(tǒng)基于規(guī)則的啟發(fā)式方案計算復(fù)雜度低，但由于其通常僅考慮短期優(yōu)化，總體性能差強(qiáng)人意；近年來，基于深度強(qiáng)化學(xué)習(xí)的方案引起了研究人員極大的興趣，其優(yōu)勢在于在特定場景下能夠?qū)W習(xí)到更優(yōu)的策略，但往往會面臨魯棒性差、計算復(fù)雜度高等問題。因此，設(shè)計低復(fù)雜度、高魯棒性的VR碼率自適應(yīng)和下載調(diào)度算法對于提升8KVR直播用戶體驗至關(guān)重要。視場預(yù)測是8KVR直播視頻流媒體傳輸?shù)牧硪豁楆P(guān)鍵技術(shù)，視場預(yù)測的準(zhǔn)確性將直接影響用戶體驗和傳輸效率。目前視場預(yù)測主要有兩種方式：一是基于用戶頭部運動歷史軌跡進(jìn)行未來視場的預(yù)測；二是基于內(nèi)容本身的視覺顯著性特征進(jìn)行預(yù)測。基于頭部運動軌跡的預(yù)測方式僅適用于短時預(yù)測，即未來1~2秒的視場預(yù)測，長期預(yù)測的準(zhǔn)確性不足；而基于視覺顯著性特征的預(yù)測方式可以反映用戶的共同關(guān)注區(qū)域，能夠用于長時預(yù)測，但是難以體現(xiàn)用戶的個性化行為，并且計算復(fù)雜度較高。因此，近年來視場預(yù)測的技術(shù)發(fā)展趨勢是將二者結(jié)合起來進(jìn)行聯(lián)合預(yù)測，包括采用邊端協(xié)同的視場預(yù)測方法。盡管如此，低復(fù)雜度、高準(zhǔn)確性的視場預(yù)測方法仍然是當(dāng)前面臨的重要技術(shù)挑戰(zhàn)。24/328KVR通常需要在終端側(cè)進(jìn)行解碼和實時渲染，因此對于終端性能要求較高。為了降低VR終端成本，云VR方案引起了人們的廣泛關(guān)注。云VR是指云端對交互行為進(jìn)行計算，并實時渲染和編碼壓縮后，以視頻流形式推流到終端。依托于云渲染技術(shù)，云VR將VR虛擬現(xiàn)實的內(nèi)容和計算能力部署在云端，利用高速網(wǎng)絡(luò)將渲染后的圖像和聲音傳輸?shù)接脩艚K端，實現(xiàn)無需高性能設(shè)備也能享受沉浸式8KVR體驗。云VR可大幅降低用戶所需投入的硬件成本與使用門檻，用戶僅需一款輕便的頭戴顯示器或智能手機(jī)，通過云端強(qiáng)勁的GPU渲染能力，用戶可盡情享受高清晰、高幀率、低延遲的VR體驗，提升了VR的普及程度和便利性。云VR涵蓋的關(guān)鍵技術(shù)包括：.分布式計算和渲染。云VR將計算和圖形渲染任務(wù)從終端設(shè)備卸載到云服務(wù)器上，通過云端強(qiáng)大的計算資源進(jìn)行高效處理，減輕終端設(shè)備的負(fù)擔(dān)。考慮到8KVR直播場景，單用戶對計算資源和網(wǎng)絡(luò)帶寬需求比較高，在并發(fā)用戶較多下，分布式計算和渲染將成為一項重要關(guān)鍵技術(shù)。.低時延傳輸技術(shù)。利用5G/6G網(wǎng)絡(luò)的高帶寬和低延遲，實現(xiàn)對云端渲染的視頻流進(jìn)行快速、穩(wěn)定地傳輸?shù)浇K端設(shè)備，將有助于保障用戶體驗的即時性和流暢性。另外，將CDN等計算資源下沉到網(wǎng)絡(luò)邊緣，通過在邊緣節(jié)點進(jìn)行數(shù)據(jù)處理，減少傳輸延遲，提高用戶體驗的響應(yīng)速度，特別是在處理實時的交互和渲染任務(wù)時。.用戶交互技術(shù)。實時交互，確保云端執(zhí)行的應(yīng)用能夠?qū)崟r響應(yīng)用戶的交互操作，包括手勢、頭部運動等，使用戶在虛擬環(huán)境中獲得自然而流暢的交互體驗。手勢識別和追蹤，實現(xiàn)對用戶手勢和頭部動作的高精度識別和追蹤，以提供更真實的用戶交互體驗，增強(qiáng)虛擬現(xiàn)實的沉浸感。3.78KVR現(xiàn)場直播系統(tǒng)的技術(shù)特點前面重點討論了基于云端處理的8KVR直播流程。本章節(jié)討論的直播主要以面向B端用戶的8KVR本地化直播系統(tǒng)服務(wù)，其系統(tǒng)和制作標(biāo)準(zhǔn)需求以專業(yè)級內(nèi)容制作規(guī)格為主。這里的8KVR直播，根據(jù)不同場景需要，既可以是單機(jī)位直播，也可以是多機(jī)位大轉(zhuǎn)播系統(tǒng)級別直播?？紤]到節(jié)目內(nèi)容制作的實際需求，這里介紹的拍攝方案主要以180°2D或3D為主；360°更適合無主體的全景影像（如風(fēng)光人文類VR紀(jì)錄片）或轉(zhuǎn)播現(xiàn)場中表現(xiàn)環(huán)境的全景機(jī)位。專業(yè)級的8KVR單機(jī)位直播系統(tǒng)，可以由以下部分組成：25/32圖3.7.1單機(jī)位180°8KVR直播系統(tǒng)示意框圖系統(tǒng)可以支持單鏡頭2D（4Kx4K50P）或雙鏡頭3D（4Kx4Kx250P可以實現(xiàn)所有的參數(shù)控制和影像處理。針對于8K3DVR攝像機(jī)信號，可以完成實時的VRERP校正（將魚眼180°畫面拉伸為等距柱狀投影畫面）、3D雙目影像誤差校正（如光軸垂直誤差的數(shù)字校正）、攝像機(jī)影調(diào)控制（畫質(zhì)優(yōu)化處理）、攝像機(jī)參數(shù)遙控調(diào)整（如攝像機(jī)光圈、白平衡、ISO、視音頻延時等關(guān)鍵參數(shù)等）。另外，考慮到VR現(xiàn)場制作的用戶需求，本系統(tǒng)還可以直接連接VR頭顯，將8KVR信號轉(zhuǎn)換至VR頭顯進(jìn)行實時高質(zhì)量監(jiān)看，幫助導(dǎo)演確認(rèn)VR拍攝效果，做到“所見即所得”。單機(jī)位直播制作方式，比較適合表演方向固定的中小型舞臺類表演或者類似場景的活動（如商業(yè)電商直播、醫(yī)療工業(yè)教育類培訓(xùn)等觀眾在一個視點位置基本可以獲得現(xiàn)場全貌也可以關(guān)注到細(xì)節(jié)。圖3.7.2單機(jī)位8KVR現(xiàn)場直播的機(jī)位設(shè)計和拍攝效果（咪咕歌舞青春8KVR現(xiàn)場）在單機(jī)位系統(tǒng)基礎(chǔ)上，可以擴(kuò)展為多機(jī)位大型8K2D/3DVR現(xiàn)場轉(zhuǎn)播系統(tǒng)。用途一般是大型體育賽事、大型演藝活動等。26/32圖3.7.3可用于小型節(jié)目3機(jī)位8K2D360°VR直播的小型系統(tǒng)（前180°3機(jī)位切換+后180°虛擬包裝縫合為360°全景）圖3.7.4籃球比賽中3機(jī)位VR轉(zhuǎn)播機(jī)位點設(shè)計圖3.7.5支持8K3DVR50P制作的大型多機(jī)位沉浸式直播系統(tǒng)27/32圖3.7.6在動感地帶街舞大賽中采用6機(jī)位8K3DVR進(jìn)行直播的機(jī)位設(shè)計將多套8K3D180°VR相機(jī)直播設(shè)備，連接到廣播級8K切換臺即可進(jìn)行專業(yè)級的8KVR直播制作。由于8K3DVR信號標(biāo)準(zhǔn)為7680x3840（2:1）寬高比，需要8KVR攝像機(jī)控制處理單元在信號輸出時，采用信箱模式（上下加黑邊填充）將輸出格式轉(zhuǎn)為廣電8K分辨率標(biāo)準(zhǔn)7680x4320（16:9）,才可以進(jìn)行信號傳輸和制作；但在前端直播系統(tǒng)末級，建議在編碼器端，將最終的輸出VR信號格式再調(diào)整回2:1寬高比7680x3840信號，以適配VR頭顯終端，避免由于輸出格式不當(dāng)造成終端顯示畫面出現(xiàn)變形。一般根據(jù)現(xiàn)場節(jié)目呈現(xiàn)和終端輸出效果的需求，也可以將2D攝像機(jī)拍攝畫面（如2D直播的PGM或者特寫鏡頭）以及賽事數(shù)據(jù)模板或演藝節(jié)目介紹等信息，通過VR處理器轉(zhuǎn)換為VR適配的球面效果，再嵌入進(jìn)VR直播畫面中；或者疊加到通過VR信號處理單元生成的后180°虛擬包裝畫面，再與前180°實拍畫面縫合為360°的VR全景直播影像。圖3.7.7.8K3DVR格式轉(zhuǎn)換鏈路圖制作完成的8KVR信號，接入主備路兩臺8K編碼器中，即可進(jìn)行推出8K流媒體信號。Transport）協(xié)議進(jìn)行編碼傳輸，在8K50PVR視頻規(guī)格下傳輸速率為80Mbps，以保證足夠的8K畫面品質(zhì)。28/32圖3.7.8.8K3DVR直播信號處理流程RTMP（Real-TimeMessagingProtocol）流媒體傳輸協(xié)議作為公網(wǎng)下在高清和4K階段使用較多、平臺支持度較高的協(xié)議標(biāo)準(zhǔn)，通常被用于較為穩(wěn)定的網(wǎng)絡(luò)環(huán)境中，對網(wǎng)絡(luò)質(zhì)量要求較高。對于8K編碼直播推流，其高分辨率和高碼率可能會需要更高的帶寬和更強(qiáng)大的服務(wù)器支持，RTMP在不穩(wěn)定網(wǎng)絡(luò)條件下可能會出現(xiàn)問題。盡管RTMP沒有設(shè)定固定的視頻碼率上限，但在面對非常高的碼率時可能會受到限制，特別是在不穩(wěn)定的網(wǎng)絡(luò)條件下。另外，RTMP在傳輸時可能會有較大的延遲，對于要求較低延遲的應(yīng)用場景可能不太合適。SRT被設(shè)計用于在不穩(wěn)定網(wǎng)絡(luò)條件下提供可靠的流媒體傳輸，它包含了多種技術(shù)，例如錯誤糾正、動態(tài)調(diào)整帶寬、重傳機(jī)制等，這些特性使得SRT在處理高碼率視頻時表現(xiàn)更為穩(wěn)定和魯棒。在傳輸8K視頻這樣高分辨率和高碼率的內(nèi)容時，SRT可能比RTMP更適合。因SRT有能力在網(wǎng)絡(luò)條件不佳的情況下，保持較高的傳輸品質(zhì)，而且能夠靈活地調(diào)整帶寬以適應(yīng)不同的網(wǎng)絡(luò)狀況。即使在網(wǎng)絡(luò)不穩(wěn)定的情況下，SRT也有可能更好地維持高碼率視頻的傳輸穩(wěn)定性和質(zhì)量。4.未來電視對6G移動網(wǎng)絡(luò)的需求6G移動網(wǎng)絡(luò)和5G網(wǎng)絡(luò)相比，最顯著的優(yōu)勢在于用戶的實際體驗速率可以躍升至Gbps這個級別，包括更低的時延，這也是5G網(wǎng)絡(luò)所不具備的條件。用戶體驗速率>=1Gbps<2.5ms在“未來電視”應(yīng)用場景中，前端制作域所需的實時數(shù)據(jù)處理和傳輸量級是遠(yuǎn)遠(yuǎn)大于用戶接收和觀看需求的。由于廣電級別視音頻信號制作對于信號質(zhì)量和傳輸處理延時都有極高要求，過往在現(xiàn)場轉(zhuǎn)播系統(tǒng)中，基本都是采用非壓縮視頻信號規(guī)格，其10bit4:2:2標(biāo)準(zhǔn)下的高清50i、高清50P、4K50P和8K50P的信號數(shù)據(jù)碼率分別達(dá)到1.5Gbps、3Gbps、12Gbps、48Gbps。如此大的數(shù)據(jù)量對于無線傳輸來說，在6G時代以前，無論是5G還是微波等，都不可能滿足，所以就必須使用高壓縮編解碼流程來降低數(shù)據(jù)量以便傳輸，而這樣的代價除了圖像質(zhì)量下降之外，還有就是會額外增加高壓縮復(fù)雜處理算法所帶來的編解29/32碼處理延時，從而導(dǎo)致為了使用5G無線網(wǎng)絡(luò)進(jìn)行傳輸，所產(chǎn)生的實際延時總量可能遠(yuǎn)遠(yuǎn)超出了理論值或者理想預(yù)期。6G移動網(wǎng)絡(luò)所帶來的實際用戶體驗速率指標(biāo)，大于1Gbps，也就意味著，無需采用復(fù)雜高壓縮編碼，特別是針對大數(shù)據(jù)量的4K乃至8K視頻，采用10:1左右的前壓縮比，將實際數(shù)據(jù)量降低到1.2Gbps和4