VR虛擬現(xiàn)實(shí)新聞直播平臺(tái)建設(shè)方案

1、VR 虛擬現(xiàn)實(shí)新聞直播平臺(tái)建設(shè)方案目錄1、 項(xiàng)目背景 12、 建設(shè)目標(biāo) 23、 平臺(tái)架構(gòu)及模式 33.1 平臺(tái)架構(gòu) 33.2 “云存儲(chǔ) +智能終端”平臺(tái)模式 43.2.1 視頻云儲(chǔ)存+智能終端 43.2.3 “云存儲(chǔ) + 智能終端”模式的優(yōu)勢(shì) 44、 關(guān)鍵技術(shù) 54.1 VR 54.2 實(shí)時(shí)縫合 54.3 大數(shù)據(jù) 64.4 云計(jì)算 65、 功能設(shè)計(jì) 75.1 VR 視頻制作 75.1.1 錄制功能 75.1.2 預(yù)覽功能 75.1.3 設(shè)置功能 85.2 直播平臺(tái)管理 85.3 直播統(tǒng)計(jì) 85.4 安全管理 9一、項(xiàng)目背景隨著計(jì)算機(jī)網(wǎng)絡(luò)和三維圖形軟件等先進(jìn)信息技術(shù)的發(fā)展，電視節(jié)目制作方式發(fā)生了

2、很大的變化。視覺(jué)和聽(tīng)覺(jué)效果以及人類的思維都可以靠虛擬現(xiàn)實(shí)技術(shù)來(lái)實(shí) 現(xiàn)。虛擬演播室則是虛擬現(xiàn)實(shí)技術(shù)與人類思維相結(jié)合在電視節(jié)目制作中的具體體 現(xiàn)。虛擬演播系統(tǒng)顛覆了傳統(tǒng)電視內(nèi)容的制作、傳輸和觀看方式，能夠更有效地 表達(dá)新聞信息，增強(qiáng)信息的感染力和交互性，帶給用戶的是一種身臨其境的感覺(jué)， 讓人們沉浸其中，給電視行業(yè)帶來(lái)了全新的發(fā)展機(jī)遇。(1)國(guó)家政策支持。2015年十二屆全國(guó)人大三次會(huì)議上，李克強(qiáng)總理在 政府工作報(bào)告中首次提出“互聯(lián)網(wǎng)+”彳推鼬城創(chuàng)新、大眾創(chuàng)業(yè)，2016年4月，工信部電子技術(shù)標(biāo)準(zhǔn)化研究院發(fā)布了 虛擬現(xiàn)實(shí)產(chǎn)業(yè)發(fā)展白皮書(shū)5.0， 科技創(chuàng)新引用更加廣泛多元，為 VR產(chǎn)業(yè)發(fā)展創(chuàng)造氛圍。(2)

3、消費(fèi)需求升級(jí)。近年來(lái)，中國(guó)居民收入保持較快增長(zhǎng)，居民購(gòu)買力提升，享受型消費(fèi)占比提高。85后消費(fèi)者伴隨著互聯(lián)網(wǎng)發(fā)展成長(zhǎng)起來(lái)，對(duì) VR相 關(guān)的行業(yè)付費(fèi)意愿較強(qiáng)；加之，VR行業(yè)宣傳越來(lái)越廣泛，市場(chǎng)熱度提升，消費(fèi)者 對(duì)VR的認(rèn)知程度越來(lái)越高，促進(jìn)了 VR消費(fèi)。根據(jù)中國(guó)VR行為用戶行為研 究報(bào)告顯示，中國(guó)VR的潛在用戶規(guī)模已經(jīng)達(dá)2.86億，而在過(guò)去一年接觸過(guò) 或體驗(yàn)過(guò)虛擬現(xiàn)實(shí)設(shè)備的 VR淺度用戶約為1700萬(wàn)人，購(gòu)買過(guò)各種VR虛擬現(xiàn) 實(shí)設(shè)備的用戶約為96萬(wàn)人。盡管目前VR行業(yè)仍處于起步階段，但是未來(lái)市場(chǎng) 的潛力巨大，前景誘人。(3)市場(chǎng)環(huán)境變化。不可否認(rèn)的是，視頻網(wǎng)站的崛起和互聯(lián)網(wǎng)電視的沖擊， 傳統(tǒng)電視

4、用戶已經(jīng)被逐步蠶食，尤其是 80、90后年輕人，越來(lái)越不愿意守在電 視機(jī)前，而是喜歡直接通過(guò)互聯(lián)網(wǎng)獲得更多的視頻內(nèi)容。用戶被分流是目前傳統(tǒng) 電視面臨的最大問(wèn)題，面對(duì)這種分流，“虛擬現(xiàn)實(shí) +廣播電視”是留住用戶嘗試 的一種新模式。(4)自身發(fā)展需要。電視媒體，作為最傳統(tǒng)的重要媒體，一直與科技發(fā)展 有著深刻的聯(lián)系。然而，這些年，伴隨著新技術(shù)的不斷沖擊，那些基于互聯(lián)網(wǎng)技 術(shù)的新興媒體紛紛在第一時(shí)間采用并逐漸吸引了眼球，而作為老大哥的電視人卻成了被動(dòng)的旁觀者和跟隨者。電視人迫切需要一種新的技法來(lái)改變和提升自己的 創(chuàng)新力以吸引更多的觀眾。二、建設(shè)目標(biāo)實(shí)現(xiàn)新聞?lì)惾耙曨l直播。 通過(guò)360。全景攝像機(jī)采用實(shí)

5、時(shí)無(wú)縫拼接技術(shù)實(shí) 現(xiàn)演播室新聞、娛樂(lè)類節(jié)目全景播出，并且在全景直播的基礎(chǔ)上增加虛擬植入、 在線包裝效果，觀眾通過(guò)頭顯設(shè)備在任何地方觀看都有身臨其境的感受，增加收視點(diǎn)擊粘性。實(shí)現(xiàn)娛樂(lè)類和體育類節(jié)目實(shí)時(shí)全景直播。帶給未到現(xiàn)場(chǎng)觀眾身臨其境的現(xiàn)場(chǎng) 感和沉浸感。另外，可以在深度沉浸觀看全景同時(shí)交互小視窗觀看特寫(xiě)畫(huà)面，增加觀眾的互動(dòng)性和娛樂(lè)性。實(shí)現(xiàn)及時(shí)更換場(chǎng)景。虛擬演播系統(tǒng)制作的布景是合乎比例的立體設(shè)計(jì)，當(dāng)攝像機(jī)移動(dòng)時(shí)，虛擬的布景與前景畫(huà)面都會(huì)出現(xiàn)相應(yīng)的變化， 從而增加了節(jié)目的真 實(shí)感。具有及時(shí)更換場(chǎng)景的能力，在演播室布景制作中節(jié)約經(jīng)費(fèi)。 不必移動(dòng)和保 留景物，因此可減輕對(duì)雇員的需求壓力。全景虛擬植入還可

6、以將演播室頂部燈光、 攝影機(jī)位利用制景全部隱藏掉，還可以增加演播室的第二現(xiàn)場(chǎng)。實(shí)現(xiàn)制作成本優(yōu)勢(shì)。當(dāng)考慮節(jié)目格局時(shí)，制作人員的選擇余地大，他們不必 過(guò)于受場(chǎng)景限制。對(duì)于同一節(jié)目可以不用同一演播室，因?yàn)楸尘翱梢源嫒氪疟P。它可以充分發(fā)揮創(chuàng)作人員的藝術(shù)創(chuàng)造力與想象力，利用現(xiàn)有的多種三維動(dòng)畫(huà)軟件，創(chuàng)作出高質(zhì)量的背景。創(chuàng)意廣告植入?？稍谛侣劇蕵?lè)、體育類節(jié)目中利用 AR+VR虛擬植入豐富 比賽信息和創(chuàng)意廣告，全景虛擬植入可以在立體空間如天空、地面、左右側(cè)面增 加更多的廣告投入位，為廣告營(yíng)收添加新增長(zhǎng)點(diǎn)。三、平臺(tái)架構(gòu)及模式3.1 平臺(tái)架構(gòu)全景直播架構(gòu)及流程：全景直播拍攝流程沉濠體驗(yàn)/-xI-R-J3 % 一

7、向全家采集全家婕合云編碼云分發(fā)口口多房收看全景拍攝直播與虛擬植入架構(gòu)及流程：VR+AR全景直播拍攝流程沉浸體驗(yàn)UVLJ由V0 0-Q全景采黑全景鋰合虛擬B!入 云編碼云分發(fā)D 口多房收看平臺(tái)架構(gòu)圖3.2 “云存儲(chǔ) + 智能終端”平臺(tái)模式3.2.1 視頻云儲(chǔ)存+智能終端通過(guò)建設(shè)一個(gè)視頻系統(tǒng)的私有云， 各個(gè)數(shù)據(jù)中心的數(shù)據(jù)即是本地?cái)?shù)據(jù)又是云端數(shù)據(jù)，彼此之間形成備份，進(jìn)一步加強(qiáng)了信息的安全性。同時(shí)，通過(guò)這樣的形式， 這樣可以降低存儲(chǔ)設(shè)備以及維護(hù)等的相關(guān)投資， 只需要進(jìn)行客戶端設(shè)備和網(wǎng)絡(luò)的投資，大大節(jié)約了成本。更重要的是，系統(tǒng)的私有云整合了所有信息，為視頻信息隨時(shí)隨地的利用提供了前提條件?！霸拼鎯?chǔ) +

8、智能終端”模式的核心思想就是使用移動(dòng)網(wǎng)絡(luò)和 Wi-Fi 網(wǎng)絡(luò)在智能終端上訪問(wèn)系統(tǒng)私有云中的信息。 通過(guò)合法的身份認(rèn)證和權(quán)限辨識(shí)， 用戶可以檢索需要的信息，從而提高視頻信息的利用率。3.2.3 “云存儲(chǔ) + 智能終端”模式的優(yōu)勢(shì)1) 存儲(chǔ)容量大云存儲(chǔ)通過(guò)聯(lián)合多個(gè)服務(wù)器為用戶提供幾近無(wú)限的存儲(chǔ)空間， 無(wú)需再為數(shù)據(jù)增長(zhǎng)帶來(lái)的支出擔(dān)心。2) 安全性高云存儲(chǔ)服務(wù)商對(duì)云存儲(chǔ)的數(shù)據(jù)有嚴(yán)格的權(quán)限管理以及加密技術(shù)、 防攻擊技術(shù)等， 同時(shí)， 在本地可能需要多臺(tái)服務(wù)器存儲(chǔ)管理的海量數(shù)據(jù)一旦遷移到云存儲(chǔ)中，只需要管理相當(dāng)于一臺(tái)服務(wù)器， 并且有專業(yè)人員統(tǒng)一監(jiān)測(cè)管理， 將數(shù)據(jù)丟失和損壞的概率降到最低，避免了數(shù)據(jù)因本地服務(wù)

9、器中病毒或其他災(zāi)禍造成的數(shù)據(jù)丟失。3) 節(jié)約成本利用云存儲(chǔ)存放數(shù)據(jù)， 相對(duì)傳統(tǒng)數(shù)據(jù)儲(chǔ)存而言， 無(wú)需支付昂貴的存儲(chǔ)設(shè)施和維護(hù)費(fèi)用，只需支付服務(wù)費(fèi)，大大降低了成本，有效地提升了資源的利用率。4）提高利用率“云存儲(chǔ)+智能終端”的管理模式中，用戶利用視頻信息的途徑有了更多選 擇，可在智能終端查看。將數(shù)據(jù)集中起來(lái)，用戶可以在任何地點(diǎn)，依靠電腦或是 移動(dòng)設(shè)備隨時(shí)訪問(wèn)數(shù)據(jù)，減少了傳統(tǒng)的資源交換，提高資源的利用率。四、關(guān)鍵技術(shù)4.1 VRVR （Virtual Reality的簡(jiǎn)稱）虛擬現(xiàn)實(shí)技術(shù)是一種可以創(chuàng)建和體驗(yàn)虛擬世 界的計(jì)算機(jī)仿真系統(tǒng)。它利用計(jì)算機(jī)生成一種模擬環(huán)境，一種多源信息融合的交 互式的三維動(dòng)態(tài)視

10、景和實(shí)體行為的系統(tǒng)仿真，使用戶沉浸到該環(huán)境中。虛擬現(xiàn)實(shí)是多種技術(shù)的綜合，包括實(shí)時(shí)三維計(jì)算機(jī)圖形技術(shù)，廣角（寬視野）立體顯示技 術(shù)，對(duì)觀察者頭、眼和手的跟蹤技術(shù)，以及觸覺(jué)/力覺(jué)反饋、立體聲、網(wǎng)絡(luò)傳輸、 語(yǔ)音輸入輸出技術(shù)等。4.2 實(shí)時(shí)縫合實(shí)時(shí)縫合軟件系統(tǒng)是目前國(guó)際最先進(jìn)的多目實(shí)時(shí)全景縫合系統(tǒng)，采用4K實(shí)時(shí)全景視頻縫合技術(shù)，支持2-10目多攝影機(jī)視頻信號(hào)傳入，同時(shí)進(jìn)行實(shí)時(shí)縫合， 并處理鏡頭畸變帶來(lái)的畫(huà)面扭曲。通過(guò)算法合并的全景視頻會(huì)通過(guò)圖形處理運(yùn)算 進(jìn)行實(shí)時(shí)顯示，可以在5幀以內(nèi)完成合成與輸出。其獨(dú)有的軟硬件結(jié)合的運(yùn)算算 法，實(shí)現(xiàn)高速縫合和高質(zhì)輸出，高密度并行編轉(zhuǎn)碼。通過(guò)超前的并行運(yùn)算構(gòu)架， 合理有

11、效地分配轉(zhuǎn)碼運(yùn)算資源，在實(shí)時(shí)縫合的高度運(yùn)算負(fù)載壓力下，可以實(shí)時(shí)推 送4K RTMP流，并且還能夠?qū)崟r(shí)錄制高清全景視頻。系統(tǒng)可以手動(dòng)設(shè)定RTMP推流碼率，可以將低碼率還原出高質(zhì)量的畫(huà)面， 畫(huà)面質(zhì)量達(dá)到行業(yè)領(lǐng)先有效節(jié)省 帶寬。同時(shí)，系統(tǒng)可以在全景視頻實(shí)時(shí)輸出的同時(shí)疊加 LOGO和簡(jiǎn)單圖文包裝， 支持圖文包裝增值。支持4K高清全景視頻錄制，并且可以實(shí)時(shí)與采集的音頻混 合，實(shí)現(xiàn)真正的完美錄制并實(shí)現(xiàn)4K高清全景視頻實(shí)時(shí)與采集音頻合成的畫(huà)面可 以通過(guò)RTMP或HD-SDI實(shí)時(shí)輸出。1）、國(guó)內(nèi)唯一。目前該系統(tǒng)是國(guó)內(nèi)唯一可以做到視頻直播的VR實(shí)時(shí)拼接實(shí)時(shí)渲染系統(tǒng)。2）、自主技術(shù)。該系統(tǒng)擁有自主的高級(jí)計(jì)算機(jī)視頻

12、縫合技術(shù)以及實(shí)時(shí)虛擬 效果植入技術(shù)?？蔀?-10機(jī)位視頻圖像進(jìn)行實(shí)時(shí)縫合，為用戶提供多種解決方 案，也可根據(jù)客戶特殊需求提供個(gè)性化定制解決方案。3）、本土化服務(wù)。公司為國(guó)內(nèi)本土企業(yè)，在廣西設(shè)有售后服務(wù)商可隨時(shí)為 用戶提供所最及時(shí)、最有效的售后服務(wù)。4）、高性價(jià)比。擁有自己研發(fā)的技術(shù)，可為用戶節(jié)約 50%-70%的費(fèi)用。4.3 大數(shù)據(jù)傳統(tǒng)的信息管理一直停留于管理、分類、歸檔、存儲(chǔ)及簡(jiǎn)單的統(tǒng)計(jì)查詢。通 過(guò)運(yùn)用大數(shù)據(jù)技術(shù)數(shù)據(jù)量巨大、數(shù)據(jù)類型繁多、價(jià)值密度低、處理速度快的特點(diǎn)， 可以對(duì)傳統(tǒng)信息進(jìn)行提取，并針對(duì)提取出的有效信息根據(jù)一定的規(guī)律進(jìn)行挖掘， 滿足不同用戶的信息需求，使得在搜索時(shí)從大范圍變成從小

13、范圍， 從而提高信息 利用的效率和準(zhǔn)確度。通過(guò)針對(duì)各種數(shù)據(jù)的挖掘、梳理分析，智能的給不同的分 析決策者提供不同的預(yù)測(cè)結(jié)果，讓存儲(chǔ)價(jià)值低的數(shù)據(jù)起到玉石脫胎于原石效果。4.4 云計(jì)算構(gòu)建的VR視頻云平臺(tái)，包含以上采集、拼接、編碼傳輸和播放等幾個(gè)環(huán)節(jié)。 采用多個(gè)普通鏡頭進(jìn)行多角度無(wú)死角的拍攝，使用特征提取、特征匹配、校準(zhǔn)、融合和曝光補(bǔ)償?shù)燃夹g(shù)拼接成完整的全景圖像；再經(jīng)H264、H265等視頻壓縮技術(shù)進(jìn)行編碼處理，之后通過(guò) RTMP傳輸協(xié)議進(jìn)行傳輸，最后通過(guò)相應(yīng)解碼器 完成解碼播放工作，在不同終端上實(shí)現(xiàn) VR、全景等播出形式。使用云端編碼技 術(shù)，VR視頻云平臺(tái)可以同時(shí)支持 TV、PC、iOS、Andr

14、oid、H5等各種終端的 播出。五、功能設(shè)計(jì)該系統(tǒng)可實(shí)現(xiàn)4K視頻實(shí)時(shí)縫合預(yù)覽；本地錄制多格式原尺寸多目縫合畫(huà)面； 標(biāo)準(zhǔn)HD-SDI信號(hào)輸出；RTMP數(shù)據(jù)推流及云直播。支持安全距離可調(diào)，曝光 參數(shù)可調(diào)，畸變可控，輸出4K錄制，HDMI、SDI、USB等視頻數(shù)據(jù)采集接口。 同時(shí)通過(guò)直播平臺(tái)，實(shí)現(xiàn)“內(nèi)容+平臺(tái)+終端+應(yīng)用”的 VR直播生態(tài)鏈。5.1 VR視頻制作5.1.1 錄制功能本地錄制4K全景視頻：使用2-10目全景采集攝像機(jī)拍攝，實(shí)時(shí)采集被拍 攝主體的視頻，通過(guò)系統(tǒng)強(qiáng)大的并行運(yùn)算能力和優(yōu)化算法， 支持多目攝影機(jī)拍攝 視頻畫(huà)面拼接，多畫(huà)面視頻實(shí)時(shí)縫合，將現(xiàn)場(chǎng) 4K全景視頻實(shí)時(shí)錄制在本地存儲(chǔ) 介質(zhì)

15、。全景圖片拍攝：4K全景照片拍攝，利用相機(jī)將 360度場(chǎng)景拍攝到的一組 照片拼合成為一幅包含全部場(chǎng)景的圖片，將多目攝像機(jī)成像效果最為接近的區(qū)域 加以重合，以完成圖片的自動(dòng)拼接。5.1.2 預(yù)覽功能全景縫合視頻實(shí)時(shí)預(yù)覽：通過(guò)系統(tǒng)強(qiáng)大的計(jì)算功能，可實(shí)時(shí)預(yù)覽全景縫合視 頻拍攝的效果，實(shí)現(xiàn)所見(jiàn)即所得。全景鋪開(kāi)實(shí)時(shí)預(yù)覽：可實(shí)現(xiàn)未縫合前全景鋪開(kāi)視頻畫(huà)面預(yù)覽。多目攝像機(jī)分鏡頭預(yù)覽：可單獨(dú)預(yù)覽每個(gè)相機(jī)拍攝視頻畫(huà)面5.1.3 設(shè)置功能分辨率及尺寸：可設(shè)置視頻或圖片的分辨率及尺寸大小。視頻碼率：可根據(jù)客戶需求設(shè)置調(diào)節(jié)視頻碼率大小。RTMP推流地址：可添加設(shè)置不同的RTMP推流地址，實(shí)現(xiàn)網(wǎng)絡(luò)直播。參數(shù)調(diào)節(jié)：可手動(dòng)調(diào)節(jié)白平衡、曝光、色溫、色調(diào)等參數(shù)。輸出選擇：可選擇RTMP推流輸出或者SDI輸出。4K RTMP實(shí)時(shí)推流或者 4K HD-SDI信號(hào)實(shí)時(shí)輸出。安全距離設(shè)定：為防止拍攝畫(huà)面畸變，可根據(jù)拍攝視角設(shè)置安全拍攝距離，拍攝安全距離可調(diào)整，利于控制畫(huà)面畸變。5.2 直播平臺(tái)管理將現(xiàn)場(chǎng)實(shí)時(shí)拍攝的音視頻數(shù)據(jù)使用 RTMP傳輸協(xié)議進(jìn)行封裝，變成流數(shù)據(jù)。 通過(guò)一定的Qos算法將音視頻流數(shù)據(jù)推送到云端或流媒體服務(wù)器，通過(guò)web端 或App端直播現(xiàn)場(chǎng)實(shí)