基于NDI和vMix的輕量化多場景網(wǎng)絡直播

隨著互聯(lián)網(wǎng)短視頻及直播平臺的迅速發(fā)展和普及，小屏端觀看和分享直播已逐漸成為主流，用戶不受時間和地點的限制，自由選擇觀看自己想看的直播。近兩年媒體發(fā)布會和產(chǎn)品發(fā)布會也都采用了網(wǎng)絡直播和現(xiàn)場發(fā)布并行的方式。以往的線下發(fā)布活動，由于展會地點和場地大小的局限，傳播范圍較小，如果要擴大影響范圍則要多次多地重復開展活動，消耗大量人力物力；而傳統(tǒng)的演播室直播架構(gòu)系統(tǒng)復雜，設備成本高，人員眾多，不靈活。因此相對于大屏端的傳統(tǒng)直播制作系統(tǒng)，輕量化，易搭建，制作快，兼容好，性能強的融媒體制作系統(tǒng)成為廣大新媒體技術工作者探索的方向。1.項目概述整場發(fā)布活動由線下主持人與嘉賓座談現(xiàn)場觀眾互動提問和線上視頻會議協(xié)同進行。通過線下會場，線上會議，網(wǎng)絡平臺等多個場景進行直播。線下部分為一個會場，會場設置了大屏系統(tǒng)和同聲傳譯系統(tǒng)，主要功能是與現(xiàn)場主持嘉賓和線上外國藝術家進行多方座談。線上視頻會議部分使用ZOOM視頻會議系統(tǒng)，現(xiàn)場要與遠在法國和英國的藝術家進行藝術交流，同時還有不少國內(nèi)外同行在線上參會收看直播。網(wǎng)絡平臺直播部分主要面向國內(nèi)用戶，在多個主流互聯(lián)網(wǎng)平臺直播。由于發(fā)布會場地有限（見圖1），留給技術區(qū)的空間十分狹小，并且需要在大屏現(xiàn)場，ZOOM會議系統(tǒng)，網(wǎng)絡平臺上同時直播。如果用傳統(tǒng)的廣電直播系統(tǒng)來建設恐怕場地不允許。考慮到ZOOM會議系統(tǒng)本身就要使用網(wǎng)絡作為支撐，基于網(wǎng)絡IP協(xié)議的信號傳輸方案不僅不用遠距離布線而且能夠復用原有的網(wǎng)絡設備，所以成為了優(yōu)選方案；同時能夠進行視頻直播、視頻制作和實時推流拉流且支持網(wǎng)絡IP協(xié)議信號輸入的一體化直導播平臺也是本次項目的優(yōu)選設備。最終節(jié)目組采用了NDI和vMix導播分發(fā)系統(tǒng)組合的方案，通過實踐，該方案運行穩(wěn)定可靠，滿足了經(jīng)濟效益和節(jié)目收視的需求。圖1發(fā)布會現(xiàn)場與后臺技術區(qū)2.系統(tǒng)解決方案2.1NDI協(xié)議和編碼器NDI協(xié)議是一種網(wǎng)絡編碼和傳輸協(xié)議。使用NDI協(xié)議傳輸具備超低延時，無損耗，交互控制等特點，這種傳輸方式擺脫了實體HDMI和SDI線纜，同時傳輸編碼延時控制在100ms以內(nèi)。使用NDI協(xié)議編碼3G-SDI信號壓縮比大約15:1，多次處理迭代無損耗。NDI協(xié)議在傳輸視頻數(shù)據(jù)的同時還可攜帶音頻數(shù)據(jù)，TALLY以及通話信息。NDI協(xié)議采用mDNS發(fā)現(xiàn)機制，在局域網(wǎng)上登記源信息，接受設備可以自動發(fā)現(xiàn)這些NDI信號源，并提供自身信息。要讓傳統(tǒng)的便攜式攝像機具有網(wǎng)絡傳輸功能，外置NDI編碼器必不可少，NDI編碼器支持3G-SDI視頻輸入，最高可以支持12G-SDI4K視頻，本案采用了KILOVIEWN3NDI編碼器（見圖2），支持3G-SDI視頻與FullNDI雙向轉(zhuǎn)換，編碼器上內(nèi)置Tally燈，只需要配置IP地址接入局域網(wǎng)即可，三臺SonyZ280便攜式攝像機通過3G-SDI線纜輸出進入NDI編碼器傳輸視頻信號，視頻信號在局域網(wǎng)中會自動被導播電腦發(fā)現(xiàn)并調(diào)用。圖2KILOVIEWN3NDI編碼器2.2桌面級NDI的應用NDITools是一套由NewTek面向桌面級用戶開發(fā)的免費的應用程序，目前已經(jīng)升級到了5.5版本，其為桌面用戶提供了包括桌面?zhèn)鬏敚摂M攝像頭，遠程控制等功能，而且完美兼容FullNDI和HX編碼方式。本次我們通過這個軟件實現(xiàn)了將VCR的畫面和聲音轉(zhuǎn)換成NDI流媒體，通過無線網(wǎng)絡送入導播電腦，并且將導播電腦切換完成的最終PGM信號送到大屏和ZOOM會議系統(tǒng)。在大屏電腦以及ZOOM會議軟件電腦上安裝NDITool系列軟件，選擇套件中的Webcam，選擇圖3所示的導播電腦的output就可以接收由NDI虛擬的網(wǎng)絡攝像頭的信號，然后在對應的大屏播出軟件和ZOOM會議軟件的視頻輸入中選擇NDICam就能在軟件中獲取PGM畫面。圖3在大屏和ZOOM會議電腦上獲取PGM畫面2.3Vmix一體化直播導播系統(tǒng)直播導播系統(tǒng)由一臺高配電腦、一套vMix視頻切換與直播軟件組成。vMix導播軟件的功能強大，視頻直播轉(zhuǎn)播以及簡單的編輯制作，還可以添加圖文信息，虛擬演播室，獲取共享屏幕信號，錄制甚至是即時重播的功能。軟件還提供mix，wipe，PinP等多種切換功能，作為切換臺來使用非常合適。vMix導播軟件也是完美支持NDI協(xié)議的專業(yè)導播軟件之一，其可以從網(wǎng)絡上任何NDI兼容設備上接受多個視頻和音頻通道，最高支持4K，方法是選擇Addinput，inputsetting頁面中選擇NDI/DesktopCapture頁簽（見圖4）就可以自動搜索局域網(wǎng)中的NDI信源。不過如果需要接入的NDI信源數(shù)量多的話，一定要選擇正確的vMix版本，一般選擇pro或4K版本，basic版本只支持3路輸入源。圖4vMix添加NDI源vMix導播軟件支持將輸出共享給任何NDI兼容設備，在4K和pro版本中可以共享第二輸出，這個輸出可以是任何一個源和任何一個輸出，類似于廣播級切換臺的AUX輸出，共享方法是在設置頁面中選擇Outputs/NDI/SRT頁簽，對需要輸出的Output口選擇信號源并NDION（見圖5），這樣在局域網(wǎng)中的NDI設備及電腦就可以自動發(fā)現(xiàn)這個NDI信號并使用。圖5vMix通過NDI方式共享輸出通過以上的操作，大屏系統(tǒng)和ZOOM會議系統(tǒng)這兩個場景就能方便地調(diào)用導播電腦進行切換制作后的PGM畫面并進行直播。vMix導播軟件還支持實時推流和拉流，在addinput界面里可以添加rtsp、rtmp、srt等多種主流流媒體數(shù)據(jù)，在streamingsetting里可以設置三組基于FFMPEG編碼的RTMP流（見圖6），碼率及分辨率都可以調(diào)整，輸入推流地址后就可以在任意網(wǎng)絡平臺上進行網(wǎng)絡直播了。圖6vMix的推流功能2.4傳輸方案NDI協(xié)議分為HX和全碼NDI，全碼FULLNDI對于視頻做了15:1的壓縮，這種壓縮視覺上是無損的，一般來說，一路3G-SDI占用的帶寬是100Mbps，如果選擇HX這種基于H.264編碼的NDI則帶寬可以減小為10Mbps左右，但是HX的延時要比FULL高出許多，F(xiàn)ullNDI延時不超過100ms（1-3幀），甚至于只有40ms，而HX則在150ms左右甚至更高。由于是直播，所以我們選擇低延時的FullNDI作為編碼方式，交換設備選擇具備千兆交換能力的Wi-Fi6設備。相較于前幾代Wi-Fi技術（見圖7），它具有速率更快，最大速率理論值可以達到9.6Gbps，單流帶寬高達1Gbps；采用正交頻分多址OFMDA技術，在頻域上將無線信號劃分為一個個子信道，形成一個個資源塊，數(shù)據(jù)在塊上，在傳輸時不會占用整個信道，傳輸銷量有了提升。圖7各代Wi-Fi技術對比整個傳輸鏈路見圖8，三臺攝像機分別接入NDI編碼器，編碼器使用網(wǎng)線接入一臺Wi-Fi6路由器，ZOOM會議系統(tǒng)，vMix導播電腦，大屏電腦，還有一些作為信源的PC機均鏈接到這個無線路由器上，通過無線的方式進行信號和數(shù)據(jù)的交互。在實際的直播過程中，畫面延時，信號傳輸?shù)姆€(wěn)定性以及畫面質(zhì)量都反應良好，F(xiàn)ULLNDI和Wi-Fi6的組合能夠比較完美地完成任務。圖8傳輸框圖3.思考與問題3.1項目總結(jié)通過本次發(fā)布會的實踐，小型網(wǎng)絡直播中使用NDI和vMix相結(jié)合的小直播系統(tǒng)滿足了設備輕量化和靈活性。NDI的編解碼效率滿足了直播畫面的各項需求，vMix對各類輸入源和輸出方式的間兼容性滿足了多場景直播和傳輸?shù)母黜椥枨?；兩者相結(jié)合組成的輕量化網(wǎng)絡直播系統(tǒng)提高了節(jié)目直播的效率，也減輕了搭建施工的難度。3.2輕量化網(wǎng)絡直播的亮點就目前的融媒體直播，帶貨，產(chǎn)品發(fā)布等形式而言，輸入和輸出相對于大型賽事以及綜藝直播都比較簡單，但是功能要求全面，使用一體化直播導播系統(tǒng)只需要攝像和導播就可以完成幾乎所有的直播工作，人力成本可能從原來的兩位數(shù)變成了2-3人，設備成本從原來的幾十萬級變成了萬級。相比之下技術投入維護投入都大為減少，有效提高了利潤。網(wǎng)絡傳輸協(xié)議的出現(xiàn)，使得無線網(wǎng)絡尤其是移動網(wǎng)絡5G在視音頻信號傳輸上提供了更大發(fā)展的可能性，5G網(wǎng)絡具有帶寬大，速率高，延時低等功能，能夠完美支持高清碼率視頻音頻信號的實時傳輸，并且高效的傳輸協(xié)議如NDI保證了畫面?zhèn)鬏數(shù)男盘栙|(zhì)量，它們的結(jié)合打破了直播在空間上的限制。聚合云技術的出現(xiàn)也解決了單鏈路無線網(wǎng)絡信號丟失的問題，網(wǎng)絡聚合功能實際就是將三大運營商以及Wi-Fi信號進行帶寬的疊加，實時對每一路的信號質(zhì)量進行檢測，選擇最佳質(zhì)量的通路傳輸，任何一路信號丟失均可以將負載加載到其他通道上，不會影響信號的傳輸。流媒體直播的方式代替了傳統(tǒng)電視直播需要將信號通過專線傳輸?shù)诫娨暱偪?，再由電視總控做分發(fā)的方式，技術人員只需要通過互聯(lián)網(wǎng)平臺的后臺申請相應的推流地址和流串碼，就可以通過軟件將直播信號推送到對應的直播間進行直播，網(wǎng)絡流傳輸方式的成本遠遠低于鋪設光發(fā)光收光鏈路，使得異地傳輸視音頻信號的成本更低。3.3面臨的問題本次NDI的應用場景為一個相對獨立的局域網(wǎng)環(huán)境，網(wǎng)絡結(jié)構(gòu)簡單，NDI5版本支持不同網(wǎng)段發(fā)現(xiàn)信源，結(jié)合公網(wǎng)IP端口映射等技術完全能夠?qū)崿F(xiàn)遠程制作，但是NDI由于其自身發(fā)現(xiàn)機制幾乎不需要任何認證，如果僅僅在局域網(wǎng)中傳輸，因其本身的封閉性，這并不會成為一個大問題，然而隨著在互聯(lián)網(wǎng)的各種場景中應用，安全性問題是需要考慮的，目前NDI數(shù)據(jù)流的加密級別在256位數(shù)據(jù)加密，未來應該考慮更具加密型以及更先進的算法來保護數(shù)據(jù)的安全性。在復雜網(wǎng)絡下的延時和碼率間的平衡問題也值得考慮，F(xiàn)ULLNDI在不同路由間傳輸或在公網(wǎng)多節(jié)點情況下傳輸仍舊受到網(wǎng)絡帶寬和節(jié)點設備轉(zhuǎn)換的影響，1080p的帶寬在130Mbps，4K信號帶寬在250Mbps，這樣的帶寬對于多路傳輸來說，網(wǎng)絡壓力非常大，延時也會增大，而NDIHX方式雖然壓縮效率更高，但是它的延時可能無法滿足目前的遠程直播轉(zhuǎn)播要求，期待能夠發(fā)布更優(yōu)化的編碼方案，能夠在較低成本，較小系統(tǒng)下