網(wǎng)易視頻云：面向海量用戶的分布式視頻處理技術(shù)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上網(wǎng)易視頻云：面向海量用戶的分布式視頻處理技術(shù)網(wǎng)易視頻云是網(wǎng)易傾力打造的一款基于云計(jì)算的分布式多媒體處理集群和專業(yè)音視頻技術(shù)，為客戶提供穩(wěn)定流暢、低時(shí)延、高并發(fā)的視頻直播、錄制、存儲(chǔ)、轉(zhuǎn)碼及點(diǎn)播等音視頻的PaaS服務(wù)。在線教育、遠(yuǎn)程醫(yī)療、娛樂(lè)秀場(chǎng)、在線金融等各行業(yè)及企業(yè)用戶只需經(jīng)過(guò)簡(jiǎn)單的開(kāi)發(fā)即可打造在在線音視頻平臺(tái)。作者：系統(tǒng)介紹網(wǎng)易視頻云支持面向海量用戶的分布式視頻處理，包含錄制、轉(zhuǎn)碼、視頻合成、截圖等常用的視頻處理任務(wù)。一方面視頻云承載了眾多網(wǎng)易內(nèi)部視頻應(yīng)用的后臺(tái)視頻處理，另一方面也漸漸以公有云的身份走入大家視野。視頻云的視頻處理子系統(tǒng)需求模型如下所示：視頻云上層服

2、務(wù)根據(jù)業(yè)務(wù)模型，向視頻處理子系統(tǒng)發(fā)起視頻處理任務(wù)，處理子系統(tǒng)根據(jù)任務(wù)類型調(diào)度到合適的worker節(jié)點(diǎn)做處理。在任務(wù)產(chǎn)生事件時(shí)，處理子系統(tǒng)會(huì)將事件回調(diào)通知給上層服務(wù)，如錄制切片事件、視頻轉(zhuǎn)碼完成事件。在過(guò)去幾年，視頻云為網(wǎng)易內(nèi)部視頻應(yīng)用提供了穩(wěn)定可靠的大規(guī)模音視頻處理服務(wù)，如青果、云音樂(lè)、教育產(chǎn)品。近兩年，隨著公有云服務(wù)模式趨于成熟，網(wǎng)易視頻云漸漸以公有云的身份被大家所了解，與私有云相比，公有云的視頻云要面臨以下兩個(gè)挑戰(zhàn)：1.  海量用戶2.  資源超售在內(nèi)部服務(wù)時(shí)代，視頻云需要服務(wù)的應(yīng)用數(shù)量有限，調(diào)度系統(tǒng)和回調(diào)系統(tǒng)壓力較小，而且可以為一些應(yīng)用定制特殊功能。而在公有云服務(wù)中，

3、面向海量企業(yè)用戶，調(diào)度系統(tǒng)承擔(dān)的壓力更重，在保障公平調(diào)度的基礎(chǔ)上，需要實(shí)現(xiàn)調(diào)度能力的水平擴(kuò)展。在為內(nèi)部應(yīng)用提供服務(wù)時(shí)，為了保障各個(gè)應(yīng)用的服務(wù)質(zhì)量，一般不做處理資源超售，但是在公有云中，由于用戶太多，資源閑置是一種常態(tài)，不超售會(huì)造成極度的資源浪費(fèi)。因此，在保障公有云的服務(wù)質(zhì)量前提下，最大限度的節(jié)約成本是視頻云在公有云場(chǎng)景下需要攻克的重要課題之一。為了做好這一點(diǎn)，公有云提供了比以前更加細(xì)致的任務(wù)統(tǒng)計(jì)，資源監(jiān)控，便于公有云的容量規(guī)劃。系統(tǒng)架構(gòu)視頻云的視頻處理系統(tǒng)架構(gòu)如下圖所示：· sdk：接口層，上層服務(wù)通過(guò)SDK向視頻處理系統(tǒng)發(fā)起任務(wù)和事件回調(diào)· scheduler：調(diào)度子系統(tǒng)

4、，又分為在線調(diào)度器和離線調(diào)度器·  worker：任務(wù)執(zhí)行器，一般包含10-1000個(gè)slot，每個(gè)slot對(duì)應(yīng)一個(gè)處理任務(wù)· notifier：事件回調(diào)子系統(tǒng)，收集各個(gè)worker中的任務(wù)事件，并通知SDK· configserver：集群管理，元數(shù)據(jù)同步，任務(wù)統(tǒng)計(jì)和資源監(jiān)控等· dashboard：可視化運(yùn)維的WEB工具以上模塊和子系統(tǒng)的實(shí)現(xiàn)，滿足了視頻云對(duì)用戶管理、任務(wù)調(diào)度、任務(wù)追蹤、事件回調(diào)和文件存儲(chǔ)等核心功能需求。在非功能性方面，視頻云實(shí)現(xiàn)了調(diào)度子系統(tǒng)的高可用和水平擴(kuò)展，worker宕機(jī)重試。configserver在架構(gòu)中屬于單點(diǎn)，

5、通過(guò)主從架構(gòu)實(shí)現(xiàn)高可用。核心技術(shù)FlickRpc框架FlickRpc是視頻云團(tuán)隊(duì)自主研發(fā)的一個(gè)通用rpc框架，是各個(gè)組件模塊互相調(diào)用和通信的基礎(chǔ)。FlickRpc采用了netty長(zhǎng)連接和json通信格式，使用google的gson庫(kù)實(shí)現(xiàn)json格式的序列化和反序列化，與grpc，avro一類的開(kāi)源RPC框架相比，F(xiàn)lickRpc無(wú)需定義消息格式，可像使用本地方法一樣調(diào)用RPC，并且 FlickRpc中不存在json反序列化與JAVA繼承的沖突，更加簡(jiǎn)單易用；FlickRpc提供了同步調(diào)用和異步調(diào)用兩種模式，可以通過(guò)靜態(tài)上下文獲取RPC遠(yuǎn)端信息；雖然FlickRpc是為視頻云開(kāi)發(fā)，但其本身是一個(gè)

6、通用RPC框架，可以在任何系統(tǒng)中使用。FlickRpc的使用極大簡(jiǎn)化了視頻云在通信層的開(kāi)發(fā)量，未來(lái)FlickRpc會(huì)獨(dú)立開(kāi)源。靈活的調(diào)度模式視頻云視頻處理系統(tǒng)有在線和離線調(diào)度器兩種不同調(diào)度子系統(tǒng)，在線調(diào)度器適用于錄制、截圖以及在線視頻合并等在線視頻處理。這種任務(wù)的特點(diǎn)是具有很強(qiáng)的時(shí)效性，需要實(shí)時(shí)調(diào)度。例如錄制任務(wù)，如果調(diào)度產(chǎn)生較大延遲，會(huì)導(dǎo)致錄制內(nèi)容丟失。離線調(diào)度器適用于各種類型的轉(zhuǎn)碼業(yè)務(wù)，特點(diǎn)是任務(wù)可以積壓，可以慢慢異步消費(fèi)。如點(diǎn)播系統(tǒng)的視頻轉(zhuǎn)碼，一個(gè)用戶可以一次性提交很多待轉(zhuǎn)碼視頻，只要在一個(gè)籠統(tǒng)的時(shí)間范圍內(nèi)完成即可，無(wú)需所有任務(wù)實(shí)時(shí)調(diào)度。離線調(diào)度器是視頻云超售的基礎(chǔ)，因?yàn)橹挥性试S一定的任

7、務(wù)積壓，才能在保證服務(wù)可靠的前提下節(jié)約資源成本。租約與高可用configserver和其他組件通過(guò)租約的方式實(shí)現(xiàn)元數(shù)據(jù)同步和高可用，以離線調(diào)度器高可用為例，如下圖所示：調(diào)度器A和調(diào)度器B負(fù)責(zé)調(diào)度不同用戶的離線任務(wù)，A和B在啟動(dòng)時(shí)會(huì)向configserver注冊(cè)，并獲取元數(shù)據(jù)和租約信息，以及他們各自需要調(diào)度哪些用戶。A和B每隔一段時(shí)間（5s-60s）會(huì)向configserver續(xù)租，如果A在某個(gè)時(shí)間宕機(jī)，一段時(shí)間后configserver會(huì)發(fā)現(xiàn)A持續(xù)多個(gè)周期沒(méi)有續(xù)租，為了保障用戶調(diào)度的高可用，configserver需要將A負(fù)責(zé)的調(diào)度任務(wù)交由相鄰節(jié)點(diǎn)B繼續(xù)執(zhí)行，為此configserver會(huì)更新B的租約，在下次B續(xù)租時(shí)可以更新到新的租約和元數(shù)據(jù)，并觸發(fā)reload。通過(guò)租約機(jī)制，可以實(shí)現(xiàn)不同組件的元數(shù)據(jù)同步，調(diào)度器的水平擴(kuò)展和主從模式等。負(fù)載均衡一個(gè)視頻處理集群中，可以部署多個(gè)worker group，任務(wù)參數(shù)中可以指定在哪個(gè)worker group中執(zhí)行，worker group的劃分使視頻云可以在容量規(guī)劃中因地制宜，例如錄制任務(wù)需要大量的IO操作，因此錄制任務(wù)的worker group需要配備SSD和千兆網(wǎng)絡(luò)，而錄制過(guò)程幾乎不會(huì)耗CPU資源，可以在CPU配備上節(jié)約成