億級(jí)直播平臺(tái)的技術(shù)優(yōu)化

1、億級(jí)直播平臺(tái)的技術(shù)優(yōu)化技術(shù)創(chuàng)新 變革未來(lái)Agenda1案例背景2項(xiàng)目落地3技術(shù)優(yōu)化4案例總結(jié)關(guān)于QQ空間國(guó)內(nèi)最大的SNS社區(qū)分享生活，留住感動(dòng)主流是95后年輕人直播，一種新的生活方式內(nèi)容消費(fèi)進(jìn)化。手機(jī)硬件升級(jí)。流量費(fèi)用下降。1997視頻3G圖片2G文字4G直播2005Nokia、iPhone1VR201020152016 iPhone4 iPhone7獨(dú)特定位社交網(wǎng)紅普通用戶明星精品直播+項(xiàng)目目標(biāo)一個(gè)月內(nèi)構(gòu)建QQ空間的直播能力。1、保證直播場(chǎng)景（1人發(fā)起直播，N人觀看直播）和錄播場(chǎng)景（N人觀看錄像）的體驗(yàn)；2、方案成熟，支持android，ios，h5多平臺(tái)；3、快速上線。一個(gè)月內(nèi)構(gòu)建直播能力

2、。項(xiàng)目落地直播技術(shù)拓?fù)涿媾R的問(wèn)題項(xiàng)目工期緊張直播技術(shù)積累不夠技術(shù)選型合作研發(fā)合作共贏技術(shù)積累研發(fā)模式閉環(huán)快速上線完成產(chǎn)品需求，并完善監(jiān)控灰度驗(yàn)證灰度一部分用戶驗(yàn)證優(yōu)化效果優(yōu)化工作跟進(jìn)數(shù)據(jù)，專項(xiàng)優(yōu)化查看監(jiān)控?cái)?shù)據(jù)分析數(shù)據(jù)1234監(jiān)控統(tǒng)計(jì)先行版本成果1個(gè)月上線登陸2個(gè)應(yīng)用至今迭代12個(gè)版本 數(shù)千萬(wàn)次觀看數(shù)億次互動(dòng)案例啟示合作共贏，開(kāi)源模式快速迭代，小步快跑監(jiān)控驅(qū)動(dòng)優(yōu)化什么是視頻什么是視頻MetadataAudioImageContainer視頻是一種結(jié)構(gòu)化數(shù)據(jù)。編碼即壓縮冗余去除H.264為例H.264是目前使用頻率較高的一種視頻編碼標(biāo)準(zhǔn)。劃分序列。把一段內(nèi)容差異不太大的幾幀圖像分為一組，即為序列

3、GOP(Group Of Picture)定義幀。將GOP內(nèi)各幀為三種類型，即I幀、B幀和P幀預(yù)測(cè)幀。以I幀做為基礎(chǔ)幀，以I幀預(yù)測(cè)P幀，再由I幀和P幀預(yù)測(cè)B幀1I2B3B4B5P6B7B8B1IP幀前向預(yù)測(cè)編碼圖像幀(Forward Prediction)B幀雙向預(yù)測(cè)編碼圖像幀(Bidirectional Prediction)編碼序列(GOP)劃分序列幀類型獨(dú)立解碼依賴碼流量I 幀可以無(wú)大P 幀不可以I幀小B 幀不可以I幀和P幀小定義幀H.264視頻模型把GOP比作一列拉貨的火車。一段視頻就是N輛貨車組成的貨運(yùn)車隊(duì)。I幀B幀B幀P幀B幀B幀什么是直播直播就是視頻數(shù)據(jù)的流動(dòng)主播觀眾邊拍攝，邊傳

4、輸，邊播放的數(shù)據(jù)流動(dòng)過(guò)程。火車需要調(diào)度，視頻流也一樣。協(xié)議控制視頻有序的傳輸?shù)接^眾。主播觀眾協(xié)議傳輸協(xié)議原理延時(shí)HLS HTTP累積轉(zhuǎn)發(fā)10S+RT M PTCP立刻轉(zhuǎn)發(fā)3S+AVSDKUDP簡(jiǎn)化協(xié)議13S視頻流協(xié)議直播模型主播觀眾服務(wù)器觀眾觀眾視頻流視頻流視頻流視頻流協(xié)議視頻房間直播業(yè)務(wù)模型主播觀眾視頻 服務(wù)器觀眾觀眾視頻流視頻流視頻流視頻流協(xié)議視頻房間業(yè)務(wù)房間主播觀眾業(yè)務(wù) 服務(wù)器 觀眾觀眾QQ空間的直播架構(gòu)消息房間空間服務(wù)器主播端觀眾端房間狀態(tài)、禁言、贊打賞、贊、評(píng)論等Camera采集美容、濾鏡、動(dòng)效音視頻房間渲染編碼HLS流錄播觀眾互動(dòng)直播AVSDK騰訊云流媒體服 務(wù)器RTMP推流HLS

5、推流互動(dòng)直播SDKH5觀眾iOS手Q觀眾native觀眾上行音視頻數(shù)據(jù)緩存HLS流推流server觀眾2觀眾1后背的技術(shù)優(yōu)化1秒開(kāi)優(yōu)化耗時(shí)類優(yōu)化實(shí)踐3卡頓優(yōu)化問(wèn)題分析類實(shí)踐4回放優(yōu)化成本類優(yōu)化實(shí)踐2性能優(yōu)化性能優(yōu)化實(shí)踐“為什么不能秒開(kāi)，競(jìng)品都比我們快！” 所有人1秒開(kāi)優(yōu)化耗時(shí)類優(yōu)化實(shí)踐秒開(kāi)目標(biāo)觀看直播達(dá)到秒開(kāi)體驗(yàn)（從點(diǎn)擊直播，到看到畫(huà)面，耗時(shí)在1秒以內(nèi)）5%定義為卡頓用戶2、卡頓率卡頓用戶/總用戶3、主播卡頓點(diǎn)定義：上行大畫(huà)面編碼后幀率5的點(diǎn)數(shù)4、觀眾卡頓點(diǎn)定義：解碼后幀率5的點(diǎn)數(shù)卡頓分析主播服務(wù)器觀眾上行上行發(fā)生卡頓，造成全局卡頓。主播服務(wù)器觀眾下行下行發(fā)生卡頓，造成個(gè)體卡頓?？D分析卡頓分

6、析服務(wù)器攝像頭編碼發(fā)送器圖像處理接收器解碼顯示主播端網(wǎng)絡(luò)用戶端攝像頭采集幀率不夠圖像處理單幀耗時(shí)較長(zhǎng)，送編幀率不夠 編碼幀率不夠解碼能力不足帶寬不足、連接質(zhì)量差 服務(wù)器分發(fā)不穩(wěn)定完善統(tǒng)計(jì)上報(bào)問(wèn)題分解通過(guò)統(tǒng)計(jì)數(shù)據(jù)分析發(fā)現(xiàn)：圖像處理單幀耗時(shí)較長(zhǎng) 50%編碼幀率不夠 30%網(wǎng)絡(luò)質(zhì)量差 20%網(wǎng)絡(luò)質(zhì)量影響50%圖像處理單幀耗時(shí)較長(zhǎng)30%編碼幀率不夠20%問(wèn)題解決編碼優(yōu)化啟用硬件編碼機(jī)型兼容性測(cè)試問(wèn)題解決網(wǎng)絡(luò)質(zhì)量?jī)?yōu)化問(wèn)題解決網(wǎng)絡(luò)上行自適應(yīng)編碼跳幀邏輯發(fā)送緩存發(fā)送器接口機(jī)回復(fù)ACK 擁塞檢測(cè)定時(shí)檢查 UNSEND 流控問(wèn)題解決網(wǎng)絡(luò)下行自適應(yīng)接口機(jī)申請(qǐng)重傳分發(fā)數(shù)據(jù)接收緩沖定時(shí)檢查 丟包解碼顯示均勻出包優(yōu)化成

7、果復(fù)合場(chǎng)景QQ空間映客Me限600kbits200ms延時(shí)穩(wěn)定之后，碼率在550-600kbits之間 波動(dòng)，幀率為25fps基本卡住不動(dòng)，但是會(huì)流暢 1-2s卡住不動(dòng)限600kbits10%丟包穩(wěn)定之后，碼率在450-525之間波 動(dòng)，幀率為15fps基本卡住不動(dòng)，但是會(huì)流暢 1-2s卡住不動(dòng)8%丟包200ms延時(shí)正常直播基本卡住不動(dòng)，但是會(huì)流暢 1-2s正常直播限600kbits8%丟包200ms延時(shí)穩(wěn)定之后碼率為550kbits、幀率為 15fps基本卡住不動(dòng)，但是會(huì)流暢 1-2s卡住不動(dòng)“直播回放是用戶重要的內(nèi)容，要保證質(zhì)量！” 用戶4回放優(yōu)化成本類優(yōu)化實(shí)踐回放存在的問(wèn)題主播服務(wù)器視頻

8、流協(xié)議編碼視頻流回放觀眾直播觀眾視頻流協(xié)議旁路HLSMP4服務(wù)器成本：旁路兩路流， 服務(wù)器轉(zhuǎn)碼成本高、存儲(chǔ)成 本高回放視頻質(zhì)量：因?yàn)槭欠?wù) 器端保存，回看視頻質(zhì)量因 主播端網(wǎng)絡(luò)影響較大MP4播放方案成熟，速度快，用戶體驗(yàn)佳HLS系統(tǒng)支持差，用戶等待時(shí)間長(zhǎng)服務(wù)器成本優(yōu)化HLS優(yōu)化數(shù)據(jù)會(huì)很快的返回給播放器，這樣就實(shí)現(xiàn)了我們降低首幀耗啟動(dòng)播放獲取 下載 下載 下載 M3U8TS1TS2TS3 開(kāi)始播放4.5秒啟動(dòng) 播放代理獲取 M3U8 下載TS1 下載TS2 開(kāi)始 播放主要耗時(shí)點(diǎn)下載和緩存邏輯自己來(lái)實(shí) 現(xiàn)下載串行還并行下載TS3 2秒HLS優(yōu)化模式預(yù)加載緩存策略備注Live模式支持(時(shí)機(jī)要把握好，

9、避 免無(wú)效緩存)m3u8不緩存、ts緩存前3片m3u8動(dòng)態(tài)變化不能緩存。ts緩存 前三片可提高首幀可見(jiàn)速度。Vod模式支持m3u8緩存、ts全部緩存m3u8不變化可完全緩存。ts可完 全緩存。Event模式支持m3u8是否緩存取決于event是否結(jié) 束、ts全部緩存m3u8沒(méi)有endlist標(biāo)簽時(shí)不緩存， 有endlist標(biāo)簽時(shí)可緩存。ts可完全 緩存。HLS的緩存業(yè)界目前還沒(méi)有成熟方案。我們實(shí)現(xiàn)了對(duì)上述三種模式的自動(dòng)偵測(cè)與支持，使用方完 全不需要關(guān)心底層的緩存與下載邏輯?；胤乓曨l質(zhì)量?jī)?yōu)化主播服務(wù)器視頻流協(xié)議編碼視頻流回放HLS觀眾直播觀眾視頻流協(xié)議旁路保存本地編碼上傳替換主播直播時(shí)將音視頻流保 存在本地直播完編碼成HLS上傳服務(wù)器替換之前的回放優(yōu)化成果節(jié)省了50%的回放存儲(chǔ)，用戶的回放都是流暢的。總結(jié)解決方法和實(shí)踐小結(jié)模式優(yōu)化思路速度類理清時(shí)序，統(tǒng)計(jì)各階段耗時(shí)，各個(gè)擊破性能類通過(guò)Trace，明確性能損耗點(diǎn)，各個(gè)擊破問(wèn)題解決類建立模型，初步分析，統(tǒng)計(jì)上報(bào)，確認(rèn)問(wèn)題，各個(gè)擊破成本類確認(rèn)優(yōu)化方向，重