直播技術(shù)方案路演

1、提案 直播技術(shù)方案直播應(yīng)用場景01視頻聊天02直播答題03社交平臺04遠(yuǎn)程教育05遠(yuǎn)程醫(yī)療06單兵作業(yè)常用直播功能項觀看直播聊天禮物房間邏輯用戶邏輯系統(tǒng)設(shè)置直播列表錄播主播直播流程音視頻采集視頻濾鏡音視頻編碼推流流媒體服務(wù)器拉流音視頻解碼音視頻播放直播協(xié)議RTMPHTTP-FLVHLS優(yōu)勢：實(shí)時性高（延時 13秒），編碼兼容性高，穩(wěn)定性高劣勢：播放兼容性差，RTMP最大軟肋，因?yàn)槭茿dobe的私有協(xié)議，很多設(shè)備都無法直接播放優(yōu)勢：性能高（延時 13秒），所以從延遲角度來看，HTTP-FLV要優(yōu)于RTMP。（服務(wù)器上直接轉(zhuǎn)碼成http-flv，客戶端直接觀看）劣勢：移動端對于HTTP的支持不是很

2、完善優(yōu)勢：自適應(yīng)碼率流播劣勢：實(shí)時性差,基本上HLS的延遲在10秒以上流媒體開發(fā)幀：每幀代表一幅靜止的圖像碼率：圖片進(jìn)行壓縮后每秒顯示的數(shù)據(jù)量。 流媒體開發(fā):網(wǎng)絡(luò)層(socket)負(fù)責(zé)傳輸，協(xié)議層(rtmp或hls)負(fù)責(zé)網(wǎng)絡(luò)打包，封裝層(flv、ts)負(fù)責(zé)編解碼數(shù)據(jù)的封裝，編碼層(h.264和aac)負(fù)責(zé)圖像，音頻壓縮。幀率：每秒顯示的圖片數(shù)。影響畫面流暢度，與畫面流暢度成正比：幀率越大，畫面越流暢；幀率越小，畫面越有跳動感。直播架構(gòu)FFmpeg框架:編解碼,推流h264框架：視頻格式轉(zhuǎn)換librtmp框架：推流1.音視頻采集2.視頻處理（美顏、水?。?.音視頻編碼壓縮4.將音視頻封裝成flv

3、格式nginx + rtmp_moduleRed5SRS1.數(shù)據(jù)分發(fā)（CDN）2.實(shí)時轉(zhuǎn)碼3.截屏：展示主播封面4.錄制視頻FFmpeg框架:編解碼,拉流ijkPlayer框架:播放librtmp框架：推流1.拉取flv視頻流2.音視頻解碼3.播放4.聊天互動推流URL拉流URL推流rtmp拉流rtmphlsflv采集端邏輯采集端業(yè)務(wù)服務(wù)器流媒體服務(wù)器創(chuàng)建房間創(chuàng)建直播流返回直播流返回直播流地址推流到直播流地址播放端邏輯播放端業(yè)務(wù)服務(wù)器流媒體服務(wù)器查詢房間列表返回房間列表及播放地址拉流播放流媒體服務(wù)器SRS ：一款國人開發(fā)的優(yōu)秀開源流媒體服務(wù)器系統(tǒng)BMS : 也是一款流媒體服務(wù)器系統(tǒng)，但不開源，

4、是SRS的商業(yè)版，比SRS功能更多nginx:免費(fèi)開源web服務(wù)器，也常用來配置流媒體服務(wù)器。集成Rtmp_module即可。Red5：是java寫的一款穩(wěn)定的開源的rtmp服務(wù)器。最簡單Demo1、環(huán)境：ubuntu、centos、archlinux、debian等主流linux系統(tǒng)2、下載并配置nginx + rtmp_module服務(wù)3、安裝 ffmpeg、vlc4、推流：ffmpeg -r 25 -f dshow -s 640480 -i video=”video source name”:audio=”audio source name” -vcodec libx264 -b 600

5、k -vpre slow -acodec libfaac -ab 128k -f flv rtmp:/:1935/live/test5、播放：vlc rtmp:/:1935/live/test開發(fā)技術(shù)點(diǎn)服務(wù)器的搭建與部署：nginx + rtmp_module / Red5 / SRS / livegoffmpeg 編解碼 : C/C+ ijkplayer : 一個基于FFmpeg的開源Android/iOS視頻播放器（開源）API易于集成；編譯配置可裁剪，方便控制安裝包大?。恢С钟布铀俳獯a，更加省電簡單易用，指定拉流URL，自動解碼播放. 消息互動：即時消息通訊，通過網(wǎng)絡(luò)實(shí)時傳輸文字、圖片、語音、與視頻 客戶端：PC、ANDROID、IOS 、HTML5opencv 圖像處理（磨皮、美顏等）：C+ 方案選擇自研第三方SDK長遠(yuǎn)來看，自己開發(fā)更節(jié)省成本，技術(shù)層面比直接使用第三方SDK更可控時間成本與風(fēng)險比直接使用第三方SDK要大。效率高、風(fēng)險低由于存在授權(quán)、版權(quán)的費(fèi)用，長期使