小學(xué)期課程-基于ffmpegsdl的視頻播放器制作1視音頻基礎(chǔ)知識(shí)

1、基于 FFmpeg + SDL 的器的制作(1) 視音頻基礎(chǔ)知識(shí)leix目錄前言器原理封裝格式（MP4，RMVB，TS，F(xiàn)LV，AVI）編碼數(shù)據(jù)（H.264，MPEG2，VC-1）音頻編碼數(shù)據(jù)（AAC，MP3，AC-3）像素?cái)?shù)據(jù)（YUV420P，RGB）音頻采樣數(shù)據(jù)（PCM）練習(xí)前言本課程的作用本課程是視音頻技術(shù)最基礎(chǔ)的入門課程。本課程的內(nèi)容是視音頻相關(guān)行業(yè)的必備基礎(chǔ)知識(shí)。本課程對(duì)未來(lái)生活有一定的幫助。學(xué)習(xí)本課程的前提條件C語(yǔ)言熟悉Visual C+開(kāi)發(fā)環(huán)境器原理文件的流程如下所示。一個(gè)常用器系列（非DirectShow框架）跨VLC，Mplayer，ffplayWindows系列（ Dire

2、ctShow框架）完美，終極，暴風(fēng)影音信息查看工具綜合信息查看MediaInfo二進(jìn)制信息查看UltraEdit單項(xiàng)詳細(xì)分析封裝格式：ElecardFormatyzer編碼數(shù)據(jù)：Elecard Stream Eye像素?cái)?shù)據(jù)：YUV Player音頻采樣數(shù)據(jù)：Adobe Audition常用器UltraEditMediaInfo封裝格式封裝格式的作用碼流和音頻碼流按照一定的在一個(gè)文件中。格式封裝格式分析工具 Elecard Formatyzer名稱推出機(jī)構(gòu)目前使用領(lǐng)域AVIInc.BT影視MP4MPEG互聯(lián)網(wǎng)TSMPEGIPTV，數(shù)字電視FLVAdobe Inc.互聯(lián)網(wǎng)MKVCoreCodec

3、Inc.互聯(lián)網(wǎng)RMVBReal Networks Inc.BT影視MPEG2-TS格式簡(jiǎn)介不包含文件頭。數(shù)據(jù)大小固定（188Byte）的TSPacket。FLV格式簡(jiǎn)介包含文件頭。數(shù)據(jù)由大小不固定的Tag。編碼數(shù)據(jù)編碼的作用像素?cái)?shù)據(jù)（RGB，YUV等）壓縮成為的數(shù)據(jù)量。編碼分析工具將低碼流，從而降Elecard Stream Eye名稱推出機(jī)構(gòu)推出時(shí)間目前使用領(lǐng)域HEVC(H.265)MPEG/ITU-T2013研發(fā)中H.264MPEG/ITU-T2003各個(gè)領(lǐng)域MPEG4MPEG2001不溫不火MPEG2MPEG1994數(shù)字電視VP92013研發(fā)中VP82008不普及VC-1Inc.2006

4、微軟H.264格式簡(jiǎn)介數(shù)據(jù)由大小不固定的NALU最常見(jiàn)的情況下，1個(gè)NALU了1幀畫面的壓縮編碼后的數(shù)據(jù)。H.264壓縮方法比較復(fù)雜。包含了幀內(nèi)、幀間、熵編碼、環(huán)路濾波等環(huán)節(jié)。本課程不對(duì)其中的算法做過(guò)多介紹?？梢詫D像數(shù)據(jù)壓縮100倍以上。紅色的幀：I幀；藍(lán)色的幀：P幀；綠色的幀：B幀。音頻編碼數(shù)據(jù)音頻編碼的作用 將音頻采樣數(shù)據(jù)（PCM等）壓縮成為音頻碼流，從而降低音頻的數(shù)據(jù)量。音頻編碼分析工具 暫不涉及。名稱推出機(jī)構(gòu)推出時(shí)間目前使用領(lǐng)域AACMPEG1997各個(gè)領(lǐng)域（新）AC-3Dolby Inc.1992MP3MPEG1993各個(gè)領(lǐng)域（舊）WMAInc.1999微軟AAC格式簡(jiǎn)介數(shù)據(jù)由大小

5、不固定的ADTSAAC壓縮方法比較復(fù)雜。本課程不對(duì)其中的算法做過(guò)多介紹。可以將音頻數(shù)據(jù)壓縮10倍以上。像素?cái)?shù)據(jù)像素?cái)?shù)據(jù)作用保存了屏幕上每個(gè)像素點(diǎn)的像素值。格式常見(jiàn)的像素?cái)?shù)據(jù)格式有RGB24， RGB32， YUV420P，YUV422P， YUV444P等。壓縮編碼中一般使用的是YUV格式的像素?cái)?shù)據(jù)，最為常見(jiàn)的格式為YUV420P。特點(diǎn)像素?cái)?shù)據(jù)體積很大，一般情況下1小時(shí)的RGB24格式的數(shù)據(jù)體積為：3600*25*1920*1080*3=559.9GBytePS:這里假定幀率為25Hz,取樣精度8bit。YUV格式像素?cái)?shù)據(jù)查看工具 YUV PlayerRGB格式簡(jiǎn)介Red、Green、Blue

6、三種顏色，可以混世界上所有的顏色。像中每個(gè)點(diǎn)，由R、G、B三個(gè)分量組成。彩以RGB24為例，圖像像素?cái)?shù)據(jù)的方式如下：從圖中可以看出，RGB24依次了每個(gè)像素點(diǎn)的R、G、B信息。PS：BMP文件中的就是RGB格式的像素?cái)?shù)據(jù)。YUV格式簡(jiǎn)介相關(guān)實(shí)驗(yàn)表明，人眼對(duì)亮度敏感而對(duì)色度不敏感。因而可以將亮度信息和色度信息分離，并對(duì)色度信息采用更“狠”一點(diǎn)的壓縮方案，從而提高壓縮效率。YUV格式中，Y只包含亮度信息，而UV只包含色度信息。以YUV420P為例，圖像像素?cái)?shù)據(jù)的方式。從圖中可以看出，YUV420P首先然后最后了整張圖像的Y信息，整張圖像的U信息，了整張圖像的V信息。音頻采樣數(shù)據(jù)音頻采樣數(shù)據(jù)作用 保存了音頻中每個(gè)采樣點(diǎn)的值。特點(diǎn) 音頻采樣數(shù)據(jù)體積很大，一般情況下一首4分鐘的PCM格式的歌曲體積為：4*60*44100*2*2=42.3MBytePS:這里假定采樣率為44100Hz，采樣精度為16bit。音頻采樣數(shù)據(jù)查看工具：Adobe AuditionPCM格式簡(jiǎn)介單聲道的情況下按照順序每個(gè)采樣點(diǎn)的數(shù)據(jù)。雙聲道的情況下按照“左右、左右”的順序道的數(shù)據(jù)。每個(gè)采樣點(diǎn)兩個(gè)聲實(shí)驗(yàn)對(duì)文件進(jìn)行分析，對(duì)下列信息進(jìn)行截圖：任意4個(gè)文件的總體信息 （MediaInfo）MK