RTP承載Mpeg4介紹

1、1 rtp承載承載mpeg-2/mpeg-4介紹介紹 2006-6-23 2 iptv媒體流簡(jiǎn)介媒體流簡(jiǎn)介 兩種傳輸方式兩種傳輸方式 mpeg2的編碼格式及流程的編碼格式及流程 rtp承載承載mpeg4音視頻的格式介紹音視頻的格式介紹 rtp承載承載mpeg4視頻流視頻流 rtp承載承載mpeg4音頻流音頻流 rtp承載承載mpeg-2/mpeg-4介紹介紹 3 mpeg-4視覺是一種視覺編碼標(biāo)準(zhǔn)，它具有如下新特 征：高編碼效率；高錯(cuò)誤恢復(fù)性；基于多樣的，任意形的 對(duì)象編碼；等等。其速率范圍介于數(shù)kbps到幾mbps。并 且它能適應(yīng)從無(wú)差錯(cuò)網(wǎng)絡(luò)到高錯(cuò)誤率的移動(dòng)網(wǎng)絡(luò)等多種網(wǎng) 絡(luò)類型。 rtp承載

2、承載mpeg-2/mpeg-4介紹介紹 4 iptv傳輸技術(shù)框架傳輸技術(shù)框架 實(shí)現(xiàn)實(shí)現(xiàn)“邊下載邊下載 邊播放邊播放”的功能的功能 rtp承載承載mpeg-2/mpeg-4介紹介紹 5 iptv媒體流簡(jiǎn)介媒體流簡(jiǎn)介 兩種傳輸方式兩種傳輸方式 mpeg2的編碼格式及流程的編碼格式及流程 rtp承載承載mpeg4音視頻的格式介紹音視頻的格式介紹 rtp承載承載mpeg4視頻流視頻流 rtp承載承載mpeg4音頻流音頻流 rtp承載承載mpeg-2/mpeg-4介紹介紹 6 rtp承載承載mpeg-2/mpeg-4介紹介紹 1、isma方式方式 2、mpeg-2 ts over ip方式方式 iptv

3、流傳輸技術(shù)分析與比較：流傳輸技術(shù)分析與比較： 7 isma的流傳輸基本過(guò)程的流傳輸基本過(guò)程 isma通過(guò)服務(wù)器通過(guò)服務(wù)器/客戶端的結(jié)構(gòu)實(shí)現(xiàn)流數(shù)據(jù)的傳輸，在應(yīng)用層采用了客戶端的結(jié)構(gòu)實(shí)現(xiàn)流數(shù)據(jù)的傳輸，在應(yīng)用層采用了 rtsp控制協(xié)議，媒體數(shù)據(jù)采用控制協(xié)議，媒體數(shù)據(jù)采用rtp封裝后承載在封裝后承載在tcp或或udp上，并通過(guò)上，并通過(guò) rtp/rtcp協(xié)議進(jìn)行傳輸質(zhì)量的監(jiān)測(cè)。協(xié)議進(jìn)行傳輸質(zhì)量的監(jiān)測(cè)。 rtp承載承載mpeg-2/mpeg-4介紹介紹 8 isma協(xié)議棧協(xié)議棧 isma協(xié)議棧中，媒體數(shù)據(jù)需要經(jīng)過(guò)流化處理協(xié)議棧中，媒體數(shù)據(jù)需要經(jīng)過(guò)流化處理 rtp承載承載mpeg-2/mpeg-4介紹介紹

4、 9 mpeg-2 ts over ip 方式的流傳輸基本過(guò)程方式的流傳輸基本過(guò)程 媒體數(shù)據(jù)經(jīng)過(guò)媒體數(shù)據(jù)經(jīng)過(guò)mpeg-2 ts封裝后，再通過(guò)封裝后，再通過(guò)tcp/ip 協(xié)議棧，封裝成協(xié)議棧，封裝成ip數(shù)據(jù)包數(shù)據(jù)包 rtp承載承載mpeg-2/mpeg-4介紹介紹 10 mpeg-2 ts over ip 方式的流傳輸協(xié)議棧方式的流傳輸協(xié)議棧 rtp承載承載mpeg-2/mpeg-4介紹介紹 11 iptv媒體流簡(jiǎn)介媒體流簡(jiǎn)介 兩種傳輸方式兩種傳輸方式 mpeg2的編碼格式及流程的編碼格式及流程 rtp承載承載mpeg4音視頻的格式介紹音視頻的格式介紹 rtp承載承載mpeg4視頻流視頻流 rt

5、p承載承載mpeg4音頻流音頻流 rtp承載承載mpeg-2/mpeg-4介紹介紹 12 mpeg-4編碼的五個(gè)層次：編碼的五個(gè)層次： 視頻段視頻段vs（video session） 視頻對(duì)象視頻對(duì)象vo（video object） 視頻對(duì)象層視頻對(duì)象層vol（video object layer） 視頻對(duì)象組層視頻對(duì)象組層gov（group of video object plane） 視頻對(duì)象平面視頻對(duì)象平面vop（video object plane） rtp承載承載mpeg-2/mpeg-4介紹介紹 13 rtp承載承載mpeg-2/mpeg-4介紹介紹 mpeg4壓縮媒體后形成的壓縮

6、媒體后形成的i、p 、b幀數(shù)據(jù)流幀數(shù)據(jù)流 14 rtp承載承載mpeg-2/mpeg-4介紹介紹 15 rtp承載承載mpeg-2/mpeg-4介紹介紹 16 rtp承載承載mpeg-2/mpeg-4介紹介紹 17 rtp承載承載mpeg-2/mpeg-4介紹介紹 18 iptv媒體流簡(jiǎn)介媒體流簡(jiǎn)介 兩種傳輸方式兩種傳輸方式 mpeg2的編碼格式及流程的編碼格式及流程 rtp承載承載mpeg4音視頻的格式介紹音視頻的格式介紹 rtp承載承載mpeg4視頻流視頻流 rtp承載承載mpeg4音頻流音頻流 rtp承載承載mpeg-2/mpeg-4介紹介紹 19 為了增強(qiáng)錯(cuò)誤恢復(fù)能力，在為了增強(qiáng)錯(cuò)誤恢

7、復(fù)能力，在mpeg-4視頻流內(nèi)部提供錯(cuò)誤恢復(fù)工具，視頻流內(nèi)部提供錯(cuò)誤恢復(fù)工具， 最好能為最好能為mpeg-4視頻流定義好視頻流定義好rtp包的分片規(guī)則。包的分片規(guī)則。 由于由于mpeg-4視覺將用于多種網(wǎng)絡(luò)類型，因此在分片方面不應(yīng)有太多視覺將用于多種網(wǎng)絡(luò)類型，因此在分片方面不應(yīng)有太多 的限制。諸如的限制。諸如“單個(gè)視頻包需映射到單個(gè)單個(gè)視頻包需映射到單個(gè)rtp包包”這樣的分片規(guī)則這樣的分片規(guī)則 是不合理的。是不合理的。 另一方面，對(duì)未知媒體分片也可能導(dǎo)致錯(cuò)誤恢復(fù)率和帶寬利用率的另一方面，對(duì)未知媒體分片也可能導(dǎo)致錯(cuò)誤恢復(fù)率和帶寬利用率的 下降。下降。 rtp承載承載mpeg-2/mpeg-4介紹

8、介紹 20 rtp承載承載mpeg-2/mpeg-4介紹介紹 rtp承載mpeg1/2的數(shù)據(jù)需要添加下面的承載首部： 承載視頻 承載音頻 21 iptv媒體流簡(jiǎn)介媒體流簡(jiǎn)介 兩種傳輸方式兩種傳輸方式 mpeg2的編碼格式及流程的編碼格式及流程 rtp承載承載mpeg4音視頻的格式介紹音視頻的格式介紹 rtp承載承載mpeg4視頻流視頻流 rtp承載承載mpeg4音頻流音頻流 rtp承載承載mpeg-2/mpeg-4介紹介紹 22 一個(gè)一個(gè)mpeg-4視覺碼流可直接映射到視覺碼流可直接映射到rtp包而不需要包而不需要 增加額外的頭字段或者刪除任何視覺語(yǔ)法元素增加額外的頭字段或者刪除任何視覺語(yǔ)法元

9、素 為了將基本流的配置信息在相同的為了將基本流的配置信息在相同的rtp端口上傳送，端口上傳送， 必須使用合并配置必須使用合并配置/基本流模式基本流模式 比如使用比如使用sip和和rtsp，則必須用可選參數(shù)，則必須用可選參數(shù)config來(lái)來(lái) 規(guī)定配置信息規(guī)定配置信息 rtp承載承載mpeg-2/mpeg-4介紹介紹 23 rtp承載承載mpeg-2/mpeg-4介紹介紹 24 標(biāo)志位（標(biāo)志位（marker-m） bit: 標(biāo)志位設(shè)為標(biāo)志位設(shè)為1標(biāo)志這是標(biāo)志這是vop的最后一個(gè)（或僅有一個(gè)）的最后一個(gè)（或僅有一個(gè)） rtp包。若一個(gè)包。若一個(gè)rtp包中攜帶有多個(gè)包中攜帶有多個(gè)vop則標(biāo)志位也設(shè)為則

10、標(biāo)志位也設(shè)為1 時(shí)間戳（時(shí)間戳（timestamp）: 時(shí)間戳表示時(shí)間戳表示rtp包中的包中的vop采樣時(shí)間。為了安全，加上采樣時(shí)間。為了安全，加上 了一個(gè)隨機(jī)常數(shù)偏移了一個(gè)隨機(jī)常數(shù)偏移 當(dāng)一個(gè)當(dāng)一個(gè)rtp包攜帶多個(gè)包攜帶多個(gè)vop時(shí)，時(shí)間戳表示其中最早的一個(gè)時(shí)，時(shí)間戳表示其中最早的一個(gè)vop的時(shí)間。其它的時(shí)間。其它vop的時(shí)間戳的時(shí)間戳 信息通過(guò)信息通過(guò)vop頭的時(shí)間戳字段可得（頭的時(shí)間戳字段可得（modulo_time_base和和vop_time_increment） 如果如果rtp包只含有配置信息或包只含有配置信息或group_of_videoobjectplane()字段，使用編碼隊(duì)

11、列中下一個(gè)字段，使用編碼隊(duì)列中下一個(gè) vop的時(shí)間戳的時(shí)間戳 - 如果如果rtp包僅含有包僅含有visual_object_sequence_end_code信息，使用編碼隊(duì)列中信息，使用編碼隊(duì)列中 前一個(gè)前一個(gè)vop的時(shí)間戳的時(shí)間戳 除非由帶外方式規(guī)定，時(shí)間戳分辨率設(shè)為缺省值除非由帶外方式規(guī)定，時(shí)間戳分辨率設(shè)為缺省值90khz rtp承載承載mpeg-2/mpeg-4介紹介紹 25 配置信息和配置信息和group_of_videoobjectplane()字段應(yīng)位于字段應(yīng)位于rtp負(fù)載的開始位置負(fù)載的開始位置 或在語(yǔ)法上的上層函數(shù)頭之后或在語(yǔ)法上的上層函數(shù)頭之后 如果如果rtp負(fù)載中存在一個(gè)

12、或多個(gè)頭，則負(fù)載中存在一個(gè)或多個(gè)頭，則rtp負(fù)載應(yīng)從語(yǔ)法上的最高函數(shù)頭開負(fù)載應(yīng)從語(yǔ)法上的最高函數(shù)頭開 始始 一個(gè)頭不應(yīng)分到多個(gè)一個(gè)頭不應(yīng)分到多個(gè)rtp包中包中 不同的不同的vop應(yīng)該分片為不同的應(yīng)該分片為不同的rtp包，一個(gè)包，一個(gè)rtp包只包括與唯一包只包括與唯一vop的時(shí)間的時(shí)間 相關(guān)的數(shù)據(jù)（在相關(guān)的數(shù)據(jù)（在rtp包頭的時(shí)間戳字段中指出）。例外情況是如果包頭的時(shí)間戳字段中指出）。例外情況是如果vop很小，很小， 則單個(gè)則單個(gè)rtp包攜帶多個(gè)按解碼順序連續(xù)的包攜帶多個(gè)按解碼順序連續(xù)的vop 當(dāng)一個(gè)當(dāng)一個(gè)rtp負(fù)載攜帶了多個(gè)負(fù)載攜帶了多個(gè)vop時(shí)，第一個(gè)時(shí)，第一個(gè)vop后的后的vop時(shí)間戳在解

13、碼時(shí)通過(guò)計(jì)算得時(shí)間戳在解碼時(shí)通過(guò)計(jì)算得 到到 該操作僅當(dāng)該操作僅當(dāng)rtp包標(biāo)志位為包標(biāo)志位為1且且rtp負(fù)載開始符合起始碼時(shí)才是必須的負(fù)載開始符合起始碼時(shí)才是必須的 建議一個(gè)視頻包組成一個(gè)建議一個(gè)視頻包組成一個(gè)rtp包進(jìn)行發(fā)送。視頻包的大小應(yīng)該按如下方式來(lái)包進(jìn)行發(fā)送。視頻包的大小應(yīng)該按如下方式來(lái) 決定，即，結(jié)果決定，即，結(jié)果rtp包的大小不得超過(guò)路徑包的大小不得超過(guò)路徑mtu的大小的大小 rtp承載承載mpeg-2/mpeg-4介紹介紹 26 rtp承載承載mpeg-2/mpeg-4介紹介紹 27 iptv媒體流簡(jiǎn)介媒體流簡(jiǎn)介 兩種傳輸方式兩種傳輸方式 mpeg2的編碼格式及流程的編碼格式及流

14、程 rtp承載承載mpeg4音視頻的格式介紹音視頻的格式介紹 rtp承載承載mpeg4視頻流視頻流 rtp承載承載mpeg4音頻流音頻流 rtp承載承載mpeg-2/mpeg-4介紹介紹 28 latm有如下幾項(xiàng)復(fù)用特性：有如下幾項(xiàng)復(fù)用特性： 在音頻數(shù)據(jù)中攜帶配置信息在音頻數(shù)據(jù)中攜帶配置信息 將多個(gè)音頻幀連接到一個(gè)音頻流中將多個(gè)音頻幀連接到一個(gè)音頻流中 多對(duì)象（程序）復(fù)用多對(duì)象（程序）復(fù)用 可伸縮層的復(fù)用可伸縮層的復(fù)用 mpeg-4音頻是一種集成了多種類型音頻編碼工具的新型音頻標(biāo)準(zhǔn)。latm(低負(fù) 擔(dān)mpeg-4音頻傳輸復(fù)用)通過(guò)相當(dāng)小的耗費(fèi)來(lái)管理音頻數(shù)據(jù)序列。對(duì)那些僅有音頻 的應(yīng)用，不使用m

15、peg-4系統(tǒng)而采用直接將基于latm的mpeg-4音頻碼流映射到 rtp包的方式是可行的。 在在rtp傳輸中不需要最后兩項(xiàng)性質(zhì)傳輸中不需要最后兩項(xiàng)性質(zhì) rtp承載承載mpeg-2/mpeg-4介紹介紹 29 對(duì)于mpeg-4音頻編碼工具而言，如果負(fù)載為單個(gè) 音頻幀，則包的丟失不會(huì)影響鄰近包的解碼。這同樣也 適用于其它音頻編碼器。因此mpeg-4音頻不需要附加 的用于錯(cuò)誤恢復(fù)的媒體特定頭。 可采用已經(jīng)存在的一些rtp保護(hù)機(jī)制來(lái)提高錯(cuò)誤恢 復(fù)率，如通用前向糾錯(cuò)(rfc 2733)和冗余音頻數(shù)據(jù) (rfc 2198)。 rtp承載承載mpeg-2/mpeg-4介紹介紹 30 rtp承載承載mpeg-2/mpeg-4介紹介紹 31 標(biāo)志位標(biāo)志位(m): 標(biāo)志位指出了標(biāo)志位指出了audiomuxelement范圍。置為范圍。置為1說(shuō)明說(shuō)明 rtp包包含有完整的包包含有完整的audiomuxelement或或audiomuxelement分分 片的最后一片片的最后一片 時(shí)間戳?xí)r間戳: 時(shí)間戳表示時(shí)間戳表示rtp包中第一個(gè)音頻幀的采樣時(shí)