富媒體標(biāo)準(zhǔn)LASeR 的研究

1、富媒體標(biāo)準(zhǔn)LASeR 的研究    摘 要：本文詳細(xì)介紹一種關(guān)于富媒體新標(biāo)準(zhǔn) LASeR（輕量級(jí)應(yīng)用場(chǎng)景展現(xiàn)），它是由MPEG-4 part 20（ISO/IEC 14496-20)定義的富媒體新標(biāo)準(zhǔn)。LASeR 是在SVG 矢量圖形以及媒體場(chǎng)景擴(kuò)展的基礎(chǔ)上對(duì)場(chǎng)景進(jìn)行描述，它具有XML 格式和二進(jìn)制格式兩種。LASeR 能為用戶提供更好的交互性和靈活性，適用于手機(jī)等移動(dòng)嵌入式消費(fèi)電子設(shè)備。接著介紹了LASeR 時(shí)域展現(xiàn)和空域展現(xiàn)。最后以一個(gè)LASeR 碼流片段為例介紹了各部分的實(shí)現(xiàn)。關(guān)鍵詞：LASeR ；SVG；RichMedia；XML中圖分類號(hào)：TN

2、919.811 引言隨著便攜式設(shè)備硬件能力的加強(qiáng)與網(wǎng)絡(luò)通信服務(wù)的發(fā)展，人們?cè)絹碓讲粷M足于傳統(tǒng)的文字、圖片下載后瀏覽等獲取信息的方式。當(dāng)流媒體點(diǎn)播業(yè)務(wù)方興未艾，并日益成為下一個(gè)業(yè)務(wù)增長(zhǎng)點(diǎn)時(shí)，如何對(duì)用戶終端提供更多樣、更生動(dòng)、更具有交互性，更具有個(gè)性化特色的多媒體業(yè)務(wù)，成為業(yè)界關(guān)注的主要方向。而各種富媒體技術(shù)的出現(xiàn)和發(fā)展為傳統(tǒng)的網(wǎng)絡(luò)音視頻服務(wù)提供了新的機(jī)會(huì)。2 富媒體富媒體(Rich Media)是由音頻、視頻、圖形、文本、動(dòng)畫等多媒體數(shù)據(jù)組成的動(dòng)態(tài)可交互集合。富媒體的最大特點(diǎn)是它能夠呈現(xiàn)動(dòng)態(tài)的運(yùn)動(dòng)。如：一個(gè)流視頻的新聞聯(lián)播，或是一個(gè)持續(xù)自我更新的股票行情報(bào)價(jià)器（stock ticker）。富媒體

3、系統(tǒng)可以被看成是一個(gè)客戶-服務(wù)器結(jié)構(gòu)，由三個(gè)主要部分組成：富媒體服務(wù)器，傳輸機(jī)制和富媒體用戶。如圖1-1 所示。服務(wù)器端為輸入端，富媒體內(nèi)容包括場(chǎng)景描述，如不連續(xù)的圖像和連續(xù)的音視頻等元素。場(chǎng)景描述可以通過場(chǎng)景更新命令來動(dòng)態(tài)的更新。富媒體內(nèi)容可以連同一些附加信息，如：媒體同步，解釋數(shù)據(jù)，媒體數(shù)據(jù)包追蹤信息等，封裝在一個(gè)容器格式中。然后，富媒體系統(tǒng)利用不同的傳輸機(jī)制來完成下載，最終在用戶端實(shí)現(xiàn)對(duì)富媒體內(nèi)容的播放，并允許本地和遠(yuǎn)程的對(duì)信息回饋和數(shù)據(jù)要求的互動(dòng)。Rich Mediacontent (scenes,scene updates,discrete andcontinuous mediaCo

4、ntainerFormat /TransportPacketsRich Media ServerRemote InteractionMechanismsForward Transmission(Unicast, Multicast,Broadcast Downloadand StreamingProtocolsTransport MechanismsLocalInteractionMechanismsRich Media ClientRichMediaPlayerIs theplayerÕsrequestremote innature?sendrequestyesno圖1-1 富媒體

5、系統(tǒng)結(jié)構(gòu)框圖13 LASeR 標(biāo)準(zhǔn)3.1 LASeR 簡(jiǎn)介L(zhǎng)ASeR(Lightweight Application Scene Representation) 1，輕量級(jí)應(yīng)用場(chǎng)景展現(xiàn)標(biāo)準(zhǔn)，是由MPEG 組織制定的MPEG-4 part 20（ISO/IEC 14496-20)中定義的新的富媒體標(biāo)準(zhǔn)。LASeR-2-可以用來編碼2D 場(chǎng)景并更新場(chǎng)景，它有XML 格式和二進(jìn)制格式兩種。其中二進(jìn)制格式和場(chǎng)景表示（基于SVG Tiny）適用于將富媒體業(yè)務(wù)呈現(xiàn)到資源受限的設(shè)備上，一般是輕量級(jí)嵌入式設(shè)備，例如手機(jī)等。LASeR 的目的是滿足所有富媒體在場(chǎng)景描述級(jí)別的服務(wù)要求：包括能夠最優(yōu)化的安排從SVG

6、3繼承來的對(duì)象，并以此來描述富媒體場(chǎng)景；協(xié)調(diào)一致的擴(kuò)展SVG；能夠編碼并傳輸LASeR 流，并重建SVG 內(nèi)容。能夠動(dòng)態(tài)的更新場(chǎng)景，以此達(dá)到交互性，平滑性和連續(xù)性的服務(wù)。能夠以簡(jiǎn)單有效的壓縮方式來減少傳輸和解析的時(shí)間，并同時(shí)增大存儲(chǔ)大小。具備有效的音視頻接口，并且可以幀級(jí)同步。適應(yīng)任意字體，包括OpenType 工業(yè)標(biāo)準(zhǔn)。LASeR 的基本標(biāo)準(zhǔn)包括壓縮效率，編碼，內(nèi)存，展示等等。其他的目標(biāo)包括：可分級(jí)性，對(duì)用戶內(nèi)容的適應(yīng)性，格式的擴(kuò)展性，定義小型規(guī)范（profile）的能力，實(shí)現(xiàn)J2ME 的可行性，錯(cuò)誤恢復(fù)，和執(zhí)行安全等。SAF（簡(jiǎn)單集合格式）是用來在多種傳輸通路中有效并且方便的傳輸LASeR

7、 數(shù)據(jù)和音視頻內(nèi)容的。這個(gè)多路技術(shù)設(shè)計(jì)的目的是能夠?qū)⒏幻襟w業(yè)務(wù)傳輸?shù)劫Y源受限的設(shè)備上，允許并且能夠簡(jiǎn)單實(shí)現(xiàn)在低端設(shè)備上的有效的多路信號(hào)分離。SAF 是用來補(bǔ)充LASeR 的，以達(dá)到簡(jiǎn)單且交互的業(yè)務(wù)。3.2 LASeR 結(jié)構(gòu)LASeR 是以抽象的接入單元定義的，它可以適應(yīng)于多種協(xié)議的傳輸。LASeR 流可以和其它相關(guān)的媒體流一起打包成基于ISO 的媒體文件格式，如mp4，并且用可靠協(xié)議傳輸。簡(jiǎn)單集成協(xié)議SAF 是將LASeR 流和一些相關(guān)的媒體流集合到一起。SAF 流既可以用可靠協(xié)議也不可靠協(xié)議傳輸。LASeR 流也可以適用于其他傳輸協(xié)議，比如RTP，MPEG-2。圖2-1呈現(xiàn)了LASeR 和S

8、AF 的結(jié)構(gòu)：SVG Scene TreeLASeRCommandsBinary EncodingLASeRExtensionsSAFAudio Video Image Font ApplicationNetworkTransport圖2-1 LASeR 和SAF 的結(jié)構(gòu)1設(shè)計(jì)LASeR 系統(tǒng)解碼器模型的目的是提供一個(gè)抽象的方式來描述符合ISO/IEC14496-20 的終端行為。它可以被發(fā)送者使用，用來估計(jì)緩沖管理和同步，以及當(dāng)解碼數(shù)據(jù)以基本流的形式被接收時(shí)，接收終端將如何表現(xiàn)。LASeR 系統(tǒng)解碼模型包括一個(gè)計(jì)時(shí)模型和一個(gè)緩沖模型。LASeR 系統(tǒng)解碼模型詳細(xì)定義了：1（傳輸層）訪問數(shù)據(jù)流

9、的概念上的接口。2對(duì)每個(gè)基本流的已編碼數(shù)據(jù)的解碼緩沖。3基本流解碼器的行為。4從每個(gè)解碼器已解碼數(shù)據(jù)的綜合內(nèi)存。5送向合成器的綜合內(nèi)存的輸出行為。-3-DeliveryLayerDecodingLayerCompositionLayerDBDBDBSAFDeMuxDecoderDecoderDecoderRTSP/RTPDBDBDBHTTPDecoderDecoderDecoderCompositionCBCBCBCBCBCBHTTP/SAFSessionRTSP/RTPSession圖2-2 LASeR 系統(tǒng)的解碼器模型1在上圖中，發(fā)送端知道需要的解碼緩存（DB）的大小,并傳給接收終端。解碼

10、緩存以字節(jié)為單位，當(dāng)有數(shù)據(jù)傳輸時(shí)解碼緩存器以所對(duì)應(yīng)的基本流的最大比特速率填充；當(dāng)沒有數(shù)據(jù)傳輸時(shí)解碼緩存器速率為0。最大的發(fā)送比特速率由發(fā)送端決定，在每個(gè)基本流建立時(shí)，它作為部分解碼結(jié)構(gòu)信息傳輸。4 空域約束關(guān)系和時(shí)域約束關(guān)系空域約束關(guān)系和時(shí)域約束關(guān)系是富媒體中重要的兩個(gè)方面，可以通過場(chǎng)景來展現(xiàn)。4.1 空域約束關(guān)系LASeR 的場(chǎng)景描述主要基于SVG Tiny 1.1，并包含對(duì)部分SVG Tiny 1.22標(biāo)準(zhǔn)的支持。SVG 主要用于矢量圖形與動(dòng)畫，使用XML 語法對(duì)場(chǎng)景進(jìn)行描述，具有一定動(dòng)態(tài)效果的描繪。而LASeR 在此基礎(chǔ)上增加了一些對(duì)多媒體和移動(dòng)終端的擴(kuò)展。LASeR 將矢量圖形，動(dòng)畫和

11、包括文字、圖像、音視頻媒體流等各種媒體或媒體流對(duì)象聚合到一起，并描述了媒體元素間的空間布局，時(shí)域組織與同步機(jī)制，對(duì)象的動(dòng)態(tài)變化和對(duì)象間的相互作用等，并將這些元素與屬性有序的組織在一起，構(gòu)成符合DOM 標(biāo)準(zhǔn)的場(chǎng)景樹。LASeR 使用一定的渲染器和渲染算法對(duì)DOM 樹進(jìn)行渲染，完成場(chǎng)景展示的功能。SVG 的空間布局，虛擬了嵌入式終端的屏幕，并主要使用坐標(biāo)點(diǎn)的方式，對(duì)某一對(duì)象的具體展現(xiàn)位置，大小等進(jìn)行定義，從而確定了媒體對(duì)象的空間位置。并可以動(dòng)態(tài)改變空間布局的屬性，從而改變對(duì)象在空間的位置。4.2 時(shí)域約束關(guān)系LASeR 在時(shí)間模型中，定義了兩個(gè)時(shí)間軸。分別是媒體(MediaTime)時(shí)間軸和場(chǎng)景(

12、SceneTime)時(shí)間軸。LASeR 接入單元按mediaTime 對(duì)LASeR 數(shù)據(jù)單元進(jìn)行發(fā)送，所以媒體時(shí)間沒有一個(gè)明確的起始點(diǎn)，它的時(shí)標(biāo)(TimeScale)在傳輸層中定義。而場(chǎng)景時(shí)間，是相對(duì)于場(chǎng)景來說的。而每遇到或新建一個(gè)新的場(chǎng)景，場(chǎng)景的場(chǎng)景時(shí)間就重新設(shè)為0，即從0 開始，它的時(shí)標(biāo)(TimeScale)由LASeR 本身的語法定義。LASeR 中事件發(fā)生的時(shí)間，都是相對(duì)于場(chǎng)景時(shí)間來描述。SVG 的時(shí)域組織繼承了SMIL4時(shí)間處理和同步模型。它以對(duì)象屬性的方式，定義了對(duì)象媒體的開始結(jié)束等事件的發(fā)生時(shí)間，或相應(yīng)事件的持續(xù)時(shí)間。而時(shí)間定義分為兩種，絕對(duì)時(shí)間從當(dāng)前應(yīng)用場(chǎng)景的起始時(shí)間計(jì)算，和相

13、對(duì)時(shí)間相對(duì)于某一事件發(fā)生時(shí)間開始計(jì)算。這兩種時(shí)間都是相對(duì)于當(dāng)前場(chǎng)景的場(chǎng)景時(shí)間來描述的。這樣從新的場(chǎng)景開始算起，我們能推導(dǎo)出事件發(fā)生的時(shí)間和物體開始描繪或顯示的時(shí)間，從而獲得整個(gè)LASeR 場(chǎng)景的時(shí)間同步-4-關(guān)系。SVG 還擴(kuò)展了SMIL4的相關(guān)定義，使場(chǎng)景對(duì)象的屬性能夠隨時(shí)間進(jìn)行變化，從而達(dá)到動(dòng)畫的效果。LASeR 使用SMIL4中的音視頻元素對(duì)SVG 進(jìn)行擴(kuò)展，以使SVG 場(chǎng)景樹支持多媒體的音視頻碼流。場(chǎng)景時(shí)間如圖3-1 所示：NewScene xsceneTime(x) = mediaTime(x) mediaTime(NewScene)Within a scene segmentNew

14、Scene xsceneTime(y) = Ts0With more scene segmentsy zFirst scene segmentSecond scene segmentTs0sceneTime(z) = Ts0 + mediaTime(z) mediaTime(y)圖3-1 場(chǎng)景時(shí)間及場(chǎng)景段1場(chǎng)景時(shí)間與媒體時(shí)間的關(guān)系為（不考慮TimeScale）：ST(r) = MT(r) - MT(ns)一個(gè)RefreshScene 命令通常情況下是可以有任意的媒體時(shí)間的，但是包含在access unit中就會(huì)有為媒體時(shí)間而定義的場(chǎng)景時(shí)間。這允許終端在NewScene 發(fā)送后才"tu

15、ne in"，或者在因?yàn)槟撤N原因而沒有接收到NewScene，在這樣的情況下來建立場(chǎng)景時(shí)間。編碼器可以計(jì)算場(chǎng)景時(shí)間的值，通過比較RefreshScene 的媒體體時(shí)間戳MT(rs)和前一個(gè)NewScene 的媒體時(shí)間戳MT(ns)，然后發(fā)送MT(rs) - MT(ns)。當(dāng)一個(gè)帶有NewScene 的場(chǎng)景片段開始的時(shí)候，場(chǎng)景時(shí)間被重設(shè)置為0。在這樣的場(chǎng)景        段中，laser access unit 的場(chǎng)景時(shí)間就是這個(gè)access unit 的媒體時(shí)間與鄰近的前一個(gè)NewScene的媒體時(shí)間的差

16、值。當(dāng)一個(gè)場(chǎng)景片斷不是從NewScene 開始的時(shí)候，場(chǎng)景時(shí)間不會(huì)重置為0，并設(shè)Ts0 為這個(gè)新的場(chǎng)景片段所接收的第一個(gè)access unit 的最開始的場(chǎng)景片斷的場(chǎng)景時(shí)間。在這樣的場(chǎng)景片斷中，laser access unit 的場(chǎng)景時(shí)間為這個(gè)access unit 的媒體時(shí)間與由在那個(gè)場(chǎng)景段增加Ts0后的第一個(gè)access unit 的媒體時(shí)間的差值來確定。注意：Ts0 會(huì)隨著終端之間的傳輸時(shí)間的變化而產(chǎn)生變化。時(shí)間值由ticks 來編碼。每秒鐘ticks 的數(shù)量由laser 頭的timeResolution 和 timeEncodingattributes 定義?！癱lipBegin”

17、and “clipEnd”屬性，用來保持另一條流的媒體時(shí)間，采用預(yù)先定義的每秒1000 下作為計(jì)時(shí)單位。5 LASeR 場(chǎng)景描述一個(gè)場(chǎng)景描述包括以下四個(gè)方面：1媒體元素是如何在空間上排布的。如：視覺元素在空間上是怎樣規(guī)劃的。2媒體元素是如何在時(shí)間上排布的。如：是否采用同步及如何實(shí)現(xiàn)同步，何時(shí)起止。3場(chǎng)景中的元素是如何交互的。如：當(dāng)用戶用鼠標(biāo)點(diǎn)擊一個(gè)圖片時(shí)。4如果場(chǎng)景會(huì)有變動(dòng)，那么它是如何變動(dòng)的。場(chǎng)景描述會(huì)因?yàn)閯?dòng)畫而改變。在整個(gè)動(dòng)畫過程中，場(chǎng)景的不同狀態(tài)可能是確定的（如：知道動(dòng)畫是何時(shí)開始的），也可能是不確定的。可確定的指的是帶參數(shù)的動(dòng)畫，不確定的指的是由服務(wù)器發(fā)送的調(diào)整信號(hào)來決定的動(dòng)畫。場(chǎng)景描

18、述的序列順序和它的時(shí)間修改統(tǒng)一稱作-5-場(chǎng)景描述流。對(duì)于這些場(chǎng)景描述格式的規(guī)定就稱作 LASeR。一個(gè)場(chǎng)景描述流就叫做一個(gè)LASeR 流。對(duì)于場(chǎng)景的修改就叫做LASeR 命令，命令在一個(gè)確定的時(shí)間作用于場(chǎng)景中的元素或者元素屬性。將需要在同一時(shí)間執(zhí)行的LASeR 命令集中成組，形成LASeR 接入單元（Access Unit）。LASeR 標(biāo)準(zhǔn)中定義的二進(jìn)制的場(chǎng)景結(jié)構(gòu)是基于W3C 定義的SVG3標(biāo)準(zhǔn)中的元素。一個(gè)LASeR 場(chǎng)景就是SVG3場(chǎng)景附加了LASeR 擴(kuò)展。例如下面這個(gè)程序：<?xml version="1.0" encoding="UTF-8&qu

19、ot;?><saf:SAFSession xmlns:saf="urn:mpeg:mpeg4:SAF:2005" ><saf:sceneHeader><LASeRHeader /></saf:sceneHeader><saf:mediaHeader streamType="12" objectTypeIndication="6" streamID="font"/><saf:mediaUnit streamIDref="font&quo

20、t; ./><saf:sceneUnit><lsru:NewScene><svg width="480" height="360" viewBox="0 0 480 360" version="1.1"baseProfile="tiny"><defs><desc>this was a font</desc></defs><g transform="translate(165, 220)&qu

21、ot; font-family="TestComic" font-size="60" fill="black"stroke="none"><line x1="0" y1="0" x2="210" y2="0" stroke-width="1" stroke="#888888"/><text>test</text></g></svg>

22、</lsru:NewScene></saf:sceneUnit><saf:endOfSAFSession/></saf:SAFSession>在上述例子中，SVG3場(chǎng)景先被包在了一個(gè)NewScene 更新中，然后再被包裝在SAF 包中。字體描述采取了MPEG-4 part 18 進(jìn)行編碼，取代了SVG3本身的字體描述，并且放在了SAF mediaUnit 中。在SAF mediaHeader 中的屬性 streamType=”12” ，objectTypeIndication=”6”和streamID=”font”標(biāo)示了SAF 流的內(nèi)容。SAF

23、mediaHeader 和 SAFmediaUnit 通過streamID ”font” 連系在了一起，被編碼成了一個(gè)數(shù)字，并且對(duì)于SAF 是局部嚴(yán)格的。Font-family=”TestComic” 和在SAF mediaUnit 中的被編碼的字體通過字體名字發(fā)生聯(lián)系，該聯(lián)系是OpenType 編碼的一部分。LASeR 定義了一種將眾多場(chǎng)景劃分成遞增場(chǎng)景片段的方法，并允許針對(duì)不同場(chǎng)景片段建立服務(wù)。第一個(gè)場(chǎng)景片段包含一個(gè)NewScene 更新，擁有newSceneIndicator 比特位置位，而其他不是由NewScene 更新開始的的場(chǎng)景片斷就被認(rèn)為是第一個(gè)場(chǎng)景片段的附加部分。LASeR 頭包括LASeRHeader 和LASeRUnitHeader 兩部分。LASeRHeader 定義了LASeR 場(chǎng)景片段的解析和解碼結(jié)構(gòu)，它的屬性有：profile，level，resolution，useFullRequestHost，pathComponents，newSc