多媒體通信技術(shù)_多媒體同步

1、第6章 多媒體同步 第6章 多媒體同步 6.0 引言引言6.1 多媒體數(shù)多媒體數(shù)據(jù)據(jù)6.2 多媒體數(shù)據(jù)時域特征表示多媒體數(shù)據(jù)時域特征表示6.3 多媒體同多媒體同步的步的4層參考模型層參考模型6.4.3 影響多媒體同影響多媒體同步的因素步的因素6.5 連續(xù)媒體內(nèi)部的同步連續(xù)媒體內(nèi)部的同步6.6 媒體流媒體流之間的同步之間的同步6.7 接收與發(fā)送時鐘的同步接收與發(fā)送時鐘的同步第6章 多媒體同步 3.1 引引 言言 多媒體對象的同步關(guān)系抽象為以下兩種類型: (1) 媒體內(nèi)的時間關(guān)系 媒體內(nèi)的時間關(guān)系即流內(nèi)同步, 主要是保證單個媒體流之間的簡單時態(tài)關(guān)系, 也就是按一定的時間要求傳送每一個媒體對象, 其

2、表現(xiàn)為媒體流的連續(xù)性, 以滿足人類感知上的要求。 流內(nèi)同步的復(fù)雜性不僅和單個媒體的種類有關(guān), 而且和分布式系統(tǒng)提供的服務(wù)質(zhì)量（Quality of Service, QoS）有關(guān)。 同時, 也和源端和目的端操作系統(tǒng)的實時性有關(guān)。 第6章 多媒體同步 (2) 媒體間的同步關(guān)系 媒體間的同步關(guān)系即流間同步, 主要是保證不同媒體間的時間關(guān)系, 如音頻和視頻之間的時態(tài)關(guān)系, 音頻和文本之間的時態(tài)關(guān)系等, 表現(xiàn)為各個媒體流中在同步點上的同時播放。流間同步的復(fù)雜性和需要同步的媒體的數(shù)量有關(guān)。 多媒體對象在時間上存在著并行、 順序、 獨立關(guān)系, 在對象的時間表現(xiàn)控制上分別對應(yīng)于并發(fā)、串行和異步執(zhí)行。多媒體系

3、統(tǒng)的同步控制必須保證在同步點上各個媒體之間能夠保持時間關(guān)系。例如, 一個有語音講解的多媒體幻燈片, 其講解必須和一組畫面同時表現(xiàn), 且隨著畫面的顯示, 講解是順序的。這里的同步點處于畫面的改變點和講解的起始點與結(jié)束點。又如, 一個可視電話系統(tǒng), 其語音和圖像序列通過通信網(wǎng)絡(luò)傳輸?shù)浇邮斩? 且必須同步地在接收設(shè)備上演示, 以保持口型和聲音同步。第6章 多媒體同步 6.1 多媒體數(shù)據(jù)多媒體數(shù)據(jù)連續(xù)媒體數(shù)據(jù)：有嚴(yán)格時間關(guān)系的音頻、視頻等類型的數(shù)據(jù)；靜態(tài)媒體數(shù)據(jù)：其他類型的數(shù)據(jù)；6.1.1 連續(xù)媒體數(shù)據(jù)與靜態(tài)媒體數(shù)據(jù)連續(xù)媒體數(shù)據(jù)與靜態(tài)媒體數(shù)據(jù)邏輯數(shù)據(jù)單元 （LDU：logic data unit）：連

4、續(xù)媒體數(shù)據(jù)的數(shù)據(jù)組織單元。流（Stream）：媒體數(shù)據(jù)的LDU序列；LDU，可長可短，一個LDU，可以是一個宏塊、一個條、一幀圖像或者一個場景；LDU之間的時間間隔固定為40ms；第6章 多媒體同步 連續(xù)媒體內(nèi)部的連續(xù)媒體內(nèi)部的LDU之間的相對時間關(guān)系之間的相對時間關(guān)系第6章 多媒體同步 6.1.2 多媒體數(shù)據(jù)內(nèi)部的約束關(guān)系（同步關(guān)系）多媒體數(shù)據(jù)內(nèi)部的約束關(guān)系（同步關(guān)系）1、基于內(nèi)容的約束關(guān)系指用不同的媒體對象代表同一內(nèi)容的不同表現(xiàn)形式時，內(nèi)容和表現(xiàn)形式之間的約束關(guān)系。需要確保多種媒體對象所含信息的一致性。例如：對某一原始數(shù)據(jù)的多種表示形式：報表、圖形、動畫；毫無聯(lián)系的不同媒體數(shù)據(jù)的集合，不能

5、稱為多媒體數(shù)據(jù)；只有存在多種相互制約的關(guān)系的多種媒體數(shù)據(jù)，才能稱為多媒體數(shù)據(jù)。2、空域約束關(guān)系又稱：布局關(guān)系，用來定義多媒體數(shù)據(jù)顯示過程中的某一時刻，不同媒體對象在輸出設(shè)備（顯示器、紙張）上的空間位置關(guān)系；結(jié)構(gòu)化文檔、辦公室文檔結(jié)構(gòu)ODA；第6章 多媒體同步 3、時域約束關(guān)系、時域約束關(guān)系又稱：時域特征，反映媒體對象在時間上的相對依賴關(guān)系；主要包括兩個方面：（1）連續(xù)媒體對象的各個LDU之間的相對時間關(guān)系；（流內(nèi)同步）連續(xù)媒體內(nèi)部的連續(xù)媒體內(nèi)部的LDU之間的相對時間關(guān)系之間的相對時間關(guān)系第6章 多媒體同步 （2）各個媒體對象之間的相對時間關(guān)系；（流間同步）P1、P2、P3：插入靜止圖片；口形同

6、步；指針同步；提示提示：在3種約束關(guān)系（內(nèi)容、空域、時域）中，時域特征是最重要的一種。當(dāng)時域特征遭到破壞時，用戶就可能遺漏或誤解多媒體數(shù)據(jù)所要表達(dá)的信息內(nèi)容。第6章 多媒體同步 6.1.3 多媒體數(shù)據(jù)的構(gòu)成多媒體數(shù)據(jù)的構(gòu)成成分?jǐn)?shù)據(jù)：包含了所要表達(dá)的信息內(nèi)容的數(shù)據(jù)，如：文字、圖形、圖像、聲音和視頻；同步規(guī)范：成分?jǐn)?shù)據(jù)之間的約束關(guān)系（同步關(guān)系）；同步規(guī)范包括：同步描述數(shù)據(jù)、同步容限；同步描述數(shù)據(jù)：表示媒體內(nèi)部和媒體之間的時間約束關(guān)系；同步容限：時間約束關(guān)系所容許的偏差范圍；同步機制：維持多媒體數(shù)據(jù)的時域特征的工作機制；第6章 多媒體同步 6.2多媒體數(shù)據(jù)時域特征的表示多媒體數(shù)據(jù)時域特征的表示確定性

7、時域事件：如果一個時域事件在一個時域場景中的位置可以完全確定，則稱為確定性時域事件；6.2.1 時域場景和時域定義方案時域場景和時域定義方案非確定性時域事件：如，暫停播放、恢復(fù)播放等事件，在時域場景中的位置不能事先確定，則稱為非確定性時域事件；時域場景：由若干個時域事件構(gòu)成，每一個時域事件都是與多媒體數(shù)據(jù)在時域發(fā)生的某個行為（如：開始播放、暫停、恢復(fù)播放、停止播放）相對應(yīng)；第6章 多媒體同步 確定性時域事件非確定性時域事件第6章 多媒體同步 時間（數(shù)據(jù)）模型：是對時域場景中的時域事件的一種時域描述，是計算機系統(tǒng)中為時域場景建模的數(shù)據(jù)基礎(chǔ)；時域定義方案：是時間（數(shù)據(jù)）模型及相應(yīng)的形式化語言的總稱

8、；多媒體對象時域特征表示的過程第6章 多媒體同步 同步描述數(shù)據(jù)，舉例：一個時域場景按事件發(fā)生的時刻，來定義時間數(shù)據(jù)模型；按事件發(fā)生的相對時刻，來定義時間數(shù)據(jù)模型；按事件對應(yīng)的時間間隔，來定義時間數(shù)據(jù)模型；第6章 多媒體同步 6.2.2 時域參考框架時域參考框架第6章 多媒體同步 6.2.3 描述時域特征的時間模型描述時域特征的時間模型時間模型，包括：基本時間單位、關(guān)聯(lián)信息、時間表示技術(shù)，三個部分；1、基本時間單位基本時間單位，可分為時刻和間隔；2、關(guān)聯(lián)信息關(guān)聯(lián)信息，反映時域事件的組織方式，；定量關(guān)聯(lián)信息：認(rèn)為事件獨立，間接反映事件間的關(guān)系；定性關(guān)聯(lián)信息：認(rèn)為各事件相關(guān)聯(lián)，對事件發(fā)生次序進(jìn)行描述

9、；第6章 多媒體同步 第6章 多媒體同步 3、時間表示技術(shù)（幾種時間模型）有：時間軸模型、虛時間軸模型、OCPN模型，等等；6.2.4 同步容限（關(guān)于偏差許可范圍的協(xié)議）同步容限（關(guān)于偏差許可范圍的協(xié)議）事件間的偏差：在一個多媒體系統(tǒng)的實際運作過程中，總存在一些妨礙準(zhǔn)確恢復(fù)時域場景的因素，如，其他進(jìn)程對CPU的搶占、緩沖區(qū)溢出、傳輸帶寬不足，這些因素會導(dǎo)致時域事件相對位置發(fā)生變化。這種偏差過大，會降低多媒體同步的質(zhì)量。同步容限：是用戶與同步機制之間就偏差許可范圍所達(dá)成的協(xié)議，同步機制根據(jù)同步容限，保證在恢復(fù)的場景中，事件偏差落在許可的范圍內(nèi)。第6章 多媒體同步 第6章 多媒體同步 6.3多媒體

10、同步的多媒體同步的4層參考模型層參考模型4層參考模型的重要意義在于，它規(guī)定了同步機制應(yīng)有的層次，以及各層所應(yīng)完成的主要任務(wù)；同步工作機制，主要指：媒體層、流層、對象層；第6章 多媒體同步 第6章 多媒體同步 1、媒體層媒體層處于同步機制的底層，是同步機制和底層服務(wù)系統(tǒng)的接口，媒體層的主要作用是：從設(shè)備獲取（收）或向上層提交（發(fā)）LDU；如：媒體層接口的讀數(shù)據(jù)函數(shù) Read（Devicehandle，LDU） 寫數(shù)據(jù)函數(shù) Write（Devicehandle，LDU） 媒體層的處理對象是來自連續(xù)碼流（如音頻視頻數(shù)據(jù)流）的LDU。其中，具體分配的 LDU的大小由該數(shù)據(jù)的同步容限決定；媒體層對 LD

11、U的處理，需要底層服務(wù)系統(tǒng)（如：操作系統(tǒng)、通信系統(tǒng)）提供必要的資源預(yù)留及管理措施（如：QoS保障服務(wù)）；媒體層的同步質(zhì)量較差，主要是因為媒體層其內(nèi)部不包含任何同步控制的操作，而且各設(shè)備的媒體數(shù)據(jù)讀寫速度差異較大；第6章 多媒體同步 2、流層流層是同步機制的最重要的一層，它根據(jù)數(shù)據(jù)的同步容限，執(zhí)行和實現(xiàn)嚴(yán)格的同步；流層主要完成流內(nèi)同步和流間同步； 流層的處理對象是連續(xù)碼流或碼流組，是將來自媒體層的LDU，按流內(nèi)同步和流間同步的要求組合成連續(xù)碼流或碼流組；流層還需要向媒體層下達(dá)QoS要求，例如：傳輸LDU時，LDU的最大延時和延時抖動范圍等等；媒體層再依照流層的要求，去向底層服務(wù)系統(tǒng)申請資源及Qo

12、S 保障；流層處理來自媒體層的LDU之前，首先需要根據(jù)同步容限選定LDU的處理方案（何時、對何LDU、作何種處理）；第6章 多媒體同步 3、對象層對象層，主要完成媒體對象之間的同步，可以針對不同類型的媒體對象（連續(xù)媒體對象、非連續(xù)媒體對象）進(jìn)行統(tǒng)一的處理； 對象層的接口功能函數(shù)，如：prepare、run、stop、destroy，通常是以一個完整的多媒體對象為處理參數(shù)； 對象層需要負(fù)責(zé)兩項工作：第一，從規(guī)范層（更上一層）提供的同步描述數(shù)據(jù)出發(fā)，推導(dǎo)得出必要的調(diào)度方案（顯示調(diào)度、通信調(diào)度）；同時了解媒體層的底層服務(wù)系統(tǒng)的現(xiàn)有資源情況；第二，進(jìn)行一些必要的初始化；（首先，對象層把調(diào)度方案及同步容

13、限中與連續(xù)媒體對象有關(guān)的部分，提交給流層進(jìn)行初始化； 然后，對象層要求媒體層向底層系統(tǒng)申請必要的資源和QoS保障；同時，完成其他的一些設(shè)備的初始化；） 4、規(guī)范層（負(fù)責(zé)提供媒體對象的同步描述數(shù)據(jù)，但是，規(guī)范層已不屬于同步工作機制的范疇了；）第6章 多媒體同步 6.4.3影響多媒體同步的因素影響多媒體同步的因素id1、延時抖動延時抖動：信號從一點傳輸?shù)搅硪稽c所經(jīng)歷的時間的變化，一般用 來表示；延時抖動范圍：同步容限所容許的延時抖動的最大值、最小值的范圍，如： ；延時抖動，會破壞實時媒體內(nèi)部以及實時媒體之間的同步；maxmindddi第6章 多媒體同步 第6章 多媒體同步 2、時鐘頻率偏差在無全局

14、時鐘的情況下，分布式多媒體信源、信宿的時鐘頻率可能存在偏差，會影響到多媒體數(shù)據(jù)的同步。如果信源的時鐘頻率低于信宿的時鐘頻率，那么經(jīng)過一段時間后，在接收端可能產(chǎn)生數(shù)據(jù)不足（播放時刻提前）的現(xiàn)象，如圖6-23 b圖；如果信源的時鐘頻率高于信宿的時鐘頻率，那么經(jīng)過一段時間后，在接收端的緩存器可能產(chǎn)生數(shù)據(jù)溢出（來不及播放）的現(xiàn)象，如圖6-23 a圖；第6章 多媒體同步 6.5 連續(xù)媒體內(nèi)部的同步連續(xù)媒體內(nèi)部的同步6.5.1基于播放時限的同步方法基于播放時限的同步方法通常為了消除信道的延時抖動對連續(xù)多媒體數(shù)據(jù)的LDU序列的同步的影響，是讓接收到的LDU先進(jìn)入一個緩存器對LDU序列重新整理，在對延時抖動進(jìn)

15、行過濾和消除后，再讓緩存器向播放器（或解碼器）輸出一個連續(xù)的、符合同步容限要求的LDU序列流；控制播放時限，可以消除延時抖動的影響，從而實現(xiàn)流內(nèi)同步；第6章 多媒體同步 1、基于播放時限控制，以消除延時抖動影響的流內(nèi)同步模型：其中，i 是LDU的包序號 ； t(i) 是第 i 個LDU的發(fā)送時刻 ； d(i) 是LDU的在信道的傳輸延時 ； a(i) 是第 i 個LDU到達(dá)緩存器的時刻 ； p(i) 是第 i 個LDU的播放時刻 ；適用條件：收、發(fā)端的時鐘同步，且信道的延時抖動在一個確定范圍內(nèi)；第6章 多媒體同步 2、與播放時限有關(guān)的幾個時間上的約束關(guān)系（1） a(i) = t(i) + d(

16、i) （6-1式） （2） p(i) a(i) （6-3式） 第第i個個LDU包包到達(dá)時刻到達(dá)時刻第第i個個LDU包包發(fā)送時刻發(fā)送時刻第第i個個LDU包包在信道的延時在信道的延時第第i個個LDU包包播放時刻播放時刻第第i個個LDU包包到達(dá)時刻到達(dá)時刻即：第i個LDU包的播放時間必須晚于該包的到達(dá)時間；而且，p（i）規(guī)定了第i個LDU到達(dá)的最后期限；第6章 多媒體同步 2、與播放時限有關(guān)的幾個時間上的約束關(guān)系（3） p(i) p(i-1) = t(i) t(i-1) (i=2,3, )； （6-4式） 播放端的播放端的時間約束關(guān)系時間約束關(guān)系 發(fā)送端的發(fā)送端的 時間約束關(guān)系時間約束關(guān)系即：播放過

17、程中必須保持（信源發(fā)送端）原有的多媒體數(shù)據(jù)的時間約束關(guān)系；（4）LDU包在信道的延時的抖動范圍)26()(maxmin式didd 第第i個個LDU在信道上的延時在信道上的延時第6章 多媒體同步 2、與播放時限有關(guān)的幾個時間上的約束關(guān)系（5）第 i 個LDU包在緩存器中緩存停留的時間)()(iaip第6章 多媒體同步 3、起始播放延時（D）及緩存器最大容量（B）起始播放延時（D）：當(dāng)延時抖動限定在一定的范圍內(nèi)時，接收端在接收到第1個LDU包后必須推遲一段時間D，即D= p(1) a(1) ，再開始播放，才能保證整個播放過程不間斷；根據(jù)6-4式，有： p(i) p(i-1) = t(i) t(i-

18、1) ； p(i-1) p(i-2) = t(i-1) t(i-2) ； p(2) p(1) = t(2) t(1) ；可得： p(i) p(1) = t(i) t(1) (i=2,3, ) (6-5式)等號左邊、右邊分別相加，抵消、整理，（1）描述方式一： 設(shè)t(i) 不發(fā)送，即LDU包頭中不帶有時間戳t(i)數(shù)據(jù)，表達(dá)式中不出現(xiàn)t(i)數(shù)據(jù)；第6章 多媒體同步 由6-1式及6-5式有： p(i) a(i) = p(1) a(1) d(i) d(1) (i=2,3, ) (6-6式)又由 p(i) a(i) （6-3式）可知 p(i) a(i) 0 即：p(i) a(i) = p(1) a(

19、1) d(i) d(1) 0 (i=2,3, )整理可得：p(1) a(1) d(i) d(1) (i=2,3, ) (6-7式)取最壞的情況： )(,) 1 (maxmindiddd則：minmax), 3 , 2()1 ()() 1 () 1 (ddididMaxapD第6章 多媒體同步 說明：（）按最壞的情況：第1個LDU的延時時間最??；（）如果接收到第1個LDU時就立即播放，那么對于任何一個傳輸延時大于 的LDU，當(dāng)需要播放它的時候，它沒有到達(dá)；（）如果播放的起始時間定在D，則延時最大的第i個LDU的播放時刻正好與它的到達(dá)時刻相同，就消除了播放的不連續(xù)性；mind（I）（II）（III

20、）第6章 多媒體同步 緩存器的最大容量（B）：接收端緩存器可以消除延時抖動，但要保證緩存器不溢出，要設(shè)計緩存器的最大容量； 第i個LDU在緩存器中緩存的時間為： p(i) a(i) ;則，單個LDU的最大緩存時間，為：), 3 , 2()1 ()(min)()96(), 3 , 2()()(minmaxididddiiaipMaxBt式當(dāng) 時， 取最小值； 有：maxmin) 1 (,)(dddid)1 ()(mindid)(2), 3 , 2()(minmaxmaxminminmaxddiddddBt不一致？不一致？（式6-10有誤）第6章 多媒體同步 )(), 3 , 2()(), 3 ,

21、 2()1 ()(min)()96(), 3 , 2()()(minmaxminminminmaxminmaxddjddddjdjdddjjajpMaxBt式已知 ，則 時 取最小值； 有：)1 ()(mindjdmin) 1 (ddmin)(djd第6章 多媒體同步 緩存器的最大容量 B 為：rBBt -播放速率，即：每秒鐘傳輸?shù)腖DU的數(shù)目；rtB -單個LDU在緩存器中的最大緩存時間；第6章 多媒體同步 （2）描述方式二： t(i) 發(fā)送，即：LDU包頭中含有時間戳t(i)數(shù)據(jù)，表達(dá)式中出現(xiàn)t(i)數(shù)據(jù)；則，由式6-6有： p(i) a(i) = p(1) a(1) d(i) d(1)

22、(i=2,3, ) (式6-6) = p(1) a(1) d(1) d(i) (i=2,3, ) 又由式6-1，有：a(1) d(1) = t(1)所以，式6-6變?yōu)椋?p(i) a(i) = p(1) t(1) d(i) (i=2,3, ) (式6-6-2) 根據(jù) p(i) a(i) 0，有： p(i) a(i) = p(1) t(1) d(i) 0 (式6-6-3) 取i=1，則起始播放延時 D = p(1) a(1) = p(1) t(1) d(1) ；第6章 多媒體同步 由式6-6-3，有：p(1) t(1) +d(i) ， 可選取 p(1) = t(1) +maxd(i)= t(1)

23、 + dmax ；則，起始播放延時 D = p(1) a(1) = p(1) t(1) d(1) = dmax d(1) 單個LDU的最大緩存時間，為：minmaxmax), 3 , 2()(), 3 , 2()() 1 () 1 (), 3 , 2()()(ddiidMindiidtpMaxiiaipMaxBt最壞情況下：D= dmax dmin ；第6章 多媒體同步 6.5.2基于緩存數(shù)據(jù)量的同步方法基于緩存數(shù)據(jù)量的同步方法上節(jié)的基于播放時限控制的同步方法，適用于收發(fā)時鐘同步、且延時抖動在一個確定范圍內(nèi)的情況；本節(jié)將介紹一種更一般情況下的同步；1、基于緩存數(shù)據(jù)量控制的系統(tǒng)模型上述模型中，緩

24、存器中的數(shù)據(jù)量是變化的，需要周期性地檢測緩存的數(shù)據(jù)量，如果發(fā)生溢出或變空，會觸發(fā)再同步，需要采取措施進(jìn)行再同步；圖a，為在信宿端進(jìn)行再同步；圖b，為在信源端進(jìn)行再同步；再同步再同步機制機制第6章 多媒體同步 2、環(huán)路工作原理（1）環(huán)路濾波器環(huán)路濾波器的作用是：將由短期（高頻）延時抖動引起的緩存數(shù)據(jù)量的波動平滑掉，只有長期（低頻）緩存量的變化才會觸發(fā)后級的控制函數(shù) 工作；)116()1 ()(1ttttqbqSbtq： t 時刻的緩存數(shù)據(jù)量 ；tb： 平滑后的緩存數(shù)據(jù)量 ；： 再同步機制啟動的靈敏度控制因子；1tb： 前一個平滑后的緩存數(shù)據(jù)量；)(tbC第6章 多媒體同步 （2）反饋調(diào)節(jié)機制控制

25、函數(shù) 將 與預(yù)先設(shè)定的緩存警戒線相比較，在正常的情況下， 在上警戒線UW和下警戒線LW之間浮動；)(tbCtbtb如果 超過警戒線，則緩存器有溢出或變空的危險，則啟動再同步機制：以圖6-26a為例，信宿會按下式調(diào)整播放速率，tb)126()1 (CRRR)136(2/ )(LLWUWLWbRtCLRRC其中，：為正常播放速率；：為相對調(diào)節(jié)比率；：為再同步的調(diào)整期時間段；再同步調(diào)整期 L 結(jié)束時，控制函數(shù)會檢查 是否回到正常值范圍內(nèi)；如果回落，則將 恢復(fù)為R，否則，啟動一個新的再同步；tbRR：為調(diào)整期的播放速率第6章 多媒體同步 ：是由反饋濾波器引起的由 到 的響應(yīng)延遲，是響應(yīng)延遲的主要原因；

26、tqtb ：緩存器的正常容量， 由基于播放時限的同步機制（6.5.1節(jié)的式6-10 ）確定；其中，ab：附加的緩存器容量；（因為再同步啟動有個響應(yīng)過程，會發(fā)生響應(yīng)延遲；加入ba 可使延遲后的緩存數(shù)據(jù)量落在（LW，UW）范圍內(nèi)；）B正常同步作用范圍再同步作用區(qū)域再同步作用區(qū)域第6章 多媒體同步 6.6媒體流之間的同步媒體流之間的同步主流：在考慮媒體流之間的時間約束關(guān)系時，通常選擇其中一條媒體LDU流的時間軸作為基準(zhǔn)，稱為主流；從流：其余的媒體流，稱為從流；當(dāng)媒體流之間的同步關(guān)系遭到破壞時，一般保持主流的播放速率不變，調(diào)整從流的播放速率；對于音頻流和視頻流，由于聽覺的敏感度比視覺的敏感度要高，所以

27、通常選擇音頻流為主流，視頻流為從流；第6章 多媒體同步 6.6.1 基于全局時鐘的時間戳方法基于全局時鐘的時間戳方法條件：所有的各個信源和信宿都有統(tǒng)一的全局時鐘；同步設(shè)計思想同步設(shè)計思想：如果2個信源組能在同一時刻。如：t1，開始傳送數(shù)據(jù)，而接收端，從 t1開始等待一個最大延時 后才開始播放，就能達(dá)到組同步的目的?？梢栽O(shè)計一個啟動器來建立組成員的共同起始時刻 t1；,max21dd第6章 多媒體同步 視頻信源視頻信源A：視頻； B：音頻；t0：參考時刻；t1：同步區(qū)間的起始時刻（各信源從t1 時刻開始向外發(fā)送LDU）；d1：視頻的信道延時；d2：音頻的信道延時；I：啟動器（向ABC發(fā)送控制信息

28、，如：t0、t1等等）；音頻信源音頻信源1、流間同步模型、流間同步模型啟動器啟動器信宿信宿第6章 多媒體同步 2、流間同步實現(xiàn)過程、流間同步實現(xiàn)過程（1）t0-t1 時間階段：為同步的預(yù)備時間，信宿和信源之間要完成同步控制信息數(shù)據(jù)，如： 的交換；jd（2）t1 時刻之后：各信源給每個LDU打上時間戳（截）（在包頭中）；第i個LDU的時間戳（截）為：0)()(titits)(it：為第i個LDU發(fā)送的全局時鐘時刻；（3）信宿收到第j個信源的第i個LDU包的時刻為： ；jsditt)(0（4）各信源的第i個LDU在信宿端同時同步播放的時刻為： max,)()(0jsdittiT第6章 多媒體同步

29、6.6.2 基于反饋的流間同步方法基于反饋的流間同步方法適用于更一般的情況，如：（1）用戶及服務(wù)器的時鐘都是獨立的；（2）各用戶的起始播放時間也不精確地相同；（3）服務(wù)器到各用戶的距離大致相等，傳輸延時在 范圍內(nèi)；,maxmindd相對時間戳（RTS）：各媒體流的LDU序列按距自己的第1個LDU起始時刻的相對距離標(biāo)記的時間戳，稱為相對時間戳；第6章 多媒體同步 1、基于反饋的流間同步原理不同的媒體流之間，需要同步播放的LDU的RTS應(yīng)相同；當(dāng)向用戶發(fā)送數(shù)據(jù)時，作為多媒體信源的服務(wù)器根據(jù)RTS來提取和發(fā)送調(diào)度，不同流內(nèi)具有相同的RTS的LDU被服務(wù)器同時提取出來，并被送到相應(yīng)的通信線路上去；為了

30、檢測同步狀況，用戶端在播放某個LDU的同時，會將該LDU的RTS反饋給服務(wù)器；服務(wù)器周期性地比較各用戶反饋回來的RTS值，就可以檢測出各條流之間的同步狀況；對于某多媒體信息查詢系統(tǒng)：第6章 多媒體同步 其中： 、 為A、B兩地返回多媒體信息服務(wù)器的反饋單元；baff 、 為反饋單元到達(dá)服務(wù)器的時刻；ba 、 為反饋單元發(fā)送的最早、最晚時刻；lett 為流間同步所允許的最大偏差（同步容限）； 、 為反饋單元真正發(fā)送時刻，它們落在式6-15式6-18所定義的區(qū)間內(nèi)； 、 也與A、B兩點的播放進(jìn)度密切相聯(lián)；)()(baftft)()(baftft第6章 多媒體同步 、 滿足以下關(guān)系式：)()(baf

31、tft)216()()(),()(max)()(bealaeblbaftftftftftft如果)226()()(),()(maxbealaeblftftftft則有：)236()()(baftft討論：討論：（1）如果A、B兩地的播放已精確同步，則RTS相同的反饋單元的發(fā)送時刻相等，即： ；服務(wù)器根據(jù)RTS相同的反饋單元的到達(dá)時刻 、 按式6-15式6-18進(jìn)行計算，判斷式6-22是否滿足；)()(baftftba（2）如果式6-22不滿足，則說明A、B兩地播放不同步，需要調(diào)整，調(diào)整可以按照主流、從流的同步調(diào)整方法來進(jìn)行；第6章 多媒體同步 6.7.1 基于接收緩存器的方法基于接收緩存器的方

32、法收、發(fā)時鐘之間如果只存在固定的時間偏差，不會對多媒體同步造成破壞；如果收、發(fā)時鐘之間存在頻率偏差，就會產(chǎn)生圖6-23所示的現(xiàn)象；本節(jié)討論收、發(fā)時鐘之間存在固定的頻率偏差的多媒體同步問題；可以設(shè)計一個合適的起始時刻偏移量D和緩存器容量B，來避免圖6-23所示的數(shù)據(jù)溢出（來不及播放）或數(shù)據(jù)尚未到達(dá)（播放提前）等現(xiàn)象；6.7 接收與發(fā)送時鐘的同步接收與發(fā)送時鐘的同步第6章 多媒體同步 設(shè)LDU流按發(fā)送時鐘進(jìn)入接收緩存器B，然后按接收端時鐘輸出并進(jìn)行播放；如果不考慮信道的延時抖動，則，按發(fā)送時鐘 Cs 計量的LDU到達(dá)的時間間隔，應(yīng)等于其發(fā)送端的時間間隔，即：)266() 1 ()() 1 ()(sssstitaia則，第 i 個LDU在緩存器中緩存的時間為：)()(iaipsr其中， 為按接收時鐘 Cr 計量的第 i 個LDU的播放時刻；)(ipr1、基于接收緩存器的同步模型第6章 多媒體同步 2、緩存器的容量設(shè)計為了平滑由收發(fā)時鐘頻率偏差引起的數(shù)據(jù)波動，所需的緩存器容量為：)276(), 3 , 2()1 () 1 ()()(maxiapiaipBsrsr其中， 為播放起始時刻偏移量D ；)1 () 1 (srap)()(iaipsr為第i個