第6章 多媒體通信終端技術(shù)

1、1第第6 6章章 多媒體通信終端技術(shù)多媒體通信終端技術(shù) 6.1 6.1 多媒體通信終端概述多媒體通信終端概述 6.2 6.2 多媒體通信終端相關(guān)標(biāo)準(zhǔn)多媒體通信終端相關(guān)標(biāo)準(zhǔn) 6.3 6.3 基于基于IPIP網(wǎng)絡(luò)的多媒體通信終端網(wǎng)絡(luò)的多媒體通信終端 6.4 6.4 移動(dòng)多媒體通信終端移動(dòng)多媒體通信終端 26.1 6.1 多媒體通信終端概述多媒體通信終端概述 1.1.多媒體通信終端的構(gòu)成多媒體通信終端的構(gòu)成 由搜索、由搜索、 編解碼、編解碼、 同步、同步、 準(zhǔn)備和執(zhí)行等準(zhǔn)備和執(zhí)行等五個(gè)部分以及五個(gè)部分以及I I協(xié)議、協(xié)議、 B B協(xié)議、協(xié)議、 A A協(xié)議等三協(xié)議等三種協(xié)定組成的。種協(xié)定組成的。 搜

2、索 部 分A協(xié) 議編 解 碼 部 分同 步部 分準(zhǔn) 備 部 分執(zhí) 行 部 分B協(xié) 議I協(xié) 議3多媒體通信終端的構(gòu)成多媒體通信終端的構(gòu)成 搜索部分：人機(jī)交互過(guò)程中的輸入交互搜索部分：人機(jī)交互過(guò)程中的輸入交互部分，包括各種輸入方法、菜單選取等部分，包括各種輸入方法、菜單選取等輸入方式。輸入方式。 編解碼部分：對(duì)多種信息表示媒體進(jìn)行編解碼部分：對(duì)多種信息表示媒體進(jìn)行編解碼，編解碼， 編碼部分主要將各種媒體信息編碼部分主要將各種媒體信息按一定標(biāo)準(zhǔn)進(jìn)行編碼并形成幀格式，按一定標(biāo)準(zhǔn)進(jìn)行編碼并形成幀格式， 解解碼部分主要對(duì)多媒體信息進(jìn)行解碼并按碼部分主要對(duì)多媒體信息進(jìn)行解碼并按要求的表現(xiàn)形式呈現(xiàn)給人們。要求

3、的表現(xiàn)形式呈現(xiàn)給人們。 4多媒體通信終端的構(gòu)成多媒體通信終端的構(gòu)成同步部分處理：多種表示媒體間的同步問(wèn)同步部分處理：多種表示媒體間的同步問(wèn)題，多媒體終端的一個(gè)最大的特點(diǎn)是多題，多媒體終端的一個(gè)最大的特點(diǎn)是多種表示媒體通過(guò)不同的途徑進(jìn)入終端，種表示媒體通過(guò)不同的途徑進(jìn)入終端，由同步處理部分完成同步處理，再送到由同步處理部分完成同步處理，再送到用戶面前的就是一個(gè)完整的聲、文、圖、用戶面前的就是一個(gè)完整的聲、文、圖、像一體化的信息。像一體化的信息。 5多媒體通信終端的構(gòu)成多媒體通信終端的構(gòu)成 準(zhǔn)備部分準(zhǔn)備部分: : 多媒體終端所具有的再編輯多媒體終端所具有的再編輯功能。功能。 例如，例如， 一個(gè)影視

4、編導(dǎo)可以把從一個(gè)影視編導(dǎo)可以把從多個(gè)多媒體數(shù)據(jù)庫(kù)和服務(wù)器中調(diào)來(lái)的多多個(gè)多媒體數(shù)據(jù)庫(kù)和服務(wù)器中調(diào)來(lái)的多媒體素材加工處理，媒體素材加工處理， 創(chuàng)作出各種節(jié)目。創(chuàng)作出各種節(jié)目。 執(zhí)行部分執(zhí)行部分: : 完成終端設(shè)備對(duì)網(wǎng)絡(luò)和其他完成終端設(shè)備對(duì)網(wǎng)絡(luò)和其他傳輸媒體的接口。傳輸媒體的接口。 6多媒體通信終端的構(gòu)成多媒體通信終端的構(gòu)成 I I協(xié)議協(xié)議: : 也稱為接口協(xié)議，也稱為接口協(xié)議， 它是多媒體它是多媒體終端對(duì)網(wǎng)絡(luò)和傳輸介質(zhì)的接口協(xié)議。終端對(duì)網(wǎng)絡(luò)和傳輸介質(zhì)的接口協(xié)議。 B B協(xié)議協(xié)議: : 也稱為同步協(xié)議，它傳遞系統(tǒng)也稱為同步協(xié)議，它傳遞系統(tǒng)的同步信息，的同步信息， 以確保多媒體終端能同步以確保多媒體終

5、端能同步地表現(xiàn)各種媒體。地表現(xiàn)各種媒體。 A A協(xié)議協(xié)議: : 也稱為應(yīng)用協(xié)議，也稱為應(yīng)用協(xié)議， 它管理各種它管理各種內(nèi)容不同的應(yīng)用。內(nèi)容不同的應(yīng)用。 例如，例如， ITU-T T.105ITU-T T.105協(xié)議即為協(xié)議即為ISDNISDN中的可視圖文的中的可視圖文的A A協(xié)議。協(xié)議。 72.多媒體通信終端的特點(diǎn)（1）集成性集成性： 指多媒體終端可以對(duì)多種指多媒體終端可以對(duì)多種信息媒體進(jìn)行處理和表現(xiàn)，信息媒體進(jìn)行處理和表現(xiàn)， 能通過(guò)網(wǎng)絡(luò)能通過(guò)網(wǎng)絡(luò)接口實(shí)現(xiàn)多媒體通信。接口實(shí)現(xiàn)多媒體通信。 這里的集成不僅這里的集成不僅指各類(lèi)多媒體硬設(shè)備的集成，指各類(lèi)多媒體硬設(shè)備的集成， 而且更重而且更重要的是多

6、媒體信息的集成要的是多媒體信息的集成。 8多媒體通信終端的特點(diǎn)（2）同步性同步性： 指在多媒體終端上顯示的圖、指在多媒體終端上顯示的圖、 文、文、 聲等以同步的方式工作。聲等以同步的方式工作。 它能保證多媒它能保證多媒體信息在空間上和時(shí)間上的完整性。體信息在空間上和時(shí)間上的完整性。 它是多它是多媒體終端的重要特征。媒體終端的重要特征。 （3）交互性交互性： 指用戶對(duì)通信的全過(guò)程有完整的指用戶對(duì)通信的全過(guò)程有完整的交互控制能力。交互控制能力。 多媒體終端與系統(tǒng)的交互通多媒體終端與系統(tǒng)的交互通信能力給用戶提供了有效控制使用信息的手段。信能力給用戶提供了有效控制使用信息的手段。 它是判別終端是否是多

7、媒體終端的一個(gè)重要準(zhǔn)它是判別終端是否是多媒體終端的一個(gè)重要準(zhǔn)則。則。 93.多媒體通信終端的關(guān)鍵技術(shù)開(kāi)放系統(tǒng)模式開(kāi)放系統(tǒng)模式。 為了實(shí)現(xiàn)信息的互通， 多媒體終端應(yīng)按照分層結(jié)構(gòu)支持開(kāi)放系統(tǒng)， 模式設(shè)計(jì)的通信協(xié)議要符合國(guó)際標(biāo)準(zhǔn)。 人人機(jī)和通信的接口技術(shù)機(jī)和通信的接口技術(shù)。 多媒體終端包括兩個(gè)方面的接口， 即與用戶的接口和與通信網(wǎng)的接口。 10多媒體通信終端的關(guān)鍵技術(shù)(3) 多媒體終端的軟、多媒體終端的軟、 硬件集成技術(shù)硬件集成技術(shù)。 多媒體終端的基本硬件、 軟件支撐環(huán)境， 包括選擇兼容性好的計(jì)算機(jī)硬件平臺(tái)、 網(wǎng)絡(luò)軟件、 操作系統(tǒng)接口、 多媒體信息庫(kù)管理系統(tǒng)接口、 應(yīng)用程序接口標(biāo)準(zhǔn)及設(shè)計(jì)和開(kāi)發(fā)等。

8、11多媒體通信終端的關(guān)鍵技術(shù) (4)多媒體信源編碼和數(shù)字信號(hào)處理技術(shù)多媒體信源編碼和數(shù)字信號(hào)處理技術(shù)。 終端設(shè)備必須完成語(yǔ)音、 靜止圖像、 視頻圖像的采集和快速壓縮編解碼算法的工程實(shí)現(xiàn)， 以及多媒體終端與各種表示媒體的接口， 并解決分布式多媒體信息的時(shí)空組合問(wèn)題。 12多媒體通信終端的關(guān)鍵技術(shù)(5) 多媒體終端應(yīng)用系統(tǒng)多媒體終端應(yīng)用系統(tǒng)。 要使多媒體終端能真正地進(jìn)入使用階段， 需要研究開(kāi)發(fā)相應(yīng)的多媒體信息庫(kù)、 各種應(yīng)用軟件（如遠(yuǎn)距離多用戶交互輔助決策系統(tǒng)、 遠(yuǎn)程醫(yī)療會(huì)診系統(tǒng)、 遠(yuǎn)程學(xué)習(xí)系統(tǒng)等）和管理軟件。 136.2 多媒體通信終端相關(guān)標(biāo)準(zhǔn)多媒體通信終端相關(guān)標(biāo)準(zhǔn) 1.概述概述 ITU-T從從2

9、0世紀(jì)世紀(jì)80年代末期開(kāi)始制定了一系列多年代末期開(kāi)始制定了一系列多媒體通信終端標(biāo)準(zhǔn)，媒體通信終端標(biāo)準(zhǔn)， 主要框架性標(biāo)準(zhǔn)如下：主要框架性標(biāo)準(zhǔn)如下：14ITU-T H.320： 窄帶可視電話系統(tǒng)和終端窄帶可視電話系統(tǒng)和終端 （N-ISDN）；）；ITU-T H.323：不保證服務(wù)質(zhì)量的局域網(wǎng)可視電話系：不保證服務(wù)質(zhì)量的局域網(wǎng)可視電話系 統(tǒng)和終端；統(tǒng)和終端； ITU-T H.322：保證服務(wù)質(zhì)量的局域網(wǎng)可視電話系統(tǒng)：保證服務(wù)質(zhì)量的局域網(wǎng)可視電話系統(tǒng) 和終端；和終端； ITU-T H.324： 低比特率多媒體通信終端低比特率多媒體通信終端 （PSTN）；）；ITU-T H.321: B-ISDN環(huán)境下

10、環(huán)境下H.320終端設(shè)備的適配；終端設(shè)備的適配； ITU-T H.310： 寬帶視聽(tīng)終端與系統(tǒng)。寬帶視聽(tīng)終端與系統(tǒng)。 15 基于各種網(wǎng)絡(luò)的多媒體通信終端系列標(biāo)準(zhǔn)基于各種網(wǎng)絡(luò)的多媒體通信終端系列標(biāo)準(zhǔn) 162. T.120系列標(biāo)準(zhǔn) ITU-TITU-T的的T.120T.120系列標(biāo)準(zhǔn)是系列標(biāo)準(zhǔn)是19931993年以來(lái)年以來(lái)ITU-TITU-T陸陸續(xù)推出的用于聲像和視聽(tīng)會(huì)議的一系列標(biāo)準(zhǔn)，續(xù)推出的用于聲像和視聽(tīng)會(huì)議的一系列標(biāo)準(zhǔn)， 又稱為又稱為“多層協(xié)議（多層協(xié)議（MLPMLP）”。 此標(biāo)準(zhǔn)是為支持在多點(diǎn)和多媒體會(huì)議系統(tǒng)中發(fā)此標(biāo)準(zhǔn)是為支持在多點(diǎn)和多媒體會(huì)議系統(tǒng)中發(fā)送數(shù)據(jù)而制定的，送數(shù)據(jù)而制定的， 既可包

11、含在既可包含在H.32xH.32x視頻會(huì)議視頻會(huì)議標(biāo)準(zhǔn)框架之中，標(biāo)準(zhǔn)框架之中， 對(duì)現(xiàn)有的視頻會(huì)議進(jìn)行補(bǔ)充對(duì)現(xiàn)有的視頻會(huì)議進(jìn)行補(bǔ)充和增強(qiáng)，和增強(qiáng)， 也可獨(dú)立地支持聲像會(huì)議（傳送語(yǔ)也可獨(dú)立地支持聲像會(huì)議（傳送語(yǔ)音、音、 靜止圖像、靜止圖像、 白板、白板、 加注等信息的實(shí)時(shí)加注等信息的實(shí)時(shí)會(huì)議）。會(huì)議）。 T.120T.120系列標(biāo)準(zhǔn)之間的關(guān)系如下圖所示。系列標(biāo)準(zhǔn)之間的關(guān)系如下圖所示。 17用 戶 應(yīng) 用 (采 用 標(biāo) 準(zhǔn) 和 非 標(biāo) 準(zhǔn) 應(yīng) 用 協(xié) 議 )T.120系 列 建 議T.120應(yīng) 用 協(xié) 議 建 議用 戶 應(yīng) 用 (采 用 標(biāo)準(zhǔn) 應(yīng) 用 協(xié) 議 )應(yīng) 用 協(xié) 議 實(shí) 體二 進(jìn) 制 文

12、件 傳 輸 T.127靜 態(tài) 圖 像 傳 輸 T.126通 用 會(huì) 議 控 制 (GCC)T.124節(jié) 點(diǎn)控 制 器用 戶 應(yīng) 用 (采 用 非標(biāo) 準(zhǔn) 應(yīng) 用 協(xié) 議 )非 標(biāo) 準(zhǔn) 應(yīng) 用 協(xié) 議 實(shí) 體多 點(diǎn) 通 信 服 務(wù) （ MCS） T.122/T.125多 點(diǎn) 通 信 服 務(wù) （ MCS） T.122/T.125網(wǎng) 絡(luò) 特 定 傳 輸 協(xié) 議 T.123183. H.222.0復(fù)接/分接標(biāo)準(zhǔn) H.222.0H.222.0標(biāo)準(zhǔn)實(shí)際上是標(biāo)準(zhǔn)實(shí)際上是MPEG-2MPEG-2的系統(tǒng)層的系統(tǒng)層（ISO/IEC 13818-1ISO/IEC 13818-1）協(xié)議，）協(xié)議， 它主要規(guī)定如何它主要規(guī)

13、定如何將視頻、將視頻、 音頻以及數(shù)據(jù)的基本碼流組合成一音頻以及數(shù)據(jù)的基本碼流組合成一個(gè)或多個(gè)適合于存儲(chǔ)或傳輸?shù)拇a流。個(gè)或多個(gè)適合于存儲(chǔ)或傳輸?shù)拇a流。 在在H.222.0H.222.0中，中， 首先將不同的媒體流分別按一首先將不同的媒體流分別按一定的長(zhǎng)度分組，定的長(zhǎng)度分組， 每一組碼的前面加上包頭，每一組碼的前面加上包頭， 然后在同一信道上輪流傳送不同媒體類(lèi)型的包，然后在同一信道上輪流傳送不同媒體類(lèi)型的包， 這可以看成是一種異步的時(shí)分復(fù)用。這可以看成是一種異步的時(shí)分復(fù)用。 在接收端根據(jù)包頭信息將各種包區(qū)分開(kāi)來(lái)，在接收端根據(jù)包頭信息將各種包區(qū)分開(kāi)來(lái)， 去掉包頭重新組合成各自的碼流。去掉包頭重新組合

14、成各自的碼流。 異步時(shí)分異步時(shí)分復(fù)用的帶寬分配比較靈活。復(fù)用的帶寬分配比較靈活。 19H.222.0標(biāo)準(zhǔn)的系統(tǒng)結(jié)構(gòu)示意圖 視 頻編 碼 器視 頻數(shù) 據(jù)視 頻 PES音 頻 PES節(jié) 目碼 流傳 輸碼 流打 包 器PS復(fù) 用音 頻編 碼 器打 包 器音 頻數(shù) 據(jù)TS復(fù) 用206.3 基于基于IP網(wǎng)絡(luò)的多媒體通信終端網(wǎng)絡(luò)的多媒體通信終端H.323 1.概述 隨著網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，特別是隨著網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，特別是Internet的巨的巨大發(fā)展和廣泛應(yīng)用，基于大發(fā)展和廣泛應(yīng)用，基于IP的網(wǎng)絡(luò)（的網(wǎng)絡(luò)（Internet、LAN、Intranet等）已成為多媒體通信的重要網(wǎng)等）已成為多媒體通信的重要

15、網(wǎng)絡(luò)，絡(luò)， 因此，因此， 基于基于IP網(wǎng)絡(luò)的多媒體通信終端已成網(wǎng)絡(luò)的多媒體通信終端已成為多媒體通信終端的研究熱點(diǎn)。為多媒體通信終端的研究熱點(diǎn)。 H.323標(biāo)準(zhǔn)就是標(biāo)準(zhǔn)就是ITU-T為基于為基于IP網(wǎng)絡(luò)的多媒體通信網(wǎng)絡(luò)的多媒體通信制定的終端標(biāo)準(zhǔn)。制定的終端標(biāo)準(zhǔn)。 2119961996年批準(zhǔn)的年批準(zhǔn)的H.323H.323是一個(gè)運(yùn)行在局域網(wǎng)是一個(gè)運(yùn)行在局域網(wǎng)(LAN)(LAN)上并且上并且不保證服務(wù)質(zhì)量不保證服務(wù)質(zhì)量(QoS)(QoS)的多媒體通信標(biāo)準(zhǔn)。的多媒體通信標(biāo)準(zhǔn)。H.323H.323允許聲音、視頻圖像和數(shù)據(jù)任意組合之后進(jìn)行傳允許聲音、視頻圖像和數(shù)據(jù)任意組合之后進(jìn)行傳送。送。H.323H.32

16、3指定包括指定包括H.261H.261和和H.263H.263作為視頻圖像編碼器，作為視頻圖像編碼器，指定指定G.711, G.722, G.728G.711, G.722, G.728，G.729G.729和和G.723.1G.723.1作為聲音作為聲音編碼器。此外，還定義了包括網(wǎng)關(guān)編碼器。此外，還定義了包括網(wǎng)關(guān)(gateways)(gateways)、會(huì)議、會(huì)議服務(wù)器服務(wù)器(gatekeeper)(gatekeeper)和多點(diǎn)控制設(shè)備和多點(diǎn)控制設(shè)備(MCU)(MCU)等設(shè)備的規(guī)等設(shè)備的規(guī)范。范。H.323H.323廣泛應(yīng)用于因特網(wǎng)電視和電話廣泛應(yīng)用于因特網(wǎng)電視和電話(Internet (I

17、nternet telephony)telephony)系統(tǒng)。系統(tǒng)。 222. H.323 ArchitectureH.323TerminalH.323TerminalH.323MCUH.323TerminalH.323GatewayH.323GatekeeperPacket Based Network Scope of H.323GSTN/PSTN233. H.323 Protocol Suite H.225 Covers narrow-band visual telephone services H.235 Security and Authentication H.245 Negotia

18、tes channel usage and capabilities H.450.1 H.450.12 Series defines Supplementary Services for H.323 RAS Manages registration, admission, status T.38 IP-based fax service maps24視 頻 ， 音 頻 應(yīng) 用RTPRTCP終 端 到網(wǎng) 閘 信 令RAS網(wǎng) 絡(luò) 層 (IP)終 端 控 制 和 管 理數(shù) 據(jù) 應(yīng) 用G.7XXH.26X加 密RTPH.225.0H.245用 戶 數(shù) 據(jù) 包 協(xié) 議 (UDP)TLS/SSL傳 輸 控

19、 制 協(xié) 議 (TCP)T.124T.122/T.125T.123鏈 路 層物 理 層4. H.323標(biāo)準(zhǔn)的分層結(jié)構(gòu)標(biāo)準(zhǔn)的分層結(jié)構(gòu)25 H.323標(biāo)準(zhǔn)的分層結(jié)構(gòu)標(biāo)準(zhǔn)的分層結(jié)構(gòu) 在在H.323標(biāo)準(zhǔn)中，網(wǎng)絡(luò)層采用標(biāo)準(zhǔn)中，網(wǎng)絡(luò)層采用IP協(xié)議，負(fù)責(zé)兩個(gè)終協(xié)議，負(fù)責(zé)兩個(gè)終端之間的數(shù)據(jù)傳輸。由于采用無(wú)連接的數(shù)據(jù)包，路由端之間的數(shù)據(jù)傳輸。由于采用無(wú)連接的數(shù)據(jù)包，路由器根據(jù)器根據(jù)IP地址（不需信令）把數(shù)據(jù)送到對(duì)方，但不保地址（不需信令）把數(shù)據(jù)送到對(duì)方，但不保證傳輸?shù)恼_性。證傳輸?shù)恼_性。在在IP的上層的上層TCP（傳輸控制協(xié)議）保證數(shù)據(jù)順序傳送，（傳輸控制協(xié)議）保證數(shù)據(jù)順序傳送， 發(fā)現(xiàn)誤碼就要求重發(fā)，發(fā)現(xiàn)誤

20、碼就要求重發(fā)， 因此，因此， TCP不適用于實(shí)時(shí)性要不適用于實(shí)時(shí)性要求較高的場(chǎng)合，求較高的場(chǎng)合， 而對(duì)誤碼要求高的數(shù)據(jù)傳送，則可以而對(duì)誤碼要求高的數(shù)據(jù)傳送，則可以采用采用TCP， 諸如諸如H.245通信協(xié)議及通信協(xié)議及H.225呼叫信令的傳呼叫信令的傳送等。送等。 26 H.323標(biāo)準(zhǔn)的分層結(jié)構(gòu)標(biāo)準(zhǔn)的分層結(jié)構(gòu) UDP采取無(wú)連接傳輸方式，協(xié)議簡(jiǎn)單，用于視音采取無(wú)連接傳輸方式，協(xié)議簡(jiǎn)單，用于視音頻實(shí)時(shí)信息流。如有誤碼，則丟掉該包，因?yàn)閷?duì)實(shí)時(shí)頻實(shí)時(shí)信息流。如有誤碼，則丟掉該包，因?yàn)閷?duì)實(shí)時(shí)信息傳輸而言較少的等待時(shí)間比誤碼糾正更為重要，信息傳輸而言較少的等待時(shí)間比誤碼糾正更為重要，對(duì)實(shí)時(shí)音頻和視頻來(lái)說(shuō)，

21、丟掉少量錯(cuò)誤的數(shù)據(jù)包并不對(duì)實(shí)時(shí)音頻和視頻來(lái)說(shuō)，丟掉少量錯(cuò)誤的數(shù)據(jù)包并不影響視聽(tīng)。影響視聽(tīng)。而對(duì)數(shù)據(jù)需采用而對(duì)數(shù)據(jù)需采用RTCP協(xié)議，協(xié)議， 如果有誤碼，如果有誤碼， 為了保持為了保持音頻和視頻等信息包之間彼此正確銜接，音頻和視頻等信息包之間彼此正確銜接， 則應(yīng)采用反則應(yīng)采用反饋重發(fā)方式。饋重發(fā)方式。 采用采用RTP協(xié)議，協(xié)議， 因而因而RTP在每個(gè)從信源在每個(gè)從信源離開(kāi)的數(shù)據(jù)包上留下了時(shí)間標(biāo)記以便在接收端正確重離開(kāi)的數(shù)據(jù)包上留下了時(shí)間標(biāo)記以便在接收端正確重放。放。 27 H.323標(biāo)準(zhǔn)的分層結(jié)構(gòu)標(biāo)準(zhǔn)的分層結(jié)構(gòu) RTP在在UDP的上層，相當(dāng)于會(huì)話層，提供同步和的上層，相當(dāng)于會(huì)話層，提供同步和排序

22、服務(wù)，對(duì)網(wǎng)絡(luò)的帶寬、時(shí)延、差錯(cuò)有一定的自適排序服務(wù)，對(duì)網(wǎng)絡(luò)的帶寬、時(shí)延、差錯(cuò)有一定的自適應(yīng)性；其數(shù)據(jù)包頭中包含一些控制信息，以保證實(shí)時(shí)應(yīng)性；其數(shù)據(jù)包頭中包含一些控制信息，以保證實(shí)時(shí)的數(shù)據(jù)傳送。的數(shù)據(jù)傳送。28 5 H.323多媒體通信終端構(gòu)成多媒體通信終端構(gòu)成 系 統(tǒng) 控 制視 頻 I/O設(shè) 備視 頻 編 解 碼 器 H .261H .263音 頻 I/O設(shè) 備音 頻 編 解 碼 器G .723.1G .728 G .729A往 返路 徑時(shí) 延RTPRTCP用 戶 數(shù) 據(jù)應(yīng) 用 T.120系 統(tǒng) 控 制用 戶 接 口H .245控 制呼 叫 控 制H .225.0RA S控 制H .225.0

23、H.225.0層LA N 基于分組網(wǎng)絡(luò)接口29 H.323H.323終端是局域網(wǎng)上的客戶使用的設(shè)備，它提供實(shí)終端是局域網(wǎng)上的客戶使用的設(shè)備，它提供實(shí)時(shí)的雙向通信。時(shí)的雙向通信。在在H.323H.323終端中，可供選擇的標(biāo)準(zhǔn)包括終端中，可供選擇的標(biāo)準(zhǔn)包括: :電視圖像編碼器電視圖像編碼器(H.263/H.261);(H.263/H.261);聲音編碼器聲音編碼器(G.71X/G.72X/G.723.1);(G.71X/G.72X/G.723.1);T120T120實(shí)時(shí)數(shù)據(jù)會(huì)議實(shí)時(shí)數(shù)據(jù)會(huì)議(real time data conferencing)(real time data conferenci

24、ng)和和MCUMCU的功能。的功能。H.323終端終端30所有的所有的H.323H.323終端都必須具備聲音通信的功能，終端都必須具備聲音通信的功能，而電視圖像和數(shù)據(jù)通信是可選擇的。而電視圖像和數(shù)據(jù)通信是可選擇的。H.323H.323是新一代因特網(wǎng)電話、聲音會(huì)議終端和電是新一代因特網(wǎng)電話、聲音會(huì)議終端和電視會(huì)議終端技術(shù)的基礎(chǔ)。視會(huì)議終端技術(shù)的基礎(chǔ)。 H.323終端終端31H.323終端終端 系統(tǒng)控制：是系統(tǒng)控制：是H.323終端的核心，終端的核心， 它提供它提供了了H.323終端正確操作的信令。終端正確操作的信令。 這些功能包括呼叫控制（建立與拆除）、這些功能包括呼叫控制（建立與拆除）、 能

25、力切換、能力切換、 命令和指示信令以及用于開(kāi)命令和指示信令以及用于開(kāi)放和描述邏輯信道內(nèi)容的報(bào)文等。放和描述邏輯信道內(nèi)容的報(bào)文等。 整個(gè)系統(tǒng)的控制由整個(gè)系統(tǒng)的控制由H.245控制通道、控制通道、 H.225.0呼叫信令信道以及呼叫信令信道以及RAS信道提供。信道提供。32H.323終端終端分組與同步分組與同步: H.225.0標(biāo)準(zhǔn)描述了無(wú)標(biāo)準(zhǔn)描述了無(wú)QoS保證的保證的LAN上媒上媒體流的打包分組與同步傳輸機(jī)制。體流的打包分組與同步傳輸機(jī)制。 H.225.0對(duì)傳輸?shù)囊曨l、對(duì)傳輸?shù)囊曨l、 音頻、音頻、 數(shù)據(jù)與控制數(shù)據(jù)與控制流進(jìn)行格式化，流進(jìn)行格式化， 以便輸出到網(wǎng)絡(luò)接口，以便輸出到網(wǎng)絡(luò)接口， 同時(shí)從

26、網(wǎng)絡(luò)接口輸入報(bào)文中補(bǔ)償接收到的同時(shí)從網(wǎng)絡(luò)接口輸入報(bào)文中補(bǔ)償接收到的視頻、視頻、 音頻、音頻、 數(shù)據(jù)與控制流。數(shù)據(jù)與控制流。 另外，另外， 它它還具有邏輯成幀、還具有邏輯成幀、 順序編號(hào)、順序編號(hào)、 糾錯(cuò)與檢糾錯(cuò)與檢錯(cuò)功能。錯(cuò)功能。33H.323終端終端數(shù)據(jù)：數(shù)據(jù)： 由于由于T.120是是H.323與其他多媒體通與其他多媒體通信終端間數(shù)據(jù)互操作的基礎(chǔ)，信終端間數(shù)據(jù)互操作的基礎(chǔ)， 因此，因此， 通通過(guò)過(guò)H.245協(xié)商可將其實(shí)施到多種數(shù)據(jù)應(yīng)用協(xié)商可將其實(shí)施到多種數(shù)據(jù)應(yīng)用中，中， 如白板、如白板、 應(yīng)用共享、應(yīng)用共享、 文件傳輸、文件傳輸、 靜態(tài)圖像傳輸、靜態(tài)圖像傳輸、 數(shù)據(jù)庫(kù)訪問(wèn)、數(shù)據(jù)庫(kù)訪問(wèn)、 音頻

27、圖像音頻圖像會(huì)議等。會(huì)議等。 34H.323 編碼Audio: H.323H.323終端必須支持終端必須支持 G.711 G.711 標(biāo)準(zhǔn)進(jìn)行語(yǔ)音壓標(biāo)準(zhǔn)進(jìn)行語(yǔ)音壓縮縮. G.711 . G.711 以以 565664 kb/s64 kb/s的速率傳輸語(yǔ)音的速率傳輸語(yǔ)音. . H.323 H.323 正在考慮使用正在考慮使用 G.723 = G.723.1, G.723 = G.723.1, 該該標(biāo)準(zhǔn)以標(biāo)準(zhǔn)以 5.35.36.3 kb/s6.3 kb/s的速率操作（來(lái)支持的速率操作（來(lái)支持低速鏈路）低速鏈路）. . Optional: G.722, G.728, G.729Optional: G

28、.722, G.728, G.72935H.323 編碼VideoVideo 對(duì)對(duì) H.323H.323終端來(lái)說(shuō)，視頻能力為可選項(xiàng)終端來(lái)說(shuō)，視頻能力為可選項(xiàng). . 任何可視化的任何可視化的 H.323H.323終端必須支持終端必須支持 QCIF H.261 (176x144 pixels).QCIF H.261 (176x144 pixels). 也可以選擇其他的也可以選擇其他的H.261H.261機(jī)制機(jī)制: CIF, : CIF, 4CIF and 16CIF.4CIF and 16CIF. H.261H.261所使用的信道帶寬必須是所使用的信道帶寬必須是64 kb/s64 kb/s的整倍數(shù)

29、的整倍數(shù). .36H.323中的音頻數(shù)據(jù)流AudioSourceEncoding:e.g., G.711 or G.723.1RTP packetencapsulationUDP socketInternet orGatekeeper37H.245控制通道 H.323 H.323 媒體流可以包含若干信道來(lái)傳輸媒體流可以包含若干信道來(lái)傳輸不同類(lèi)型的媒體數(shù)據(jù)不同類(lèi)型的媒體數(shù)據(jù) 每個(gè)每個(gè)H.323H.323會(huì)話有一個(gè)會(huì)話有一個(gè) H.245 H.245 控制信道控制信道 H.245 H.245 控制信道是控制信道是 一個(gè)可靠的一個(gè)可靠的 (TCP) (TCP) 信道信道38H.245控制通道 主要任務(wù)

30、主要任務(wù): :開(kāi)閉媒體信道開(kāi)閉媒體信道能力信息交換能力信息交換: :在發(fā)送流媒體之前在發(fā)送流媒體之前, ,通通信終端對(duì)它們之間的編碼信終端對(duì)它們之間的編碼/ /算法協(xié)商算法協(xié)商一致一致39信息流 H.323TerminalH.323TerminalMedia Channel1Media ControlChannelMedia Channel2Call SignalingChannelCall ControlChannelH.323GatekeeperRAS ChannelTCPUDP40網(wǎng)守(Gatekeeper) H.323 terminalsGatekeeperRouterInternet

31、LAN = “H.323 Zone”RAS41網(wǎng)守(Gatekeeper) 網(wǎng)守是任選的網(wǎng)守是任選的H.323H.323模塊模塊/ /設(shè)備設(shè)備, , 可以給端點(diǎn)可以給端點(diǎn)提供提供: :負(fù)責(zé)負(fù)責(zé)”別名別名”與與IPIP地址的轉(zhuǎn)換地址的轉(zhuǎn)換; ;帶寬管理帶寬管理: : 可以限制實(shí)時(shí)會(huì)議所消耗的帶寬可以限制實(shí)時(shí)會(huì)議所消耗的帶寬作為可選功能作為可選功能, H.323, H.323呼叫可以被引導(dǎo)通過(guò)呼叫可以被引導(dǎo)通過(guò)網(wǎng)守網(wǎng)守, , 對(duì)計(jì)費(fèi)有用對(duì)計(jì)費(fèi)有用. .RASRAS協(xié)議協(xié)議 (over TCP)(over TCP)負(fù)責(zé)端點(diǎn)負(fù)責(zé)端點(diǎn)- -網(wǎng)守間的通網(wǎng)守間的通信信42網(wǎng)守(Gatekeeper) H.3

32、23H.323終端必須在網(wǎng)守的轄區(qū)內(nèi)注冊(cè)終端必須在網(wǎng)守的轄區(qū)內(nèi)注冊(cè). .當(dāng)當(dāng) H.323 H.323 應(yīng)用程序在終端上調(diào)用時(shí)應(yīng)用程序在終端上調(diào)用時(shí), ,該終端使用該終端使用 RAS RAS 給網(wǎng)守發(fā)送其給網(wǎng)守發(fā)送其 IPIP地址和地址和( (用戶提供的用戶提供的) )別名別名. . 如果區(qū)內(nèi)有網(wǎng)守存在如果區(qū)內(nèi)有網(wǎng)守存在, , 每個(gè)區(qū)內(nèi)的終每個(gè)區(qū)內(nèi)的終端必須與網(wǎng)守聯(lián)系并獲取呼叫許可端必須與網(wǎng)守聯(lián)系并獲取呼叫許可. .43網(wǎng)守(Gatekeeper) 一旦獲得許可一旦獲得許可, , 終端將給網(wǎng)守發(fā)送電終端將給網(wǎng)守發(fā)送電子郵件地址、別名字符串或電話分機(jī)子郵件地址、別名字符串或電話分機(jī). .網(wǎng)守將別名

33、翻譯成網(wǎng)守將別名翻譯成 IP IP 地址。地址。 如有必要如有必要, ,網(wǎng)守將輪詢其他轄區(qū)中的網(wǎng)守將輪詢其他轄區(qū)中的網(wǎng)守以解決網(wǎng)守以解決IPIP地址的解析問(wèn)題地址的解析問(wèn)題. .處理處理過(guò)程如同過(guò)程如同DNS,DNS,但具體做法因廠商而但具體做法因廠商而異。異。44H.323 網(wǎng)關(guān)(Gateway)H.323 terminalsGatekeeperRouterInternetLAN = “H.323 Zone”RASGatewayPSTN網(wǎng)關(guān)是網(wǎng)關(guān)是IPIP區(qū)和區(qū)和PSTN (or ISDN) PSTN (or ISDN) 網(wǎng)絡(luò)之間的橋梁網(wǎng)絡(luò)之間的橋梁. .終端使用終端使用 H.245H.24

34、5和和 Q.931Q.931與網(wǎng)關(guān)進(jìn)行通信。與網(wǎng)關(guān)進(jìn)行通信。45Logical Channel3. SetupQ.931 Call Signaling ChannelRAS Channel1. ARQ (alias address/bandwidth)2. ACF (call signaling channel address/bandwidth)5.ARQ6.ACF8. Connect (H.245 Address)4. Call Proceeding7. AlertingH.245 Control Channel (Logical Channel 0)Master/Slave Determ

35、inationRTCP StreamRTCP StreamRTP StreamGatekeeperTerminalTerminalCapability ExchangeOpenLogicChannel (RTCP address)OpenLogicChannelACK (RTP & RTCP address)H.323 Call Setup Flow466.4 6.4 移動(dòng)多媒體通信終端移動(dòng)多媒體通信終端1.1.概述概述 移動(dòng)通信市場(chǎng)不斷增長(zhǎng)，無(wú)線因特網(wǎng)的應(yīng)用越移動(dòng)通信市場(chǎng)不斷增長(zhǎng)，無(wú)線因特網(wǎng)的應(yīng)用越來(lái)越多，分離的終端逐步合并為單一的多媒體來(lái)越多，分離的終端逐步合并為單一的多媒體終端設(shè)

36、備。終端設(shè)備。 隨著基于移動(dòng)網(wǎng)絡(luò)的多媒體數(shù)據(jù)業(yè)務(wù)的蓬勃發(fā)隨著基于移動(dòng)網(wǎng)絡(luò)的多媒體數(shù)據(jù)業(yè)務(wù)的蓬勃發(fā)展，移動(dòng)多媒體應(yīng)用系統(tǒng)的開(kāi)發(fā)技術(shù)日漸成為展，移動(dòng)多媒體應(yīng)用系統(tǒng)的開(kāi)發(fā)技術(shù)日漸成為業(yè)內(nèi)的研究熱點(diǎn)。業(yè)內(nèi)的研究熱點(diǎn)。 隨著隨著3G3G時(shí)代的到來(lái)，人們對(duì)手機(jī)、時(shí)代的到來(lái)，人們對(duì)手機(jī)、PDAPDA等數(shù)字等數(shù)字終端的功能不再滿足于簡(jiǎn)單的通話、短信、游終端的功能不再滿足于簡(jiǎn)單的通話、短信、游戲和戲和MP3MP3等，需要支持更強(qiáng)大的多媒體業(yè)務(wù)功等，需要支持更強(qiáng)大的多媒體業(yè)務(wù)功能，如能，如VoIPVoIP系統(tǒng)、視頻電話、無(wú)線多媒體監(jiān)控系統(tǒng)、視頻電話、無(wú)線多媒體監(jiān)控系統(tǒng)等。系統(tǒng)等。471.概述 移動(dòng)多媒體通信系統(tǒng)，

37、能夠?qū)崿F(xiàn)多媒體信息的移動(dòng)多媒體通信系統(tǒng)，能夠?qū)崿F(xiàn)多媒體信息的實(shí)時(shí)采集、處理和傳輸，是為完整的多媒體應(yīng)實(shí)時(shí)采集、處理和傳輸，是為完整的多媒體應(yīng)用提供信息源，數(shù)據(jù)打包，協(xié)議支持等功能的用提供信息源，數(shù)據(jù)打包，協(xié)議支持等功能的無(wú)線通信系統(tǒng)。無(wú)線通信系統(tǒng)。 然而，多媒體信息尤其是視頻信息在無(wú)線網(wǎng)絡(luò)然而，多媒體信息尤其是視頻信息在無(wú)線網(wǎng)絡(luò)上傳輸存在著網(wǎng)絡(luò)帶寬有限、誤碼嚴(yán)重、終端上傳輸存在著網(wǎng)絡(luò)帶寬有限、誤碼嚴(yán)重、終端處理能力較弱等問(wèn)題。處理能力較弱等問(wèn)題。 針對(duì)這些問(wèn)題，在移動(dòng)多媒體系統(tǒng)設(shè)計(jì)時(shí)要綜針對(duì)這些問(wèn)題，在移動(dòng)多媒體系統(tǒng)設(shè)計(jì)時(shí)要綜合考慮多方面因素。在系統(tǒng)設(shè)計(jì)時(shí)涉及的關(guān)鍵合考慮多方面因素。在系統(tǒng)設(shè)計(jì)

38、時(shí)涉及的關(guān)鍵技術(shù)包括移動(dòng)多媒體終端、抗干擾的音視頻編技術(shù)包括移動(dòng)多媒體終端、抗干擾的音視頻編解碼機(jī)制、無(wú)線通信網(wǎng)絡(luò)組網(wǎng)及多媒體傳輸控解碼機(jī)制、無(wú)線通信網(wǎng)絡(luò)組網(wǎng)及多媒體傳輸控制等。制等。482.移動(dòng)多媒體終端設(shè)計(jì)架構(gòu)移動(dòng)多媒體終端設(shè)計(jì)架構(gòu) 系統(tǒng)一般分為四個(gè)部分，微處理器系統(tǒng)、系統(tǒng)一般分為四個(gè)部分，微處理器系統(tǒng)、多媒體外設(shè)、數(shù)據(jù)存儲(chǔ)設(shè)備和無(wú)線網(wǎng)絡(luò)多媒體外設(shè)、數(shù)據(jù)存儲(chǔ)設(shè)備和無(wú)線網(wǎng)絡(luò)接口。接口。 移動(dòng)多媒體終端系統(tǒng)組成框圖如下圖所移動(dòng)多媒體終端系統(tǒng)組成框圖如下圖所示示4950(1) 微處理器 核心微處理器將采集到的原始多媒體數(shù)核心微處理器將采集到的原始多媒體數(shù)據(jù)經(jīng)過(guò)音視頻編碼設(shè)備根據(jù)給定的編碼據(jù)經(jīng)過(guò)音

39、視頻編碼設(shè)備根據(jù)給定的編碼標(biāo)準(zhǔn)（標(biāo)準(zhǔn)（H.263H.263、H.264H.264、MPEG-4MPEG-4）進(jìn)行）進(jìn)行編碼，以備本地播放或通過(guò)網(wǎng)絡(luò)傳輸。編碼，以備本地播放或通過(guò)網(wǎng)絡(luò)傳輸。同時(shí)，還要提供必要的多媒體外設(shè)接口、同時(shí)，還要提供必要的多媒體外設(shè)接口、外部存儲(chǔ)器接口和網(wǎng)絡(luò)接口。外部存儲(chǔ)器接口和網(wǎng)絡(luò)接口。 目前，比較流行的核心微處理器的選擇目前，比較流行的核心微處理器的選擇方案主要有以下幾種：方案主要有以下幾種： 51(1) 微處理器 采用特殊用途的數(shù)字信號(hào)處理器（采用特殊用途的數(shù)字信號(hào)處理器（DSPDSP）芯片。芯片。 現(xiàn)在，國(guó)際上已經(jīng)推出了不少專用型現(xiàn)在，國(guó)際上已經(jīng)推出了不少專用型DS

40、PDSP芯片，特別還有針對(duì)芯片，特別還有針對(duì)H.263H.263、MPEGMPEG、JPEGJPEG標(biāo)準(zhǔn)的芯片。在這些芯片中，其軟件算標(biāo)準(zhǔn)的芯片。在這些芯片中，其軟件算法已在芯片內(nèi)部用硬件實(shí)現(xiàn)，適用于對(duì)法已在芯片內(nèi)部用硬件實(shí)現(xiàn)，適用于對(duì)速度要求很高的場(chǎng)合。速度要求很高的場(chǎng)合。 這種方案的缺點(diǎn)是靈活性差，開(kāi)發(fā)工具這種方案的缺點(diǎn)是靈活性差，開(kāi)發(fā)工具尚不完善。尚不完善。52(1) 微處理器 利用可編程利用可編程DSPDSP芯片實(shí)現(xiàn)。芯片實(shí)現(xiàn)。 DSPDSP芯片采用改進(jìn)的哈佛總線結(jié)構(gòu)，內(nèi)部有硬芯片采用改進(jìn)的哈佛總線結(jié)構(gòu)，內(nèi)部有硬件乘法器、累加器，使用流水線結(jié)構(gòu)，具有良件乘法器、累加器，使用流水線結(jié)構(gòu)，

41、具有良好的并行性等，非常適用于不允許有延遲的實(shí)好的并行性等，非常適用于不允許有延遲的實(shí)時(shí)應(yīng)用領(lǐng)域。而且，一塊內(nèi)嵌的時(shí)應(yīng)用領(lǐng)域。而且，一塊內(nèi)嵌的DSPDSP芯片結(jié)合芯片結(jié)合外圍電路能完成整個(gè)系統(tǒng)的壓縮編碼。外圍電路能完成整個(gè)系統(tǒng)的壓縮編碼。 這種方案有很強(qiáng)的靈活性，硬件系統(tǒng)完成后，這種方案有很強(qiáng)的靈活性，硬件系統(tǒng)完成后，整個(gè)系統(tǒng)的升級(jí)僅僅需要修改軟件即可。整個(gè)系統(tǒng)的升級(jí)僅僅需要修改軟件即可。 53(1) 微處理器 用用FPGAFPGA等可編程陣列產(chǎn)品實(shí)現(xiàn)。等可編程陣列產(chǎn)品實(shí)現(xiàn)。 可以利于公司專用軟件或可以利于公司專用軟件或VHDLVHDL等開(kāi)發(fā)語(yǔ)等開(kāi)發(fā)語(yǔ)言，通過(guò)軟件編程用硬件實(shí)現(xiàn)特定的音言，通過(guò)

42、軟件編程用硬件實(shí)現(xiàn)特定的音視頻壓縮算法。視頻壓縮算法。 這一方案具有通用性的特點(diǎn)，并可以實(shí)這一方案具有通用性的特點(diǎn)，并可以實(shí)現(xiàn)算法的并行運(yùn)算，無(wú)論是作為獨(dú)立的現(xiàn)算法的并行運(yùn)算，無(wú)論是作為獨(dú)立的數(shù)字信號(hào)處理器，還是做為數(shù)字信號(hào)處理器，還是做為DSPDSP芯片的協(xié)芯片的協(xié)處理器，都是比較活躍的研究領(lǐng)域。處理器，都是比較活躍的研究領(lǐng)域。54 (2) 多媒體外設(shè) 多媒體外設(shè)主要包括攝像頭、顯示設(shè)備、音多媒體外設(shè)主要包括攝像頭、顯示設(shè)備、音視頻處理設(shè)備，還包括耳機(jī)話筒、網(wǎng)絡(luò)智能視頻處理設(shè)備，還包括耳機(jī)話筒、網(wǎng)絡(luò)智能卡、天線和電池等?？ā⑻炀€和電池等。 攝像頭采集視頻信號(hào)，顯示設(shè)備將從本地或攝像頭采集視頻

43、信號(hào)，顯示設(shè)備將從本地或網(wǎng)絡(luò)得到視頻數(shù)據(jù)打開(kāi)數(shù)據(jù)包，進(jìn)行視頻解網(wǎng)絡(luò)得到視頻數(shù)據(jù)打開(kāi)數(shù)據(jù)包，進(jìn)行視頻解碼，并把得到的視頻數(shù)據(jù)顯示出來(lái)，同時(shí)，碼，并把得到的視頻數(shù)據(jù)顯示出來(lái)，同時(shí)，如果嵌入式網(wǎng)絡(luò)多媒體終端需要驗(yàn)證視頻壓如果嵌入式網(wǎng)絡(luò)多媒體終端需要驗(yàn)證視頻壓縮的數(shù)據(jù)的正確性，還可以帶有本地解碼器，縮的數(shù)據(jù)的正確性，還可以帶有本地解碼器，支持解碼數(shù)據(jù)的本地顯示。支持解碼數(shù)據(jù)的本地顯示。 55 (3) 數(shù)據(jù)存儲(chǔ)設(shè)備 數(shù)據(jù)存儲(chǔ)設(shè)備包括數(shù)據(jù)存儲(chǔ)設(shè)備包括RAMRAM、ROMROM、SDRAMSDRAM和和FLASHFLASH，用來(lái)擴(kuò)展系統(tǒng)存儲(chǔ)空間，存儲(chǔ)經(jīng)，用來(lái)擴(kuò)展系統(tǒng)存儲(chǔ)空間，存儲(chǔ)經(jīng)過(guò)編解碼的多媒體數(shù)據(jù)和終端

44、控制程序。過(guò)編解碼的多媒體數(shù)據(jù)和終端控制程序。56 (4)無(wú)線網(wǎng)絡(luò)接口模塊 無(wú)線網(wǎng)絡(luò)接口模塊處理音視頻編碼流，無(wú)線網(wǎng)絡(luò)接口模塊處理音視頻編碼流，把音視頻數(shù)據(jù)打包為適合網(wǎng)絡(luò)傳輸?shù)臄?shù)把音視頻數(shù)據(jù)打包為適合網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)包，并把它通過(guò)無(wú)線網(wǎng)絡(luò)傳輸出去。據(jù)包，并把它通過(guò)無(wú)線網(wǎng)絡(luò)傳輸出去。并支持系統(tǒng)選定的無(wú)線網(wǎng)絡(luò)傳輸控制協(xié)并支持系統(tǒng)選定的無(wú)線網(wǎng)絡(luò)傳輸控制協(xié)議。如：議。如：SIPSIP協(xié)議協(xié)議 573.基于 OMAPl510 雙核架構(gòu)的移動(dòng)多媒體通信終端 移動(dòng)通信的發(fā)展對(duì)數(shù)字信號(hào)處理器提出移動(dòng)通信的發(fā)展對(duì)數(shù)字信號(hào)處理器提出了越來(lái)越高的要求，傳統(tǒng)的了越來(lái)越高的要求，傳統(tǒng)的DSPDSP芯片已不芯片已不能勝任。

45、為了滿足移動(dòng)通信和多媒體領(lǐng)能勝任。為了滿足移動(dòng)通信和多媒體領(lǐng)域新應(yīng)用的需要，德州儀器公司提出了域新應(yīng)用的需要，德州儀器公司提出了開(kāi)放式多媒體應(yīng)用平臺(tái)開(kāi)放式多媒體應(yīng)用平臺(tái)OMAP(Open OMAP(Open Multimedia Applications Platform)Multimedia Applications Platform)體系結(jié)構(gòu)，并為此設(shè)計(jì)了體系結(jié)構(gòu)，并為此設(shè)計(jì)了OMAPOMAP芯片。芯片。583.基于 OMAPl510 雙核架構(gòu)的移動(dòng)多媒體通信終端 它采用一種獨(dú)特的雙核結(jié)構(gòu)，把高性能它采用一種獨(dú)特的雙核結(jié)構(gòu)，把高性能低功耗的低功耗的DSPDSP核與控制性能強(qiáng)的核與控制性能強(qiáng)

46、的ARMARM微處微處理器結(jié)合起來(lái)，成為一顆高度整合性理器結(jié)合起來(lái)，成為一顆高度整合性SoCSoC。 它是一種開(kāi)放式的、可編程的基于它是一種開(kāi)放式的、可編程的基于DSPDSP的的體系結(jié)構(gòu)。由于體系結(jié)構(gòu)。由于OMAPOMAP先進(jìn)獨(dú)特的結(jié)構(gòu)，先進(jìn)獨(dú)特的結(jié)構(gòu)，其芯片運(yùn)算處理能力強(qiáng)、功耗低，在移其芯片運(yùn)算處理能力強(qiáng)、功耗低，在移動(dòng)通信和多媒體信號(hào)處理方面具有明顯動(dòng)通信和多媒體信號(hào)處理方面具有明顯優(yōu)勢(shì)。優(yōu)勢(shì)。 59(1) OMAP1510 硬件構(gòu)架 OMAP OMAP 的硬件構(gòu)架主要由的硬件構(gòu)架主要由 DSP DSP 核核、ARM ARM 核核以及以及業(yè)務(wù)控制器業(yè)務(wù)控制器(Traffic Control

47、ler)(Traffic Controller)組成。組成。 這三部分可以獨(dú)立進(jìn)行時(shí)鐘管理，有效這三部分可以獨(dú)立進(jìn)行時(shí)鐘管理，有效地控制功耗，如下圖所示。地控制功耗，如下圖所示。6061(1) OMAP1510 硬件構(gòu)架 TI TI 增強(qiáng)型增強(qiáng)型ARM925 ARM925 核核: : ARM RISC ARM RISC 體系結(jié)構(gòu)的先進(jìn)代表；體系結(jié)構(gòu)的先進(jìn)代表； 工作主頻為工作主頻為175MHz175MHz； 存儲(chǔ)器管理單元；存儲(chǔ)器管理單元；16K 16K 字節(jié)的高速指令緩沖存儲(chǔ)器；字節(jié)的高速指令緩沖存儲(chǔ)器；8K 8K 字節(jié)的數(shù)據(jù)高速緩沖存儲(chǔ)器；字節(jié)的數(shù)據(jù)高速緩沖存儲(chǔ)器；17 17 個(gè)字的寫(xiě)緩沖

48、器；個(gè)字的寫(xiě)緩沖器；62(1) OMAP1510 硬件構(gòu)架 片內(nèi)有片內(nèi)有 1.5MB 1.5MB 的內(nèi)部的內(nèi)部SRAMSRAM，為液晶顯示，為液晶顯示等應(yīng)用提供大量的數(shù)據(jù)和代碼存儲(chǔ)空間；等應(yīng)用提供大量的數(shù)據(jù)和代碼存儲(chǔ)空間；它有它有 13 13 個(gè)內(nèi)部中斷和個(gè)內(nèi)部中斷和 19 19 個(gè)外部中斷，個(gè)外部中斷，采用兩級(jí)中斷管理；采用兩級(jí)中斷管理；此外此外, ,核內(nèi)還有核內(nèi)還有ARM CP15 ARM CP15 協(xié)處理器和協(xié)處理器和保護(hù)模塊。保護(hù)模塊。63(1) OMAP1510 硬件構(gòu)架 C55x DSP 核 具有最佳的功耗性能比，工作主頻為具有最佳的功耗性能比，工作主頻為200MHz200MHz。

49、它采用了三項(xiàng)關(guān)鍵的革新技術(shù)：增大的空它采用了三項(xiàng)關(guān)鍵的革新技術(shù)：增大的空閑省電區(qū)域、變長(zhǎng)指令、擴(kuò)大的并行機(jī)制。閑省電區(qū)域、變長(zhǎng)指令、擴(kuò)大的并行機(jī)制。其結(jié)構(gòu)對(duì)于多媒體應(yīng)用高度優(yōu)化，適合低其結(jié)構(gòu)對(duì)于多媒體應(yīng)用高度優(yōu)化，適合低功耗的實(shí)時(shí)語(yǔ)音圖像處理。功耗的實(shí)時(shí)語(yǔ)音圖像處理。64(1) OMAP1510 硬件構(gòu)架 C55xDSP C55xDSP 核增加了處理運(yùn)動(dòng)估計(jì)、離散余弦核增加了處理運(yùn)動(dòng)估計(jì)、離散余弦變換、離散余弦反變換和變換、離散余弦反變換和 1 1 2 2 像素插像素插值的硬件加速器，降低了視頻處理的功耗。值的硬件加速器，降低了視頻處理的功耗。C55x DSP C55x DSP 核內(nèi)部有核內(nèi)部

50、有32K 32K 字的雙存取字的雙存取 SRAMSRAM，48K 48K 字的單存取字的單存取 SRAM SRAM 和和 12K 12K 字的高速字的高速指令緩存。指令緩存。此外，核內(nèi)還包含存儲(chǔ)器管理單元、兩級(jí)中此外，核內(nèi)還包含存儲(chǔ)器管理單元、兩級(jí)中斷管理器和直接存儲(chǔ)器訪問(wèn)單元。斷管理器和直接存儲(chǔ)器訪問(wèn)單元。65(1) OMAP1510 硬件構(gòu)架 OMAPl510 OMAPl510 芯片具有豐富的外圍接口：芯片具有豐富的外圍接口： 液晶控制器、存儲(chǔ)器、攝像機(jī)、空中、液晶控制器、存儲(chǔ)器、攝像機(jī)、空中、藍(lán)牙、通用異步收發(fā)器、藍(lán)牙、通用異步收發(fā)器、I2C I2C 主機(jī)、脈主機(jī)、脈寬音頻發(fā)生器、串行、

51、主客戶機(jī)寬音頻發(fā)生器、串行、主客戶機(jī)USBUSB、安、安全數(shù)字多媒體卡控制器、鍵盤(pán)等接口。全數(shù)字多媒體卡控制器、鍵盤(pán)等接口。這些豐富的外圍接口，使這些豐富的外圍接口，使OMAP1510 OMAP1510 特別特別適用于第三代移動(dòng)通信系統(tǒng)。適用于第三代移動(dòng)通信系統(tǒng)。 66(2) OMAP1510 軟件構(gòu)架 OMAP OMAP 的軟件結(jié)構(gòu)建立在兩個(gè)操作系統(tǒng)上：的軟件結(jié)構(gòu)建立在兩個(gè)操作系統(tǒng)上： 一是基于一是基于ARM ARM 的操作系統(tǒng)，如的操作系統(tǒng)，如Windows CEWindows CE、Linux Linux 等；等； 二是基于二是基于DSP DSP 的的DSP DSP BIOSBIOS。

52、連接兩個(gè)操作系統(tǒng)所使用的核心技術(shù)是連接兩個(gè)操作系統(tǒng)所使用的核心技術(shù)是DSP DSP BIOS BIOS 橋。它是實(shí)現(xiàn)和使用橋。它是實(shí)現(xiàn)和使用OMAP OMAP 的關(guān)鍵。對(duì)于的關(guān)鍵。對(duì)于軟件開(kāi)發(fā)者來(lái)說(shuō)，軟件開(kāi)發(fā)者來(lái)說(shuō)，DSP DSP BIOS BIOS 橋提供了一種橋提供了一種使用使用DSP DSP 的無(wú)縫接口，允許開(kāi)發(fā)者在的無(wú)縫接口，允許開(kāi)發(fā)者在GPP(GPP(通用通用處理器，包括處理器，包括ARM)ARM)上使用標(biāo)準(zhǔn)應(yīng)用編程接口，上使用標(biāo)準(zhǔn)應(yīng)用編程接口，訪問(wèn)并控制訪問(wèn)并控制DSP DSP 的運(yùn)行環(huán)境。的運(yùn)行環(huán)境。67(2) OMAP1510 軟件構(gòu)架 利用利用TI TI 公司的公司的Code

53、 Composer Code Composer Studio Studio 集成開(kāi)發(fā)環(huán)境，從開(kāi)發(fā)者的角度集成開(kāi)發(fā)環(huán)境，從開(kāi)發(fā)者的角度來(lái)看，來(lái)看，OMAP OMAP 好像僅用好像僅用GPP GPP 處理器就完成處理器就完成了所有處理功能。了所有處理功能。 這樣，開(kāi)發(fā)者就不需要為兩種處理器分這樣，開(kāi)發(fā)者就不需要為兩種處理器分別編程，這使編程工作大為簡(jiǎn)化。在別編程，這使編程工作大為簡(jiǎn)化。在OMAP OMAP 體系結(jié)構(gòu)下，開(kāi)發(fā)者可以像對(duì)待單體系結(jié)構(gòu)下，開(kāi)發(fā)者可以像對(duì)待單個(gè)個(gè)GPP GPP 那樣對(duì)那樣對(duì)OMAP OMAP 的雙處理器平臺(tái)進(jìn)行的雙處理器平臺(tái)進(jìn)行編程。編程。 68(2) OMAP1510 軟

54、件構(gòu)架 OMAP1510 OMAP1510 支持多種實(shí)時(shí)多任務(wù)操作系統(tǒng)支持多種實(shí)時(shí)多任務(wù)操作系統(tǒng)在在ARM925 ARM925 微處理器上工作，用來(lái)對(duì)微處理器上工作，用來(lái)對(duì)ARM925 ARM925 微處理器進(jìn)行實(shí)時(shí)多任務(wù)調(diào)度管微處理器進(jìn)行實(shí)時(shí)多任務(wù)調(diào)度管理，對(duì)理，對(duì)DSP C55x DSP C55x 進(jìn)行控制和通信，同進(jìn)行控制和通信，同時(shí)也支持多種實(shí)時(shí)多任務(wù)操作系統(tǒng)在時(shí)也支持多種實(shí)時(shí)多任務(wù)操作系統(tǒng)在DSP DSP C55x C55x 上工作，實(shí)現(xiàn)復(fù)雜的多媒體信號(hào)處上工作，實(shí)現(xiàn)復(fù)雜的多媒體信號(hào)處理。理。 69(2) OMAP1510 軟件構(gòu)架 DSP DSP BIOS BIOS 橋包含：橋包含

55、：DSP DSP 管理器，管理器，DSP DSP 管理服務(wù)器，管理服務(wù)器，RAMRAM、DSP DSP 和外圍接口鏈接驅(qū)動(dòng)。和外圍接口鏈接驅(qū)動(dòng)。DSP DSP BIOS BIOS 橋提供運(yùn)行在橋提供運(yùn)行在ARM925 ARM925 上的應(yīng)上的應(yīng)用程序和運(yùn)行在用程序和運(yùn)行在DSP C55x DSP C55x 上的算法之上的算法之間的通信管理服務(wù)。間的通信管理服務(wù)。70(2) OMAP1510 軟件構(gòu)架 開(kāi)發(fā)者可以利用該橋中的應(yīng)用編程接口，開(kāi)發(fā)者可以利用該橋中的應(yīng)用編程接口，控制控制DSP DSP 中實(shí)時(shí)任務(wù)的執(zhí)行，并與中實(shí)時(shí)任務(wù)的執(zhí)行，并與DSP DSP 交換任務(wù)運(yùn)行結(jié)果和狀態(tài)消息。交換任務(wù)運(yùn)行

56、結(jié)果和狀態(tài)消息。在這個(gè)環(huán)境下，開(kāi)發(fā)者可以調(diào)用局部在這個(gè)環(huán)境下，開(kāi)發(fā)者可以調(diào)用局部DSP DSP 網(wǎng)關(guān)組件完成諸如視頻、音頻和語(yǔ)音等網(wǎng)關(guān)組件完成諸如視頻、音頻和語(yǔ)音等功能。因此，開(kāi)發(fā)者不需要了解功能。因此，開(kāi)發(fā)者不需要了解DSP DSP 和和該橋就能開(kāi)發(fā)新的應(yīng)用軟件，如下圖所該橋就能開(kāi)發(fā)新的應(yīng)用軟件，如下圖所示。示。 7172(2) OMAP1510 軟件構(gòu)架 開(kāi)發(fā)多媒體應(yīng)用程序時(shí)，可以通過(guò)標(biāo)準(zhǔn)開(kāi)發(fā)多媒體應(yīng)用程序時(shí)，可以通過(guò)標(biāo)準(zhǔn)的多媒體應(yīng)用編程接口的多媒體應(yīng)用編程接口(MM API)(MM API)，使，使用多媒體引擎，方便了應(yīng)用程序的開(kāi)發(fā)；用多媒體引擎，方便了應(yīng)用程序的開(kāi)發(fā)； 多媒體引擎對(duì)相關(guān)

57、的多媒體引擎對(duì)相關(guān)的DSP DSP 任務(wù)通過(guò)任務(wù)通過(guò)DSP DSP 應(yīng)用編程接口應(yīng)用編程接口(DSP APl)(DSP APl)使用使用DSP DSP BIOS BIOS 橋；最后由橋；最后由DSP DSP BIOS BIOS 橋?qū)?shù)據(jù)、橋?qū)?shù)據(jù)、I I O O 流和流和DSP DSP 任務(wù)控制進(jìn)行協(xié)調(diào)。如下圖任務(wù)控制進(jìn)行協(xié)調(diào)。如下圖 所示。所示。 7374(2) OMAP1510 軟件構(gòu)架 DSP DSP BIOS BIOS 橋用于連接橋用于連接DSP DSP 和其他通用和其他通用處理器處理器(GPP)(GPP)上的上的OSOS。GPP GPP 在在OMAP OMAP 里是里是ARMARM，

58、還可以是，還可以是MIPS(Microprocessor MIPS(Microprocessor without Interlocked Pipe Stage)without Interlocked Pipe Stage)等。等。 DSP DSP BIOS BIOS 橋用于非對(duì)稱的、由一個(gè)通橋用于非對(duì)稱的、由一個(gè)通用處理器用處理器(GPP)(GPP)和一個(gè)或多個(gè)和一個(gè)或多個(gè)DSP DSP 組成的組成的多處理器環(huán)境。多處理器環(huán)境。75(2) OMAP1510 軟件構(gòu)架 DSP DSP BIOS BIOS 橋作為橋作為GPP OS GPP OS 和和DSP OS DSP OS 的軟件的軟件組合，把

59、兩個(gè)操作系統(tǒng)連接在一起。組合，把兩個(gè)操作系統(tǒng)連接在一起。 這種連接能夠使這種連接能夠使GPP GPP 端的客戶與端的客戶與DSP DSP 上的任務(wù)上的任務(wù)交換信息和數(shù)據(jù)。交換信息和數(shù)據(jù)。 連接分為兩種類(lèi)型：消息子連接和數(shù)據(jù)流子連連接分為兩種類(lèi)型：消息子連接和數(shù)據(jù)流子連接。接。 每種子連接都按順序傳遞消息，哪個(gè)消息先到每種子連接都按順序傳遞消息，哪個(gè)消息先到消息鏈，哪個(gè)消息就先被傳遞；同樣哪個(gè)數(shù)據(jù)消息鏈，哪個(gè)消息就先被傳遞；同樣哪個(gè)數(shù)據(jù)流先到數(shù)據(jù)流鏈，哪個(gè)數(shù)據(jù)流就先被傳遞。每流先到數(shù)據(jù)流鏈，哪個(gè)數(shù)據(jù)流就先被傳遞。每個(gè)子連接都獨(dú)立地進(jìn)行操作，例如：個(gè)子連接都獨(dú)立地進(jìn)行操作，例如： 76(2) OM

60、AP1510 軟件構(gòu)架 GPP GPP 先發(fā)送數(shù)據(jù)流，然后發(fā)送消息；如先發(fā)送數(shù)據(jù)流，然后發(fā)送消息；如果消息有高優(yōu)先級(jí)，那么消息比數(shù)據(jù)流果消息有高優(yōu)先級(jí)，那么消息比數(shù)據(jù)流先到先到DSPDSP。 DSP DSP 任務(wù)通常用消息對(duì)象傳送控制和狀任務(wù)通常用消息對(duì)象傳送控制和狀態(tài)信息，用數(shù)據(jù)流對(duì)象傳送高效實(shí)時(shí)數(shù)態(tài)信息，用數(shù)據(jù)流對(duì)象傳送高效實(shí)時(shí)數(shù)據(jù)流。據(jù)流。 下圖表示下圖表示 GPP GPP 客戶端程序和客戶端程序和DSP DSP 任務(wù)間任務(wù)間的關(guān)系。的關(guān)系。 7778(3) 3G 移動(dòng)多媒體終端的硬件結(jié)構(gòu)方案 基于基于OMAP1510 OMAP1510 的的3G 3G 移動(dòng)多媒體終端的移動(dòng)多媒體終端的硬件結(jié)構(gòu)方