第九節(jié)-多媒體流技術(shù)

第九節(jié)多媒體流技術(shù)一、網(wǎng)上多媒體流技術(shù)原理1·多媒體流的特點多媒體流(MultimediaStream)就是多媒體數(shù)據(jù)在網(wǎng)絡(luò)上傳輸時的數(shù)據(jù)流，它不同于一般的文件下載數(shù)據(jù)。多媒體流有以下特點:A. 數(shù)據(jù)量大:多媒體數(shù)據(jù)，尤其是視頻數(shù)據(jù)，數(shù)據(jù)量很大，必須使用特殊多媒體傳輸協(xié)議才能保證順利傳輸。B. 對帶寬要求高:由于多媒體數(shù)據(jù)量大，雖然經(jīng)過壓縮，仍然需要大量帶寬。C. 數(shù)據(jù)的忽略:在不影響播放效果的前提下，允許忽略一些數(shù)據(jù);這為在低中帶寬網(wǎng)絡(luò)下實現(xiàn)多媒體數(shù)據(jù)流的查詢提供了可能。D. 流式傳送:所謂流(Streaming)，也叫"流式"或"串流"，是一種傳輸數(shù)據(jù)信息的方式。采用這種方式，數(shù)據(jù)能夠用穩(wěn)定的速率從發(fā)送端傳轉(zhuǎn)至接收端，而接收端可以在發(fā)送端還沒有完全傳輸完畢之前即可開始處理這些數(shù)據(jù)信息，這特別適合于實現(xiàn)網(wǎng)絡(luò)廣播。E. 當采用流式技術(shù)傳送時，可以讓計算機一邊接收，一邊處理，節(jié)約了時間和存儲空間。F. 多數(shù)流式傳送技術(shù)使用專門的數(shù)據(jù)格式和緩沖系統(tǒng)，以實現(xiàn)連續(xù)播放。2·實時多媒體流

實時多媒體流就是實時采集、壓縮并傳送，茌客戶端實時接收的多媒體數(shù)據(jù)流。具體說，就是使用特定的視頻/音頻采集設(shè)備，采集實時數(shù)據(jù)，并立即遵從某些特定的標準進行壓縮，同時在網(wǎng)絡(luò)上傳輸。客戶端緩沖區(qū)不斷更新用以接收壓縮后的數(shù)據(jù)，即時解壓縮并播放。

在目前的Internet上，由于多種因素的影響，要實現(xiàn)完全的實時傳輸還不可能，只能是近似實時的，這是由于多媒體數(shù)據(jù)流傳送的端到端延遲較大的緣故。它的實際概念是:當前的實時多媒體數(shù)據(jù)在一定時間內(nèi)可傳送到發(fā)出請求的客戶端，并且視頻和音頻保持同步關(guān)系。這個延時的具體時間由服務(wù)器端的多媒體數(shù)據(jù)的壓縮速度、采用的壓縮方法以及網(wǎng)絡(luò)傳輸?shù)膶嶋H情況決定的。文件格式擴展名媒體類型與名稱壓縮情況movQuicktimeVideo(Apple)可以mpgMPEG-IVideo有mp3MPEGLayer-3Audio有wavWaveAudio沒有aifAudioInterchangeFormat沒有sndSoundAudioFileFormat沒有auAudioFileFormat(SunOS)沒有aviAudioVideoInterleaved(MicrosoftWindows)可以3·網(wǎng)絡(luò)模型和相關(guān)協(xié)議A. 多媒體流技術(shù)在網(wǎng)絡(luò)上的應(yīng)用，可概括為"多媒體服務(wù)器——客戶端"的模式。B. 通常，在WWW服務(wù)器端，多媒體服務(wù)器與Web服務(wù)器集成在一起，而WWW客戶端則只需Web瀏覽器和播放多媒體數(shù)據(jù)的瀏覽器插件。C. 多媒體服務(wù)器主要起客戶端進行通信和傳輸多媒體數(shù)據(jù)的作用。D. 在網(wǎng)絡(luò)上傳送多媒體數(shù)據(jù)流涉及不同的協(xié)議，包括:·TCP/IP-傳輸控制協(xié)議，是在WWW客戶與Web之間建立可靠的連接協(xié)議。Web瀏覽器與Web服務(wù)器之間通過HTTP，協(xié)議進行通信?！DP:用戶數(shù)據(jù)包協(xié)議，它是TCP的一種替代協(xié)議，是無連接的，沒有TCP的差錯糾正，允許丟棄那些被破壞的或遲到的數(shù)據(jù)包，所以它更適合傳輸連續(xù)多媒體數(shù)據(jù)。·RTP:實時協(xié)議，它是專門為Internet實時數(shù)據(jù)傳輸指定的協(xié)議，它使用專門時序重建方法來保證多種媒體的同步。·RTSP:實時流協(xié)議。RTSP設(shè)計了客戶端與服務(wù)器之間特定的通訊方式，專門用于數(shù)據(jù)流的傳輸?！SVP:它允許為那些嚴重增加網(wǎng)絡(luò)負荷的數(shù)據(jù)流指定優(yōu)先級，通過優(yōu)先級來為它們預留一定帶寬，以達到某個QoS。4·網(wǎng)上多媒體服務(wù)的過程用戶進行網(wǎng)上多媒體活動時，其一般過程可描述為:·客戶端通過Web瀏覽器發(fā)送HTTP請求給指定的WWW服務(wù)器。·服務(wù)器受到客戶請求，做出響應(yīng)，發(fā)送已收到的信息給客戶?！た蛻舳嗽谑盏秸埱笄闆r下，激活瀏覽器的插件，向指定的多媒體服務(wù)器發(fā)送請求。·多媒體服務(wù)器收到客戶端的請求，通過UDP協(xié)議開始向客戶端發(fā)送數(shù)據(jù)?！た蛻舳耸盏綌?shù)據(jù)，進行順序化、解壓縮后播放。例1：校園網(wǎng)視頻點播、直播和廣播系統(tǒng)系統(tǒng)支持B/S架構(gòu)，支持安全認證，遠程管理，遠程上傳節(jié)目等功能，針對流媒體在校園網(wǎng)中應(yīng)用的特點，特別對系統(tǒng)進行了優(yōu)化，可以更方便的實現(xiàn)，課堂直播、電視直播、以及課件、電影的點播，廣泛的應(yīng)用在網(wǎng)絡(luò)教學、校園電視臺、校園廣播、校園監(jiān)控、校園電影點播中。例2：酒店VOD系統(tǒng)酒店VOD（VideoOnDemand）系統(tǒng)，出現(xiàn)于90年代中期。它是旅游服務(wù)業(yè)和現(xiàn)代計算機網(wǎng)絡(luò)寬帶科技發(fā)展的產(chǎn)物。在國外VOD服務(wù)、信息服務(wù)已廣泛應(yīng)用于各大星級酒店和高檔住宅小區(qū)、娛樂場所、有線電視臺，成為其提高服務(wù)水準，增加競爭力的必備設(shè)施。美國、日本普及率全在90%以上，香港也在80%以上?，F(xiàn)代酒店顧客已不止?jié)M足于視頻點播的需要，還需要更多更方便的信息服務(wù)。為順應(yīng)社會、科技的發(fā)展需要，我們將具有VOD系統(tǒng)功能及能提供更多信息服務(wù)的系統(tǒng)，統(tǒng)稱為“客房信息服務(wù)系統(tǒng)HISS”。也便于區(qū)別局限于單純的VOD系統(tǒng)。5·單點傳送和多點傳送

客戶機/服務(wù)器模型的通信只描述了點對點連接的情形。實際上每個客戶都可與服務(wù)器建立點對點的連接，這種方式即單點傳送(Unicast)。單點傳送的一個明顯弊病是Web服務(wù)器、多媒體服務(wù)器與數(shù)量較多的客戶進行通信時，性能會明顯下降，客戶端將需要很長的響應(yīng)時間和很低的傳輸速率。

多點傳送(Multicast)則解決了上述問題，主機使用IP地址中的D類地址向網(wǎng)絡(luò)中的一組能識別D類地址的主機發(fā)送數(shù)據(jù)，即多點傳送需要主機網(wǎng)卡和路由器的支持。通常，路由器中保存組成員的信息，它能根據(jù)多點傳送的數(shù)據(jù)包目的地址，把它轉(zhuǎn)發(fā)到相應(yīng)的組中。由于多點傳送的發(fā)送方只需要發(fā)送依次數(shù)據(jù)包，不必為每個請求都建立相應(yīng)的連接，因此降低了對網(wǎng)絡(luò)帶寬的需求，提高了傳輸?shù)馁|(zhì)量。6.視頻/音頻壓縮l

1980年以來，國際電話咨詢委員會陸續(xù)完成了各種數(shù)據(jù)壓縮和通訊標準，與數(shù)字視頻壓縮相關(guān)的有:JPEG、H.261、H.263、MPEG-1、MPEG-2、MPEG音頻壓縮方法有:MPEG-1、G.723。二、流媒體軟件目前幾種典型的流產(chǎn)品為:·Microsoft公司的WindowsNTServerNetShowServices.(WindowsMedia)·RealNetworks公司的RealSystemG2.·Macromedia公司的Shockwave.1.Netshow1) Netshow是一個在網(wǎng)絡(luò)上提供流式多媒體服務(wù)的平臺，它既適用于撥號接入的Internet網(wǎng)絡(luò)，也適用于帶寬富裕的局域網(wǎng)。2) 利用Netshow，開發(fā)人員可以快捷地開發(fā)出需要多媒體服務(wù)的網(wǎng)絡(luò)應(yīng)用，滿足培訓、英語學習、娛樂、及廣告等領(lǐng)域的需要。3) 在客戶端的播放器為WindowsMediaPlayer，可播放ASF、AVI、MP3等格式的網(wǎng)上視音頻。4) MicroSoft的Netshow提供了兩種服務(wù)類型:NetshowServiceforWindowsNT和NetShowTheaterServer系統(tǒng)，其中后者是使用在ATM和快速以太網(wǎng)上。5) NetShowService是使用在中低帶寬網(wǎng)絡(luò)中傳輸多媒體數(shù)據(jù)流，是一個純軟件環(huán)境，其主要特點是:·支持Multicast，可以通過創(chuàng)建"站(Station)"來建立Multicast通信?！づc視頻音頻壓縮/解壓縮方法相獨立，通過ASF(ActiveStreamFormat)文件來實現(xiàn)壓縮、解壓縮方法的自動下載?！ぶС侄喾N協(xié)議，包括TCP.UDP和HTTP.·提供了多媒體內(nèi)容制作工具，包括實時視頻音頻壓縮工具，以及Netshow服務(wù)器管理器。6)NetShow提供了Unicast和Multicast兩種傳輸模式服務(wù)。多媒體數(shù)據(jù)點播和實時多媒體流都可通過這兩個方式傳給對方，它的服務(wù)模式如圖所示：MicrosoftMediaServer2·RealSystema) RealNetworks公司的RealSystemG2的目的是使任何基于TCP/IP協(xié)議的網(wǎng)絡(luò)都可以使用視頻和音頻流技術(shù)。b) 它是第一個基于開放、擴展標準的流式媒體系統(tǒng)。通過它的同步性和對多種媒體的重播，用戶可體驗到全新的多媒體感覺。c) 新的StreamSmart傳輸技術(shù)使實際網(wǎng)絡(luò)環(huán)境下的重播更為可靠穩(wěn)定。d) 新加入的兩種媒體格式(Realtext和Realpix)與同步性多媒體集成語言(SMIL)相結(jié)合便可使大量的多媒體程序在窄帶網(wǎng)絡(luò)上傳輸。e) 它采用流傳輸方式是基于Internet的流式傳輸協(xié)議RTSP(實時同步傳輸協(xié)議).f) RealSystemG2系統(tǒng)作為一個客戶機/服務(wù)器架構(gòu)的流媒體系統(tǒng)，產(chǎn)品包括客戶端軟件:.RealplayerG2及RealplayerplusG2，用于播放Real流式媒體特有的格式;流媒體生成軟件:RealProduceProG2及RealProducePlusG2，用于制作生成流媒體;服務(wù)器端軟件RealServerG2，用于控制Real系統(tǒng)。新的系統(tǒng)支持AVI.MPEG和WAV及SWF等格式。3.ShocKwave1) Shockwave流技術(shù)與普通HTTP，(超文本傳輸協(xié)議)緊密結(jié)合，網(wǎng)上多媒體內(nèi)容可由Macromedia公司的Director、Authorwave、Flash軟件制作。2) Macromedia與Microsoft、Netscape達成協(xié)議，將ShocKwave技術(shù)嵌入在它們的網(wǎng)絡(luò)瀏覽器中，正式成為網(wǎng)絡(luò)多媒體標準?，F(xiàn)在Shockwave已成為Internet上多媒體的標準。3) Snockwave的內(nèi)容可以滿足Web上豐富的內(nèi)容而不必在乎Internet的傳輸速度。4) Shockwave對于交互式多媒體處理有著十分重要的作用，在教育上使用的一些網(wǎng)上多媒體應(yīng)用與它關(guān)系緊密。5) 以著作工具Autnorwave的網(wǎng)上多媒體作品制作為例，一般做法為:·壓縮原文件，資源放在外部，引用格式為甙、Jpg、swa等。·重新編譯原文件為A4R?！で懈钐幚?，生成映射文件AAM、分段文件AAS，每段4k-500k，按網(wǎng)絡(luò)通訊速度設(shè)置，將AAM文件嵌到HTML網(wǎng)頁中?！AM、AAS文件和外部文件放到服務(wù)器上?！た蛻舳税惭bShockkwaveforrAuthorwave插件，內(nèi)容流式傳送進行交互學習。6）新的Authorwave5Attain進展是向"智能化"發(fā)展，出現(xiàn)了"知識流"(KnowledgeStreeam)技術(shù)，知識流是一種智能流式技術(shù)，它能預測并在適當時間預先下載所需要的應(yīng)用片段，與標準的流式技術(shù)不同的是，知識流針對具有復雜分支結(jié)構(gòu)的交互式多媒體學習應(yīng)用進行了優(yōu)化。三、流技術(shù)在網(wǎng)上教學中的應(yīng)用a) Netshow和RealSystemG2能使我們在網(wǎng)上方便地實現(xiàn)音視頻點播及實時廣播。b) Shockwave則能使我們?nèi)菀椎卦诰W(wǎng)上實現(xiàn)交互式多媒體學習。c) 通過集成視頻流和傳統(tǒng)遠程教學及培訓，WebFORCEMediaBase已使教室和公司環(huán)境下的網(wǎng)上教學和培訓成為現(xiàn)實。利用WebFORCEMediaBase。技術(shù)，得克薩斯大學和3Com公司的工程師們已經(jīng)開始進行網(wǎng)上教學和培訓項目。d) WebFORCEMediaBase將音頻流和視頻流輸出到桌面，在學生和老師之間用Web環(huán)境架設(shè)了一座橋梁。e) 這種按需選課的好處在于學生既可以接受現(xiàn)場的教學，也可以課后再聽取這些課程。這種實時的Web廣播的特性在于，學生有充分的自主性，通過桌面類似于瀏覽器的一些工具，就可以在異地看到現(xiàn)場的講解。使用DDN或?qū)＞W(wǎng)，一般運行在300kbps-2mbps速率下。提供高質(zhì)量的多點控制會議服務(wù)，配有高檔攝像、音響與顯示設(shè)備，具有高質(zhì)量的多媒體效果例：多媒體流技術(shù)應(yīng)用產(chǎn)品（一）——高檔會議室型

使用DDN或?qū)＞W(wǎng)，一般運行在300kbps-2mbps速率下。提供高質(zhì)量的多點控制會議服務(wù)，配有高檔攝像、音響與顯示設(shè)備，具有高質(zhì)量的多媒體效果產(chǎn)品（二）——桌面會議系統(tǒng)；較高檔的通常在DDN與ISDN環(huán)境中運行。在112-768kbps速率下，可提供每秒25-30幀CIF或QCIF圖像；低檔的通常在LAN/WAN環(huán)境中運行。384kbps速率下提供每秒15-20幀圖像質(zhì)量產(chǎn)品（三）——可視電話型運行在Internet和普通公共電話網(wǎng)（PSTN）上，在28.8kbps或33.6kbps等速率下，一般可提供5-10幀QCIF格式的圖像。視頻會議系統(tǒng)多點視頻會議系統(tǒng)視頻輸入輸出視頻視頻編解碼器音頻輸入輸出視頻音頻編解碼器時延信息通信設(shè)備系統(tǒng)控制多路復用/信號分離設(shè)備會議電視終端設(shè)備B會議電視終端設(shè)備C用戶/網(wǎng)絡(luò)接口MCUH.320建議H.261H.221G.703G.711,G.722,G.728T.120系列H.200/AV.270H.242,H.230,H.221,H.243,H.281會議電視終端設(shè)備A傳輸信道MCU為多點控制器視頻編、解碼器及附屬設(shè)備視頻部分有輸入（攝像機）、輸出設(shè)備（電視機或監(jiān)視器）。數(shù)據(jù)碼流視頻信號模擬視頻信號

圖像顯示終端設(shè)備的核心部件是視頻解碼器，應(yīng)符合

ITU的H.261標準，設(shè)置CIF

數(shù)字化，壓縮信道傳送解碼音頻編、解碼器及附屬設(shè)備音頻部分同樣有輸入（話筒）、輸出（揚聲器）設(shè)備。音頻解碼部分主要有符合ITU標準G.711建議、G.722建議、G.728建議的音頻編、解碼器。在音頻編、解碼中必須對編碼的音頻信號增加適當?shù)臅r延，以使解碼器中的視頻信號和音頻信號同步。信息通信設(shè)備信息通信設(shè)備是指有關(guān)靜態(tài)圖像的傳輸設(shè)備。一些信息通信設(shè)備應(yīng)符合ITU-TT.120系列標準的有關(guān)靜態(tài)圖像和加釋規(guī)程、多點二值文件傳輸規(guī)程。還包括傳真機、書寫電話等另一類信息通信設(shè)備。多路復用/信號分離設(shè)備本設(shè)備是能把視頻、音頻、數(shù)據(jù)等數(shù)字信號按照H.211建議規(guī)格組合成64-1920kbps數(shù)字碼流，是與用戶/網(wǎng)路接口兼容的信號格式。用戶/網(wǎng)路接口為用戶端的終端設(shè)備與網(wǎng)絡(luò)信道的連接點（接口），且為數(shù)字電路接口。對于接口的物理與電氣個性應(yīng)滿足ITU-TG.703建議，進入PCM信道的視頻會議信號的時隙的配置應(yīng)符合ITU-TG.704建議的信道幀結(jié)構(gòu)的要求。多點控制設(shè)備（MCU）MCU是一個數(shù)字處理單元，也具有交換的功能，端口一般可以為8、12個。MCU在數(shù)字域中實現(xiàn)音頻、視頻、數(shù)據(jù)、信令等數(shù)字信號的混合與切換，并確定將某一會場終端的視頻、音頻信號分配到哪些會場。符合ITU-TH.231規(guī)范。系統(tǒng)控制部分包括端到端的通信規(guī)程。兩終端互通的約定、協(xié)商，大家按照統(tǒng)一的規(guī)程去進行，一經(jīng)完成握手協(xié)議的要求，便建立起正常的通信。符合H.242建議的要求；在多通信時，有MCU時的通信規(guī)程應(yīng)符合H.243建議的要求。會議系統(tǒng)的標準產(chǎn)生在80年代，國際電信聯(lián)盟（ITU）專門成立了一個小組研究視頻會議，從那時起建立了一系列的建議和標準，關(guān)于視頻會議最著名的標準是H.320系列和T.120系列建議。H系列的建議和標準是專門針對交互式電視會議業(yè)務(wù)而制定的，而T系列是針對其他媒體的管理功能做出規(guī)定，連中協(xié)議的結(jié)合將使多媒體會議的通信有更完善的依據(jù)。

1994年以Intel為首的90多家計算機和通信公司聯(lián)合制定了一個個人會議標準PCS（PersonalConferencingSpecification）。

H.320標準

H.320系列標準是會議系統(tǒng)中應(yīng)用最早，最為成熟的協(xié)議，支持ISDN，E1，T1，帶寬從64Kbps到2Mbps，幾乎所有的會議系統(tǒng)廠家都支持。甚至許多LAN會議系統(tǒng)的產(chǎn)品也支持H.320.H.320標準包括視頻、音頻的壓縮和解壓縮、靜止圖像、多點會議、加密等特性。

H.320可分為五個部分：通用系統(tǒng)，音頻，多點會議，加密，數(shù)據(jù)傳送等。

H.320標準

包括的15個標準（一）H.221定義了視聽服務(wù)中64K-1290K信道的幀結(jié)構(gòu)，后又增加了多點會議及加密內(nèi)容。

H.230傳遞幀同步控制和指示信號，負責處理基于H.320的CODEC設(shè)備之間傳送的控制信息。H.242描述了在高至2M的數(shù)字信道上，會議電視終端之間建立通信和設(shè)置呼叫的規(guī)程，定義了基于H.320設(shè)備之間傳送壓縮食品和音頻信號的協(xié)議。

H.320標準

包括的15個標準（二）H.261又稱Px64,它是視頻編輯解碼器的標準，采取中間格式兼容不同電視制式間的差異，是一種有運動補償?shù)膸g預測編碼+變換編碼（ZDDCT）+量化+可變長編碼+傳輸緩存器控制的混合編碼方式。視頻編碼器按照圖像內(nèi)容進行幀內(nèi)/幀間判決和處理。G.71164KbpsPCM電話質(zhì)量（3.5kHz）語言壓縮標準。

G.72248/56/64KbpsADPCM高保真質(zhì)量（7kHz）語音壓縮標準。G.72816kbpsLD-CELP語音壓縮標準。H.320標準

包括的15個標準（三）H.231定義了多點控制單元及如何連接3個或更多的基于H.320CODEC設(shè)備。H.243主要處理多個終端之間建立通信的過程，它定義了H.320CODEC與MCU之間控制過程。H.244是使用H.221LSD/HSD/MCP信道的遠端攝像機控制協(xié)議。H.281與H.244相同也是遠端攝像機控制協(xié)議，指示采用數(shù)據(jù)鏈路協(xié)議。H.233提供H.320設(shè)備加密標準。H.234確定了如何在不同點之間傳送密鑰管理標準。H.323標準H.323是為在局域網(wǎng)、廣域網(wǎng)上運行多媒體系統(tǒng)而設(shè)計的。它描述了將實時的語音、圖像數(shù)據(jù)傳輸?shù)絇C機和視頻電話中所需要提供的設(shè)備和服務(wù)。H.323提供多層次的多媒體通信，包括局域網(wǎng)上聲音、視頻以及數(shù)據(jù)通信，可以建立點播型、交互式多媒體會議，在共享數(shù)據(jù)的同時，用戶可互相聽到和看到對方。H.323是一個傘式標準，它參考了其他ITU－T標準，提供了系統(tǒng)和組件描述，呼叫模型描述以及呼叫信號處理。H.323系列視頻。H.261:Px64kbps下音頻視頻業(yè)務(wù)的視頻編碼解碼器；H.263:低速率通信的視頻編碼解碼器。音頻。G.711,G.722,G.728同上；G.723:5.3kbps和6.3kbps多媒體通信的雙速率語音編碼，將改名G.723.1。

H.324標準H.324是運行在低速率傳統(tǒng)電話線和無線通信信道上的視頻會議框架標準。其視頻標準采用H.263，音頻標準用G.723.1.1。多路復用/分接協(xié)議H.223把音頻視頻和數(shù)據(jù)集眾道一個流中，按邏輯通道傳輸，用H.245協(xié)議控制。網(wǎng)絡(luò)訪問用V.34調(diào)制解調(diào)器。H.324/M是無線網(wǎng)絡(luò)上超低比特率可視通信的標準基本功能基本功能各會議點的多媒體終端反映各會場的場景、人物及相關(guān)資料以及聲音同時進行數(shù)字化壓縮。根據(jù)控制模式，經(jīng)過數(shù)字通信系統(tǒng)，沿指定方向進行傳輸。各會點的多媒體計算機上，通過數(shù)字通信系