《IP網(wǎng)絡(luò)多媒體通信技術(shù)及應(yīng)用》課件第9章

第9章視頻會(huì)議多點(diǎn)通信控制技術(shù)

9.1多點(diǎn)視頻會(huì)議系統(tǒng)通信方式9.2

MCU的工作原理及通信流程9.3

MCU級(jí)聯(lián)控制及通信流程9.4

MCU的功能及實(shí)現(xiàn)9.5視頻IP組播技術(shù)9.6視頻會(huì)議中多畫(huà)面合成技術(shù)9.1多點(diǎn)視頻會(huì)議系統(tǒng)通信方式

1.集中型多點(diǎn)會(huì)議

在該類會(huì)議中,所有參會(huì)終端(包括網(wǎng)關(guān))和MCU中的MC建立H.245控制信道的點(diǎn)到點(diǎn)聯(lián)系,該MC執(zhí)行對(duì)整個(gè)會(huì)議的集中控制。各終端的音頻、視頻和數(shù)據(jù)信道與MCU中的MP相連。該MP對(duì)各終端送來(lái)的信號(hào)進(jìn)行音頻混合、視頻交換或混合及T.120數(shù)據(jù)分配,然后將處理所得的音頻、視頻和數(shù)據(jù)流再送回各終端。MP可以選擇轉(zhuǎn)送哪一個(gè)終端或哪幾個(gè)終端的信號(hào),也可以對(duì)不同的音頻、視頻和數(shù)據(jù)格式和比特率進(jìn)行轉(zhuǎn)換,使得各個(gè)參加會(huì)議的終端可以使用不同的通信模式。視頻信號(hào)還可以采用多播方式分發(fā)至各終端。

圖9－1所示為集中型多點(diǎn)會(huì)議結(jié)構(gòu)示意圖。其中虛線表示控制信道,傳送H.245控制消息;實(shí)線表示邏輯信道,傳送媒體信息。

2.分散型多點(diǎn)會(huì)議

該類會(huì)議的終端仍然以點(diǎn)到點(diǎn)的方式和MC建立H.245通信信道連接,MC可位于MCU、網(wǎng)關(guān)、網(wǎng)守和某個(gè)終端中。各終端的數(shù)據(jù)信號(hào)一般仍通過(guò)MP集中分發(fā),但音頻和視頻信號(hào)則直接發(fā)送至其他終端,其發(fā)送方法有兩種:多播方式和多重單播方式。所謂多重單播,指的是每?jī)蓚€(gè)終端之間都建有單播信道。這種管理方式?jīng)]有集中控制和集中管理的設(shè)備,MCU的功能以MC和MP功能模塊形式分別存在于系統(tǒng)的其他設(shè)備(如終端、網(wǎng)關(guān)和網(wǎng)守)中。MC仍然具有對(duì)會(huì)議的控制功能。圖9－2所示為分散型多點(diǎn)會(huì)議結(jié)構(gòu)示意圖。圖9－1集中型多點(diǎn)會(huì)議圖9－2分散型多點(diǎn)會(huì)議

3.集中音頻混合型多點(diǎn)會(huì)議

該類會(huì)議的終端和MC之間仍然是點(diǎn)到點(diǎn)的H.245控制連接。音頻和數(shù)據(jù)信道連接至MP,由MP進(jìn)行音頻混合,并能為每個(gè)終端發(fā)送不同的音頻組合信號(hào)。視頻信號(hào)則經(jīng)由多播或多重單播方式在終端之間直接傳送。終端的媒體分配能力設(shè)定為集中式控制、集中型音頻、分散型視頻、集中型數(shù)據(jù)。

4.集中視頻混合型多點(diǎn)會(huì)議

該類會(huì)議和集中音頻混合型多點(diǎn)會(huì)議類似,只是音頻信號(hào)采用直接傳送方式,視頻信號(hào)經(jīng)由MP集中分發(fā),可以根據(jù)需要為每個(gè)終端發(fā)送不同的視頻流,也可以按多播方式統(tǒng)一發(fā)送,以降低網(wǎng)絡(luò)帶寬消耗。終端的媒體分配能力設(shè)定為集中式控制、分散型音頻、集中型視頻、集中型數(shù)據(jù)。

5.特殊型多點(diǎn)會(huì)議

這類會(huì)議開(kāi)始時(shí)是一個(gè)點(diǎn)到點(diǎn)會(huì)議,以后在呼叫過(guò)程中通過(guò)邀請(qǐng)他人或他人主動(dòng)加入的方式擴(kuò)展成為多點(diǎn)會(huì)議。它要求在初始的點(diǎn)到點(diǎn)呼叫中必須有一個(gè)MC。其可能的情況包括:其中一個(gè)終端含有或兩個(gè)終端都含有MC;呼叫控制通過(guò)網(wǎng)守轉(zhuǎn)接,該網(wǎng)守具有MC功能;雖然只是兩方呼叫,但也是通過(guò)MCU作為多點(diǎn)呼叫來(lái)處理的。

H.323標(biāo)準(zhǔn)規(guī)定,H.323終端和MCU必須支持集中型多點(diǎn)會(huì)議,而對(duì)分散型和混合型多點(diǎn)會(huì)議的支持是可選的。表9－1給出了常用的四種多點(diǎn)會(huì)議系統(tǒng)的特征。表9－1四種多點(diǎn)會(huì)議的特征9.2

MCU的工作原理及通信流程

9.2.1多點(diǎn)控制器

多點(diǎn)控制器是視頻會(huì)議系統(tǒng)中具有多點(diǎn)會(huì)議控制功能的H.323實(shí)體。MC完成對(duì)整個(gè)會(huì)議的集中控制。MC的控制功能通過(guò)H.245協(xié)議完成,因此參會(huì)各端點(diǎn)首先要建立至MC的H.245控制信道。

1.多點(diǎn)會(huì)議通信控制原理

1)呼叫建立

每一端點(diǎn)應(yīng)與MC完成呼叫建立,建立至MC的H.245控制信道。由于MC本身并無(wú)獨(dú)立的地址,無(wú)法作為呼叫方,因此一般MC是位于MCU中的,但也可能位于網(wǎng)守或終端中。與MC建立H.245控制連接后,利用主從確定過(guò)程確定主MC,即經(jīng)由MC位置指示消息通告主MC的地址(主MC所在端點(diǎn)IP地址),然后利用能力交換過(guò)程選定會(huì)議形式(集中型或分散型),會(huì)議形式的選擇受限于端點(diǎn)和MC的能力。對(duì)于每個(gè)新加入的端點(diǎn),MC用“終端號(hào)分配”消息賦予終端號(hào),用“終端加入會(huì)議”消息通知其他端點(diǎn)新成員的加入,新端點(diǎn)也可用“終端清單請(qǐng)求”消息請(qǐng)求其他端點(diǎn)的名單。

2)通信模式的確定

該過(guò)程確定各個(gè)邏輯信道的媒體類型、編碼方式、媒體信道和媒體信道傳輸層地址等參數(shù)。

在單播情況下,端點(diǎn)通過(guò)“打開(kāi)邏輯信道”和“打開(kāi)邏輯信道證實(shí)”消息建立至MCU或另一端點(diǎn)的邏輯信道。在多重單播情況下,端點(diǎn)必須逐一打開(kāi)至所有其他端點(diǎn)的邏輯信道。由于端點(diǎn)只與MC建有H.245控制信道,因此“打開(kāi)邏輯信道”消息必須送往MC,消息中帶有邏輯信道對(duì)端的終端號(hào),然后由MC轉(zhuǎn)送給對(duì)端。端點(diǎn)收到回送的“打開(kāi)邏輯信道證實(shí)”消息,可根據(jù)消息中的“前向邏輯信道號(hào)”和原請(qǐng)求消息匹配。

多播情況下,則由MC分配多播地址并決定通信模式,經(jīng)由“通信模式信令”消息告知每個(gè)端點(diǎn)。然后,由各端點(diǎn)向MC發(fā)送“打開(kāi)邏輯信道”消息,消息中帶有該多播地址;MC根據(jù)多播地址將此消息轉(zhuǎn)發(fā)給每個(gè)接收端點(diǎn)。

3)邏輯信道和RTP流的關(guān)聯(lián)

多播情況下,接收端點(diǎn)會(huì)從同一端口收到來(lái)自不同源的RTP流,在處理時(shí)需要加以識(shí)別。為此,H.245規(guī)定端點(diǎn)在發(fā)送“打開(kāi)邏輯信道”消息時(shí),應(yīng)將MC分配給它的終端標(biāo)記置入邏輯信道參數(shù)的源字段;目的地字段空缺,表示該信道的媒體流是多播流。同時(shí),約定源端點(diǎn)發(fā)送的RTP流的源標(biāo)記SSRC的最低字節(jié)取為該端點(diǎn)終端標(biāo)記的最低字節(jié)。這樣,目的端點(diǎn)收到RTP流后,通過(guò)比較SSRC和邏輯信道參數(shù)源字段的最低比特就可判定該媒體流所屬的邏輯信道。

4)速率匹配

在多點(diǎn)會(huì)議中,各終端可能會(huì)以不同比特率發(fā)送信號(hào)。為了使發(fā)送能力和接收能力匹配,并使各個(gè)終端地位平等,MC可以通過(guò)發(fā)送“流量控制命令”消息來(lái)限定各終端的發(fā)送比特率。如有新的終端加入會(huì)議,MC將向其發(fā)送“多點(diǎn)會(huì)議”指示消息,要求它遵從比特率均等的安排。

5)加密

在集中型多點(diǎn)會(huì)議中,MP被認(rèn)為是可信任實(shí)體。它可以將來(lái)自各端點(diǎn)的信息流解密,進(jìn)行必要的處理,然后將處理后的復(fù)合信息重新加密后送往各端點(diǎn)。

6)會(huì)議控制

H.245專門定義了一組會(huì)議請(qǐng)求及響應(yīng)消息和一組會(huì)議命令消息,供MC在通信過(guò)程中對(duì)會(huì)議進(jìn)行控制。例如,在會(huì)議中,終端可以請(qǐng)求參會(huì)終端清單、充當(dāng)主席、退出會(huì)議等,MC可以要求終端輸入口令、終端標(biāo)識(shí)、命令結(jié)束會(huì)議等。

7)同步

在集中式或混合式多點(diǎn)會(huì)議中,為了保證音頻和視頻的同步,提供音頻混合的MP應(yīng)該修改音頻流和視頻流的時(shí)間戳,實(shí)現(xiàn)多點(diǎn)會(huì)議中的多點(diǎn)音頻同步。當(dāng)MP對(duì)進(jìn)入MP的音頻流和/或視頻流進(jìn)行處理產(chǎn)生新的媒體流時(shí),它還應(yīng)該在產(chǎn)生的音頻或視頻流包上打上自己的序列號(hào)。

2.多點(diǎn)會(huì)議控制方式

在多點(diǎn)視頻會(huì)議中,與會(huì)者既能看到其他會(huì)場(chǎng)的與會(huì)者,同時(shí)又能聽(tīng)到他們的講話,但這個(gè)過(guò)程可能并不是同時(shí)發(fā)生的。那么,在某一時(shí)刻到底能看到誰(shuí)呢?這是由多點(diǎn)視頻會(huì)議的控制模式來(lái)決定的。

目前廣泛應(yīng)用在各類視頻會(huì)議系統(tǒng)中的控制模式主要有:聲控模式、發(fā)言人控制模式、主席控制模式、廣播/自動(dòng)掃描模式以及多分屏模式。

(1)聲控模式。聲控模式又稱語(yǔ)音激勵(lì)模式,是一種自動(dòng)工作模式,按照“誰(shuí)發(fā)言,顯示誰(shuí)”的原則,由當(dāng)前發(fā)言者的聲音信號(hào)控制圖像的自動(dòng)切換。在會(huì)場(chǎng)數(shù)目較多的情況下,聲控模式對(duì)MCU的語(yǔ)音選擇處理器要求過(guò)高。

(2)發(fā)言人控制模式。發(fā)言人控制模式也是一種自動(dòng)工作模式,欲發(fā)言的人通過(guò)會(huì)議管理界面或遙控器向MCU發(fā)出發(fā)言請(qǐng)求,若MCU認(rèn)可則將它的圖像、語(yǔ)音信號(hào)播放到所有與MCU相連的會(huì)議終端,發(fā)言者發(fā)言完畢,MCU自動(dòng)切換到聲控模式。

(3)主席控制模式。該控制模式下,將所有會(huì)場(chǎng)分成主會(huì)場(chǎng)和分會(huì)場(chǎng)兩類,由主會(huì)場(chǎng)組織者(或稱主席)行使會(huì)議的控制權(quán),根據(jù)會(huì)議進(jìn)行情況和各個(gè)分會(huì)場(chǎng)的發(fā)言情況,決定在某個(gè)時(shí)刻人們可以看到哪個(gè)會(huì)場(chǎng),而不考慮此刻是誰(shuí)在發(fā)言。這種方式具有很大的主動(dòng)性,控制較好,避免了聲控模式頻繁切換圖像造成會(huì)議“混亂無(wú)序”的現(xiàn)象。

(4)廣播/自動(dòng)掃描模式。該控制模式實(shí)質(zhì)是主席控制模式的一個(gè)變體。這種模式可以將畫(huà)面設(shè)置為某個(gè)會(huì)場(chǎng),而這個(gè)會(huì)場(chǎng)中的與會(huì)者則可以定時(shí)輪流看到其他各個(gè)分會(huì)場(chǎng)。這種模式按照事先設(shè)定好的掃描間隔自動(dòng)切換廣播畫(huà)面,而不論此刻誰(shuí)在發(fā)言。

(5)多分屏模式。這是一種新的控制模式,這種模式通過(guò)將屏幕分割成為若干個(gè)窗口,而使與會(huì)者可以同時(shí)看到多個(gè)分會(huì)場(chǎng)的情況,當(dāng)然這樣對(duì)于整個(gè)系統(tǒng)的軟硬件要求也較高。

H.323視頻會(huì)議系統(tǒng)只是邏輯意義上的網(wǎng)狀網(wǎng)結(jié)構(gòu),MCU與MCU、終端與MCU之間不是靜態(tài)固定連接的,會(huì)議組織流程較復(fù)雜,存在終端和MCU之間相互選擇的問(wèn)題。在召開(kāi)一個(gè)會(huì)議時(shí),終端首先被接入所連接的本域MCU,其他域終端可加入到此MCU上參加會(huì)議。在選擇路由上,若參會(huì)終端比較分散,則可選擇任意一個(gè)參會(huì)終端所在地的MCU作為召集方,其他終端匯接到此MCU上。對(duì)于會(huì)議中邀請(qǐng)和加入其他終端的情況,若會(huì)議使用中的MCU端口數(shù)已滿,則終端會(huì)被指向與鄰近的MCU建立連接。9.2.2多點(diǎn)處理器

多點(diǎn)處理器(Multipointprocessor,MP)是視頻會(huì)議系統(tǒng)中接收并處理音視頻流的H.323實(shí)體。集中型會(huì)議各終端的音頻、視頻和數(shù)據(jù)信道與MCU中的MP相連。MP對(duì)各終端送來(lái)的信號(hào)進(jìn)行音頻混合、視頻交換或合成以及T.120數(shù)據(jù)分配,然后將處理后的音視頻流和數(shù)據(jù)流再回送各終端。因此,MP必須能執(zhí)行各種媒體信息的編解碼。MP應(yīng)具備在不同的音頻、視頻和數(shù)據(jù)格式以及比特率之間轉(zhuǎn)換的能力,使得與會(huì)終端能使用不同的通信模式加入同一會(huì)議。如果終端之間的SCM不同,MP則要進(jìn)行通信模式的轉(zhuǎn)換以保證各終端之間的正常通信。對(duì)于視頻信號(hào),MP必須能進(jìn)行視頻交換或視頻合成。視頻交換就是選定某一源信號(hào)發(fā)往各終端,源選擇可通過(guò)發(fā)言者變換(檢測(cè)話音信號(hào)電平確定)實(shí)現(xiàn)或由H.245控制實(shí)現(xiàn)。視頻合成是指將多個(gè)視頻源信號(hào)組合成一個(gè)視頻信號(hào)后再傳送給各終端,其典型應(yīng)用是將4幅源圖像組合成一個(gè)2×2的多畫(huà)面圖像,又稱為四分屏圖像。選擇哪些源和多少源圖像進(jìn)行合成則由MC決定。對(duì)于音頻信號(hào),MP能夠通過(guò)交換、混合或二者的組合將M個(gè)音頻輸入經(jīng)處理后生成N個(gè)輸出。需要注意的是,音頻混合需要將每個(gè)輸入音頻首先解碼為線性PCM信號(hào)或模擬信號(hào),然后將各路信號(hào)合成,最后再將合成后的信號(hào)重新編碼成相應(yīng)格式?；旌蠒r(shí),MP可以去除或衰減某些輸入信號(hào),以降低噪聲和其他不需要的信號(hào)。終端應(yīng)保證自己的話音信號(hào)不在自己的終端輸出。

1.音頻信號(hào)的處理

多點(diǎn)控制單元對(duì)語(yǔ)音信號(hào)可分為兩種情況:如只有一個(gè)會(huì)場(chǎng)發(fā)言,多點(diǎn)控制單元將它的音頻信號(hào)切換到其他不發(fā)言的會(huì)場(chǎng);若同時(shí)有幾個(gè)會(huì)場(chǎng)發(fā)言,多點(diǎn)控制單元挑出電平最高的音頻信號(hào)切換到其他不發(fā)言的會(huì)場(chǎng),或?qū)⑺鼈兊囊纛l信號(hào)進(jìn)行混合處理,然后切換到除該會(huì)場(chǎng)以外的其他所有會(huì)場(chǎng)。在一個(gè)會(huì)議組中,為便于進(jìn)行語(yǔ)音混合,一般為每個(gè)與MP建立連接的終端均設(shè)計(jì)了M個(gè)音頻緩沖區(qū),其中,M＝(與MCU建立呼叫連接的總終端數(shù)-1),即假設(shè)一個(gè)會(huì)議組中有N個(gè)終端與MP建立了連接,則MP為每一個(gè)終端均準(zhǔn)備了M=(N-1)個(gè)緩沖區(qū),這(N-1)個(gè)緩沖區(qū)分別用來(lái)存放從除本終端外其他終端接收到的音頻數(shù)據(jù),MP對(duì)它們進(jìn)行音頻混合后再回送給這一個(gè)對(duì)應(yīng)的終端。據(jù)此推斷,MP中共計(jì)有音頻緩沖區(qū)N×(N-1)個(gè)。每增加一個(gè)建立連接的新終端,都要新開(kāi)辟多個(gè)緩沖區(qū),首先要為其他終端都開(kāi)辟一個(gè)緩沖區(qū)用于存放從這個(gè)新終端接收到的音頻數(shù)據(jù),然后還要為這個(gè)新增終端開(kāi)辟多個(gè)緩沖區(qū)用于存放從其他終端接收到的音頻數(shù)據(jù)。圖9－3給出了僅有三個(gè)終端與MP建立連接時(shí)緩沖區(qū)的分配情況。圖9－3

MP中音頻緩沖區(qū)的分配MP的音頻處理方式采用了事件驅(qū)動(dòng)的多線程機(jī)制。對(duì)于終端與MCU建立的每個(gè)呼叫連接,都對(duì)應(yīng)有兩個(gè)線程:接收線程負(fù)責(zé)將從網(wǎng)絡(luò)上接收到的音頻數(shù)據(jù)送去解碼器進(jìn)行解碼,并將得到的解碼流存放在用于存放這個(gè)終端的音頻信號(hào)的緩沖區(qū);而發(fā)送線程負(fù)責(zé)將已混合的音頻數(shù)據(jù)送去給編碼器進(jìn)行編碼,并將得到的編碼流發(fā)送出去。MP對(duì)多個(gè)音頻緩沖區(qū)中的數(shù)據(jù)進(jìn)行音頻混合的過(guò)程并不在這兩個(gè)線程當(dāng)中。由于兩個(gè)線程之間存在有共享資源,為避免由于資源共享而引起的競(jìng)爭(zhēng)、死鎖等錯(cuò)誤,MCU軟件采用了事件和互斥方法來(lái)達(dá)到線程之間的同步。事件1是指由接收線程將解碼流送入對(duì)應(yīng)緩沖區(qū),緩沖區(qū)被更新;事件2是指讀取緩沖區(qū)中的數(shù)據(jù)并對(duì)其進(jìn)行語(yǔ)音混合。事件與線程之間的關(guān)系如下:接收線程掛起直到事件2發(fā)生才繼續(xù)執(zhí)行,發(fā)送線程被掛起直到事件1發(fā)生才繼續(xù)執(zhí)行,這樣,就可以保證線程間的同步了。

2.視頻信號(hào)的處理

對(duì)于視頻來(lái)說(shuō),要為每個(gè)與MP建立連接的終端準(zhǔn)備一個(gè)緩沖區(qū),它既是接收緩沖區(qū)也是發(fā)送緩沖區(qū)。在主席模式下,對(duì)接收到的視頻數(shù)據(jù),MP需先判斷是否是來(lái)自主席或選定聽(tīng)眾的。若是來(lái)自主席的,則將它們分別存入與其他所有終端相對(duì)應(yīng)的緩沖區(qū)中；若是來(lái)自選定聽(tīng)眾的,則將其存入為主席準(zhǔn)備的緩沖區(qū)中；若是來(lái)自其他終端的,則MP不予理會(huì)。發(fā)送時(shí),只需將本緩沖區(qū)中的數(shù)據(jù)發(fā)往與本緩沖區(qū)對(duì)應(yīng)的呼叫連接即可。在非主席模式下,MCU在接收到來(lái)自各終端音頻數(shù)據(jù)時(shí)就要進(jìn)行判斷,選其音頻最高的作為當(dāng)前發(fā)言者。對(duì)于視頻來(lái)說(shuō),MCU需將當(dāng)前發(fā)言者的視頻數(shù)據(jù)存入與其他所有終端相對(duì)應(yīng)的緩沖區(qū)中,而與當(dāng)前發(fā)言者相對(duì)應(yīng)的緩沖區(qū)中則存放從上一個(gè)發(fā)言者接收到視頻數(shù)據(jù)。圖9－4給出了主席模式下緩沖區(qū)的分配情況,而非主席模式下的情形類似。圖9－4主席模式下MP視頻緩沖區(qū)的分配若MP要進(jìn)行四畫(huà)面合成,則情形又要稍復(fù)雜一些。首先通過(guò)MCU的操作界面選定參與畫(huà)面合成的四個(gè)源終端,MP將為這四個(gè)源終端另外創(chuàng)建四個(gè)緩沖區(qū),分別用來(lái)存放這四個(gè)源終端的視頻數(shù)據(jù),MP將這四路視頻數(shù)據(jù)合成后再送到與各終端相對(duì)應(yīng)的緩沖區(qū)中,其后的發(fā)送情況和單畫(huà)面時(shí)相同。9.2.3

MCU通信流程

1.注冊(cè)流程

MCU注冊(cè)流程如圖9－5所示。

(1)MCU啟動(dòng),向網(wǎng)守發(fā)“請(qǐng)求接入認(rèn)證”(RRQ)消息。

(2)網(wǎng)守回送RCF消息。如果注冊(cè)消息被拒絕,則回送RRJ消息,MCU需重新注冊(cè)。

2.注銷流程

MCU注銷流程如圖9－6所示。

(1)MCU向網(wǎng)守發(fā)“請(qǐng)求用戶退出”(URQ)消息。

(2)網(wǎng)守收到URQ消息后,向MCU發(fā)送UCF消息。如果注銷消息被拒絕,則回送URJ消息,需重新進(jìn)行注銷;如果MCU已關(guān)機(jī),則網(wǎng)守應(yīng)強(qiáng)制注銷。圖9－5

MCU注冊(cè)流程圖9－6

MCU注銷流程(1)MCU向網(wǎng)守發(fā)起注冊(cè)請(qǐng)求ARQ。

(2)網(wǎng)守回送ACF。

(3)向終端1發(fā)起Setup請(qǐng)求建立連接。

(4)終端1向MCU發(fā)送CallProceding消息。

(5)終端1向網(wǎng)守發(fā)送ARQ接入請(qǐng)求。

(6)網(wǎng)守向終端1回送ACF響應(yīng)。

(7)終端1向MCU回送Alerting消息。

(8)終端1向MCU發(fā)送Connect消息,建立與MCU之間的媒體通道。圖9－7MCU發(fā)起會(huì)議流程

(9)終端1和MCU之間發(fā)送TerminalCapabilitySet交換能力。

(10)MCU發(fā)送MasterSlaverDetermination進(jìn)行主從判決,確定MCU為主,終端為從。

(11)MCU發(fā)送TerminalNumberAssign,為終端1分配終端號(hào)。

(12)MCU和終端1之間發(fā)送OpenLogicChannel打開(kāi)邏輯信道,建立連接。

(13)MCU向終端2發(fā)起Setup請(qǐng)求建立連接。

(14)終端2向MCU發(fā)送CallProceding消息。

(15)終端2向網(wǎng)守發(fā)送ARQ接入請(qǐng)求。

(16)網(wǎng)守向終端2回送ACF響應(yīng)。

(17)終端2向MCU回送Alerting消息。

(18)終端2向MCU發(fā)送Connect消息,建立與MCU之間的媒體通道。

(19)終端2向MCU發(fā)送TerminalCapabilitySet報(bào)告能力。

(20)MCU發(fā)送MasterSlaverDetermination進(jìn)行主從判決,確定MCU為主,終端為從。

(21)MCU向終端1和終端2發(fā)送MultipointConference消息,通知其已經(jīng)加入多點(diǎn)會(huì)議。

(22)MCU為終端2分配終端號(hào)。

(23)MCU和終端2打開(kāi)邏輯信道,建立連接。

(24)MCU在會(huì)議進(jìn)行中定期發(fā)送相應(yīng)的資源報(bào)告到GK。

(25)GK向MCU回送相應(yīng)的確認(rèn)消息和指示。

4.召集人發(fā)起會(huì)議

預(yù)約會(huì)議時(shí)間到了以及即時(shí)召集的會(huì)議認(rèn)證通過(guò)后,會(huì)議就可以召集了。召集者終端發(fā)出會(huì)議建立請(qǐng)求,網(wǎng)守告知MCU需要召集的會(huì)議信息,由MCU呼叫其他與會(huì)終端。

召集人發(fā)起會(huì)議流程如圖9－8所示。圖9－8召集人發(fā)起會(huì)議流程

(1)召集人終端(終端1)發(fā)起會(huì)議申請(qǐng),向網(wǎng)守發(fā)送帶有預(yù)約會(huì)議號(hào)和密碼的ARQ消息。

(2)駐地網(wǎng)守收到ARQ消息認(rèn)證通過(guò)后,向其后的AAA服務(wù)器發(fā)送AccessRequest消息,開(kāi)始對(duì)會(huì)議進(jìn)行計(jì)費(fèi)。

(3)AAA服務(wù)器向網(wǎng)守回送AcceptResponse消息。

(4)網(wǎng)守向終端回送ACF消息。

(5)預(yù)約終端在通過(guò)認(rèn)證后,向網(wǎng)守發(fā)送ARQ消息,消息中包含會(huì)議召集者標(biāo)識(shí)、受邀請(qǐng)的會(huì)議成員的情況和標(biāo)識(shí)等。

(6)駐地網(wǎng)守收到ARQ消息后,調(diào)度相應(yīng)的資源供會(huì)議使用,并回送ACF消息。

(7)召集人終端向駐地網(wǎng)守發(fā)送Setup消息,建立與其他終端的連接。

(8)網(wǎng)守向MCU發(fā)邀請(qǐng)會(huì)議成員的Setup消息,請(qǐng)求MCU邀請(qǐng)其他與會(huì)終端。

(9)MCU向網(wǎng)守發(fā)送ARQ消息,請(qǐng)求會(huì)議認(rèn)證。

(10)網(wǎng)守回送ACF確認(rèn)。

(11)MCU確認(rèn)收到消息后,向網(wǎng)守發(fā)送Alerting消息。

(12)駐地網(wǎng)守確認(rèn)收到消息后,向召集人終端發(fā)送Alerting消息。

(13)MCU向駐地網(wǎng)守發(fā)送Connect消息。

(14)駐地網(wǎng)守確認(rèn)收到消息后,向召集人終端發(fā)送Connect消息。

(15)終端1和MCU之間發(fā)送TerminalCapabilitySet交換能力。

(16)MCU發(fā)送MasterSlaverDetermination進(jìn)行主從判決,確定MCU為主,終端為從。

(17)MCU發(fā)送TerminalNumberAssign,為終端1分配終端號(hào)。

(18)MCU和終端1之間發(fā)送OpenLogicChannel打開(kāi)邏輯信道,建立連接。

(19)MCU向終端2發(fā)起Setup請(qǐng)求。

(20)終端2向網(wǎng)守發(fā)送ARQ消息,請(qǐng)求認(rèn)證。

(21)網(wǎng)守回送ACF確認(rèn)。

(22)終端2向MCU回送Alerting消息。

(23)終端2向MCU發(fā)送Connect消息。

(24)終端2向MCU發(fā)送TerminalCapabilitySet報(bào)告能力。

(25)MCU發(fā)送MasterSlaverDetermination進(jìn)行主從判決,確定MCU為主,終端為從。

(26)MCU向終端2發(fā)送MultipointConference消息,通知其已經(jīng)加入多點(diǎn)會(huì)議。

(27)MCU向終端1發(fā)送MultipointConference消息,通知其已經(jīng)加入多點(diǎn)會(huì)議。

(28)MCU為終端2分配終端號(hào)。

(29)MCU和終端2打開(kāi)邏輯信道，建立連接。

(30)MCU在會(huì)議進(jìn)行中定期發(fā)送相應(yīng)的資源報(bào)告到網(wǎng)守。

(31)網(wǎng)守向MCU回送相應(yīng)的確認(rèn)消息和指示。

(16)所有終端退出會(huì)議后,MCU向GK發(fā)送DRQ消息拆除鏈接。

(17)網(wǎng)守回送DCF消息。

(18)網(wǎng)守向AAA遞送計(jì)費(fèi)信息。

(19)AAA回送響應(yīng)。

6.主席控制

主席控制流程包括申請(qǐng)主席、釋放主席、請(qǐng)求發(fā)言、廣播會(huì)場(chǎng)、視頻選看、強(qiáng)制非主席終端退出等。

1)申請(qǐng)主席

申請(qǐng)主席流程如圖9－10所示。

(1)終端使用ConferenceRequest(MakeMeChair)向MCU申請(qǐng)主席。

(2)如果當(dāng)前沒(méi)有其他主席或該終端本身就是主席,MCU同意請(qǐng)求,回送ConferenceResponse;如果當(dāng)前有其他主席,則拒絕該申請(qǐng)ConferenceResponse。一旦會(huì)議中某個(gè)終端申請(qǐng)主席成功,該會(huì)議中其他終端不能再申請(qǐng)主席。

2)釋放主席

釋放主席流程如圖9－11所示。

(1)終端使用ConferenceRequest向MCU申請(qǐng)釋放主席。

(2)MCU同意請(qǐng)求,回送ConferenceResponse。會(huì)議中其他終端可以再申請(qǐng)主席。圖9－10申請(qǐng)主席流程圖9－11釋放主席流程

3)終端請(qǐng)求發(fā)言

終端請(qǐng)求發(fā)言流程如圖9－12所示。

(1)終端向MCU請(qǐng)求發(fā)言。

(2)MCU向主席終端發(fā)送終端的發(fā)言請(qǐng)求。

(3)MCU如果同意發(fā)言,則回送廣播終端的命令。圖9－12終端請(qǐng)求發(fā)言流程

4)廣播會(huì)場(chǎng)

廣播會(huì)場(chǎng)流程如圖9－13所示。圖9－13選擇一視頻進(jìn)行廣播5)視頻選看

圖9－14視頻選看流程

6)強(qiáng)制非主席終端退出

強(qiáng)制非主席終端退出流程如圖9－15所示。圖9－15強(qiáng)制非主席終端退出流程

(1)主席終端向MCU發(fā)送請(qǐng)求,強(qiáng)制一個(gè)終端的退出。

(2)MCU與退出終端間關(guān)閉邏輯通道。

(3)MCU與退出終端間關(guān)閉H.245會(huì)話。

(4)MCU向該終端發(fā)送ReleaseComplete消息。

(5)終端返回ReleaseComplete消息。

(6)MCU向主席終端返回TerminalLeftConference消息。

7)聲音控制

(1)每個(gè)會(huì)場(chǎng)均能同時(shí)聽(tīng)到其他各會(huì)場(chǎng)的聲音。

(2)MCU自動(dòng)根據(jù)與會(huì)者發(fā)言音量大小,將圖像切換到發(fā)言聲音最大的會(huì)場(chǎng)并廣播出去。

7.呼叫擴(kuò)展流程

1)會(huì)議延時(shí)

會(huì)議延時(shí)流程如圖9－16所示:

(1)會(huì)議進(jìn)行中,預(yù)約的時(shí)間就要到達(dá),而會(huì)議并未結(jié)束,會(huì)議召集終端向網(wǎng)守發(fā)送ARQ請(qǐng)求,在ARQ請(qǐng)求中為同一個(gè)會(huì)議申請(qǐng)新的會(huì)議時(shí)間,會(huì)議標(biāo)識(shí)與原預(yù)約會(huì)議標(biāo)識(shí)相同,開(kāi)始時(shí)間為原預(yù)約會(huì)議的結(jié)束時(shí)間,并且在ARQ消息中預(yù)約一個(gè)新的時(shí)長(zhǎng)。

(2)網(wǎng)守檢查用戶是否有資源沖突,并向AAA服務(wù)器請(qǐng)求驗(yàn)證用戶是否有權(quán)進(jìn)行會(huì)議的延長(zhǎng)或用戶賬上是否有足夠的余額。

(3)如果各種條件滿足,AAA返回確認(rèn)信息。

(4)網(wǎng)守給終端返回一個(gè)ACF消息接受用戶新的預(yù)約。

注:如果是允許持卡用戶申請(qǐng)會(huì)議的延時(shí),網(wǎng)守在開(kāi)始會(huì)議預(yù)約時(shí),應(yīng)從AAA服務(wù)器得到用戶賬戶上剩余的金額。圖9－16會(huì)議延時(shí)流程圖9－17終端申請(qǐng)加入

2)成員加入

終端申請(qǐng)加入流程如圖9－17所示。

(1)申請(qǐng)加入一個(gè)已經(jīng)召開(kāi)的會(huì)議的終端,在取得會(huì)議號(hào)和密碼后發(fā)起會(huì)議申請(qǐng),向網(wǎng)守發(fā)送帶有會(huì)議號(hào)和密碼的ARQ消息。

(2)網(wǎng)守收到ARQ消息后,向其后臺(tái)的AAA服務(wù)器發(fā)送AccessRequest消息,對(duì)終端的申請(qǐng)進(jìn)行認(rèn)證。

(3)AAA服務(wù)器查找其數(shù)據(jù)庫(kù)中關(guān)于會(huì)議的信息,確認(rèn)該用戶有權(quán)加入會(huì)議后,AAA服務(wù)器向網(wǎng)守回送AcceptResponse消息。

(4)收到AccessResponse消息,網(wǎng)守向終端回送ACF消息。

(5)新加入終端在通過(guò)認(rèn)證后,向網(wǎng)守發(fā)送ARQ消息,消息中包含新加入會(huì)議成員的情況和標(biāo)識(shí)等。

(6)駐地網(wǎng)守收到ARQ消息后,向新加入終端回送ACF消息,其中包含駐地網(wǎng)守的信息;否則發(fā)送ARJ消息。

(7)新加入終端向駐地網(wǎng)守發(fā)送Setup消息,建立與其他終端的連接。

(8)駐地網(wǎng)守向MCU發(fā)會(huì)議成員申請(qǐng)加入的Setup消息,請(qǐng)求MCU連接新加入終端。

(9)MCU確認(rèn)收到消息后,向網(wǎng)守送Alerting消息。

(10)駐地網(wǎng)守確認(rèn)收到消息后,向召集人終端送Alerting消息。

(11)MCU向駐地網(wǎng)守送Connect消息。

(12)駐地網(wǎng)守確認(rèn)收到消息后,向召集人終端送Connect消息。3)邀請(qǐng)新成員圖9－18邀請(qǐng)新成員流程

(1)會(huì)議在進(jìn)行中,召集人邀請(qǐng)新成員加入,召集人在其終端填寫(xiě)所邀新成員的終端標(biāo)識(shí)號(hào),向網(wǎng)守發(fā)送邀請(qǐng)消息Setup。

(2)邀請(qǐng)終端向網(wǎng)守發(fā)送ARQ,帶有預(yù)約會(huì)議號(hào)和密碼以及邀請(qǐng)新成員的信息。

(3)駐地網(wǎng)守收到ARQ消息后,向其后臺(tái)的AAA服務(wù)器發(fā)送AccessRequest消息,對(duì)終端申請(qǐng)進(jìn)行認(rèn)證。

(4)AAA服務(wù)器查找其數(shù)據(jù)庫(kù)中關(guān)于該終端的信息,確認(rèn)該用戶有權(quán)邀請(qǐng)新成員,AAA服務(wù)器向網(wǎng)守回送AccessResponse消息。

(5)收到AccessResponse消息,網(wǎng)守向終端回送ACF消息。

(6)網(wǎng)守將被邀請(qǐng)終端標(biāo)識(shí)用Setup消息送給MCU。

(7)MCU向受邀請(qǐng)終端發(fā)送Setup呼叫建立請(qǐng)求。

(8)受邀終端向網(wǎng)守發(fā)送ARQ消息,請(qǐng)求認(rèn)證。

(9)網(wǎng)守回送ACF確認(rèn)。

(10)被邀請(qǐng)終端回送Alerting。

(11)MCU向網(wǎng)守回送Alerting。

(12)被邀請(qǐng)終端參加會(huì)議,向MCU送Connect消息。

(13)MCU向網(wǎng)守發(fā)送邀請(qǐng)已完成的確認(rèn)Connect消息。

(14)網(wǎng)守向召集人終端發(fā)送邀請(qǐng)成功應(yīng)答消息。

9.3

MCU級(jí)聯(lián)控制及通信流程

9.3.1

MCU級(jí)聯(lián)的原理

在計(jì)算機(jī)硬件有限的處理能力下,要擴(kuò)大會(huì)議規(guī)模,就必須對(duì)會(huì)議核心設(shè)備MCU的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行合理的設(shè)計(jì),基本原理是把各個(gè)處在不同地域的MCU通過(guò)管理軟件連接在一起,組成一個(gè)更大容量的會(huì)議系統(tǒng)。分布式MCU構(gòu)建的方法主要是把MCU設(shè)備通過(guò)邏輯級(jí)聯(lián)的方式連接起來(lái),把多個(gè)MCU設(shè)備連接成一個(gè)大型MCU,實(shí)現(xiàn)大容量的會(huì)議系統(tǒng)。在分布式級(jí)聯(lián)方案中,將主持方的MCU設(shè)置成主MCU,其余各個(gè)地域中不同的分MCU設(shè)置成從MCU,整個(gè)會(huì)議系統(tǒng)采用“一主多從”的形式,本質(zhì)上是把主MCU中的會(huì)議參數(shù)傳遞給參加級(jí)聯(lián)的從MCU,即把主MCU中參加級(jí)聯(lián)的會(huì)議的音頻、視頻和會(huì)議模式等參數(shù)傳遞給所有從MCU中參加級(jí)聯(lián)的會(huì)議,把從MCU以用戶的身份加入到主MCU的參加級(jí)聯(lián)的會(huì)議中,把主MCU以用戶的身份加入到各個(gè)從MCU的參加級(jí)聯(lián)的會(huì)議中。用戶終端會(huì)議功能是通過(guò)參加級(jí)聯(lián)的各個(gè)級(jí)聯(lián)會(huì)議實(shí)現(xiàn)的,級(jí)聯(lián)會(huì)議的會(huì)議功能再通過(guò)MCU完成數(shù)據(jù)交互。按照每組會(huì)議總是把主席或者發(fā)言聽(tīng)眾的數(shù)據(jù)轉(zhuǎn)發(fā)給其他用戶的原則,要把從MCU中用戶的數(shù)據(jù)傳遞給上層主MCU或者其他從MCU中的用戶,首先要把該用戶設(shè)置成主席,把該從MCU在主MCU中的身份設(shè)置成主席,把主MCU在其他從MCU中的身份設(shè)置成主席,再把主MCU在該從MCU中的身份設(shè)置成普通聽(tīng)眾或者發(fā)言聽(tīng)眾。要把主MCU中的用戶數(shù)據(jù)傳遞給下層從MCU的用戶,首先把該用戶設(shè)置為主席,再把主MCU在從MCU中的身份設(shè)置為主席就可以了。9.3.2

MCU級(jí)聯(lián)的流程

圖9－19

MCU級(jí)聯(lián)流程

(1)MCU1向網(wǎng)守1發(fā)起接入請(qǐng)求ARQ。

(2)網(wǎng)守1回送ACF。

(3)MCU1向MCU2發(fā)起Setup請(qǐng)求建立連接。

(4)MCU2向MCU1發(fā)送CallProcessing消息。

(5)MCU2向網(wǎng)守2發(fā)送ARQ接入請(qǐng)求。

(6)網(wǎng)守向MCU2回送ACF響應(yīng)。

(7)MCU2向MCU1回送Alerting消息。

(8)MCU2向MCU1發(fā)送Connect消息,建立MCU之間的媒體通道。

(9)MCU2向MCU1發(fā)送TerminalCapabilitySet報(bào)告能力。

(10)MCU2發(fā)送MasterSlaverDetermination進(jìn)行主從判決,確定MCU1為主MCU2為從。

(11)MCU1為MCU2分配終端號(hào)。

(12)MCU1發(fā)送RemoteMCRequest,激活MCU2。

(13)MCU2發(fā)送RemoteMCResponse,確認(rèn)或拒絕激活。

(14)MCU1為MCU2上的終端分配號(hào)碼。

(15)邏輯信道打開(kāi),連接建立,會(huì)議正常進(jìn)行。

(16)會(huì)議結(jié)束時(shí),MCU1發(fā)送關(guān)閉邏輯信道請(qǐng)求。

(17)MCU1發(fā)送結(jié)束會(huì)話請(qǐng)求,MCU2回送結(jié)束會(huì)話請(qǐng)求。

(18)MCU1拆除連接。

(19)MCU1向網(wǎng)守1發(fā)送DRQ,報(bào)告會(huì)議結(jié)束并退出,MCU2向網(wǎng)守2發(fā)送DRQ,報(bào)告會(huì)議結(jié)束并退出。

(20)網(wǎng)守1回送DCF給MCU1,網(wǎng)守2回送DCF給MCU2。

9.4

MCU的功能及實(shí)現(xiàn)

9.4.1

MCU的功能要求

1.多點(diǎn)控制功能

MCU提供了在三個(gè)或更多個(gè)終端間召開(kāi)多點(diǎn)會(huì)議的控制功能。

在多點(diǎn)會(huì)議中,MCU接受網(wǎng)守控制,召集、結(jié)束會(huì)議,呼叫參會(huì)終端,對(duì)一組或多組會(huì)議進(jìn)行管理,處理會(huì)議中的呼叫服務(wù),并向網(wǎng)守報(bào)告會(huì)議狀態(tài)。

MCU負(fù)責(zé)與每個(gè)端點(diǎn)的能力交換。在呼叫時(shí),MCU發(fā)送能力集給會(huì)議中的端點(diǎn),指示它們可用的傳輸模式。MCU可以因終端加入/離開(kāi)會(huì)議或是其他原因而修改它發(fā)送到終端的能力集。

2.多點(diǎn)處理功能

在一個(gè)集中或混合的多點(diǎn)會(huì)議中,MCU接收來(lái)自終端的音頻、視頻和/或數(shù)據(jù)流。MCU處理這些媒體流并把它們送回到端點(diǎn)。

MCU應(yīng)該具備視頻處理功能,提供視頻切換及視頻合成控制。

MCU必須具備音頻處理功能,通過(guò)混合或組合操作從多路音頻輸入中得到一路或多路音頻輸出。

MCU必須采取一定的措施以保持音頻和視頻的同步。

3.多點(diǎn)適應(yīng)能力

MCU應(yīng)該支持多點(diǎn)控制、級(jí)聯(lián)等功能,可選支持多點(diǎn)速率匹配、多通信模式匹配等功能。

(1)多點(diǎn)控制。MCU應(yīng)該支持會(huì)議中的控制。會(huì)議中的控制包括設(shè)備控制和會(huì)議控制。設(shè)備控制的內(nèi)容有攝像機(jī)遠(yuǎn)程控制、麥克風(fēng)遠(yuǎn)程控制、圖像播放遠(yuǎn)程控制、幻燈片播放遠(yuǎn)程控制等;會(huì)議控制應(yīng)該支持主席控制、可選操作員(導(dǎo)演)控制和語(yǔ)音控制等。

(2)級(jí)聯(lián)能力。多點(diǎn)控制功能可以在多個(gè)MCU之間分配。

(3)多點(diǎn)速率匹配。MCU可以支持終端以不同的比特率工作。

(4)多通信模式匹配。MCU應(yīng)該具備音頻和/或視頻格式轉(zhuǎn)換的能力,不同端點(diǎn)可以采用不同的通信模式。

4.網(wǎng)管功能

多點(diǎn)控制單元應(yīng)該支持本地和遠(yuǎn)程的配置管理、故障管理、版本管理、用戶管理、日志管理等網(wǎng)管功能。9.4.2

MCU功能的實(shí)現(xiàn)

1.會(huì)議管理

單臺(tái)MCU的最大容量一般為16個(gè)用戶或更高,在其最大容量范圍內(nèi)應(yīng)能同時(shí)處理多組會(huì)議,每組會(huì)議之間互不干擾,獨(dú)立控制。各組支持的終端數(shù)之和不能超過(guò)MCU允許的最大容量。

會(huì)議管理功能支持多組會(huì)議控制(包括創(chuàng)建新的會(huì)議組和取消原有的會(huì)議組),對(duì)每組會(huì)議的成員信息可在會(huì)議進(jìn)行中進(jìn)行管理,方便新的與會(huì)者加入,自動(dòng)處理某一與會(huì)者的退出等。為完成此項(xiàng)功能,首先要在程序內(nèi)部維護(hù)一個(gè)會(huì)議成員信息類、一個(gè)會(huì)議成員列表類和一個(gè)組列表類。會(huì)議成員信息類用于存放會(huì)議組中成員的一些相關(guān)信息,如此成員的用戶名、別名、IP地址、所在會(huì)議組的組名和ID號(hào)、狀態(tài)(是否在線)以及其身份(主席、選定聽(tīng)眾或一般用戶)等;會(huì)議成員列表類則相當(dāng)于一個(gè)用戶鏈表,它存放了參加會(huì)議的所有用戶的信息,并且包含了完成添加、刪除、插入及查找某一用戶等與鏈表操作相當(dāng)?shù)囊恍┗静僮鞯某蓡T函數(shù);而組列表類則相當(dāng)于一個(gè)組鏈表,用于存放每個(gè)組,它也同樣具有完成添加、刪除、查找等功能的成員函數(shù)。另外,還可以添加一些友好界面,將這些操作顯示在界面上,加強(qiáng)人機(jī)交互的實(shí)用性。

MCU一般為嵌入式設(shè)備,其管理和控制是由專門的軟件通過(guò)與MCU互聯(lián)的遠(yuǎn)端計(jì)算機(jī)來(lái)完成的。用戶可以通過(guò)B/S,即Web方式或C/S方式進(jìn)行遠(yuǎn)端訪問(wèn)和控制。當(dāng)然也可安裝專門的會(huì)議管理軟件,對(duì)MCU進(jìn)行管理。

2.與參會(huì)終端建立一點(diǎn)到多點(diǎn)的通信

對(duì)于MCU設(shè)備來(lái)說(shuō),最重要的是能夠兼容各廠商符合H.323標(biāo)準(zhǔn)的設(shè)備,如終端、網(wǎng)關(guān)、網(wǎng)守等,并提供良好的互操作能力。對(duì)不同廠商的H.323設(shè)備要能夠做到互聯(lián)、互通和互控。對(duì)于符合H.320標(biāo)準(zhǔn)的終端,可通過(guò)網(wǎng)關(guān)接入,實(shí)現(xiàn)H.320和H.323會(huì)議終端的互通。與參會(huì)終端建立點(diǎn)到點(diǎn)通信是指MCU可以作為主叫方呼叫參會(huì)終端,也可以作為被叫方接受參會(huì)終端的呼叫,并與之建立呼叫連接。實(shí)現(xiàn)時(shí),首先添加一個(gè)發(fā)起呼叫的功能塊和一個(gè)接受呼叫的功能塊,其次再完成其他工作,如完成RAS協(xié)議、Q.931協(xié)議和H.245協(xié)議等。為實(shí)現(xiàn)呼叫連接,必須為每個(gè)呼叫都創(chuàng)建一個(gè)呼叫線程,使得MCU與每個(gè)會(huì)議成員之間的呼叫互不影響。對(duì)于單個(gè)呼叫來(lái)說(shuō),必然要?jiǎng)?chuàng)建一個(gè)守聽(tīng)線程來(lái)在特定的端口上偵聽(tīng)來(lái)自遠(yuǎn)端的呼叫。當(dāng)有呼叫進(jìn)來(lái)時(shí),判斷呼叫方是否是本MCU成員列表里的一個(gè)成員。若是,則接受呼叫,并將此成員的狀態(tài)改為在線；若不是,則自動(dòng)拒絕此呼叫。如果MCU作為主叫方呼叫了某一會(huì)議成員,首先就要生成一個(gè)新的傳輸層類,用于以后媒體信號(hào)的傳輸;接著構(gòu)造一個(gè)新的H.323連接對(duì)象,用于管理它們之間的呼叫連接;最后還要生成一個(gè)呼叫守護(hù)線程,用于管理雙方的H.225/Q.931信令在TCP信道上的信令交換,而這些信令的發(fā)送與處理都是由呼叫連接類來(lái)完成。呼叫連接的建立標(biāo)志著一個(gè)呼叫的成功。

MCU支持群呼和群掛斷功能,它可以呼叫一組終端,或者掛斷一組終端,甚至可以呼叫或掛斷所有終端。MCU可設(shè)置與會(huì)者列表,通過(guò)MCU或IVR的群呼功能,實(shí)現(xiàn)自動(dòng)召集會(huì)議功能,無(wú)需各分會(huì)場(chǎng)主動(dòng)呼入。對(duì)于IVR控制方式,可以使用任何一臺(tái)與會(huì)議系統(tǒng)互聯(lián)的IP電話、普通電話或移動(dòng)電話召集和組織會(huì)議。

3.MCU工作方式的確定

MCU的工作方式主要分為主席模式和非主席模式兩種。在會(huì)議的進(jìn)行過(guò)程中,可以動(dòng)態(tài)地指定會(huì)議模式為主席模式或者非主席模式。在主席模式下,終端有三種可能的身份:主席、選定聽(tīng)眾以及一般聽(tīng)眾。除主席外,所有終端接收的視頻源均為主席的,即它們收看主席的圖像,而主席則收看選定聽(tīng)眾的圖像。MCU具有語(yǔ)音選擇控制和操作員手工控制兩種控制方式,會(huì)議進(jìn)行中可以在兩種控制方式之間切換。在手工操作方式下,發(fā)言者或主席是可以根據(jù)需要?jiǎng)討B(tài)指定的。在語(yǔ)音選擇方式下,MCU自動(dòng)將當(dāng)前發(fā)言者的音視頻數(shù)據(jù)發(fā)送給其他與會(huì)者。在非主席模式下,采用語(yǔ)音激勵(lì)方式進(jìn)行數(shù)據(jù)的轉(zhuǎn)發(fā),這時(shí),所有會(huì)議成員(除發(fā)言者外)均接收發(fā)言者的信號(hào)源,而發(fā)言者則接收上一發(fā)言者的信號(hào)源。

MCU能自動(dòng)檢測(cè)到每組會(huì)議中發(fā)言音頻強(qiáng)度最高的會(huì)場(chǎng),并立即將該會(huì)場(chǎng)的音視頻流傳給該組其他所有會(huì)場(chǎng)。其語(yǔ)音激勵(lì)靈敏度可以根據(jù)會(huì)場(chǎng)具體情況進(jìn)行動(dòng)態(tài)手工調(diào)節(jié),以避免某些會(huì)場(chǎng)的噪音干擾。這樣MCU在無(wú)人操作的情況下,通過(guò)語(yǔ)音就能對(duì)會(huì)議進(jìn)行控制,完成視頻畫(huà)面的切換。

在主席模式下,最重要的是在用戶類的數(shù)據(jù)成員“身份”上做好用戶的身份標(biāo)志。而在非主席模式下,對(duì)每一組會(huì)議來(lái)說(shuō)都需要維護(hù)一個(gè)發(fā)言者列表,以數(shù)組的形式存放,用于列出所有曾經(jīng)是發(fā)言者的成員,而最新檢測(cè)到的發(fā)言者總是列在列表的最末位,即為數(shù)組的最后一個(gè)元素。

4.多路音視頻處理

可以實(shí)時(shí)將多路語(yǔ)音進(jìn)行合成,使每個(gè)與會(huì)者能同時(shí)聽(tīng)到多個(gè)與會(huì)者的聲音。為了避免自激、回音等現(xiàn)象的出現(xiàn),每個(gè)與會(huì)者將不能聽(tīng)見(jiàn)自己的聲音。在會(huì)議進(jìn)行的過(guò)程中可以動(dòng)態(tài)選擇是否選中語(yǔ)音合成,不進(jìn)行語(yǔ)音合成則可以通過(guò)選定主席或者選定組播方式完成數(shù)據(jù)交換和會(huì)議功能。多畫(huà)面合成又稱為多分屏或動(dòng)態(tài)分屏,有多種實(shí)現(xiàn)方法,例如壓縮域合成方法和非壓縮域合成方法。在H.261視頻格式下,可以進(jìn)行四畫(huà)面合成,將四路QCIF格式的視頻圖像合成為一路CIF格式的視頻圖像。MCU同時(shí)接收四路會(huì)場(chǎng)的視頻數(shù)據(jù),不進(jìn)行解碼處理,在壓縮域內(nèi)合成,形成一條視頻流,再將合成后的視頻流發(fā)送給所有與會(huì)者,使每個(gè)與會(huì)者能同時(shí)看到四個(gè)會(huì)場(chǎng)的圖像。這種方法稱為壓縮域合成方法,該方法僅適用于H.261格式的視頻圖像,不適用于H.263或H.264等其他格式的視頻圖像。

MCU支持多畫(huà)面顯示功能,完成該功能的設(shè)備稱為多點(diǎn)顯示單元(MDU),又稱為多畫(huà)面電視墻。在不影響現(xiàn)有系統(tǒng)的情況下,MDU采用獨(dú)立的網(wǎng)絡(luò)接口,對(duì)多個(gè)會(huì)場(chǎng)的視頻數(shù)據(jù)進(jìn)行解碼,這樣在中心會(huì)場(chǎng)就可選擇同時(shí)收看多路會(huì)場(chǎng)的圖像。

5.其他功能

MCU支持遠(yuǎn)端攝像機(jī)控制(FarEndCamraControl,FECC)。在主席模式下,主席和選定聽(tīng)眾之間可以實(shí)現(xiàn)遠(yuǎn)端攝像機(jī)的互控。在語(yǔ)音激勵(lì)模式下,可實(shí)現(xiàn)當(dāng)前發(fā)言人和前一發(fā)言人之間的遠(yuǎn)端攝像機(jī)互控。在視頻會(huì)議中,遠(yuǎn)端攝像機(jī)控制應(yīng)遵循H.281協(xié)議。

MCU具有組播功能,可選擇組播多路視頻數(shù)據(jù)(最多四路),終端通過(guò)組播接收軟件動(dòng)態(tài)選擇接收其中的任意一路組播視頻數(shù)據(jù)并進(jìn)行顯示。

MCU應(yīng)支持網(wǎng)絡(luò)遠(yuǎn)程軟件升級(jí)。用戶可利用專門的軟件通過(guò)網(wǎng)絡(luò)對(duì)MCU軟件進(jìn)行快速升級(jí)更新。

MCU應(yīng)支持級(jí)聯(lián)控制,以便擴(kuò)充MCU的容量。利用級(jí)聯(lián)方式,使用有限的帶寬將位于不同地域的多組用戶連接起來(lái),有效節(jié)省長(zhǎng)途傳輸帶寬。9.4.3

MCU的控制平臺(tái)CMS

MCU是多點(diǎn)會(huì)議的核心設(shè)備,承擔(dān)著幾乎所有的會(huì)議控制功能。同時(shí),MCU作為一個(gè)系統(tǒng)設(shè)備,通常安裝在視頻會(huì)議網(wǎng)絡(luò)中的主要節(jié)點(diǎn)處,如網(wǎng)絡(luò)中心機(jī)房。而會(huì)議的控制通常由會(huì)議成員來(lái)進(jìn)行,即對(duì)MCU的操作一般通過(guò)遠(yuǎn)程控制平臺(tái)實(shí)現(xiàn)。

CMS(ContentManagementSystem)可作為MCU的管理中心,對(duì)MCU設(shè)備進(jìn)行全面的功能設(shè)置和會(huì)議調(diào)度。CMS工具可安裝在Windows系統(tǒng)中。運(yùn)行CMS管理程序,將自動(dòng)搜索網(wǎng)上正在運(yùn)行的MCU設(shè)備,選擇連接其中的一個(gè),即可對(duì)其進(jìn)行控制。這些控制通常包括設(shè)備管理、會(huì)議管理、會(huì)議設(shè)置、會(huì)議控制和MCU系統(tǒng)信息等。

(1)設(shè)備管理包括基本設(shè)置、時(shí)間同步、網(wǎng)守管理、網(wǎng)絡(luò)接口管理、用戶管理、終端列表、組播地址管理。

(2)會(huì)議管理包括會(huì)議添加和會(huì)議刪除。

(3)會(huì)議設(shè)置包括基本設(shè)置、會(huì)議成員、會(huì)議格式、字幕疊加、實(shí)況組播、會(huì)議預(yù)約、雙流顯示、攝像機(jī)遠(yuǎn)程控制、允許自動(dòng)發(fā)言、發(fā)言聽(tīng)眾模式、允許終端發(fā)起會(huì)議、會(huì)議成員默認(rèn)混音、會(huì)議成員默認(rèn)閉音、斷線重連、帶寬優(yōu)化。

(4)會(huì)議控制包括呼叫連接、呼叫掛斷、多分屏切換、會(huì)議成員信息統(tǒng)計(jì)。

(5)MCU系統(tǒng)信息包括軟件版本、CPU資源利用率、軟件下載更新。 9.5視頻IP組播技術(shù)

9.5.1

IP組播的基本概念

我們知道,在多點(diǎn)視頻會(huì)議系統(tǒng)中,用戶數(shù)過(guò)多會(huì)造成基于IP網(wǎng)絡(luò)系統(tǒng)的服務(wù)質(zhì)量的嚴(yán)重下降;若要保證服務(wù)質(zhì)量,則又嚴(yán)重制約了用戶數(shù)的增加。針對(duì)這一矛盾,可以考慮使用IP組播技術(shù)。

1.視頻IP組播的概念

IPV4支持單播(Unicast)、廣播(Brocdcast)、組播(Multicast)三種數(shù)據(jù)傳送方式。組播是相對(duì)于單播和廣播而言的一種面向“組”發(fā)送數(shù)據(jù)的形式。廣播是指將信息從一個(gè)發(fā)送端傳送到整個(gè)子網(wǎng)中所有終端,而組播將信息從一個(gè)發(fā)送端傳送到多個(gè)接收端。

IP組播將IP數(shù)據(jù)包“盡最大努力”傳輸?shù)揭粋€(gè)構(gòu)成組播群組的主機(jī)集合,群組的各個(gè)成員可以分布于各個(gè)獨(dú)立的物理網(wǎng)絡(luò)上。IP組播群組中成員的關(guān)系是動(dòng)態(tài)的,主機(jī)可以隨時(shí)加入和退出群組。群組的成員關(guān)系決定了主機(jī)是否接收送給該群組的組播數(shù)據(jù)包,不是該群組的成員主機(jī)也能向該群組發(fā)送組播數(shù)據(jù)包。

IP組播是單播傳輸很好的改進(jìn),同單播相比效率非常高,不論網(wǎng)絡(luò)中有多少個(gè)接收端,發(fā)送端只需發(fā)送一個(gè)媒體流,因此可以顯著節(jié)省網(wǎng)絡(luò)帶寬和資源。如果有一個(gè)視頻服務(wù)器與遠(yuǎn)端網(wǎng)絡(luò)通信,網(wǎng)絡(luò)中有n個(gè)用戶,對(duì)于一個(gè)活動(dòng)全屏圖像,一個(gè)視頻信息流需占用1.5Mb/s的帶寬。在單播環(huán)境中,視頻服務(wù)器依次送出n個(gè)信息流,由網(wǎng)絡(luò)中的用戶接收,共需要n×1.5Mb/s的帶寬;如果服務(wù)器處于10Mb/s以太網(wǎng)內(nèi),6～7個(gè)信息流就占滿了帶寬;既便在高速以太網(wǎng)中,最多也只能容納250～300個(gè)1.5Mb/s的視頻流。在組播環(huán)境中,不論網(wǎng)絡(luò)中的用戶數(shù)目有多少,服務(wù)器發(fā)出一個(gè)視頻流,由網(wǎng)絡(luò)中的路由器或交換器同時(shí)復(fù)制出n個(gè)視頻流,廣播到每個(gè)用戶,僅需1.5Mb/s的帶寬。由此可見(jiàn),IP組播能夠有效地節(jié)省網(wǎng)絡(luò)帶寬和資源,管理網(wǎng)絡(luò)的增容和控制開(kāi)銷,大大減輕發(fā)送服務(wù)器的負(fù)荷,從而高性能地發(fā)送信息。組播傳送的信息能同時(shí)到達(dá)用戶端,時(shí)延小,且網(wǎng)絡(luò)中的服務(wù)器不需要知道每個(gè)客戶機(jī)的地址,所有的接收者使用一個(gè)網(wǎng)絡(luò)組播地址,可實(shí)現(xiàn)匿名服務(wù),并且IP組播具有可升級(jí)性,與新的IP業(yè)務(wù)兼容。

在多點(diǎn)視頻會(huì)議系統(tǒng)中,我們讓大部分會(huì)議終端只有參加會(huì)議的權(quán)力,而不給它們提供發(fā)言權(quán),利用組播技術(shù)把音視頻數(shù)據(jù)發(fā)送給它們,只讓少數(shù)重要的會(huì)議終端具有發(fā)言權(quán)。這樣做的目的是既節(jié)約了網(wǎng)絡(luò)帶寬,又增加了用戶數(shù),同時(shí)還保證了視頻會(huì)議系統(tǒng)的服務(wù)質(zhì)量。在MCU中,音視頻媒體流組播一般是作為一種可選附加模塊進(jìn)行添加的,其機(jī)制和視頻終端的機(jī)制很相似。只要在MCU的主席控制端中打開(kāi)媒體流組播的功能,在控制中心即可將任意會(huì)場(chǎng)的視頻圖像通過(guò)媒體流組播發(fā)送出去。例如在召開(kāi)四點(diǎn)視頻會(huì)議的同時(shí),控制中心主席端可以打開(kāi)流廣播的功能,將任意會(huì)場(chǎng)(主會(huì)場(chǎng)或分會(huì)場(chǎng))的音、視頻廣播到其他未參加雙向會(huì)議的會(huì)場(chǎng)。

2.視頻IP組播實(shí)現(xiàn)機(jī)制

IP組播利用組播協(xié)議將IP數(shù)據(jù)包從一個(gè)源傳送到多個(gè)目的地,將信息的拷貝發(fā)送到一組地址,到達(dá)所有想要接收它的接收者處。

組播發(fā)送數(shù)據(jù)時(shí),接收端通過(guò)IP網(wǎng)D類地址判斷自己是否是本組成員,若是則接收組播數(shù)據(jù)流。D類地址是一個(gè)格式為224.0.0.0～239.255.255.255的IP地址,其中較低位置的256個(gè)地址被保留給管理和系統(tǒng)級(jí)的路由選擇使用,中間范圍被組、內(nèi)部網(wǎng)和Internet中的組播端用戶應(yīng)用系統(tǒng)使用,較高位置的D類地址238.255.255.255～239.255.255.255被保留用于特定的多路廣播應(yīng)用系統(tǒng)。在組播通信模型中,需要兩種新型地址:一個(gè)IP組播地址和一個(gè)Ethernet組播地址。IP組播地址表示一組接收者,它們要接收發(fā)給整個(gè)組的數(shù)據(jù)。由于IP包封裝在Ethernet幀內(nèi),所以還需要一個(gè)Ethernet組播地址。為使組播正常工作,主機(jī)應(yīng)能同時(shí)接收單播和組播數(shù)據(jù),主機(jī)需要多個(gè)IP地址和Ethernet地址,其中單播IP和Ethernet地址用于單播通信,而Ethernet組播地址用于組播通信。如果主機(jī)不準(zhǔn)備接收組播,組播地址就設(shè)置為零組播地址。因此,單播和組播地址之間的主要差異在于每個(gè)主機(jī)都有一個(gè)惟一的單播地址,組播地址則不然。將D類IP地址映射為EthernetMAC地址是由數(shù)據(jù)鏈路層完成的。在映射過(guò)程中,組播IP地址中共有9位不參與替換,包括高位字節(jié)8位以及緊接在該字節(jié)后面的一個(gè)標(biāo)志位,其中最開(kāi)始的4位1110表示屬于D類IP地址,剩下的5位實(shí)際不參與映射,無(wú)論這些位的值是什么,組播Ethernet地址都是相同的。由于5個(gè)位共可以有32種不同的組合,所以映射并不具有惟一性。

3.組播路由協(xié)議

在一個(gè)組播路由器建立路由,傳送其組播群組成員關(guān)系信息之前,它必須確定在本地網(wǎng)絡(luò)上是否有一個(gè)或多個(gè)主機(jī)加入了某個(gè)組播群組。為此,組播路由器和實(shí)現(xiàn)組播的主機(jī)必須使用互聯(lián)網(wǎng)組管理協(xié)議(InternetGroupManagementProtocol,IGMP)來(lái)進(jìn)行群組成員關(guān)系信息的通信。利用IGMP,組播路由器可判斷在與自己連接的任何一個(gè)網(wǎng)絡(luò)上是否存在組播組的一些成員,如存在組成員,組播路由器便可加入一個(gè)特定的組播組,并將組播數(shù)據(jù)轉(zhuǎn)發(fā)給加入該組的主機(jī)。因此,IGMP被主機(jī)用來(lái)通知直連的路由器,令其加入一個(gè)組播組,使組播網(wǎng)具有動(dòng)態(tài)性和靈活性。

IP網(wǎng)絡(luò)的二層組播相關(guān)協(xié)議包括IGMPSnooping和CGMP。IGMPSnooping通過(guò)交換機(jī)去偵聽(tīng)主機(jī)發(fā)向路由器的IGMP成員報(bào)告消息,形成組成員和交換機(jī)接口的對(duì)應(yīng)關(guān)系,放在組播CAM表項(xiàng)中。交換機(jī)根據(jù)該對(duì)應(yīng)關(guān)系將收到組播數(shù)據(jù)包只轉(zhuǎn)給有組成員的接口。

CGMP(CiscoGroupManagementProtocol)是Cisco基于客戶機(jī)/服務(wù)器模型開(kāi)發(fā)的私有協(xié)議,它運(yùn)行在路由器和交換機(jī)上,允許成員關(guān)系信息從路由器到交換機(jī)進(jìn)行通信。在CGMP的支持下,組播路由器能夠根據(jù)接收到的IGMP數(shù)據(jù)包通知交換機(jī)哪些主機(jī)何時(shí)加入和脫離組播組,交換機(jī)利用由這些信息所構(gòu)建的轉(zhuǎn)發(fā)表來(lái)確定將組播數(shù)據(jù)包向哪些接口轉(zhuǎn)發(fā)。組播注冊(cè)協(xié)議(GMRP)是主機(jī)到以太網(wǎng)交換機(jī)的標(biāo)準(zhǔn)協(xié)議,它使組播用戶可以在第二層交換機(jī)上對(duì)組播成員進(jìn)行注冊(cè)。在基于路由器的網(wǎng)絡(luò)中,對(duì)于傳遞組播信息流,一個(gè)至關(guān)重要的問(wèn)題是IP組播路由協(xié)議。它克服了利用單播通信模型傳遞組播信息帶來(lái)的帶寬瓶頸,減少了發(fā)送相同數(shù)據(jù)信息到多個(gè)接收者的通信費(fèi)用,這也是IP組播應(yīng)用得到發(fā)展的主要原因。組播網(wǎng)內(nèi)數(shù)據(jù)的流動(dòng)必須根據(jù)組播路由協(xié)議建立生成樹(shù),使發(fā)送源和組播組成員之間形成一條單獨(dú)的轉(zhuǎn)發(fā)路徑,確保每個(gè)數(shù)據(jù)包都能轉(zhuǎn)發(fā)到目的地。

IP組播路由協(xié)議分為域內(nèi)協(xié)議和域間協(xié)議。域內(nèi)協(xié)議包括PIM－SM、PIM－DM、DVMRP、CBT等;域間協(xié)議包括MBGP、MSDP、BGMP等。根據(jù)網(wǎng)絡(luò)中主機(jī)的分布,上述IP組播域內(nèi)路由協(xié)議一般可以分為兩類。第一類稱為密集型模式,這種模式指組播成員在網(wǎng)絡(luò)中密集分布,有足夠的帶寬,所以密集協(xié)議通過(guò)擴(kuò)散技術(shù)傳播信息至整個(gè)網(wǎng)絡(luò),包括DVMRP、MOSPF和PIM－DM,這類協(xié)議屬于數(shù)據(jù)驅(qū)動(dòng)型的。第二類稱為松散型模式,這種模式指組播成員在網(wǎng)絡(luò)中分散分布,沒(méi)有足夠的帶寬,例如廣域網(wǎng)或用戶使用ISDN線上網(wǎng),但松散型模式并不意味群組有很少的成員,只不過(guò)它們是分散分布的,它包括CBT和PIM－SM。擴(kuò)散技術(shù)將浪費(fèi)帶寬,它通過(guò)發(fā)出加入請(qǐng)求申請(qǐng),在含有集中點(diǎn)或核心點(diǎn)的空生成樹(shù)上添加樹(shù)枝形成組播生成樹(shù),這類協(xié)議屬于接收者驅(qū)動(dòng)型。使用DVMRP、MOSPF組播路由協(xié)議時(shí),單播路由協(xié)議相應(yīng)地必須使用RIP、OSPF,這就造成了一定的局限性。DVMRP使用距離向量路由協(xié)議建立生成樹(shù),MOSPF使用鏈路狀態(tài)數(shù)據(jù)庫(kù)建立生成樹(shù)。PIM和CBT獨(dú)立于單播路由協(xié)議,但依賴于單播路由表,其中PIM－SM和CBT有一個(gè)集中點(diǎn)或核心,連接源和接收者之間的各個(gè)路由器而形成路由。針對(duì)域間組播路由有兩類解決方案:短期方案和長(zhǎng)期方案。短期方案包括三個(gè)協(xié)議:MBGP、MSDP和PIM－SM。MBGP(組播邊緣網(wǎng)關(guān)協(xié)議)用于在自治域間交換組播路由信息;MSDP(組播信源發(fā)現(xiàn)協(xié)議)用于在ISP之間交換組播信源信息;PIM－SM(協(xié)議無(wú)關(guān)組播－稀疏模式)用于域內(nèi)組播路由管理。長(zhǎng)期方案目前討論最多的是MASC、MBGP和BGMP,它們建立在現(xiàn)有的組播業(yè)務(wù)模型上。其中,MASC實(shí)現(xiàn)域間組播地址的分配;MBGP在域間傳遞組播路由信息;BGMP完成域間路由樹(shù)的構(gòu)造。此外還有一些組播路由策略,如PIM－SSM(特定信源協(xié)議無(wú)關(guān)組播)等,建立在其他組播業(yè)務(wù)模型上。目前只有短期方案MBGP、MSDP和PIM－SM是成熟的,并被許多運(yùn)營(yíng)商所使用,其他方案的標(biāo)準(zhǔn)還在研究中。9.5.2

IP組播技術(shù)的特點(diǎn)

IP組播技術(shù)具有以下特點(diǎn):

(1)群地址。在組播網(wǎng)中,每個(gè)組播群組擁有惟一的組播地址(D類地址),一部分IP組播地址是由Internet管理機(jī)構(gòu)分配的,其他的組播地址作為暫時(shí)地址被用戶使用。組播數(shù)據(jù)包可以送到標(biāo)識(shí)目的主機(jī)的組地址,發(fā)送者不必知道有哪些組成員,它自己不必是組成員,對(duì)組成員中主機(jī)的數(shù)目和位置也沒(méi)有限制。主機(jī)不需要和組成員以及發(fā)送者商量,可以任意加入和離開(kāi)組播組。使用組地址,不必知道主機(jī)指定的位置,可以找到具有此組播地址的任何資源和服務(wù)器,在動(dòng)態(tài)變化的信息提供者中搜尋到需要的信息,或者發(fā)布信息到任意大小的可選用戶群。

(2)規(guī)?？蓴U(kuò)展性。如果網(wǎng)絡(luò)速率提高,則廣域組播網(wǎng)絡(luò)的容量需要擴(kuò)大。組播路由算法和協(xié)議如PIM－DM、PIM－SM、CBT等都支持網(wǎng)絡(luò)規(guī)模的擴(kuò)展,而群地址和動(dòng)態(tài)性也是適應(yīng)規(guī)?？蓴U(kuò)展性的另一方面。

(3)健壯性。IP組播網(wǎng)絡(luò)使用的路由協(xié)議和算法能適應(yīng)網(wǎng)絡(luò)路由動(dòng)態(tài)變化,它采用軟件狀態(tài)刷新機(jī)制、制作路由備份等方法,來(lái)維護(hù)群組成員之間的連接,加強(qiáng)網(wǎng)絡(luò)的健壯性。

(4)路由算法的獨(dú)立性。組播路由算法和協(xié)議獨(dú)立于單播路由使用的協(xié)議,但又依靠現(xiàn)存的單播路由表,在域內(nèi)適應(yīng)網(wǎng)絡(luò)拓?fù)涞淖兓?動(dòng)態(tài)生成組播樹(shù)。

(5)組播生成樹(shù)的靈活性。組播生成樹(shù)的形成與發(fā)送者和接收者的分布、網(wǎng)絡(luò)的流量狀況以及組成員的動(dòng)態(tài)性有關(guān),且組播生成樹(shù)也反映了不同的組播路由算法和組播應(yīng)用。靈活的組播生成樹(shù)有利于數(shù)據(jù)包的傳送,不容易造成網(wǎng)絡(luò)的擁塞。9.5.3

IP組播在視頻中的應(yīng)用

如果要將組播通信應(yīng)用在視頻網(wǎng)絡(luò)中,網(wǎng)絡(luò)里的會(huì)議終端、網(wǎng)關(guān)、MCU(發(fā)送和接收主機(jī))、網(wǎng)絡(luò)路由器以及它們之間的網(wǎng)絡(luò)結(jié)構(gòu)必須支持組播,防火墻應(yīng)設(shè)置成允許組播通過(guò)。

每個(gè)會(huì)議端點(diǎn)要能支持組播,網(wǎng)絡(luò)接口卡能有效濾出由網(wǎng)絡(luò)層IP組播地址被映射成的數(shù)據(jù)鏈路層地址;要有加入組播組請(qǐng)求的IGMP的軟件和路由器通信并加入組播群;要有支持IP組播傳送和接收的TCP/IP協(xié)議棧。在視頻網(wǎng)絡(luò)中IP組播通信的過(guò)程如下:

(1)端點(diǎn)送出一條IGMP加入消息到相鄰路由器,端點(diǎn)的MAC地址映射為將要加入的D類組地址,并包含在IGMP數(shù)據(jù)報(bào)中,路由器知道端點(diǎn)想加入組播組。

(2)相鄰路由器接收加入消息后,動(dòng)態(tài)跟蹤這些組播組,使用組播路由協(xié)議,在源端和接收端各個(gè)路由器之間建立組播生成樹(shù),從每個(gè)發(fā)送者伸展到所有接收者。

(3)在源端和接收端建立組播路由后,源端就開(kāi)始沿著組播路由發(fā)送數(shù)據(jù)給各個(gè)接收者。

9.6視頻會(huì)議中多畫(huà)面合成技術(shù)

9.6.1壓縮域合成

1.壓縮域合成算法原理

H.261標(biāo)準(zhǔn)分為CIF和QCIF兩種格式,其中一幀CIF格式圖像的大小為352×288像素,一幀QCIF格式圖像的大小為176×144像素,如表9－2所示。一幀H.261CIF圖像由12個(gè)塊組(GroupOfBlocks,GOB)組成,一幀H.261QCIF由3個(gè)塊組(GOB)組成。兩種格式的塊組空間排列方式如圖9－20所示,其數(shù)字為塊組號(hào)。表9－2

H.261CIF和QCIF像素大小比較圖9－20

H.261幀內(nèi)塊組空間的結(jié)構(gòu)

H.261視頻數(shù)據(jù)的編碼過(guò)程如下:首先通過(guò)離散余弦變換(DCT)壓縮圖像數(shù)據(jù),再經(jīng)過(guò)變長(zhǎng)編碼進(jìn)一步壓縮;然后對(duì)視頻數(shù)據(jù)進(jìn)行四層復(fù)用數(shù)據(jù)結(jié)構(gòu)封裝,由上到下依次是:圖像層、塊組層、宏塊層和像塊層,該封裝用來(lái)對(duì)視頻數(shù)據(jù)進(jìn)行重組。H.261解碼過(guò)程是上述過(guò)程的逆過(guò)程。此處的壓縮域四畫(huà)面合成算法就是在圖像層進(jìn)行解碼和編碼處理的一種合成算法。為了說(shuō)明算法實(shí)現(xiàn)原理,假設(shè)MCU設(shè)備同時(shí)與4個(gè)終端連接,并分別從終端接收H.261QCIF視頻數(shù)據(jù),MCU對(duì)4路數(shù)據(jù)進(jìn)行壓縮域合成處理,合并成1路H.261CIF格式視頻數(shù)據(jù),并將合并后的視頻數(shù)據(jù)分別發(fā)送給4個(gè)終端,每個(gè)終端都只接收并解碼1路H.261CIF格式的視頻數(shù)據(jù)流,但能同時(shí)顯示4個(gè)終端的畫(huà)面。其合成系統(tǒng)結(jié)構(gòu)圖如圖9－21所示。圖9－21壓縮域內(nèi)4畫(huà)面合成系統(tǒng)的結(jié)構(gòu)

4畫(huà)面合成需要完成三個(gè)方面的操作:

(1)處理圖像幀頭的時(shí)域參考量TR。由以上對(duì)H.261數(shù)據(jù)結(jié)構(gòu)的介紹可知,TR為5bit,可取32個(gè)值,其取值公式為

TR=(Ns+Nd+1)mod32

式中:Ns為已經(jīng)發(fā)送的圖像數(shù);Nd為從上次發(fā)送的圖像之后所丟掉的圖像數(shù)。時(shí)域參考量用來(lái)平滑視頻的播放,讓人的視覺(jué)流暢,是保證視頻質(zhì)量的重要方法。在合成圖像中,時(shí)域參考量TR可以按照下列方法取值:

(2)處理圖像層中幀頭的各個(gè)字段值。圖像合成之后只有一個(gè)圖像層幀頭,因此需要對(duì)4組源圖像層幀頭進(jìn)行處理。當(dāng)?shù)玫?路4層圖像復(fù)用數(shù)據(jù)結(jié)構(gòu)之后,只保留第1路的圖像層幀頭,丟掉其他3路的圖像層幀頭。其中時(shí)域參考量TR按上述方法填充;類型信息域PTYPE的第4位由原來(lái)的“0”改為“1”,亦即由QCIF圖像標(biāo)識(shí)修改為CIF圖像標(biāo)識(shí)。

(3)處理塊組層塊組頭。合成過(guò)程需要把4組3個(gè)QCIF塊組合并成一組12個(gè)CIF塊組。MCU接收到4路H.261QCIF數(shù)據(jù)后,對(duì)4路視頻數(shù)據(jù)均進(jìn)行找?guī)^和找塊組頭操作,分別得到4路數(shù)據(jù)的幀頭和3個(gè)塊組數(shù)據(jù)。讀取幀頭信息的PTYPE字段,要保證視頻數(shù)據(jù)信源格式為QCIF,并且其塊組號(hào)分別是1、3、5。進(jìn)行合并時(shí),第1路QCIF數(shù)據(jù)的塊組號(hào)保持不變;將第2路QCIF數(shù)據(jù)的塊組號(hào)分別由1、3、5修改成2、4、6;將第3路QCIF數(shù)據(jù)的塊組號(hào)分別由1、3、5修改成7、9、11;將第4路QCIF數(shù)據(jù)的塊組號(hào)分別由1、3、5修改成8、10、12。合并后形成1路視頻數(shù)據(jù),要按照修改后的塊組號(hào)進(jìn)行順序存儲(chǔ)。4路H.261QCIF的視頻數(shù)據(jù)在對(duì)塊組號(hào)修改和塊組排序后,形成了1路H.261CIF視頻數(shù)據(jù)。

2.具體的合成算法

算法設(shè)計(jì)中幾個(gè)關(guān)鍵問(wèn)題在于:如何匹配幀頭(PSC)和塊組頭(GSC);如何組合各路數(shù)據(jù);如何協(xié)調(diào)各路視頻之間的同步。

首先要尋找?guī)^和塊組頭,其過(guò)程需要對(duì)位進(jìn)行操作。由H.261數(shù)據(jù)結(jié)構(gòu)的知識(shí)可知,PSC(幀起始碼)為00000000000000010000,而GSC(塊組起始碼)為0000000000000001,則PSC的前16位和GSC均為0000000000000001。在找?guī)^和塊組頭的過(guò)程中,首先對(duì)幀頭和塊組頭不區(qū)分對(duì)待,按位進(jìn)行操作,若出現(xiàn)連續(xù)15個(gè)或15個(gè)以上連0,并隨后出現(xiàn)1時(shí),則認(rèn)為是找到了幀頭或塊組頭。緊接其后的4位若為0000,則為PSC,找到幀頭;若其值介于0001(1)和1100(12)之間,則是GSC,找到塊組頭;若為其他值,則出錯(cuò)。通過(guò)對(duì)接收到的H.261視頻流進(jìn)行循環(huán)查找,可得到各路視頻的每一個(gè)塊組數(shù)據(jù)。找到4路H.261QCIF的各個(gè)塊組后,則需要對(duì)4路數(shù)據(jù)的塊組進(jìn)行排列組合,數(shù)據(jù)組合的方式在上面已經(jīng)做了較為詳細(xì)的介紹。在具體組合的實(shí)現(xiàn)過(guò)程中,利用一個(gè)類CMergeH.261來(lái)完成合并,該類的主要成員變量和成員函數(shù)及其描述如表9－3所示。表9－3類CMergeH261的主要成員變量和成員函數(shù)圖9－22壓縮域4畫(huà)面合成算法的流程由于4路視頻來(lái)自不同的視頻源,因而會(huì)出現(xiàn)視頻速率和幀速率不匹配的情況,即出現(xiàn)有的視頻幀速率快,而有的幀速率慢的情況。為了保證4路數(shù)據(jù)之間的同步,需要采用一些有效的手段和方法。首先,在進(jìn)行H.323呼叫協(xié)商的時(shí)候,保證4個(gè)終端發(fā)送的視頻數(shù)據(jù)帶寬和幀速率與標(biāo)稱值相同。然后,在MCU端利用RTP包包頭信息分別計(jì)算出4路數(shù)據(jù)的實(shí)際幀速率,其計(jì)算方法如下:根據(jù)RTP包頭信息的M標(biāo)志位判斷RTP包是否是一幀結(jié)束,若是,則記錄下該RTP包到達(dá)的時(shí)間,即該幀到達(dá)的時(shí)間。每接收到25幀時(shí),比較前后時(shí)間差,可實(shí)時(shí)計(jì)算出25幀所需要的實(shí)際時(shí)間T,將25除以T,則得到當(dāng)前的實(shí)際幀速率。一般來(lái)講,實(shí)際幀速率和其標(biāo)稱值會(huì)有一定的誤差,此時(shí)需要根據(jù)標(biāo)稱值對(duì)實(shí)際幀速率進(jìn)行調(diào)整。對(duì)照標(biāo)稱值,使幀速率快的視頻數(shù)據(jù)接收線程進(jìn)行等待,直到與標(biāo)稱值相同;對(duì)幀速率慢的視頻數(shù)據(jù)進(jìn)行空數(shù)據(jù)填充,使達(dá)到與標(biāo)稱值相同。采用上述方式,基本可以保證各路視頻數(shù)據(jù)之間的同步。

壓縮域合成算法在實(shí)際項(xiàng)目應(yīng)用中,效果較為理想。相對(duì)于傳統(tǒng)的模擬多畫(huà)面合成技術(shù)來(lái)說(shuō),它無(wú)需對(duì)視頻數(shù)據(jù)進(jìn)行編解碼,因此時(shí)延小,硬件成本低。在合并的過(guò)程僅僅對(duì)數(shù)據(jù)進(jìn)行重新組合,不存在數(shù)據(jù)丟失現(xiàn)象,保真率達(dá)到100%。9.6.2像素域合成

以上討論的壓縮域合成算法,執(zhí)行效率高,實(shí)際效果理想。但是,它僅僅適用于4路H.261QCIF到1路H.261CIF的4畫(huà)面合成,因此,它的適用范圍窄。針對(duì)這種情況,本節(jié)討論像素域合成的多畫(huà)面合成方法,理論上它適用于任何視頻格式數(shù)據(jù)的多畫(huà)面合成。因?yàn)橹灰軌驅(qū)⒁曨l編碼數(shù)據(jù)解碼成YUV或者RGB這樣像素點(diǎn)數(shù)據(jù),即可利用此像素域合成算法。本節(jié)對(duì)算法的討論,主要是針對(duì)YUV數(shù)據(jù)進(jìn)行操作的,但同樣適用于對(duì)RGB數(shù)據(jù)的處理。但一般都會(huì)采用對(duì)YUV數(shù)據(jù)進(jìn)行操作,因?yàn)檫@樣避免了從YUV數(shù)據(jù)到RGB數(shù)據(jù)的矩陣轉(zhuǎn)換,有效地節(jié)省了系統(tǒng)資源和運(yùn)行時(shí)間。像素域合成方法可分為兩大類:無(wú)損