多媒體計算機的應用技術

第7章多媒體計算機的應用(yìngyòng)技術7.1多媒體電子出版物的創(chuàng)作(chuàngzuò)7.2多媒體會議系統(tǒng)7.3多媒體數(shù)據(jù)庫及基于內(nèi)容檢索第一頁，共四十一頁。?本章(běnzhānɡ)重點介紹視頻會議系統(tǒng)的結構(jiégòu)和標準第7章多媒體計算機的應用(yìngyòng)技術第二頁，共四十一頁。?7.2.1視頻會議系統(tǒng)的結構(jiégòu)和標準三、視頻會議系統(tǒng)(xìtǒng)的標準一、視頻會議系統(tǒng)(xìtǒng)的分類二、視頻會議系統(tǒng)的結構第三頁，共四十一頁。?一、視頻會議系統(tǒng)(xìtǒng)的分類點對點視頻會議系統(tǒng)(xìtǒng)多點視頻會議系統(tǒng)根據(jù)通信(tōngxìn)節(jié)點的數(shù)量，視頻會議系統(tǒng)可分為第四頁，共四十一頁。?點對點視頻會議系統(tǒng)支持兩個通信節(jié)點(jiédiǎn)間視頻會議通訊功能，它的主要業(yè)務是：

可視電話桌面視頻會議系統(tǒng)會議室型會議室視頻會議1.點對點的視頻會議系統(tǒng)(xìtǒng)第五頁，共四十一頁。?多點視頻會議系統(tǒng)允許三個或三個以上不同地點的參加者同時參與會議。多點視頻會議系統(tǒng)一個關鍵技術是多點控制(kòngzhì)問題，多點控制(kòngzhì)單元（MCU）在通訊網(wǎng)絡上控制(kòngzhì)各個點的視頻、音頻、通用數(shù)據(jù)和控制(kòngzhì)信號的流向，使與會者可以接收到相應的視頻、音頻等信息，維持會議正常進行。2.多點視頻會議系統(tǒng)(xìtǒng)第六頁，共四十一頁。?二、視頻會議系統(tǒng)(xìtǒng)的結構

視頻會議終端多點控制器信道（網(wǎng)絡(wǎngluò)）控制管理軟件第七頁，共四十一頁。?

視頻會議系統(tǒng)結構框圖(kuàngtú)

第八頁，共四十一頁。?完成視頻音頻信號的采集、編輯處理及輸出、視頻音頻數(shù)字信號的壓縮編碼和解碼，最后將符合國際標準的壓縮碼流經(jīng)線路接口送到信道，或從信道上將(shàngjiàng)標準壓縮碼流經(jīng)線路接口送到終端。1.視頻會議終端的主要(zhǔyào)功能第九頁，共四十一頁。?它的主要功能是對視頻、語音及數(shù)據(jù)信號進行切換，例如(lìrú)它會把傳送到MCU某會場發(fā)言者的圖象信號切換到所有會場。對于語音信號，若同時有幾個發(fā)言，可以對它們進行混合處理，選出最高的音頻信號，切換到其它會場。2.多點控制(kòngzhì)單元的功能（MCU-MultipointControlUnit）第十頁，共四十一頁。?信道(xìndào)（網(wǎng)絡）的主要功能是：保證視頻音頻數(shù)據(jù)壓縮碼流安全在信道(xìndào)上傳輸?shù)揭曨l會議系統(tǒng)的終端。3.信道(xìndào)的功能第十一頁，共四十一頁。?9、人的價值(jiàzhí)，在招收誘惑的一瞬間被決定。2023/1/52023/1/5Thursday,January5,202310、低頭要有勇氣，抬頭要有低氣。2023/1/52023/1/52023/1/51/5/20236:58:00PM11、人總是珍惜為得到。2023/1/52023/1/52023/1/5Jan-2305-Jan-2312、人亂于心，不寬余請。2023/1/52023/1/52023/1/5Thursday,January5,202313、生氣是拿別人做錯的事來懲罰自己。2023/1/52023/1/52023/1/52023/1/51/5/202314、抱最大的希望，作最大的努力。05一月20232023/1/52023/1/52023/1/515、一個人炫耀什么，說明他內(nèi)心缺少什么。。一月232023/1/52023/1/52023/1/51/5/202316、業(yè)余生活要有意義，不要越軌。2023/1/52023/1/505January202317、一個人即使已登上頂峰，也仍要自強不息。2023/1/52023/1/52023/1/52023/1/5第十二頁，共四十一頁。QOS（QualityofService）安全(ānquán)保密4.控制(kòngzhì)管理軟件第十三頁，共四十一頁。?二、視頻會議系統(tǒng)(xìtǒng)的結構終端(zhōnɡduān)多點控制器信道（網(wǎng)絡）控制管理軟件

QOS（QualityofService）

安全保密第十四頁，共四十一頁。?三、視頻會議系統(tǒng)(xìtǒng)的標準在20世紀80年代,國際電信聯(lián)盟(ITU)專門成立了一個小組研究(yánjiū)視頻會議,建立了一系列的建議和標準.關于視頻會議最著名的標準是H.320系列和T.120系列建議.1994年以Intel為首的90多家計算機和通信公司聯(lián)合制定了一個個人會議標準PCS.第十五頁，共四十一頁。?第7章多媒體計算機的應用(yìngyòng)技術7.1多媒體電子出版物的創(chuàng)作7.2多媒體會議系統(tǒng)7.3多媒體數(shù)據(jù)庫及基于內(nèi)容(nèiróng)檢索第十六頁，共四十一頁。?一、多媒體數(shù)據(jù)庫的關鍵技術1.多媒體數(shù)據(jù)大容量的存儲技術(1).光盤存儲子系統(tǒng)和高速大容量磁盤、光盤庫保存時間很長。(2).超媒體文檔和超媒體數(shù)據(jù)庫的隨機存取、檢索、存儲盤標識和關系數(shù)據(jù)庫。在設計上僅支持表結構的字母(zìmǔ)數(shù)字數(shù)據(jù)。

第十七頁，共四十一頁。?2.多媒體應用程序的數(shù)據(jù)庫組織多媒體系統(tǒng)數(shù)據(jù)組織：(1).數(shù)據(jù)獨立(2).通用分布式數(shù)據(jù)庫結構(jiégòu)(3).多媒體對象管理(4).多重數(shù)據(jù)服務器第十八頁，共四十一頁。?二、多媒體數(shù)據(jù)庫基于內(nèi)容檢索(jiǎnsuǒ)概述web上出現(xiàn)大量多媒體信息，例如:遙感、醫(yī)療、安全、商業(yè)(shāngyè)等部門，都會產(chǎn)生大量信息。第十九頁，共四十一頁。?1.IBM公司開發(fā)(kāifā)的QBIC是最具代表性的系統(tǒng)通過友好的界面為用戶提供顏色、紋理(wénlǐ)、草圖、形狀等多種檢索方法。系統(tǒng)以示例方式進行查詢，查找物體的移動，攝影機的操作。第二十頁，共四十一頁。?2.美國加州大學伯克利分校與

加州水資源部合作(hézuò)Chabot計劃，對水利資源部大量圖像提供基于內(nèi)容的有效(yǒuxiào)檢索手段。第二十一頁，共四十一頁。?3.麻省理工學院Photobook可以利用人臉Face(臉)、shape(形狀)、texture(紋理)進行基于內(nèi)容的檢索。Virage系統(tǒng)又進一步發(fā)展了將多種檢索特征(tèzhēng)的融合。第二十二頁，共四十一頁。?4.澳大利亞(àodàlìyà)NewSouthWales

澳大利亞NewSouthWales(新南威爾士大學)已開發(fā)了NUTTAB系統(tǒng)。用于食品(shípǐn)成分數(shù)據(jù)庫的檢索。第二十三頁，共四十一頁。?5.清華大學(qīnɡhuádàxué)計算機系清華大學計算機系結合863高技術研究發(fā)展項目“Web上基于內(nèi)容(nèiróng)圖像檢索”的研究。Internet/Intranet通過友好的人機界面可以對顏色、紋理或樣本圖像進行圖像檢索。

第二十四頁，共四十一頁。?目前該系統(tǒng)已可對12000張學物照片高維特征建立了Gss—索引。采用Java語言來實現(xiàn)人機交互模塊。通過瀏覽器為用戶提供界面。檢索請求轉(zhuǎn)換為cbExpr基于內(nèi)容的檢索表達式，通過檢索引擎處理與網(wǎng)絡延遲(yánchí)相比，檢索時間基本上可以忽略，體現(xiàn)了較好的實時性。第二十五頁，共四十一頁。?基于內(nèi)容(nèiróng)檢索的系統(tǒng)結構現(xiàn)有(xiànyǒu)的許多多媒體數(shù)據(jù)庫系統(tǒng)只提供基本媒體的描述、關鍵字一類的檢索和查詢，但很多的應用要求數(shù)據(jù)庫系統(tǒng)能對圖像或聲音等媒體進行內(nèi)容語義分析，已達到更深的檢索層次。因而有必要討論多媒體數(shù)據(jù)庫基于內(nèi)容的檢索與查詢方法。第二十六頁，共四十一頁。?基于內(nèi)容檢索的體系結構第二十七頁，共四十一頁。?

用戶(yònghù)的查詢說明示例一般性描述相似性匹配(pǐpèi)返回一組候選(hòuxuǎn)結果滿意？結束修改查詢說明從候選結果中選擇一個示例YN特征調(diào)整,重新匹配的處理過程第二十八頁，共四十一頁。?(1)首先由用戶提交查詢要求，或啟用上述的查詢接口：

交互式輸入方式模板選擇輸入方式特征(tèzhēng)樣板輸入方式第二十九頁，共四十一頁。?(2)相似性匹配(pǐpèi)

將查詢的特征與數(shù)據(jù)庫中的特征按照一定的匹配算法進行匹配。第三十頁，共四十一頁。?(3)返回候選結果滿足(mǎnzú)一定相似性的一組候選結果，按照相似度大小排列返回給用戶。第三十一頁，共四十一頁。?(4)特征調(diào)整a.用戶瀏覽一組初始特征查詢(cháxún)結果選擇滿意的結果。b.也可以從候選結果選擇一個示例，進行特征調(diào)整。最后形成一個新的查詢，如此逐步縮小查詢范圍，直到用戶對查詢結果滿意為止。第三十二頁，共四十一頁。?基于(jīyú)內(nèi)容檢索的關鍵技術兩個關鍵技術：

多媒體特征提取技術和匹配算法(suànfǎ)相似性檢索技術。

第三十三頁，共四十一頁。?1.特征(tèzhēng)抽取

低層特征(原始特征)特征抽取

高層特征(邏輯特征)(1)語言信號的特征提取和匹配(pǐpèi)低層特征：基音、共振峰、線性預測、倒譜系數(shù)高層特征：聲紋特征、關鍵詞特征

第三十四頁，共四十一頁。?(2)靜態(tài)圖象的特征提取和匹配低層特征：紋理特征，顏色特征，幾何形狀特征，統(tǒng)計特征(立方圖)等。高層特征：人的臉部特征、表情特征、某些(mǒuxiē)物體和景物特征。第三十五頁，共四十一頁。?低層特征可用圖象處理方法自動獲取；高層特征可以在某些約束條件下或知識(zhīshi)導引下，以低層特征為基礎推導得到。第三十六頁，共四十一頁。?(3)動態(tài)視頻特征提取低層特征：鏡頭切換類型、特技效果、攝象機運動(yùndòng)、物體運動(yùndòng)軌跡、代表幀、全景圖。高層特征：描述鏡頭中的內(nèi)容或事件。第三十七頁，共四十一頁。?2.相似(xiānɡsì)索引結構檢索：在高維空間中尋找指定(zhǐdìng)點距離最近的一組點的問題。采用順序比較法不能滿足實時檢索的要求，因此需建立一種有效索引結構和檢索方法。第三十八頁，共四十一頁。?謝謝2023/1/52023/1/52023/1/52023/1/52023/1/52023/1/52023/1/52023/1/52023/1/52023/1/52023/1/52023/1/52023/1/5第三十九頁，共四十一頁。9、人的價值，在招收誘惑的一瞬間被決定。2023/1/52023/1/5Thursday,January5,202310、低頭要有勇氣，抬頭要有低氣。2023/1/52023/1/52023/1/51/5/20236:58:00PM11、人總是珍惜為得到。2023/1/52023/1/52023/1/5Jan-2305-Jan-2312、人亂于心，不寬余請。2023/1/52023/1/52023/1/5Thursday,January5,202313、生氣(shēngqì)是拿別人做錯的事來懲罰自己。2023/1/52023/1/52023/1/52023/1/51/5/202314、抱最大的希望，作最大的努力。05一月20232023/1/52023/1/52023/1/515、一個人炫耀什么，說明他內(nèi)心缺少什么。。一月232023/1/52023/1/52023/1/51/5/202316、業(yè)余生活要有意義，不要越軌。2023/1/52023/1/505January202317、一個人即使已登上頂峰，也仍要自強不息。2023/1/52