數(shù)字媒體技術(shù)概論12媒體傳輸與管理

數(shù)字媒體技術(shù)概論12媒體傳輸與管理媒體分發(fā)和傳輸為什么需要研究媒體傳輸（而不是僅僅采用傳統(tǒng)的文件傳輸方法）？與其他數(shù)據(jù)一樣，多媒體數(shù)據(jù)存儲(chǔ)在文件系統(tǒng)中。但多媒體數(shù)據(jù)的訪問(wèn)有特別的時(shí)限要求。例如，視頻必須以每秒24-30幀的幀率來(lái)顯示，而視頻的傳輸和分發(fā)必須確保此幀率。即視頻傳輸有QoS（服務(wù)質(zhì)量）要求。網(wǎng)絡(luò)帶寬制約帶寬的三個(gè)因素：

1、服務(wù)端接入帶寬

2、客戶端接入帶寬

3、從服務(wù)端到客戶端

之間的帶寬在線音樂(lè)或影片的不通暢原因：1寬頻問(wèn)題實(shí)際中的網(wǎng)絡(luò)速度是理論上值的10%-30%之間2不穩(wěn)定的連接速度網(wǎng)絡(luò)服務(wù)端、線路、接受端不穩(wěn)定性媒體分發(fā)和傳輸媒體流化/流媒體Streamingisdeliveringamultimediafilefromaservertoaclientsuchthatitcanbeprocessedasasteadyandcontinuousstream-typicallythedeliveroccursoveranetworkconnection.流媒體(可流化媒體)：Video、Audio、PowerPoint、Flash/Shockwave、VR、3DSERVERCLIENTstream媒體分發(fā)和傳輸流化方式分類持續(xù)下載(Progressivedownload)：當(dāng)多媒體文件分發(fā)并存儲(chǔ)到客戶端后才支持媒體重放；實(shí)時(shí)流化(Real-timestreaming)：多媒體文件由流媒體服務(wù)器向客戶端連續(xù)、實(shí)時(shí)傳送，客戶不必等到整個(gè)文件全部下載完畢媒體分發(fā)和傳輸媒體分發(fā)方式單播(unicast)：源(服務(wù)器)和目的地(客戶端)之間進(jìn)行一對(duì)一的傳輸。如果目的地量太大，源和網(wǎng)絡(luò)的負(fù)載能力有限，會(huì)超負(fù)荷造成播放質(zhì)量下降。多播流(Multicast)：源和目的地之間進(jìn)行多對(duì)一的傳輸，網(wǎng)絡(luò)中的同一多播組中的目的地共享同一信息流，可以有效的節(jié)省網(wǎng)絡(luò)帶寬。廣播(Broadcast)：流媒體從一個(gè)源(服務(wù)器端的應(yīng)用)發(fā)送出去后，同一網(wǎng)段上的所有目的地(客戶端應(yīng)用)均可以接收到，廣播可以看作組播的一個(gè)特例。媒體分發(fā)和傳輸流媒體傳輸協(xié)議實(shí)時(shí)傳輸協(xié)議(RealTimeTransportationProtocol,RTP)實(shí)時(shí)流協(xié)議(RealTimeStreamingProtocol,RTSP)實(shí)時(shí)傳輸控制協(xié)議(RealTimeTransportationControlProtocol,RTCP)資源預(yù)約協(xié)議(ResourceReservationProtocol,RSVP)RTSP協(xié)議流媒體的三大平臺(tái)公司MicrosoftRealNetworksAppleRealNetworks最早的流媒體播放軟件是RealNetworks的RealPlayer。RealPlayer最早稱為RealAudio，僅播放音樂(lè)文件。兼并了Xing公司（第一個(gè)采用串流式通道影音播放程序Streamworks）。RealPlayer7.0、8.0、9.0、….RealOnePlayer與Realplayer同屬于Real公司產(chǎn)品。RealONEPlayer是新的視音頻流播放系統(tǒng)，用以取代該公司三種主打產(chǎn)品，即RealPlayer、RealJukebox和GoldPass。

RealONE一大特點(diǎn)就是多層畫(huà)面功能，即當(dāng)一個(gè)屏幕播放影碟或歌曲的時(shí)候，旁邊將有一個(gè)側(cè)屏幕提供有關(guān)影碟或歌曲的信息或廣告。RealONEPlayer是RealPlayer和RealJukebox的結(jié)合體，與XP系統(tǒng)兼容性很好。RealONE在播放網(wǎng)絡(luò)視音頻流時(shí)，表現(xiàn)更佳MicrosoftWindowsMediaPlayer4.0、5.0、6.0、7.0、8.0、9.0、10.0、WindowsMediaPlayer11-windowsxpWMP9.0AppleQuickTime6流媒體文件格式的分類1、RM格式：這是由RealNetworks公司開(kāi)發(fā)的一種新型流式視頻文件格式。

2、MOV格式：MOV也可以作為一種流文件格式。QuickTime能夠通過(guò)Internet提供實(shí)時(shí)的數(shù)字化信息流、工作流與文件回放功能。

3、ASF格式：這是由微軟公司開(kāi)發(fā)的流媒體格式，是一個(gè)在Internet上實(shí)時(shí)傳播多媒體的技術(shù)標(biāo)準(zhǔn)。

流媒體的應(yīng)用互聯(lián)網(wǎng)的迅猛發(fā)展和普及為流媒體業(yè)務(wù)發(fā)展提供了強(qiáng)大的市場(chǎng)動(dòng)力，流媒體業(yè)務(wù)正變得日益流行。遠(yuǎn)程教育寬帶網(wǎng)絡(luò)視頻點(diǎn)播互聯(lián)網(wǎng)直播視頻會(huì)議遠(yuǎn)程教育在遠(yuǎn)程教育中，最基本的要素是把信息發(fā)送到學(xué)生那一段去，而傳送的數(shù)據(jù)是多元化的，視頻，音頻，文字，圖片等。傳遞的速度等問(wèn)題。流媒體下的教育信息化水平。寬帶網(wǎng)絡(luò)視頻點(diǎn)播寬帶網(wǎng)絡(luò)視頻點(diǎn)播（VOD，VideoOnDemand）。最初應(yīng)用于局域網(wǎng)和有線電視網(wǎng)中。存在問(wèn)題：數(shù)據(jù)量、傳輸?shù)乃俾省⒎?wù)器流媒體的集群和解碼技術(shù)互聯(lián)網(wǎng)直播衛(wèi)星直播、現(xiàn)場(chǎng)直播等之外的直播手段之一。體育直播。新浪體育直播。視頻會(huì)議視頻會(huì)議是流媒體的一種商業(yè)用途。通過(guò)流媒體可以實(shí)現(xiàn)點(diǎn)對(duì)點(diǎn)的通訊，最常用的就是視頻。媒體分析與檢索媒體檢索方面存在的挑戰(zhàn)不能直接進(jìn)行基于文本的查詢和檢索；怎樣分析或描述媒體(圖像/視頻/音頻)內(nèi)容和語(yǔ)義；如何索引圖像/視頻/音頻；快速檢索處理和準(zhǔn)確的檢索結(jié)果；VideosegmentsStillregionsAudiosegmentsMovingregions27搜索引擎概念信息管理的傳統(tǒng)方式樹(shù)狀目錄優(yōu)點(diǎn)：簡(jiǎn)單，直觀缺點(diǎn)：管理困難，協(xié)作困難需要“搜索”根據(jù)一定線索查找需要的信息“線索”：文件的部分內(nèi)容搜索引擎根據(jù)內(nèi)容管理信息的方式28搜索引擎概念搜索引擎扁平式信息管理：從“線索”直接到“信息”北京芙蓉姐姐美眉流得滑…………29為什么關(guān)注搜索引擎直接原因：搜索引擎可以做很多事情查找所需要的各種信息論文、標(biāo)準(zhǔn)、軟件、音樂(lè)、電影……企業(yè)運(yùn)作科學(xué)研究學(xué)習(xí)進(jìn)修娛樂(lè)休閑30為什么關(guān)注搜索引擎直接原因：搜索引擎可以做很多事情查找所需要的各種信息為什么需要查找？我們不知道需要的東西在哪里為什么我們不知道？因?yàn)闁|西太多了31為什么關(guān)注搜索引擎間接原因：信息爆炸中文WEB：75TB左右互聯(lián)網(wǎng)(2002)：520PB左右(1PB=1024TB)淺層WEB:167TB 深層WEB:60-89PBE-mail:430PB 即時(shí)消息:274TB來(lái)自“Howmuchinformation2003”比較：常用磁盤(pán):80-500GB 常用盤(pán)陣：0.5-10TB文件系統(tǒng)：4-32TB 數(shù)據(jù)中心：40-100TB已實(shí)際安裝的分布式文件系統(tǒng)：10-100TB32為什么關(guān)注搜索引擎間接原因：信息爆炸搜索引擎把海量信息有序地組織起來(lái)，提供方便的檢索手段允許人們找到需要的信息終極原因：搜索引擎的重要性控制了搜索引擎就控制了互聯(lián)網(wǎng)33為什么關(guān)注搜索引擎終極原因：搜索引擎的重要性Google：$159BIntel: $119B Yahoo： $38BMicrosoft：$262B Wal-mart: $199B百度：$8.44B新浪：$2.35B 搜狐：$1.79B聯(lián)想：$6.11B來(lái)源：34為什么關(guān)注搜索引擎搜索引擎現(xiàn)狀網(wǎng)頁(yè)搜索：Google占有壟斷地位日搜索量Google:90M,MSN:28MYahoo:60M,AOL:16M,Ask:13M,其它：6M來(lái)源：searchenginewatch，2006.7多媒體搜索：技術(shù)尚不成熟GoogleImageYoutubeFlickr35為什么關(guān)注搜索引擎發(fā)展策略日本的發(fā)展策略網(wǎng)頁(yè)搜索：美國(guó)已經(jīng)領(lǐng)先，放棄多媒體搜索：尚可一爭(zhēng)，大力支持我們的發(fā)展策略比美國(guó)做得更好！現(xiàn)有搜索引擎仍然不完美人才，市場(chǎng)36搜索引擎結(jié)構(gòu)最終目標(biāo)：方便用戶獲取需要的信息信息1.獲取/存儲(chǔ)2.理解3.索引4.輸入5.顯示37搜索引擎技術(shù)數(shù)據(jù)獲取與存儲(chǔ)數(shù)據(jù)獲?。篠pider,Crawler,Robot如何并行下載？哪些數(shù)據(jù)是新的，哪些是已有的？新增加的頁(yè)面部分更新的頁(yè)面論壇、blog現(xiàn)有搜索引擎未見(jiàn)公開(kāi)報(bào)道使用何種技術(shù)主要是工程性問(wèn)題38搜索引擎技術(shù)數(shù)據(jù)獲取與存儲(chǔ)數(shù)據(jù)存儲(chǔ)一致性：大規(guī)模并行訪問(wèn)不破壞數(shù)據(jù)可靠性：硬件損壞不丟失數(shù)據(jù)擴(kuò)展性：總體性能與硬件成線性關(guān)系分布式文件系統(tǒng)Google：GFSLustre39搜索引擎技術(shù)理解提取數(shù)據(jù)的語(yǔ)義數(shù)學(xué)上如何表示語(yǔ)義？如何把數(shù)據(jù)從原始形式轉(zhuǎn)換成所需要的形式？矢量模型文字串切分成詞每個(gè)詞作為一維，詞的出現(xiàn)頻率作為度量標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)技術(shù)提取文檔的特征并進(jìn)行分類40搜索引擎技術(shù)索引找到與某個(gè)語(yǔ)義相關(guān)的文檔倒排文件快速找到B樹(shù)，Hash表更快并行查找，限時(shí)合并41搜索引擎技術(shù)輸入獲取用戶的需求關(guān)鍵字檢索分類瀏覽顯示組織相關(guān)信息輸出給用戶相關(guān)項(xiàng)列表重要性排序：PageRank摘要42搜索引擎技術(shù)尚存在的問(wèn)題輸入：關(guān)鍵字檢索并不方便假設(shè)1：用戶很清楚自己需要什么可能例外：新聞檢索，多媒體檢索假設(shè)2：用戶有能力把需求轉(zhuǎn)換成合適的關(guān)鍵字大多數(shù)用戶做得并不好某些需求難以表示成文字，特別是多媒體檢索中假設(shè)3：系統(tǒng)有能力把文檔轉(zhuǎn)換成合適的關(guān)鍵字多媒體文檔：世界難題文本文檔：關(guān)鍵字也不一定是合適的語(yǔ)義43搜索引擎技術(shù)尚存在的問(wèn)題理解：計(jì)算機(jī)并不真正理解文檔的內(nèi)容多媒體文檔只能理解很小一部分語(yǔ)義文本文檔去除垃圾內(nèi)容(廣告、目錄等)提取結(jié)構(gòu)化信息信息之間的關(guān)聯(lián)44搜索引擎技術(shù)尚存在的問(wèn)題顯示綜合信息提取與表示海量信息表示直觀方便瀏覽……我們?nèi)匀挥袡C(jī)會(huì)！媒體分析與檢索基于內(nèi)容的媒體分析與檢索(CBR)特征提?。禾崛》从硤D像/視頻/音頻內(nèi)容的顏色、紋理等視覺(jué)特征和音頻特征；語(yǔ)義提?。禾崛》从硤D像/視頻/音頻語(yǔ)義的描述信息；索引組織與描述：對(duì)提取的特征和描述信息進(jìn)行高效索引；檢索模型：支持不同類型的媒體查詢與檢索模式。媒體分析與檢索媒體檢索系統(tǒng)框架StorageBrowseAVDescriptionFeatureextractionManual/automaticTransmissionEncoding(fortransmission)Decoding(fortransmission)FilterPushSearch/queryPullConf.pointsHumanormachine基于內(nèi)容的圖像檢索

(CBIR)CBIR：基于圖像顏色、紋理、形狀等特征的相似性進(jìn)行檢索示例：顏色相似的圖像基于草圖(Scratch)的圖像檢索視頻檢索不同的檢索用線索鏡頭檢測(cè)關(guān)鍵幀提取步驟：1.視頻分割為鏡頭；2.為每個(gè)鏡頭計(jì)算關(guān)鍵幀或代表性的幀;3.基于樣例的檢索關(guān)鍵幀提取和CBVR面向檢索的視頻標(biāo)題文字提取RawAudioTextExtractionRawVideoSILENCEMUSICelectriccarsaretheyarethejuryeverytoyownerhopestoplease基于語(yǔ)音識(shí)別的視頻檢索HappyBirthdayNotestartsNoteendsNotestartsNoteends音符(note)有兩個(gè)重要屬性：音調(diào)(Pitch)持續(xù)時(shí)間

(Duration)音符可以用符號(hào)描述DoReMiFaSoLaSiDoNotenameNotepitchStaff音頻檢索：哼唱找歌WavetoSymbolsApproximateStringMatchMusicDatabaseIndexingFeatureExtractionVariousMusicFormatstoSymbolsMusicDatabaseHumming“La,…”WavefilesMP3filesMIDIfilesRetrievalResultRecorder音頻檢索哼唱找歌系統(tǒng)結(jié)構(gòu)數(shù)字版權(quán)管理(DRM)數(shù)字媒體：技術(shù)對(duì)媒體的挑戰(zhàn)使用戶能夠更加方便而且完美地體驗(yàn)內(nèi)容成本的降低載體價(jià)值：可以逼近零成本復(fù)制成本：幾乎為零分發(fā)成本：邊際成本逼近零版權(quán)控制的挑戰(zhàn)：DRM數(shù)字版權(quán)管理(DRM)DRM原理使用技術(shù)手段，對(duì)數(shù)字產(chǎn)品在分發(fā)、傳輸和使用等各個(gè)環(huán)節(jié)進(jìn)行控制，使得數(shù)字產(chǎn)品只能被授權(quán)使用的人，按照授權(quán)的方式，在授權(quán)使用的期限內(nèi)使用。目前應(yīng)用領(lǐng)域電子書(shū)領(lǐng)域（標(biāo)準(zhǔn)OEBPS）移動(dòng)通訊領(lǐng)域（一般遵循OMA的DRM規(guī)范）多媒體領(lǐng)域（標(biāo)準(zhǔn):MPEGIPMP/DMP/AVSDRM）DRM的主要技術(shù)手段加密對(duì)多媒體的內(nèi)容進(jìn)行加密以防止非授權(quán)訪問(wèn)水印在媒體內(nèi)容中嵌入無(wú)法移除的“標(biāo)記”，以進(jìn)行內(nèi)容鑒別和追蹤指紋從媒體內(nèi)容中提取的唯一標(biāo)識(shí)，以進(jìn)行內(nèi)容鑒別和追蹤對(duì)同一媒體文件的不同變化具有唯一性，對(duì)不同媒體文件的具有強(qiáng)區(qū)分性。PlaintextEncryptionAlgorithmEncryption

KeyCyphertextDecryptionAlgorithmDecryption

KeyPlaintext101011101110111110Time101011101110111110電子商務(wù)結(jié)算內(nèi)容門戶P2P博客受控內(nèi)容傳播內(nèi)容注冊(cè)中心C1U1