（計算機軟件與理論專業(yè)論文）mpeg4技術(shù)研究及其在vod系統(tǒng)中的應(yīng)用.pdf

摘要 近年來，互聯(lián)網(wǎng)迅猛發(fā)展，網(wǎng)絡(luò)基礎(chǔ)設(shè)施得到極大發(fā)展，寬帶網(wǎng)絡(luò)用戶也隨 之迅速增長這些都為網(wǎng)絡(luò)流媒體應(yīng)用提供了強大的市場動力。另一方面，新一 代的音視頻壓縮標(biāo)準(zhǔn)m p e g 一4 不斷走向成熟，成為視頻應(yīng)用的不可或缺的個 基礎(chǔ)標(biāo)準(zhǔn)，它具有的高壓縮率、強交互能力和靈活分級能力，使之在網(wǎng)絡(luò)流媒體 特別是視頻點播中擁有廣闊的應(yīng)用前景。 本論文的研究工作是在前期分布式視頻點播系統(tǒng)研究的基礎(chǔ)上進行的主要 完成的工作包括： 1 對精細分級視頻編碼技術(shù)進行分析，并將其應(yīng)用到視頻點播系統(tǒng)中，使 得視頻點播系統(tǒng)具有良好的自適應(yīng)網(wǎng)絡(luò)帶寬調(diào)節(jié)服務(wù)質(zhì)量的能力，且可 以為擁有不同帶寬的用戶提供區(qū)分服務(wù)。 2 總結(jié)和比較了m p e g 一4 的r t p 封裝方案，并根據(jù)視頻點播系統(tǒng)的實際要 求，提出了改進的壓縮層封裝方案，提高了視頻傳輸對丟包的容錯能力， 簡化了音頻傳輸?shù)膹?fù)雜度，并最終成功地應(yīng)用到視頻點播系統(tǒng)中。 3 總結(jié)和比較了網(wǎng)絡(luò)流媒體傳輸?shù)牟铄e處理技術(shù)和擁塞控制技術(shù)，以及 m p e g 4 的差錯處理技術(shù)，結(jié)合視頻點播系統(tǒng)的實際應(yīng)用和精細分級視 頻編碼的特點，提出了一個完整的基于m p e g 4 精細分級視頻編碼的視 頻點播系統(tǒng)的q o s 機制，能夠?qū)毞旨壘幋a的基本層和增強層數(shù)據(jù)提 供較為完善的保護措施，并能有效地利用網(wǎng)絡(luò)帶寬和避免擁塞發(fā)生。 論文最后在以上理論研究基礎(chǔ)上，針對分布式視頻點播系統(tǒng)應(yīng)用，提出了 m p e g 4 視頻服務(wù)器系統(tǒng)結(jié)構(gòu)，完成了各模塊的軟件設(shè)計，實現(xiàn)了m p e g 一4 視頻 服務(wù)器。 關(guān)鍵字：視頻點播、m p e g 4 、精細分級編碼、r t p 、差錯處理、搠塞控制 a b s t r a c t r e c e n t l y , w i t h t h es i g n i f i c a n td e v e l o p m e n to f t h ei n t e r n e tt e c h n o l o g y ，a p r o f o u a d b r e a k t h r o u g hb r o a d b a n db a s e df a c i l i t i e sc o n s t r u c t i o na n dw i t hi n c r e a s i n gn u m b e ro f i n t e r a c t r i s e r s ，t h e i m p l i c a t i o n a n d d e v e l o p m e n to fv o d ( v i d e oo nd e m a n d ) t e c h n o l o g yh a sb e c o m ea v a i l a b l e m o r e o v e lan e w l ym p e g 一4h a sb e c o m em a t a r e a n dan e c e s s a r yb a s i cs t a n d a r df o rt h ei m p l i c a t i o no f s t r e a m i n gm e d i a w i t ht h eh i g h c o m p r e s sr a t e ，h i g hm u t u a la b i l i t ya n df l e x i b l es c a l a b l ea b i l i t y ；m p e g 一4h a sab r i g h t f u t u r ef o ru s ei ns t r e a m i n gm e d i a t h er e s e a r c ho f t h i st h e s i si sb a s e do np r e l i m i n a r yd i s t r i b u t ev o d s y s t e ma n d i t s m a i nw o r ki n c l t a d e ： 1 t h ea n a l y s i sf o rf g s ( f i n eg r a n u l a r i t ys c a l a b i l i r y ) a n di t s i m p l i c a t i o nt o v o ds y s t e m ，t h ev o d s y s t e mh a sa ne x c e l l e n t a b i l i t y f o ra d a p t i n gt h e n e t w o r kb r o a d b a n da n d a d j u s ti t ss e r v i c eq u a l i t y , s oi tc a np r o v i d ed i s t i n g u i s h s e r v i c ef o rc u s t o m e r sw h oo w nd i f i e r e n tb a n d w i d t h 2 m a k eac o n c l u s i o na n dc o m p a r i s o nf o rr t po v e rm p e g 4 ，w i t hc a nc h o o s e t h eb e s ts c h e m ea n dm a k eac e r t a i ni m p r o v e m e n ta n ds i m p l i f i c a t i o no ft h e s c h e m e ，a n db es u c c e s s f u l l yi m p l i e dt ot h ev o d s y s t e m ，a c c o r d i n gt o t h e r e q u i r e m e n to fv o d 3 m a k eac o n c l u s i o na n dc o m p a r i s o nb e t w e e nt h ee r r o rc o n t r o lt e c h n o l o g yo f s t r e a m i n gm e d i a sn e t w o r kt r a n s m i s s i o na n dt h a to fm p e g 4 a l s om a k ea c o n c l u s i o na n dc o m p a r i s o nf o rt h ec o n g e s t i o nc o n t r o lt e c h n o l o g yo f m p e g - 4 c o n s i d e r i n gt h ep r a c t i c a lu s eo fv o d s y s t e ma n dt h ec h a r a c t e r i s t i c so f f g s i tp r o p o s e saw h o l eq o ss c h e m eb a s e do nt h em p e g 4v o d s y s t e m a tl a s t ，b a s e do nt h e o r yr e s e a r c ha b o v e a i m e da td i s t r i b u t ev i d e oo nd e m a n d a p p l i c a t i o n ，t h et h e s i sr e a l i z e st h em p e g 一4v i d e os e r v e r ss y s t e ms t r u c t u r e ，f i n i s ht h e s o f t w a r em o d u l ed e s i g n k e yw o r d s ：v i d e oo ud e m a n d ，m p e g 一4 ，f i n eg r a n u l a r i t ys c a l a b i l i t y 。r e a l t i m e t r a n s p o ap r o t o c o l ，e r r o rc o n t r o l ，c o n g e s t i o nc o n t r o l 西北工業(yè)大學(xué)顧士學(xué)位論文：m p e g - 4 技術(shù)研究及其在v o d 系統(tǒng)中的應(yīng)用 1 1 研究背景 第一章緒論 電視以其及時、直觀、形象生動、單位時問信息量大等特點，成為備受歡迎 的第一大媒體，同時，電視作為家庭娛樂的主要手段，在家庭生活中具有不可替 代的作用。但傳統(tǒng)的電視系統(tǒng)是單向廣播式的，人們只能被動地按時收看節(jié)目。 隨著互聯(lián)網(wǎng)和w e b 技術(shù)的發(fā)展，人們可以主動、及時地從互聯(lián)網(wǎng)上獲得所需要 的信息，包括多媒體信息，互聯(lián)網(wǎng)逐漸發(fā)展成為繼電視之后覆蓋面最大的一個新 興媒體。但受網(wǎng)絡(luò)結(jié)構(gòu)、網(wǎng)絡(luò)帶寬等因素的制約，人們獲取的多媒體信息目前也 主要是文字、圖片等靜態(tài)信息。人們迫切需要能夠像獲取文字圖片信息一樣，從 網(wǎng)絡(luò)上隨時、主動獲得自己所需的動態(tài)圖像信息，觀看視頻節(jié)目，視頻點播( v i d e o o nd e m a n d ，v o d ) 技術(shù)應(yīng)運而生，國內(nèi)外相繼推出一些視頻點播系統(tǒng)，但目前現(xiàn) 有的視頻點播系統(tǒng)面臨著造價高、節(jié)目存儲容量及覆蓋面小等眾多問題，網(wǎng)絡(luò)視 頻服務(wù)應(yīng)用一直難以真f 發(fā)展起來。 課題組經(jīng)過深入而廣泛的研究，提出了一種由節(jié)目中心、點播中心及代理服 務(wù)器構(gòu)成的分布式視頻點播系統(tǒng)模型【l 】，以便可以有效的在大范圍內(nèi)部署。根據(jù) 本分布式視頻點播系統(tǒng)模型，2 0 0 2 年底課題組完成了系統(tǒng)結(jié)構(gòu)設(shè)計【2 1 ，編程實現(xiàn) 了一個跨l i n u x w i n d o w s 平臺的基本原型系統(tǒng)，取得了階段性成果。本論文的研 究主要集中在結(jié)合音視頻壓縮標(biāo)準(zhǔn)m p e g 4 對原型系統(tǒng)進行進一步的擴充和優(yōu) 化。 1 。1 。1 新的市場需求與網(wǎng)絡(luò)基礎(chǔ) i n t e m e t 的迅猛發(fā)展和普及，為網(wǎng)上視頻、音頻業(yè)務(wù)的發(fā)展提供了強大的市 場動力，在不久的將來，這些技術(shù)將廣泛地用于互聯(lián)網(wǎng)多媒體新聞發(fā)布、在線直 播、網(wǎng)絡(luò)廣告、電子商務(wù)、視頻點播、遠程教育、遠程醫(yī)療、網(wǎng)絡(luò)電臺、視頻會 議等網(wǎng)絡(luò)服務(wù)的方方面面，為網(wǎng)絡(luò)應(yīng)用帶來革命性的變化，對人們的工作和生活 產(chǎn)生深遠的影響。網(wǎng)絡(luò)視頻應(yīng)用具有的良好市場前景和應(yīng)用前景，主要體現(xiàn)在以 下幾個方面： 1 ) 互連網(wǎng)用戶快速增長及對視頻服務(wù)的迫切需求 兩北丁業(yè)大學(xué)鋇l j 學(xué)位論文：m p e g 一4 控術(shù) i j f 究殷奠曲iv o d 系統(tǒng)中的應(yīng)用 近幾年中國互聯(lián)網(wǎng)業(yè)飛速發(fā)展，中國互聯(lián)網(wǎng)絡(luò)信息中心( c n n i c ) 2 0 0 4 年 1 月發(fā)布的第1 3 次“中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告”顯示1 3 j ：截止到2 0 0 3 年 1 2 月3 l 同，大陸地區(qū)的網(wǎng)民數(shù)最低已經(jīng)達到了7 9 5 0 萬，比去年同期增長3 4 5 。 其中寬帶上網(wǎng)數(shù)己達到了4 9 5 2 萬，比去年同期增長1 6 3 。 這些統(tǒng)計調(diào)查資料顯示，視頻服務(wù)技術(shù)擁有廣大的客戶群體，并且在快速的 增長，為視頻服務(wù)技術(shù)的發(fā)展和市場f i 仃景奠定了堅實的基礎(chǔ)。 2 ) 專用視頻服務(wù)需求日益增長 不僅普通用戶需求不斷增大，行業(yè)用戶需求也日益增長，目前很多單位已經(jīng) 部署了這樣的服務(wù)，例如c c t v 采用r e a t n e t w o r k s 公司的視頻服務(wù)技術(shù)實現(xiàn)了 視聽在線；湖南衛(wèi)視采用n c u b e 公司的點播系統(tǒng)實現(xiàn)了視頻點播服務(wù)；北京郵 電大學(xué)采用c i s c o 公司的i p t v 系統(tǒng)實現(xiàn)了遠程教育。此外，視頻服務(wù)技術(shù)還將 在遠程監(jiān)控、電子商務(wù)等領(lǐng)域廣泛應(yīng)用。 3 ) 國內(nèi)寬帶網(wǎng)的發(fā)展為視頻服務(wù)技術(shù)的應(yīng)用提供了良好的平臺 近年，國內(nèi)寬帶網(wǎng)絡(luò)發(fā)展迅速，國家對信息基礎(chǔ)設(shè)施的建設(shè)不斷加大力度。 據(jù)c n n i c 2 0 0 4 年1 月發(fā)布的“中國互聯(lián)網(wǎng)絡(luò)帶寬調(diào)查2 0 0 3 年第4 季度調(diào)查結(jié) 果”顯示，截至到2 0 0 3 年1 2 月3 1 日為至，中國網(wǎng)通互聯(lián)網(wǎng)、中國公眾互聯(lián) 網(wǎng)、中國聯(lián)通互聯(lián)網(wǎng)之間以及這些網(wǎng)絡(luò)運營商與國內(nèi)各主要城市北京、上海、廣 州之間的網(wǎng)絡(luò)帶寬均達到至少1 g b i t s 。電信、網(wǎng)通、廣電等的全國骨干網(wǎng)絡(luò)普 遍采用d w d m 技術(shù)，帶寬達到4 0 g 4 1 b ( 上。電信、網(wǎng)通、廣電等的省干網(wǎng)普遍 采用s d h 技術(shù)，并逐漸向d w d m 發(fā)展，帶寬已達到2 5 g 以上。在城域網(wǎng)方面， 電信、網(wǎng)通、廣電等在許多大城市都部署了2 5 gs d h 傳輸平臺和千兆網(wǎng)交換平 臺。目前，在接入網(wǎng)方面，新建的住宅小區(qū)都普遍建立了l o o m l 0 0 0 m 交換網(wǎng)， 許多原有住宅小區(qū)也在建設(shè)1 0 0 m 1 0 0 0 m 以太網(wǎng)，或進行h f c 雙向改造。寬帶 網(wǎng)絡(luò)建設(shè)不僅為視頻服務(wù)應(yīng)用提供了網(wǎng)絡(luò)基礎(chǔ)平臺，同時也將為視頻服務(wù)技術(shù)提 供更廣闊的市場。從網(wǎng)絡(luò)使用情況可以看出，目前僅限于普通上網(wǎng)，如何在這一 過程中挖掘新的增值服務(wù)，尋找利潤增長點，已成為寬帶發(fā)展的首要問題，形象、 具體、生動的視頻服務(wù)無疑將是首選。 1 1 2m p e q - 4 技術(shù) m p e g 是活動圖像專家組( m o v i n gp i c t u r ee x p e r tg r o u p ) 的簡寫，它是 兩北丁業(yè)凡學(xué)壩l 學(xué)位論立：m p e g ，4 投術(shù)圳究駛其在v o d 系統(tǒng)中的肫用 i s o i e c 于1 9 8 8 年聯(lián)合成立的，致力于運動圖像及其伴音編碼標(biāo)準(zhǔn)化工作，包 括m p e g 系統(tǒng)、m p e g 視頻及m p e g 音頻。該專家組已經(jīng)制訂了m p e g 1 、 m p e g - 2 、m p e g 4 的標(biāo)準(zhǔn)，正在制訂m p e g 7 和m p e g 2 1 的標(biāo)準(zhǔn)，各個標(biāo)準(zhǔn) 保證向下兼容，規(guī)定了位流語法和解碼過程。在m p e g 的系列標(biāo)準(zhǔn)中，m p e g 1 、 m p e g - 2 都是很成熟的技術(shù)，具有廣泛的應(yīng)用：m p e g 7 、m p e g 一2 i 尚處在標(biāo)準(zhǔn) 制定階段，尚不具備實用的能力；m p e g 一4 已經(jīng)完成了標(biāo)準(zhǔn)的制訂，已經(jīng)有一定 的應(yīng)用但不是很成熟，其標(biāo)準(zhǔn)還在不斷的升級當(dāng)中。下面簡要介紹一下m p e g 一4 技術(shù)。 1 ) m p e g 一4 的相關(guān)標(biāo)準(zhǔn) 5 1 表1 一lm p e g 4 系列標(biāo)準(zhǔn) 1 4 4 9 6 - l系統(tǒng)流 1 4 4 9 6 2 視頻編碼 1 4 4 9 6 3 音頻編碼 1 4 4 9 6 - 4校驗?zāi)Ｐ?1 4 4 9 6 - 5 參考軟件 1 4 4 9 6 6i n i f ( 傳輸媒體集成框架) | 1 4 4 9 6 7優(yōu)化視頻編碼 1 4 4 9 6 8 如何將m p e g 一4 流映射到i p 傳輸上 1 4 4 9 6 - 9 硬件描述參考 1 4 4 9 6 - l oa v c ( 先進視頻編碼) 1 4 4 9 6 - 11b i f s ( 場景描述，從p a r t l 中分離出來) 1 4 4 9 6 一1 2i s o 媒體文件格式 1 4 4 9 6 1 3i p m p ( 屬性智能管理和保護) 擴展 1 4 4 9 6 一1 4m p 4 文件格式 1 4 4 9 6 一l ja v c 文件格式 1 4 4 9 6 - 1 6a f x ( 動畫框架擴展) 1 4 4 9 6 - 1 7流化文本格式 1 4 4 9 6 一1 8 字體的壓縮和流化 ( 部分標(biāo)準(zhǔn)891 11 3 1 5 1 71 8 f 在制定當(dāng)中) 兩北1 _ = 業(yè)大學(xué)顧i j 學(xué)位論文；m p e g 4 技術(shù)研究駛r - j iv o d 系統(tǒng)中的庸用 2 ) m p e g 一4 是基于對象的標(biāo)準(zhǔn) 8 i m p e g 4 是一個用于自然及人工合成的音頻、視頻信息編碼的標(biāo)準(zhǔn)。作為全 新的標(biāo)準(zhǔn)，它具有高效壓縮、基于內(nèi)容交互( 操作、編輯、訪問等) 以及基于內(nèi) 容分級擴展等特點。它與其他標(biāo)準(zhǔn)的最大區(qū)別在于m p e g 一4 是一個基于對象的 標(biāo)準(zhǔn)。在已往的視頻編碼標(biāo)準(zhǔn)罩，比如m p e g 1 2 ，將運動視頻、圖像、文本組 合到一個象素平面，并編碼成運動視頻象素，在客戶端，直接進行解碼操作。它 是一個靜態(tài)的表現(xiàn)手段，你可以增加圖形和文本元素到一個最終的表現(xiàn)上，但是 你不能夠刪除它。m p e g 4 是動態(tài)的，不同的對象可以單獨編碼，而不是都當(dāng)成 運動視頻的象素，并通過自有的基本流傳輸?shù)浇獯a端，合成發(fā)生在解碼之后而不 是在編碼耵。為了能夠達到合成的目的，m p e g 一4 包括一個特殊的場景描述語言 ( b i n a r yf o r m a tf o rs c e n ed e s c r i p t i o n ，b i f s ) 。b i f s 不僅能夠描述對象在什么時候什 么位置顯示在場景罩，也可以描述操作，描述條件行為。對象可以是一個矩形幀 ( 與原來的標(biāo)準(zhǔn)兼容) ，也可以是場景中的某一個物體或者某一個層面，也可以 是計算機產(chǎn)生的二維、三維圖形等等：對象可以對應(yīng)事件，這就帶來了m p e g 4 的交互能力。 3 ) m p e g - 4 的兼容i - z t 5 1 8 1 m p e g 4 是個動態(tài)的標(biāo)準(zhǔn)，版本1 在9 8 年1 0 月、版本2 在9 9 年1 2 月完 成，工作還在繼續(xù)，標(biāo)準(zhǔn)的改變向后兼容。 m p e g 4 是一個工具箱，包含了大量的工具，在一個給定的應(yīng)用早不是所有 的工具都有用。為了細分市場需求，m p e g 4 定義了框架( p r o f i l e s ) ，它是工具 的簡單組合?？蚣苷钟泻芏嗉? 1 e v e l ) ，它提供了一種限制計算復(fù)雜度的方法， 通過指定位速率，場景中的最大對象數(shù)，音頻解碼的復(fù)雜單元等。對于不同的應(yīng) 用可以選擇不同的框架和級。m p e g 4 提出的一個新的視頻編碼，就是i s o i e c 和i t u 的v c e g 合作的h 2 6 4 ，這個標(biāo)準(zhǔn)在2 0 0 3 年底準(zhǔn)備好，是m p e g 4 的最 近擴展，適合m p e o 4 體系，可以利用m p e g 4 文件格式，可以和其他m p e g - 4 的標(biāo)準(zhǔn)組合，但它不會替代m p e g 4 的第二部分視頻標(biāo)準(zhǔn)，因為m p e g 4s i m p l e v i s u a l 保持了一個很好的復(fù)雜度和性能的協(xié)調(diào)結(jié)果，己經(jīng)得到了很好的應(yīng)用。 兩北t 業(yè)人學(xué)順卜學(xué)位論義： m p e g - 4 技術(shù) ! j | = 究駛兒托v o d 系統(tǒng)中的贏用 比 ( s it r a t e ) m p e g - 4 進展 。o 、 m p；g _ 4 s i m p l e s i m p l e a v c h2 6 4 1 9 9 82 0 0 02 0 0 3 圖1 一l m p e g 4 的發(fā)展 4 ) m p e g - 4 系統(tǒng)流 6 】 m p e g 4 國際標(biāo)準(zhǔn)系統(tǒng)流定義了表示場景信息的碼流的語法和語義，并包括 它們的解碼過程。m p e g 4 系統(tǒng)流中給出了以下一些工具和定義： 定時和緩沖管理的終端模型； 交互的視聽場景描述信息的編碼表示( b i f s ) ： 用于基本流辨認、描述的元數(shù)據(jù)的編碼表示： 視聽內(nèi)容的描述信息的編碼表示( o c i ) ： 屬性的智能管理和保護( i p m p ) ； 同步信息的編碼表示； 各個基本碼流在一個復(fù)合流中的表示( f l e x m u x ) ； 5 ) m p e g 一4 視頻流川7 】 m p e g 4 視頻流中包括以下幾種數(shù)據(jù)：視頻數(shù)據(jù)、靜態(tài)紋理數(shù)據(jù)、二維網(wǎng)格 數(shù)據(jù)和人臉活動參數(shù)數(shù)據(jù)。這些結(jié)構(gòu)化的數(shù)據(jù)稱為對象對象和它們的屬性按分 層形式組織，以便支持碼流的可擴展性和對象的可擴展性。特別的，m p e g 4 視 頻部分的修正稿2 ( a m d2 ) 在2 0 0 2 年定稿。提出了流視頻框架( s t r e a m i n g v i d e o p r o f i l e ) ，其主要內(nèi)容就是精細分級編碼( f i n eg r a n u l a r i t ys c a l a b i l i t y , f g s ) ，這是 第一個針對互聯(lián)網(wǎng)流媒體的視頻編碼標(biāo)準(zhǔn)。最新的m p e g 4 視頻編碼算法是 h 2 6 4 。m p e g 4 視頻流的邏輯結(jié)構(gòu)如圖1 2 所示： 兩北t 業(yè)人學(xué)i i i | i 學(xué)位論義： m p e g 4 技術(shù)j 【 j f 究駛其確：v o d 系統(tǒng)中的麻用 視覺對象 序列頭 視覺對象 1 頭 視覺對象1 視覺對象層 l 頭 基本流視覺 對象i 層i 霉簿：一黼戮 ：視覺對象層l i 一搿? ? ，- ! 莖jl 墮斗融畫 圖1 2m p e g - 4 視頻流的邏輯結(jié)構(gòu) 6 ) m p e g - 4 音頻流【3 】 m p e g 4 音頻不是針對單應(yīng)用的，m p e g 一4 音頻是可以應(yīng)用到所有需要使 用先進的語言壓縮、合成、控制和回放等應(yīng)用領(lǐng)域的標(biāo)準(zhǔn)。m p e o - 4 音頻中有許 多領(lǐng)域的編碼工具，但是m p e g 4 音頻不只是這些部分的總和。這里描述的工 具和m p e g - 4 標(biāo)準(zhǔn)的其余部分結(jié)合起來，可以實現(xiàn)基于對象的音頻編碼、交互 式表示和動態(tài)音頻跟蹤等。 7 ) m p e g 一4 研究 對于m p e g 4 的研究研究的熱點主要集中在編碼算法、檢索算法、網(wǎng)絡(luò)傳輸、 硬件實現(xiàn)等。 編碼方面的研究主要有高效音視頻媒體的壓縮、多媒體的自擴展和魯棒編 碼、編碼對錯誤隱藏的支持、針對無線應(yīng)用的編碼和針對互聯(lián)網(wǎng)應(yīng)用的編碼等方 面。 檢索算法分為兩方面：一是視頻內(nèi)容的分析和表征：重點是探索更先進的數(shù) 字視頻技術(shù)，使用戶最終能夠方便地管理、檢索、傳輸和欣賞視頻信息。二是音 頻內(nèi)容的分析：重點在于音頻數(shù)據(jù)信號處理和模式識別及其在音頻數(shù)據(jù)的語義分 類、數(shù)據(jù)流分割和內(nèi)容檢索中的應(yīng)用。同時視頻對象分割分析與合并技術(shù)電不是 很成熟，它成為m p e g 一4 的交互式應(yīng)用的瓶頸問題。 傳輸方面，應(yīng)用程序和網(wǎng)絡(luò)或者存儲設(shè)備間的接口d m i f 已經(jīng)在標(biāo)準(zhǔn)的第六 部分定義了，但是如何將m p e o 一4 流映射到i p 傳輸上還沒有形成標(biāo)準(zhǔn)，將成為 標(biāo)準(zhǔn)的第八部分。 1 1 3v o d 系統(tǒng)研究現(xiàn)狀及存在問題 目前課題組已經(jīng)基本實現(xiàn)了分布式視頻點播系統(tǒng)，但是目前系統(tǒng)所支持的媒 啊北t 業(yè)人學(xué)壩1 學(xué)位論文：m p e g 4 挫術(shù)研究及j c 扯v o d 系統(tǒng)中的j 嶇用 體格式單一，只支持m p e g 一1 ，且對i p 網(wǎng)的傳輸沒有提供q o s 機制，不能對異 質(zhì)網(wǎng)絡(luò)提供區(qū)分服務(wù)：m p e g 一4 作為一種新興的視頻壓縮標(biāo)準(zhǔn)，具備了壓縮率高、 適合不同速率的各種網(wǎng)絡(luò)傳輸、互操作性強的優(yōu)點，有著廣闊的應(yīng)用前景，所以 有必要對分布式視頻點播系統(tǒng)提供m p e g 一4 和相關(guān)的q o s 支持。 1 2 研究內(nèi)容及論文組織 本論文的研究工作是在分布式v o d 系統(tǒng)原型的基礎(chǔ)上進行的，重點是為系 統(tǒng)提供自適應(yīng)流能力、m p e g 一4 支持和q o s 保障機制，具體內(nèi)容如下： 1 ) 比較傳統(tǒng)的分級編碼和精細分級編碼，論證精細分級編碼滿足v o d 系統(tǒng) 的自適應(yīng)網(wǎng)絡(luò)帶寬調(diào)節(jié)服務(wù)質(zhì)量的需求。 2 ) 結(jié)合m p e g 4 的體系結(jié)構(gòu)，深入的研究m p e g 4 的r t p 封裝技術(shù)，提出 改進的壓縮層封裝方案，提高了視頻傳輸對丟包的容錯能力，簡化了音 頻傳輸?shù)膹?fù)雜度。 3 ) 對傳輸?shù)膓 o s 問題差錯處理和擁塞控制技術(shù)進行深入研究，針對f g s 的特點和v o d 的需要，提出一個完善的q o s 機制，能夠?qū) g s 的基本 層和增強層數(shù)據(jù)提供區(qū)分的且較為完善的保護措施，并能有效地利用網(wǎng) 絡(luò)帶寬且避免擁塞發(fā)生。 本論文的章節(jié)安排如下： 第一章主要介紹了研究背景、目的和意義，研究領(lǐng)域的發(fā)展現(xiàn)狀及存在的問 題，由此引出具體的研究內(nèi)容。 第二章是對精細分級編碼的研究。 第三章是對m p e g 4 的r t p 封裝技術(shù)的研究。 第四章是對傳輸?shù)膓 o s 問題一差錯處理和擁塞控制的研究。 第五章是服務(wù)器應(yīng)用軟件的優(yōu)化設(shè)計。 兩北t 業(yè)人學(xué)順j 學(xué)位論文：m p e g 4 技術(shù)研究及絲桕：v o d 系統(tǒng)中的心用 第二章精細分級編碼 傳統(tǒng)的視頻編碼方式都是針對一個特定的比特率優(yōu)化的一些編碼方式，比如 m p e g 一1 1 2 、h 2 6 1 h 2 6 3 等編碼方式。在這種編碼方式中有兩個基本的假設(shè)：一 是編碼的時候知道通道的能力，也就是沈知道應(yīng)該針對那個特定的比特率來壓縮 編碼視頻數(shù)據(jù)；二是解碼器能夠以足夠快的速度全部接收通道中的數(shù)據(jù)并及時解 碼。對于傳統(tǒng)的視頻應(yīng)用，比如本地存儲文件播放，這兩個假設(shè)都是滿足的。但 是在網(wǎng)絡(luò)流媒體應(yīng)用中，這兩個假設(shè)受到了一定的挑戰(zhàn)，首先，在編碼的時候我 們不能總是預(yù)知網(wǎng)絡(luò)通道能力特別是互聯(lián)網(wǎng)網(wǎng)絡(luò)帶寬，因為網(wǎng)絡(luò)帶寬依賴于網(wǎng)絡(luò) 的接入方式和任意時刻的瞬時網(wǎng)絡(luò)負載，網(wǎng)絡(luò)接入方式的差異性和網(wǎng)絡(luò)負載的不 確定性導(dǎo)致了網(wǎng)絡(luò)通道帶寬的不可預(yù)知性；另外解碼器一般要和別的進程競爭資 源，可能無法保證數(shù)據(jù)接收和解碼的及時性?？傊?，在基于互聯(lián)網(wǎng)的流媒體應(yīng)用 罩，網(wǎng)絡(luò)帶寬時刻變化，視頻的編碼應(yīng)該針對一定范圍的比特率作出優(yōu)化而非僅 針對一個特定的比特率。m p e g 4 的精細分級編碼( f i n eg r a n u l a r i t y s c a l a b i l i t y ，f g s ) 就是針對流媒體應(yīng)用而引入的一種編碼方式。 2 1 傳統(tǒng)的分級編碼即【1 2 】【1 3 】 在f g s 提出之前，視頻壓縮編碼領(lǐng)域已經(jīng)有若干分級編碼方式，主要有信噪 比( s i g n a lt on o i s er a t i o ，s n r ) 分級編碼、空域分級編碼和時域分級編碼。下面 先對這些編碼方式作一個簡要的介紹。 2 1 1s n r 分級編碼 s n r 分絨編碼的基本思想是將視頻壓縮成兩層：基本層和增強層。這兩層具 有相同的幀率和相同的空問分辨率，但是具有不同的量化精度。 在編碼的時候，s n r 分級編碼的編碼器在對離散余弦變換( d i s c r e t ec o s i n e t r a n s f o r m ，d c t ) 系數(shù)進行量化的時候，先采用量化級較大的矩陣，得到s n r 較 低的基本層數(shù)據(jù)。對于增強層則有兩種方法：一種是將基本層數(shù)據(jù)的量化誤差用 一個量化級較小的量化矩陣進行量化，把第二次量化的結(jié)果作為增強層數(shù)據(jù)；另 一種方法是將解碼圖像與原始圖像的差值再進行d c t 變換并用量化級數(shù)小的 量化矩陣進行量化。 兩北t 業(yè)大學(xué)碗一i 。學(xué)位論文：m p e g - 4 技術(shù)研究及其在v o d 系統(tǒng)中的應(yīng)用 圖2 1s n r 分級解碼 2 1 2 時域分級編碼 時域分級編碼是將視頻編碼成具有相同的空日j 分辨率但具有不同幀率的兩 層。 基本層提供相對低的幀率，增強層提供為形成較高幀率而應(yīng)該在基本層基礎(chǔ) 上增加的幀。在基本層里，采用的是i 幀和p 幀編碼方式，而在增強層里采用的 是基于基本層i 幀的p 幀編碼、基于基本層p 幀的b 幀編碼和基于增強層的p 幀。 增強屢 疆本崖 圖2 - - 2 時域分級編碼 2 1 3 空域分級編碼 空域分級編碼是將視頻編碼成具有相同的幀率但是具有不同的空瀏分辨率 的兩層。 基本層編碼成較低的空唰分辨率。增強層編碼的是高空間分辨率圖像和低分 西北t 業(yè)人學(xué)碗 學(xué)位論文：m p e g 一4 技術(shù)研究及其往v o d 系統(tǒng)中的應(yīng)用 辨率圖像之間的差值?？臻g分布編碼先在原始圖像中用下采樣的方法得到一幀較 低空倒分辨率的圖像，并將其編碼成基本層幀；然后從原始圖像上減去經(jīng)過內(nèi)插 值的基本層圖像得到差值圖像，對此差值圖像編碼就得到了增強層。 增強層捶莩弼 稅鹱 圖2 3 空域分級解碼 以上分級編碼方式都是將視頻編碼成針對不同比特率的兩層，基本層針對于 一個相對較低比特率編碼，增強層在基本層的基礎(chǔ)上針對于一個較高比特率編 碼。當(dāng)網(wǎng)絡(luò)帶寬較低的情況下，解碼器只是接收和解碼基本層數(shù)據(jù)，得到較低質(zhì) 量的視頻數(shù)據(jù)，當(dāng)網(wǎng)絡(luò)帶寬較高的情況下，解碼器同時接收和解碼基本層數(shù)據(jù)和 增強層數(shù)據(jù)，通過復(fù)合基本層和增強層數(shù)據(jù)得到較高質(zhì)量的視頻數(shù)據(jù)。 這些分級編碼有一個共同的缺點就是：只有當(dāng)增強層被完全傳輸、接收、解 碼的情況下，增強層才能提供增強效果。這個缺點就導(dǎo)致了在較寬的帶寬中這些 分級編碼只有兩級階梯狀的視頻效果，如圖2 4 所示，所以這些傳統(tǒng)的分紱編 碼并不適合于自適應(yīng)的網(wǎng)絡(luò)帶寬提供不同視頻效果的流媒體應(yīng)用。 兩北t 業(yè)人學(xué)碳 ：學(xué)位論文；m p e g 4 技術(shù)研究及奠掃v o d 系統(tǒng)中的麻用 質(zhì)量 l 一一 精細分級編碼7 7 7 j 朱分級的視頻編碼 j j 分培分繳編碼f ，? ，tf 低通道比特率高 圖2 4 各分級編碼的分級能力 2 。2f g s 編碼方式 m p e g 一4 提出一種全新的針對于網(wǎng)絡(luò)流媒體應(yīng)用的視頻壓縮編碼方式 f g s 。這種壓縮編碼方式可以根據(jù)網(wǎng)絡(luò)帶寬提供精細分級的視頻效果( 如圖2 4 所示) 。有三種技術(shù)被提交用于實現(xiàn)f g s 編碼，分別是：基于d c t 系數(shù)的位平 面編碼、圖像的小波編碼、圖像的匹配追擊編碼。最終基于d c t 系數(shù)的位平面 編碼因為它的編碼效率較高而且實現(xiàn)比較簡單而被選用2 坦j 。 2 2 。1 位平面編碼 幢1 在傳統(tǒng)的d c t 編碼里，量化后的d c t 系數(shù)用行程編碼方法進行編碼。位平 面編碼方法和傳統(tǒng)的行程編碼法之間的最大區(qū)別是位平面編碼方法將量化后的 d c t 系數(shù)看成是幾個位的二進制數(shù)而不是一個有確切值的十進制數(shù)。對于每個8 8 的d c t 塊，6 4 個絕對值通過z 形順序安排到一個隊列罩。每個值的相同的 二進制位組成一個位平面。對于每個位平面，使用符號( r u n ，e o p ) 來表示， r u n 表示的是在個1 之前的連續(xù)0 的數(shù)量，e o p 表示的是在這個位平面上的 后續(xù)位是否還有1 ，e o p 置為l 則表示后續(xù)位全為0 。如果一個位平面僅包臺0 的話，則用一個特殊的符號a l l z e r o 來表示。 舉個例子，假如量化后的d c t 系數(shù)按z 形排列后的絕對值是： 阿北t 業(yè)火學(xué)塒i 學(xué)位論文：m p e g 4 技術(shù)研究及算積二v o d 系統(tǒng)中的j 、v 用 1 0 ，0 ，6 ，0 ，0 ，3 ，0 ，2 ，2 ，0 ，0 ，2 ，0 ，0 ，1 ，o o ，o 可以看出在這個塊的d c t 系數(shù)的最大值是1 0 ，用二進制表示是1 0 1 0 ，共用 了4 個二進制位，所有這個塊應(yīng)該有四個位平面。這四個位平面如下： l ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 。，0 ，0 ( m s b ) 0 ，0 ，1 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 0 ，0 ( m s b - 1 1 1 ，0 ，l ，o ，o ，1 ，0 ，l ，1 ，0 ，0 ，1 ，0 ，0 ，0 ，0 。0 ，0 ( m s b 一2 1 0 ，0 ，0 ，0 ，0 ，l ，0 ，0 ，0 ，0 ，0 ，0 r 0 ，0 ，1 ，0 。0 ，0 ( m s b - 3 ) 將這四個位平面用符號表示的話，就是 ( 0 ，1 )( m s b ) (2，1)(msb-1) ( o ，o ) ，( 1 ，o ) ，( 2 ，o ) ，( 1 ，o ) ，( o ，0 ) ，( 2 ，1 )( m s b 一2 ) ( 5 ，o ) ，( 8 ，1 )( m s b 一3 ) 通過將絕對值的不同二進制位組成多個位平面可以達到精細分級編碼的效 果。當(dāng)網(wǎng)絡(luò)帶寬不足的時候截除去一定的位平面，其余的位平面仍然可以解碼以 達到相對應(yīng)的視頻視覺效果。 2 2 2 基于位平面編碼的f g 8 掄j w e i p i n g l i 提出了基于位平面編碼的f g s ，并在文【1 2 1 中作了詳細介紹。 其基本思想就是將視頻編碼成一個基本層和一個增強層，其中基本層采用傳統(tǒng)的 編碼方式編碼，增強層將原始圖像和重構(gòu)圖像之間的差異采用基于d c t 系數(shù)的 位平面編碼方式柬編碼。其定義的編碼器和解碼器結(jié)構(gòu)如圖2 5 和2 - 6 所示。 西北t 業(yè)人學(xué)頌 學(xué)位論立： m p e g 4 技術(shù)研究及乓柚v o d 系統(tǒng)中的心用 圖2 - - 5 w e i p i n g l i 的f g s 編碼器 證漾 圖2 6 w e i p i n g l i 的f g s 解碼器 w e i p i n gl i 的f g s 編碼算法的幾個細節(jié)如下： i )不同的色彩空間有不周數(shù)量的位平面。所以在f g s 編碼圖上，有一 個功能“f i n d m a x i m u m ”用以發(fā)現(xiàn)在這個幀里的位平面的最大數(shù)目。 m p e g ，4 里有個語法值m a x i m u ml e v e ly ，m a x i m u m e v e tu ， m a x i m u ml e v e lv 被編碼到幀的頭部來指出這個幀的y 、u 、v 成份 的最大位平面數(shù)。 2 ) 對每個位平面采用了行程編碼。圖2 5 的“b i t p l a n ev l c ”和圖2 - 6 的“b i t p l a n e v l d ”執(zhí)行( r u n ，e o p ) 符號的編碼和解碼。四個v l c 兩北丁業(yè)凡學(xué)頌卜學(xué)位論義： m p e g - 4 技術(shù)研究及 祚v o d 系統(tǒng)中的j 札用 表和m s bm s b lm s b 2m s b 3 相聯(lián)系。一個重要的觀點就是在v l c 表早使用的m s b 平面部是基于一個塊定義的，每個v l c 表最大捌有 1 2 8 個符號。并不是每一個塊都有相同數(shù)目的位平面，每個單獨塊的 m s b 平面都是一個非全0 的位平面。統(tǒng)計表明，在一個符號早r o a n 值很大的可能性很小，一種e s c a p e 編碼在每一個v l c 表中使用來 表明一個r u n 值很大的符號。在e s c a p e 編碼后，6 位用來編碼r u n ， 1 位用來編碼e o p 。 3 )關(guān)于被截除的比特流的解碼。在一個典型的f g s 應(yīng)用里，一個f g s 解碼器的輸入的比特流是一個被部分截除的f g s 編碼器輸出的比特 流。這就是晚，在兩個f g s 幀丌始碼之間，只有一部分的f g s 幀的 比特被輸入到解碼囂早。解碼一個被截除的比特流在m p e g 4 早并沒 有成為標(biāo)準(zhǔn)。一個可能的方法是在比特流的每個字節(jié)對齊位罱判斷其 3 2 位是否是f g s _ v o p s t a r tc o d e ，如果找到了f g s _ v o p s t a r tc o d e 標(biāo)志， 解碼器就完全解碼在這標(biāo)志之前的比特流或者拋棄這些比特流，如果 沒有找到這個標(biāo)志的話，這個3 2 位的前8 位被當(dāng)成f g s 幀的信息位 被解碼，解碼器繼續(xù)按字節(jié)滑動比特流指針來尋找f g s _ v o ps t a r t _ c o d e 標(biāo)志。 由于位平面編碼技術(shù)提供了一個嵌入式碼流和精細分級的能力，從而使得 f g s 增強層的碼流可以在任何碼率下解碼，而且f g s 的增強層只是針對于基本 層編碼的增強層幀的丟失不會引起錯誤漂移問題。因此f g s 視頻編碼技術(shù)可 以實現(xiàn)在一個較寬的碼率范圍內(nèi)根據(jù)傳輸速率優(yōu)化視覺效果的的功能。 2 2 3p f g s 由于標(biāo)準(zhǔn)的f g s 編碼效率較低，所以有許多學(xué)者提出了基于f g s 的優(yōu)化算 法。其中微軟亞洲研究院的張亞勤等人提出了漸進精細可分級( p f g s ) i t 4 【1 5 】f 1 6 算法。 4 兩北丁業(yè)大學(xué)壩i 學(xué)位論義： m p e g 4 技術(shù)研究發(fā)打- v o d 系統(tǒng)中的府用 蓁率強 塒灌屢i 增強癌0 增強蘑3 增強最4 f 珀m t 5 “) f g s 螭碼螭扮 f e ( b ) p f g s 縭再結(jié)構(gòu) 圖2 7f g s 編碼結(jié)構(gòu)與p f g s 編碼結(jié)構(gòu) p f g s 編碼的基本思路是在編碼增強層時用一些高質(zhì)量的增強層圖像作為參 考，由于增強層重構(gòu)的圖像的質(zhì)量總是要比基本層高，使得運動補償更有效，從 而提高了精細分繳編碼的編碼效率。當(dāng)然這種編碼效率的改進必須以不能犧牲其 精細分級的特性為前提條件，因而在設(shè)計漸進的f g s 編碼框架時有兩個關(guān)鍵點； 首先在編碼增強層時盡量采用高質(zhì)量的增強層為參考來提高編碼效率；其次是必 須保留一些從基本層到最高質(zhì)量的增強層之間完整的預(yù)測路徑，其目的是為了使 生成的碼流具有精細分級性。 圖2 - 7 ( b ) 所示的是一個基本的p f g s 編碼框架，在圖2 - 7 ( b ) 所示的p f g s 編碼 框架中很多增強層的預(yù)測是用前一幀增強層為參考而不是基本層。如第2 幀的三 個高的增強層，第3 幀的所有增強層，因而這種結(jié)構(gòu)能得到更高的編碼效率。從 圖中也可以看出第l 幀的基本層，第2 幀的增強層l ，第3 幀的增強層2 ，第4 幀的增強層3 以及第5 幀的增強層4 組成了一個從基本層到最高質(zhì)量的增強層之 問的預(yù)測路徑。通過圖2 7 ( b ) 的虛線可以看出，這種結(jié)構(gòu)是怎樣適應(yīng)網(wǎng)絡(luò)帶寬的 波動的。假設(shè)在第2 幀時網(wǎng)絡(luò)帶寬突然變窄了，只有第一個增強層在解碼端能得 到，從第2 幀后帶寬又恢復(fù)了，這時第3 幀只能解碼到增強層2 ，因為更高的增 強層需要第2 幀的增強層3 作為參考才能解碼，而第2 幀高的增強層由于帶寬的 波動已經(jīng)丟失了。同樣的原因第4 幀能解碼到增強層3 ，到第5 幀時就又可咀得 到最高質(zhì)量的解碼圖像了。這是網(wǎng)絡(luò)帶寬波動的情況，如果在傳輸過程中，有一 個或幾個增強層發(fā)生數(shù)據(jù)包丟失或錯誤，其恢復(fù)過程也類似上面的帶寬波動情 況。 在p f g s 編碼框架中，上面的恢復(fù)過程都是一種漸進的過程，這就是把這種 編碼框架叫做漸進的精細的可伸縮性編碼的原因。實際上圖2 7 ( b ) 所示的編碼框 兩北7 - 業(yè)人學(xué)壩l 學(xué)位論文：m p e g 4 拙術(shù)圳究_ 6 乏j c “v o d 系統(tǒng)中們府用 架僅僅是一個特例，每兩個增強層用同一個參考，如果所有的層都用基本層為參 考，該框架就變成了f g s 。在實際應(yīng)用中，可以根據(jù)應(yīng)用的需要以及能提供的資 源來方便地設(shè)計p f g s 的編碼結(jié)構(gòu)，唯一的條件是需要保留從基本層到最高質(zhì)量 的增強層之間的預(yù)測路徑。 2 2 4 其他的改進算法 m c f g s 1 7 】 1 9 】：由于在增強層中沒有利用時間相關(guān)性，在同樣碼率下，f g s 的性能較非分層的編碼方法要差。v a nd e rs c h a a r , m 和r a d h a ，h 在文【1 7 提出 了對f g s 框架的一種簡單的擴展一在增強層也引入運動補償。他們提出了兩種 途徑，一種是只針對b 幀的雙循環(huán)m c f g s ，增強層差值并不只是原始圖像減去 恢復(fù)的基本層圖像，而是還要用到增強層參考圖像與運動補償后的差值：只對b 幀作運動補償避免了i 、p 幀受到錯誤傳播的影響，且在保持f g s 框架的前提 下提高了視頻質(zhì)量。另一種方法是整個幀基于基本層和增強層進行預(yù)測，從而改 變了基本層的性能，盡管基本層編碼在運動補償循壞中采用了增強層的信息，但 基本層的編碼解碼過程是不變的，增強層仍采用f g s 編碼，這種方法引入了一 個擴展基本層的概念，主要是指集成的基本層和增強層的數(shù)據(jù)，當(dāng)碼率下降到擴 展基本層不能完全傳輸時，被截斷的基本層數(shù)據(jù)將會受到錯誤傳播的影響，一直 要到下一個i 幀出現(xiàn)才會停止。為減少錯誤傳播的影響，還可以只對b 幀采用上 述的結(jié)構(gòu)，這樣可以使得錯誤不會影響到i 、p 幀。 a l l f g s 伸j ：p h i l i p 公司利用了f g s 的靈活特性，將其擴展到空問分層，從 而提出了兩種方案。一種方案是首先對原始信號進行下采樣得到低分辨率的信 號，其次對該信號用f g s 編碼，然后計算出原始信號與恢復(fù)的低分辨率信號的 上采樣信號的差值，該差值也用f g s 編碼；在計算原始信號與恢復(fù)的上采樣信 號的差值時的碼率是可以確定的；標(biāo)準(zhǔn)的f g s 可以覆蓋( r m ，r 。、) 的碼率范圍， 而加上空涮分層后，可以覆蓋( r m m o ，r 。) 的范圍( r 。n o 0 ) b i t ( s l p a c k e t s e q n u m l e n g t h ) p a c k e t s e q u e n c e n u m b e r ； i f ( o c r f l a g ) b i t ( s l o c r l e n g t h ) o b j e c t c 】o c k r e f e r e n c e ； i f ( a c c e s s u n i t s t a r t f l a g ) i f ( s l u s e r a n d o m a c c e s s p o i n t