數(shù)字視頻處理 1

1、第一章 緒論1.1 數(shù)字視頻基本概念圖像(Picture/Image)當(dāng)光輻射能量照在物體上，經(jīng)過(guò)它的反射或投射，或由發(fā)光物體本身發(fā)出的光能量在人眼中所重現(xiàn)出的物體的視覺(jué)信息圖像分類：按色調(diào)分按所占空間維度分按產(chǎn)生機(jī)制或捕捉方法分 視頻(Video) 視頻是一組圖像序列按時(shí)間順序的連續(xù)展示，是利用人類視覺(jué)暫留（視覺(jué)惰性）的原理，通過(guò)播放一系列的圖像，使人眼產(chǎn)生運(yùn)動(dòng)的感覺(jué)序列(Sequence)幀(Frame)像素(Pixel) 像素“像素”（Pixel） 是由 Picture(圖像) 和 Element(元素)這兩個(gè)單詞的字母所組成的一個(gè)像素通常被視為圖像的最小的完整采樣 視頻其內(nèi)容隨時(shí)間變化

2、的一組動(dòng)態(tài)圖像，所以又叫運(yùn)動(dòng)圖像或活動(dòng)圖像(motion picture)它是一種信息量最豐富、直觀、生動(dòng)、具體的承載信息的媒體 圖像分辨率(Picture Resolution)圖像分辨率是指組成一幅圖像的像素密度的度量方法，一般用圖像水平和垂直的像素?cái)?shù)目表示A B對(duì)同樣大小的一幅圖像，如果組成該圖像的像素?cái)?shù)目越多，則說(shuō)明圖像的分辨率越高，看起來(lái)越逼真；相反，圖像顯得越粗糙 顯示分辨率(Display Resolution)顯示分辨率是指顯示屏上能夠顯示出的像素?cái)?shù)目。屏幕能夠顯示的像素越多，說(shuō)明顯示設(shè)備的分辨率越高圖像分辨率與顯示分辨率是兩個(gè)不同的概念。圖像分辨率是確定組成一幅圖像的像素?cái)?shù)目

3、，而顯示分辨率表示顯示屏上可用于顯示圖像的像素的數(shù)量 640X480 320X240 160X120 80X60 分辨率640X480 分辨率320X240 分辨率160X120 分辨率80X60 視頻按照視頻的存儲(chǔ)與處理方式不同，可分為模擬視頻和數(shù)字視頻兩種模擬視頻(Analog Video)一種用于傳輸視頻圖像的隨時(shí)間連續(xù)變化的電信號(hào)普通廣播電視信號(hào)是一種典型的模擬視頻信號(hào)電視攝像機(jī)通過(guò)電子掃描將所描述的景物進(jìn)行光電轉(zhuǎn)換后，得到電信號(hào)，即用一個(gè)電信號(hào)來(lái)表征景物，這種電視信號(hào)稱為模擬電視信號(hào) 模擬視頻(Analog Video)電視接收機(jī)通過(guò)顯示器進(jìn)行電光轉(zhuǎn)換，產(chǎn)生為人眼所接受的“模擬”信號(hào)

4、的光圖像模擬視頻指的是視頻的記錄、存儲(chǔ)和傳輸以模擬的形式進(jìn)行，通常在普通電視上看到的、攝像機(jī)錄制的、錄像機(jī)播放的信號(hào)都是模擬視頻信號(hào)模擬視頻圖像可由攝影用電子攝像機(jī)獲得，并記錄在錄像帶上；也可用電影攝像機(jī)采集，并存入電影膠片中模擬視頻特點(diǎn)以連續(xù)的模擬信號(hào)形式記錄視頻信息 模擬設(shè)備編輯處理 用模擬調(diào)幅的手段在空間傳播在磁帶或膠片中存放視頻信號(hào)隨存儲(chǔ)時(shí)間、拷貝次數(shù)和傳輸距離的增加衰減較大，產(chǎn)生信號(hào)的損失，不適合網(wǎng)絡(luò)傳輸，也不便于分類、檢索編輯模擬信號(hào)處理設(shè)備數(shù)字視頻(Digital Video)要使計(jì)算機(jī)能夠?qū)σ曨l進(jìn)行處理，必須把模擬視頻信號(hào)進(jìn)行數(shù)字化，形成數(shù)字視頻信號(hào)數(shù)字視頻是以離散的數(shù)字信號(hào)方

5、式表示、存儲(chǔ)、處理和傳輸?shù)囊曨l信息，所用的存儲(chǔ)介質(zhì)、處理設(shè)備以及傳輸網(wǎng)絡(luò)都是數(shù)字化的 數(shù)字視頻特點(diǎn)以離散的數(shù)字信號(hào)形式記錄視頻信息用數(shù)字化設(shè)備編輯處理通過(guò)數(shù)字化寬帶網(wǎng)絡(luò)傳播存儲(chǔ)在數(shù)字存儲(chǔ)媒體上數(shù)字視頻優(yōu)點(diǎn)視頻信號(hào)數(shù)字化以后，有著模擬信號(hào)無(wú)可比擬的優(yōu)點(diǎn)：再現(xiàn)性好便于編輯處理適合于網(wǎng)絡(luò)應(yīng)用1.2 數(shù)字視頻的典型應(yīng)用1.2.1 視頻壓縮（視頻編碼）視頻壓縮的必要性未經(jīng)過(guò)壓縮的原始視頻的碼率標(biāo)清電視7205762581.5 720p高清電視12807203081.5 1080p高清電視192010806082 視頻壓縮的必要性有限的信道帶寬ADSL2+上行帶寬2Mbps，下行帶寬24Mbps在不經(jīng)過(guò)數(shù)

6、據(jù)壓縮情況下，CD（ 最大700MB ）視頻播放機(jī)根本無(wú)法達(dá)到實(shí)用目的視頻壓縮結(jié)論：要使數(shù)字視頻信號(hào)適合于實(shí)際存儲(chǔ)和傳輸，必須壓縮數(shù)據(jù)量，降低傳輸數(shù)據(jù)碼率前提：壓縮后圖像質(zhì)量要滿足視覺(jué)要求數(shù)據(jù)與信息的區(qū)別數(shù)據(jù)用來(lái)記錄和傳送信息，是信息的載體；數(shù)據(jù)的處理的結(jié)果是信息壓縮的對(duì)象是數(shù)據(jù)，而不是“信息”壓縮的目的是在傳送和處理信息時(shí)，盡量減小數(shù)據(jù)量數(shù)據(jù)量與信息量的關(guān)系：數(shù)據(jù)量=信息量+冗余數(shù)據(jù)量無(wú)損/有損壓縮從信息在壓縮過(guò)程中有否丟失來(lái)區(qū)分無(wú)損壓縮壓縮前和壓縮后還原的數(shù)據(jù)完全一致多采用概率統(tǒng)計(jì)編碼如winrar文檔壓縮無(wú)損/有損壓縮有損壓縮壓縮過(guò)程中會(huì)丟失視頻中的一些信息壓縮比例比較大如現(xiàn)有的絕大多數(shù)

7、視頻壓縮標(biāo)準(zhǔn)視頻壓縮標(biāo)準(zhǔn)Video Encoding/Decoding國(guó)際電信聯(lián)盟ITU國(guó)際電信聯(lián)盟ITU（International Telecommunication Union）ITU的歷史可以追溯到1865年。為了順利實(shí)現(xiàn)國(guó)際電報(bào)通信，1865年5月17日，法、德、俄、意、奧等20個(gè)歐洲國(guó)家的代表在巴黎簽訂了國(guó)際電報(bào)公約，國(guó)際電報(bào)聯(lián)盟（International Telegraph Union ，ITU）也宣告成立國(guó)際電信聯(lián)盟ITU隨著電話與無(wú)線電的應(yīng)用與發(fā)展，ITU的職權(quán)不斷擴(kuò)大。1906年，德、英、法、美、日等27個(gè)國(guó)家的代表在柏林簽訂了國(guó)際無(wú)線電報(bào)公約1932年，70多個(gè)國(guó)家的代

8、表在西班牙馬德里召開(kāi)會(huì)議，將國(guó)際電報(bào)公約與國(guó)際無(wú)線電報(bào)公約合并， 制定國(guó)際電信公約，并決定自1934年1月1日起正式改稱為“國(guó)際電信聯(lián)盟”國(guó)際電報(bào)電話咨詢委員會(huì)CCITTCCITT是國(guó)際電報(bào)電話咨詢委員會(huì)的簡(jiǎn)稱，它是國(guó)際電信聯(lián)盟（ITU）的常設(shè)機(jī)構(gòu)之一。主要職責(zé)是研究電信的新技術(shù)、新業(yè)務(wù)和資費(fèi)等問(wèn)題，并對(duì)這類問(wèn)題通過(guò)建議使全世界的電信標(biāo)準(zhǔn)化 從1993年3月1日起，國(guó)際電報(bào)電話咨詢委員會(huì)（CCITT）改組為國(guó)際電信聯(lián)盟（ITU）電信標(biāo)準(zhǔn)化部門，簡(jiǎn)稱ITU-TMPEG專家組 MPEG（Moving Picture Expert Group）誕生于1991年,由國(guó)際標(biāo)準(zhǔn)化組織(Internatio

9、nal Organization for Standardization，ISO)和國(guó)際電工委員會(huì)(International Electrotechnical Commission，IEC)聯(lián)合成立的專家組，負(fù)責(zé)開(kāi)發(fā)影視圖象、聲音的處理、壓縮、解壓縮、編碼和它們的組合標(biāo)準(zhǔn)。這個(gè)專家組開(kāi)發(fā)標(biāo)準(zhǔn)稱為MPEG標(biāo)準(zhǔn)由ITU提出針對(duì)ISDN網(wǎng)絡(luò)上的視頻應(yīng)用，目標(biāo)碼率為n64kbps (64-2048 kbps)，典型為 128kpbs首次提出變換編碼預(yù)測(cè)編碼的混合編碼架構(gòu)，并一直被后續(xù)編碼標(biāo)準(zhǔn)采用支持較小的分辨率圖像H.261由ISO/IEC 提出針對(duì)視頻存儲(chǔ)應(yīng)用，如CD-ROM存儲(chǔ)，最大目標(biāo)碼率1.

10、86Mbps(1.2Mbps-1.5Mbps)典型應(yīng)用：VCD、MP3(MPEG Audio Layer III)MPEG-1由ITU和ISO/IEC聯(lián)合提出采用更高的目標(biāo)碼率（ 4Mbps-15Mbps，最大80Mbps,），更高的圖像分辨率（最大1920 x1152），以獲得更好的圖像質(zhì)量典型應(yīng)用：DVD，有線電視網(wǎng)、電纜網(wǎng)絡(luò)以及衛(wèi)星直播提供的廣播級(jí)的數(shù)字視頻MPEG-2/H.262由ITU提出針對(duì)低帶寬條件下的視頻通信應(yīng)用以附錄的形式引入編碼工具，增加靈活性典型應(yīng)用：可視電話H.263由ITU提出進(jìn)一步提高視頻壓縮率，同時(shí)針對(duì)網(wǎng)絡(luò)傳輸應(yīng)用，提高錯(cuò)誤魯棒性以附錄的形式引入編碼工具過(guò)多的附錄

11、選項(xiàng)阻礙了H.263+/H.263+的應(yīng)用H.263+/H.263+由ISO/IEC提出不僅是針對(duì)一定碼率(564 Kbps)下的編碼，更加注重多媒體系統(tǒng)的交互性和靈活性面向?qū)ο蟮木幋a概念（并沒(méi)有實(shí)質(zhì)應(yīng)用）典型應(yīng)用：視頻監(jiān)控，把DVD里面的文件轉(zhuǎn)換為數(shù)據(jù)量更小的文件MPEG-4由ITU和ISO/IEC的JVT(聯(lián)合視頻組)提出與其它現(xiàn)有的視頻編碼標(biāo)準(zhǔn)相比，在相同的帶寬下提供更加優(yōu)秀的圖像質(zhì)量典型應(yīng)用：視頻會(huì)議，視頻監(jiān)控等編碼效率是MPEG-4/H.263的兩倍以上H.264/MPEG-4 Part10/AVC由中國(guó)的音視頻編碼專家組提出，有關(guān)政府部門認(rèn)可的我國(guó)具備自主知識(shí)產(chǎn)權(quán)的編碼標(biāo)準(zhǔn)，節(jié)省音

12、視頻標(biāo)準(zhǔn)專利費(fèi)在節(jié)省很大計(jì)算資源的情況下取得與H.264相近的編碼效果典型應(yīng)用：視頻會(huì)議、視頻監(jiān)控等AVS以召開(kāi)多方會(huì)議為目的，采用數(shù)字化、編碼壓縮技術(shù)，同時(shí)雙向多方傳輸圖像和聲音，能夠滿足人們開(kāi)會(huì)需求的新型高科技通信系統(tǒng)1.2.2 視頻會(huì)議長(zhǎng)距離傳輸多方同時(shí)召開(kāi)實(shí)時(shí)交流多種媒體結(jié)合使用經(jīng)濟(jì)的網(wǎng)絡(luò)和帶寬視頻會(huì)議視頻會(huì)議給用戶帶來(lái)的好處 降低商用費(fèi)用更加方便的溝通和信息共享提升整體辦公效率，增加競(jìng)爭(zhēng)力低高 交流程度反應(yīng)時(shí)間高低WebOffice簡(jiǎn)稱為VOD（Video On Demand），泛指一類可以按照用戶需要點(diǎn)播節(jié)目的交互式多媒體視頻業(yè)務(wù)用戶可以根據(jù)自己的需要在任何時(shí)刻收看任意一個(gè)視頻節(jié)目

13、，而且不需要受到節(jié)目提供者在時(shí)間和內(nèi)容安排上的約束1.2.3 視頻點(diǎn)播系統(tǒng)作為一種新型多媒體通信系統(tǒng)，VOD利用網(wǎng)絡(luò)和視頻技術(shù)的優(yōu)勢(shì)，徹底改變了過(guò)去收看節(jié)目的被動(dòng)方式，實(shí)現(xiàn)了節(jié)目的按需收看和任意播放VOD的本質(zhì)是信息的使用者根據(jù)自己的需求主動(dòng)獲得多媒體信息，它區(qū)別于信息發(fā)布的最大不同就是主動(dòng)性和選擇性視頻點(diǎn)播系統(tǒng)視頻點(diǎn)播系統(tǒng)組成數(shù)字視頻水印技術(shù)是近十幾年興起的一種新興技術(shù)，它橫跨信號(hào)處理、數(shù)字通信、密碼學(xué)、計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)等多門學(xué)科。數(shù)字水印技術(shù)主要用于多媒體版權(quán)保護(hù)等領(lǐng)域1.2.4 數(shù)字視頻水印人們對(duì)“水印”一詞并不陌生，紙張中的水印可以跟蹤紙張的來(lái)源以及對(duì)紙張的式樣、質(zhì)量和價(jià)格進(jìn)行鑒定，紙幣

14、中的水印可以起到標(biāo)識(shí)和防偽的作用數(shù)字水印與紙張水印的基本思想相似，即數(shù)字作品中的水印，可以起到標(biāo)識(shí)和防偽的作用水印顧名思義，數(shù)字視頻水印就是加載在數(shù)字視頻上的數(shù)字水印把表征版權(quán)的水印信息嵌入到數(shù)字視頻內(nèi)容中，以此作為版權(quán)保護(hù)的依據(jù)和憑證，從而既不影響視頻質(zhì)量，又能達(dá)到版權(quán)保護(hù)的目的數(shù)字視頻水印定義嵌入原始藝術(shù)品水印抽取可疑藝術(shù)品“攻擊”?發(fā)布不可見(jiàn)地隱藏其中!含水印藝術(shù)品檢測(cè)的水印根據(jù)嵌入水印的可見(jiàn)性，視頻水印可分為可見(jiàn)水印和不可見(jiàn)水印 根據(jù)嵌入的數(shù)據(jù)域不同，視頻水印可分為時(shí)空域水印和變換域水印 數(shù)字視頻水印分類根據(jù)被嵌入視頻載體是否壓縮，視頻水印可分為壓縮域水印和非壓縮域水印 根據(jù)水印是否與內(nèi)容相關(guān)，可分為基于內(nèi)容的水印和與內(nèi)容無(wú)關(guān)的水印 數(shù)字視頻水印分類可見(jiàn)水印不可見(jiàn)水印視頻信息檢索是指根據(jù)用戶的查詢從視頻數(shù)據(jù)庫(kù)中提取相關(guān)的視頻信息的技術(shù)直接根據(jù)描述媒體對(duì)象內(nèi)容的各種特征進(jìn)行檢索，它能從數(shù)據(jù)庫(kù)中查找到具有指定特征或含有特定內(nèi)容的視頻片斷1.2.5 視頻信息