多媒體技術(shù)應(yīng)用4視頻處理技術(shù)

多媒體技術(shù)應(yīng)用數(shù)學(xué)與計(jì)算機(jī)學(xué)院陳永強(qiáng)chenyqwh@1632021-2021-2編輯課件第四章視頻處理技術(shù)4.1視頻概述

4.1.1視頻的視覺原理

4.1.2模擬視頻4.1.3數(shù)字視頻4.2常用視頻壓縮標(biāo)準(zhǔn)

4.2.1視頻壓縮原理

4.2.2MPEG

4.2.3H.26X4.3常用視頻處理軟件

4.3.1

WindowsMovieMaker

4.3.2AdobePremiere編輯課件第四章視頻處理技術(shù)4.1視頻概述

4.1.1視頻的視覺原理4.1.2模擬視頻4.1.3數(shù)字視頻編輯課件視覺是人類感知外部世界最重要的途徑之一，人類接受的所有信息中大約有70%來自視覺。視覺接受的信息可分為兩大類：靜止的和運(yùn)動(dòng)的。相對(duì)靜止的圖形圖像，視頻所含的信息量更豐富、更直觀、更生動(dòng)。在多媒體技術(shù)中，視頻信息的獲取和處理無疑占有舉足輕重的地位，視頻處理技術(shù)在目前和將來都是多媒體應(yīng)用的一個(gè)核心技術(shù)。編輯課件4.1.1視頻的視覺原理視頻與圖像是兩個(gè)既有聯(lián)系又有區(qū)別的概念：靜止的圖片稱為圖像，運(yùn)動(dòng)的圖像稱為視頻。二者的信源方式不同，圖像的輸入主要有掃描儀、數(shù)碼相機(jī)等設(shè)備，而視頻的輸入只能是電視接收機(jī)、攝像機(jī)、錄像機(jī)等可以輸入連續(xù)圖像信號(hào)的設(shè)備。

編輯課件4.1.1視頻的視覺原理視頻就其本質(zhì)而言，就是其內(nèi)容隨時(shí)間變化的一組動(dòng)態(tài)圖像〔每秒25或30幀〕，所以視頻又被稱為運(yùn)動(dòng)圖像或活動(dòng)圖像。視頻信號(hào)具有內(nèi)容隨時(shí)間而變化和有與畫面動(dòng)作同步的聲音〔伴音〕兩大本質(zhì)特征。編輯課件所謂視覺暫留，是指人體的視覺器官在看到的物象消失后，仍可暫時(shí)保存視覺的印象。視覺印象在人的眼中大約可保持0.1s。如果兩個(gè)視覺印象之間的時(shí)間間隔不超過0.1s，那么前一個(gè)視覺印象尚未消失，而后一個(gè)視覺印象已經(jīng)產(chǎn)生，并與前一個(gè)視覺印象融合在一起，就形成視覺暫留現(xiàn)象。動(dòng)畫和電影利用的正是人眼的這一視覺暫留特性。編輯課件4.1.2模擬視頻電視系統(tǒng)的開展前景是數(shù)字彩色電視，數(shù)字視頻的根底是模擬視頻，而彩色電視又是在黑白電視的根底上開展起來的。編輯課件4.1.2模擬視頻1.電視的根本原理2.電視制式編輯課件4.1.2模擬視頻1.電視的根本原理電視的根本工作原理為順序掃描和傳輸圖像信號(hào)，然后在接收端同步再現(xiàn)。主要有逐行掃描和隔行掃描兩種掃描方式。逐行掃描有圖像垂直清晰度高，空間處理效果好，有利于電視轉(zhuǎn)換和制式轉(zhuǎn)換，以及改善視頻壓縮效率等優(yōu)點(diǎn)。相對(duì)隔行掃描而言，逐行掃描主要有碼率高，行掃描頻率高和硬件復(fù)雜度增大等缺點(diǎn)。編輯課件4.1.2模擬視頻1.電視的根本原理電視系統(tǒng)大都采用隔行掃描，因?yàn)楦粜袙呙枘芄?jié)省頻帶，且硬件實(shí)現(xiàn)簡(jiǎn)單。隔行掃描的行集合為場(chǎng)，一幀由兩個(gè)場(chǎng)組成。一幀電視信號(hào)稱為一個(gè)全電視信號(hào)，由奇數(shù)場(chǎng)行信號(hào)、偶數(shù)場(chǎng)行信號(hào)及同步信號(hào)順序構(gòu)成，見圖4-2。編輯課件4.1.2模擬視頻1.電視的根本原理圖4-2隔行掃描一幀信號(hào)的合成過程編輯課件4.1.2模擬視頻2.電視制式電視制式就是用來實(shí)現(xiàn)電視圖像信號(hào)和伴音信號(hào)或其他信號(hào)傳輸?shù)姆椒?，電視圖像的顯示格式，以及這種方法和電視圖像顯示格式所采用的技術(shù)標(biāo)準(zhǔn)。對(duì)于模擬電視，有黑白電視制式、彩色電視制式及伴音制式等；對(duì)于數(shù)字電視，有圖像信號(hào)、音頻信號(hào)壓縮編碼格式〔信源編碼〕、TS流〔TransportStream〕編碼格式〔信道編碼〕、數(shù)字信號(hào)調(diào)制格式及圖像顯示格式等制式。編輯課件4.1.2模擬視頻2.電視制式為了實(shí)現(xiàn)黑白和彩色信號(hào)的兼容，色度編碼對(duì)副載波的調(diào)制有三種不同方法，形成了三種彩色電視制式：NTSC制式、PAL制式和SECAM制式。編輯課件4.1.2模擬視頻2.電視制式1〕NTSC制式即正交平衡調(diào)幅制式，1953年由美國(guó)全國(guó)電視標(biāo)準(zhǔn)委員會(huì)〔NationalTelevisionSystemCommittee〕制定，分為NTST-M、NTSC-N等，主要使用國(guó)家包括美國(guó)、加拿大、日本、韓國(guó)、菲律賓等。編輯課件4.1.2模擬視頻2.電視制式2〕PAL制式即正交平衡調(diào)幅逐行倒相制式。1967年由西德創(chuàng)立，主要使用國(guó)家包括中國(guó)、德國(guó)、英國(guó)、意大利、荷蘭等。分為PAL-B、PAL-I、PAL-M、PAL-N和PAL-D等，中國(guó)的電視播放制式為PAL-D。編輯課件4.1.2模擬視頻2.電視制式3〕SECAM制式即順序傳送與存儲(chǔ)彩色電視系統(tǒng)。1966年由法國(guó)研制成功，分為SECAM-D/K等。主要使用國(guó)家包括俄羅斯、前蘇聯(lián)和東歐國(guó)家及局部非洲國(guó)家。編輯課件4.1.3數(shù)字視頻1.數(shù)字視頻的特點(diǎn)2.數(shù)字視頻的開展史3.數(shù)字視頻的常用格式編輯課件4.1.3數(shù)字視頻1.數(shù)字視頻的特點(diǎn)數(shù)字視頻是模擬視頻數(shù)字化的結(jié)果。相對(duì)模擬視頻，數(shù)字視頻有如下特點(diǎn)：適合網(wǎng)絡(luò)應(yīng)用再現(xiàn)性好便于編輯處理編輯課件4.1.3數(shù)字視頻2.數(shù)字視頻的開展史自20世紀(jì)40年代計(jì)算機(jī)誕生以來，從計(jì)算機(jī)所能處理的信息類型這個(gè)角度來看，計(jì)算機(jī)大約經(jīng)歷了以下三個(gè)開展階段。1〕數(shù)值計(jì)算階段2〕數(shù)據(jù)處理階段3〕多媒體階段編輯課件4.1.3數(shù)字視頻2.數(shù)字視頻的開展史初級(jí)階段，其主要特點(diǎn)就是在臺(tái)式計(jì)算機(jī)上增加簡(jiǎn)單的視頻功能。主流階段，數(shù)字視頻在計(jì)算機(jī)中得到廣泛應(yīng)用，成為主流。高級(jí)階段，普通個(gè)人計(jì)算機(jī)進(jìn)入了成熟的多媒體計(jì)算機(jī)時(shí)代。編輯課件4.1.3數(shù)字視頻3.數(shù)字視頻的常用格式視頻格式可以分為適合本地播放的本地影像視頻和適合在網(wǎng)絡(luò)中播放的網(wǎng)絡(luò)流媒體影像視頻兩大類。網(wǎng)絡(luò)流媒體影像視頻的廣泛傳播性使之正被廣泛應(yīng)用于視頻點(diǎn)播、網(wǎng)絡(luò)演示、遠(yuǎn)程教育、網(wǎng)絡(luò)視頻廣告等因特網(wǎng)信息效勞領(lǐng)域。編輯課件4.1.3數(shù)字視頻3.數(shù)字視頻的常用格式AVI英文全稱為AudioVideoInterleaved，即音頻/視頻交錯(cuò)格式。顧名思義，是將語音和影像同步組合在一起的文件格式。RM〔RealMedia〕格式是RealNetworks公司開發(fā)的一種新型流式視頻文件格式。RMVB格式是一種由RM視頻格式升級(jí)延伸出的新視頻格式，它的先進(jìn)之處在于RMVB視頻格式打破了原先RM格式那種平均壓縮采樣的方式。編輯課件4.1.3數(shù)字視頻3.數(shù)字視頻的常用格式MOV即QuickTime影片格式，它是Apple公司開發(fā)的一種音頻、視頻文件格式，用于存儲(chǔ)常用數(shù)字媒體類型。ASF是微軟公司W(wǎng)indowsMedia的核心。這是一種包含音頻、視頻、圖像以及控制命令腳本的數(shù)據(jù)格式。WMV的英文全稱為WindowsMediaVideo，也是微軟推出的一種采用獨(dú)立編碼方式，并且可以直接在網(wǎng)上實(shí)時(shí)觀看視頻節(jié)目的文件壓縮格式。編輯課件第四章視頻處理技術(shù)4.2常用視頻壓縮標(biāo)準(zhǔn)4.2.1視頻壓縮原理4.2.2MPEG4.2.3H.26X編輯課件視頻壓縮標(biāo)準(zhǔn)有H.26X和MPEG。比較而言，H.26X僅僅是視頻編碼的標(biāo)準(zhǔn)，而MPEG既包括視頻編碼標(biāo)準(zhǔn)，也包括音頻編碼標(biāo)準(zhǔn)和視音同步標(biāo)準(zhǔn)。編輯課件4.2.1視頻壓縮原理視頻壓縮的目標(biāo)是在盡可能保證視覺效果的前提下減少視頻數(shù)據(jù)率。1.根本概念2.壓縮策略編輯課件4.2.1視頻壓縮原理1.根本概念〔1〕有損和無損壓縮無損壓縮也即壓縮前和解壓縮后的數(shù)據(jù)完全一致。多數(shù)的無損壓縮都采用RLE行程編碼算法。有損壓縮意味著解壓縮后的數(shù)據(jù)與壓縮前的數(shù)據(jù)不一致。在壓縮的過程中要喪失一些人眼和人耳所不敏感的圖像或音頻信息，而且喪失的信息不可恢復(fù)?！?〕幀內(nèi)和幀間壓縮幀內(nèi)〔Intraframe〕壓縮一般采用有損壓縮算法，幀內(nèi)壓縮一般達(dá)不到很高的壓縮。幀間〔Interframe〕壓縮通過比較時(shí)間軸上不同幀之間的數(shù)據(jù)進(jìn)行壓縮。幀間壓縮一般是無損的。編輯課件4.2.1視頻壓縮原理1.根本概念〔3〕對(duì)稱和不對(duì)稱編碼對(duì)稱性〔symmetric〕是壓縮編碼的一個(gè)關(guān)鍵特征。對(duì)稱意味著壓縮和解壓縮占用相同的計(jì)算處理能力和時(shí)間，對(duì)稱算法適合于實(shí)時(shí)壓縮和傳送視頻。不對(duì)稱〔asymmetric〕編碼，不對(duì)稱或非對(duì)稱意味著壓縮時(shí)需要花費(fèi)大量的處理能力和時(shí)間，而解壓縮時(shí)那么能較好地實(shí)時(shí)回放，也即以不同的速度進(jìn)行壓縮和解壓縮?！?〕位速率位速率是指在一個(gè)數(shù)據(jù)流中每秒鐘能通過的信息量。編輯課件4.2.1視頻壓縮原理2.壓縮策略〔1〕去掉相關(guān)性視頻圖像數(shù)據(jù)有很強(qiáng)的相關(guān)性，也就是說有大量的冗余信息。其中冗余信息可分為空域冗余信息和時(shí)域冗余信息。使用幀間編碼技術(shù)可去掉時(shí)域冗余信息，包括以下三局部：運(yùn)動(dòng)補(bǔ)償運(yùn)動(dòng)表示運(yùn)動(dòng)估計(jì)使用幀間編碼技術(shù)和熵編碼技術(shù)可以去掉空域冗余信息，主要的編碼方法有：變換編碼量化編碼熵編碼編輯課件4.2.1視頻壓縮原理2.壓縮策略〔2〕心理聲學(xué)音頻壓縮心理聲學(xué)指“人腦解釋聲音的方式〞。壓縮音頻的所有形式都是用功能強(qiáng)大的算法將聽不到的音頻信息去掉?！?〕心理視覺視頻壓縮心理視覺視頻壓縮與和其對(duì)等的音頻壓縮相似。心理視覺模型去掉的不是聽不到的音頻數(shù)據(jù)，而是去掉眼睛不需要的視頻數(shù)據(jù)。

編輯課件4.2.2MPEGMPEG的全稱應(yīng)該是MovingPicturesExpertsGroup〔即動(dòng)態(tài)圖像專家組〕，由ISO與IEC于1988年聯(lián)合成立，致力于運(yùn)動(dòng)圖像〔MPEG視頻〕及其伴音編碼〔MPEG音頻〕標(biāo)準(zhǔn)化工作。這個(gè)專家組開發(fā)的標(biāo)準(zhǔn)稱為MPEG標(biāo)準(zhǔn)，到目前為止，MPEG的主要標(biāo)準(zhǔn)有五個(gè)：編輯課件4.2.2MPEG1.MPEG-1〔數(shù)字電視標(biāo)準(zhǔn)〕2.MPEG-2〔數(shù)字電視標(biāo)準(zhǔn)〕3.MPEG-4〔多媒體應(yīng)用標(biāo)準(zhǔn)〕4.MPEG-7〔多媒體內(nèi)容描述接口標(biāo)準(zhǔn)〕5.MPEG-21〔多媒體框架標(biāo)準(zhǔn)〕編輯課件4.2.2MPEG1.MPEG-1〔數(shù)字電視標(biāo)準(zhǔn)〕MPEG-1標(biāo)準(zhǔn)〔ISO/IEC11172〕制定于1992年，是針對(duì)1.5Mbps以下數(shù)據(jù)傳輸率的數(shù)字存儲(chǔ)媒體運(yùn)動(dòng)圖像及其伴音編碼設(shè)計(jì)的國(guó)際標(biāo)準(zhǔn)。編輯課件4.2.2MPEG1.MPEG-1〔數(shù)字電視標(biāo)準(zhǔn)〕MPEG-1標(biāo)準(zhǔn)體系共分為以下5個(gè)局部:系統(tǒng)〔System〕：規(guī)定視頻數(shù)據(jù)、聲音數(shù)據(jù)及其他相關(guān)數(shù)據(jù)的同步；視頻〔Video〕：規(guī)定視頻數(shù)據(jù)的編碼和解碼；音頻〔Audio〕：規(guī)定聲音數(shù)據(jù)的編碼和解碼；一致性測(cè)試〔ConformanceTesting〕：詳細(xì)說明如何測(cè)試比特?cái)?shù)據(jù)流〔Bitstreams〕和解碼器是否滿足MPEG-1前三個(gè)局部中所規(guī)定的要求，編碼器制造商和客戶均可以使用這些方法來測(cè)試編碼器產(chǎn)生的碼流是否正確；軟件仿真〔SoftwareSimulation〕：從技術(shù)角度來說，這局部不能算是標(biāo)準(zhǔn)，只是一種技術(shù)報(bào)告，描述了MPEG-1標(biāo)準(zhǔn)的前三個(gè)局部的軟件實(shí)現(xiàn)，但源代碼是不公開的。編輯課件4.2.2MPEG2.MPEG-2〔數(shù)字電視標(biāo)準(zhǔn)〕MPEG-2標(biāo)準(zhǔn)〔ISO/IEC13818〕制定于1994年，是針對(duì)3～10Mbps的數(shù)據(jù)傳輸率制定的運(yùn)動(dòng)圖像及其伴音編碼的國(guó)際標(biāo)準(zhǔn)。MPEG-2的編碼圖像被分為三類，分別稱為I幀，P幀和B幀。為更好地表示編碼數(shù)據(jù)，MPEG-2用句法規(guī)定了一個(gè)層次性結(jié)構(gòu)。它分為六層，自上到下分別是：圖像序列層、圖像組、圖像、宏塊條、宏塊、塊。編輯課件4.2.2MPEG2.MPEG-2〔數(shù)字電視標(biāo)準(zhǔn)〕MPEG-2標(biāo)準(zhǔn)體系共分為以下9個(gè)局部：1〕系統(tǒng)〔System〕2〕視頻〔Video〕3〕音頻〔Audio〕4〕一致性測(cè)試〔ConformanceTesting〕5〕軟件仿真〔SoftwareSimulation〕6〕數(shù)字存儲(chǔ)媒體命令和控制擴(kuò)展協(xié)議〔DigitalStorageMediaCommandandControl，DSM-CC〕7〕高級(jí)音頻編碼〔AdvancedAudioCoding，AAC〕8〕原方案用于采樣精度為10位的音頻編碼，但由于工業(yè)界對(duì)此興趣不大，現(xiàn)已停止；9〕規(guī)定了傳送碼流的實(shí)時(shí)接口。編輯課件4.2.2MPEG3.MPEG-4〔多媒體應(yīng)用標(biāo)準(zhǔn)〕MPEG-4于1998年11月公布，是針對(duì)一定比特率下的視頻、音頻編碼，更加注重多媒體系統(tǒng)的交互性和靈活性。為此，MPEG-4引入了AV對(duì)象〔Audio-VideoObjects〕，使得更多的交互操作成為可能。編輯課件4.2.2MPEG3.MPEG-4〔多媒體應(yīng)用標(biāo)準(zhǔn)〕MPEG-4對(duì)AV對(duì)象的操作主要有以下五種：1〕采用AV對(duì)象來表示聽覺、視覺或者視聽組合內(nèi)容；2〕組合已有的AV對(duì)象來生成復(fù)合的AV對(duì)象，并由此生成AV場(chǎng)景；3〕對(duì)AV對(duì)象的數(shù)據(jù)靈活地多路合成與同步，以便選擇適宜的網(wǎng)絡(luò)來傳輸這些AV對(duì)象數(shù)據(jù)；4〕允許接收端的用戶在AV場(chǎng)景中對(duì)AV對(duì)象進(jìn)行交互操作等；5〕MPEG-4支持AV對(duì)象知識(shí)產(chǎn)權(quán)與保護(hù)。編輯課件4.2.2MPEG3.MPEG-4〔多媒體應(yīng)用標(biāo)準(zhǔn)〕MPEG-4標(biāo)準(zhǔn)那么由以下6個(gè)主要局部構(gòu)成：1〕系統(tǒng)〔System〕2〕視頻〔Video〕3〕音頻〔Audio〕4〕一致性測(cè)試〔ConformanceTesting〕5〕參考軟件〔ReferenceSoftware〕6〕多媒體傳送整體框架〔DeliveriesMultimediaIntegrationFramework，DMIF〕編輯課件4.2.2MPEG4.MPEG-7〔多媒體內(nèi)容描述接口標(biāo)準(zhǔn)〕MPEG-7的工作于1996年啟動(dòng)，名稱叫做多媒體內(nèi)容描述接口〔MultimediaContentDescriptionInterface，MCDI〕，目的是制定一套描述符標(biāo)準(zhǔn)，用來描述各種類型的多媒體信息及它們之間的關(guān)系，以便更快更有效地檢索信息。編輯課件4.2.2MPEG4.MPEG-7〔多媒體內(nèi)容描述接口標(biāo)準(zhǔn)〕MPEG-7的處理鏈：特征抽取內(nèi)容描述檢索工具M(jìn)PEG-7的處理范圍圖4-3MPEG-7的范圍編輯課件4.2.2MPEG4.MPEG-7〔多媒體內(nèi)容描述接口標(biāo)準(zhǔn)〕MPEG-7的目標(biāo)如下：①支持多種音頻和視覺的描述。②根據(jù)信息的抽象層次，提供一種描述多媒體材料的方法以便表示不同層次上的用戶對(duì)信息的需求。③支持?jǐn)?shù)據(jù)管理的靈活性、數(shù)據(jù)資源的全球化和互操作性。編輯課件4.2.2MPEG4.MPEG-7〔多媒體內(nèi)容描述接口標(biāo)準(zhǔn)〕MPEG-7由以下幾局部組成：1〕系統(tǒng)〔System〕2〕描述定義語言〔DescriptionDefinitionLanguage，DDL〕3〕視頻〔Video〕4〕音頻〔Audio〕5〕多媒體描述方案〔MultimediaDescriptionSchemes，MMDS〕6〕參考軟件〔ReferenceSoftware〕7〕一致性測(cè)試〔ConformanceTesting〕編輯課件4.2.2MPEG5.MPEG-21〔多媒體框架標(biāo)準(zhǔn)〕制定MPEG-21標(biāo)準(zhǔn)的目的是：1〕將不同的協(xié)議、標(biāo)準(zhǔn)、技術(shù)等有機(jī)地融合在一起。2〕制定新的標(biāo)準(zhǔn)。3〕將這些不同的標(biāo)準(zhǔn)集成在一起。編輯課件4.2.2MPEG5.MPEG-21〔多媒體框架標(biāo)準(zhǔn)〕MPEG-21的根本框架要素包括：數(shù)字工程說明多媒體內(nèi)容表示數(shù)字工程的識(shí)別和描述內(nèi)容管理與使用知識(shí)產(chǎn)權(quán)管理和保護(hù)終端和網(wǎng)絡(luò)事件報(bào)告編輯課件4.2.3H.26XH.26X是ITU-T研究和制定的一系列視頻編碼的國(guó)際標(biāo)準(zhǔn)。其中應(yīng)用最為廣泛的是H.261、H.262、H.263和H.264。編輯課件4.2.3H.26X1.H.2612.H.2623.H.2634.H.264編輯課件4.2.3H.26X1.H.261H.261標(biāo)準(zhǔn)也稱p×64，是視頻編碼的先驅(qū)者。H.261標(biāo)準(zhǔn)的出發(fā)點(diǎn)是為了實(shí)現(xiàn)在綜合業(yè)務(wù)數(shù)字網(wǎng)〔IntegratedServicesDigitalNetwork，ISDN〕上進(jìn)行電視和電視會(huì)議，主要針對(duì)實(shí)時(shí)編碼和解碼而設(shè)計(jì)的。編輯課件4.2.3H.26X1.H.261與H.261有關(guān)的國(guó)際標(biāo)準(zhǔn)：H.320：窄帶可視系統(tǒng)和終端設(shè)備H.221：視聽電信業(yè)務(wù)中64～1920Kb/s信道的幀結(jié)構(gòu)H.230：視聽系統(tǒng)的幀同步控制和指示信號(hào)H.242：不超過2Mb/s數(shù)字信道的視聽終端的通信標(biāo)準(zhǔn)編輯課件4.2.3H.26X2.H.262ITU-T于1990年成立了“ATM視頻編碼專家組〞，負(fù)責(zé)制定適用于B-ISDN〔BroadbandIntegratedServiceDigitalNetwork，寬帶綜合業(yè)務(wù)數(shù)字網(wǎng)〕信道ATM編碼傳輸標(biāo)準(zhǔn)。該專家組于1993