數(shù)字圖像處理數(shù)字圖像與視頻處理技術

第三章:數(shù)字圖像與視頻處理技術

教學建議本章主要介紹圖像、視頻的基礎知識與處理技術，包括圖像、視頻的獲取、表示、處理與應用等，以及常用圖像、視頻處理軟件的使用。

本章需6~8學時。11/7/2024A第三章:數(shù)字圖像與視頻處理技術教學提示圖像與視頻是兩種最常見的可視媒體。圖像、視頻的獲取、處理與數(shù)字化技術是多媒體信息處理的重要內容。本章以數(shù)字圖像處理為基礎，首先介紹數(shù)字圖像處理技術，然后，介紹視頻處理技術及應用。

教學目標

通過本章的學習，要求掌握多媒體技術中有關圖像、視頻數(shù)字化的基本概念、方法、技術與應用等知識。

11/7/2024A教學內容1基本概念2數(shù)字圖像數(shù)據(jù)的獲取與表示3圖像的基本屬性4圖像處理軟件Photoshop應用舉例5視頻的基本知識

4/28/2020MultimediaTechnology&Application教學內容6視頻的數(shù)字化7數(shù)字視頻標準8視頻信息的壓縮編碼9Windows中的視頻播放軟件10數(shù)字視頻的應用

4/28/2020MultimediaTechnology&Application3.1概述---幾個基本概念

數(shù)字圖像的分類按其生成方法，可以分為兩大類：a、是從現(xiàn)實世界中通過數(shù)字化設備獲取的圖像，它們稱為取樣圖像(sampledimage)、點陣圖像(dotmatriximage)、位圖圖像(bitmapimage)，以下簡稱圖像(image)；b、是計算機合成的圖像，它們稱為矢量圖形(vectorgraphics)，或簡稱圖形(graphics)。按照取樣點表示方式的不同，數(shù)字圖像還可以分為：

a、兩值圖像b、灰度圖像c、彩色圖像4/28/2020MultimediaTechnology&Application3.1概述---幾個基本概念

圖像的獲?。╟apturing）圖像的獲?。菏侵笍默F(xiàn)實世界中獲得數(shù)字圖像的過程。圖像掃描儀可用于對印刷品、照片或照相底片等進行掃描輸入，用數(shù)碼相機或數(shù)碼攝像機可對選定的景物進行拍攝。圖像獲取的過程:實質上是模擬信號的數(shù)字化過程。

4/28/2020MultimediaTechnology&Application3.1概述---幾個基本概念數(shù)字圖像的最基本單位：像素（Pictureelement,簡寫為pel）。像素對應于圖像數(shù)字化過程中的一個取樣點。圖像的編碼：將一幅數(shù)字圖像中的數(shù)據(jù)按一定的方式進行組織。為了減少數(shù)字圖像的存儲空間往往要進行壓縮編碼，支持圖像壓縮編碼有許多國際標準和文件存儲格式。如BMP、GIF、TIFF、JPEG、JPEG2000等。4/28/2020MultimediaTechnology&Application3.1概述---幾個基本概念視頻：它是由連續(xù)的隨著時間變化的一組圖像(或稱幀)組成。視頻是影像視頻的簡稱。由于人類“視覺暫留”的生理現(xiàn)象，當1秒鐘內連續(xù)播放多幅相互關聯(lián)的靜止圖像時就會產(chǎn)生運動的感覺，即運動視頻。即：圖像可以看作視頻的特例。4/28/2020MultimediaTechnology&Application3.2數(shù)字圖像數(shù)據(jù)的獲取與表示

3.2.1數(shù)字圖像數(shù)據(jù)的獲取

圖像數(shù)據(jù)的獲取是圖像數(shù)字化的基礎。獲取的過程實質上是模擬信號的數(shù)字化過程.處理步驟大體分為三步：(1)采樣。(2)分色。(3)量化。4/28/2020MultimediaTechnology&Application3.2數(shù)字圖像數(shù)據(jù)的獲取與表示

3.2.2數(shù)字圖像的表示

從數(shù)字圖像的獲取過程可以知道，一幅取樣圖像由M(行)，N(列)個取樣點組成，每個取樣點是組成取樣圖像的基本單位，稱為像素.黑白圖像的像素只有1個亮度值.彩色圖像的像素是矢量，它由多個彩色分量組成，一般有3個分量(R-紅，G-綠，B-藍).4/28/2020MultimediaTechnology&Application3.2數(shù)字圖像數(shù)據(jù)的獲取與表示

3.2.2數(shù)字圖像的表示

取樣圖像在計算機中的表示方法是:單色圖像用一個矩陣來表示；彩色圖像用一組矩陣來表示.矩陣的行數(shù)稱為圖像的垂直分辨率矩陣的列數(shù)稱為圖像的水平分辨率矩陣中的元素是像素顏色分量的亮度值，使用整數(shù)表示，一般是8位至12位。4/28/2020MultimediaTechnology&Application3.2數(shù)字圖像數(shù)據(jù)的獲取與表示

3.2.2數(shù)字圖像的表示

藍色分量綠色分量紅色分量圖3.2彩色圖像的表示4/28/2020MultimediaTechnology&Application3.3圖像的基本屬性

3.3.1分辨率

分辨率有兩種：顯示分辨率和圖像分辨率。

1.顯示分辨率它是指顯示屏上能夠顯示出的像素數(shù)目。例如，顯示分辨率為840×480表示顯示屏分成480行，每行顯示840個像素，整個顯示屏就含有307200個顯像點。屏幕能夠顯示的像素越多，說明顯示設備的分辨率越高，顯示的圖像質量也就越高。4/28/2020MultimediaTechnology&Application3.3圖像的基本屬性

3.3.1分辨率

2.圖像分辨率它是指組成一幅圖像的像素密度的度量方法。對同樣大小的一幅圖，如果組成該圖的圖像像素數(shù)目越多，則說明圖像的分辨率越高，看起來就越逼真。相反，圖像顯得越粗糙。注意：圖像分辨率與顯示分辨率是兩個不同的概念。圖像分辨率是確定組成一幅圖像的像素數(shù)目，顯示分辨率是確定顯示圖像的區(qū)域大小。4/28/2020MultimediaTechnology&Application3.3圖像的基本屬性

3.3.2像素深度

像素深度：即像素的所有顏色分量的二進制位數(shù)之和，它決定了不同顏色（亮度）的最大數(shù)目?；蛘呤谴_定灰度圖像的每個像素可能有的灰度級數(shù)。例如，一幅彩色圖像的每個像素用R，G，B三個分量表示，若每個分量用8位，那末一個像素共用24位表示，就說像素的深度為24，每個像素可以是224=18777218種顏色中的一種。在這個意義上，往往把像素深度說成是圖像深度。表示一個像素的位數(shù)越多，它能表達的顏色數(shù)目就越多，而它的深度就越深。4/28/2020MultimediaTechnology&Application3.3圖像的基本屬性

3.3.3顏色空間

顏色空間的類型，指彩色圖像所使用的顏色描述方法，也叫顏色模型。

1.顯示彩色圖像用顏色模型顯示彩色圖像的電視機和計算機顯示器色彩顯示原理主要基于圖像的顏色模型。如圖3.3所示。組合這三種光波以產(chǎn)生特定顏色稱為相加混色，稱為RGB相加模型。相加混色是計算機應用中定義顏色的基本方法。

2.打印彩色圖像用CMY相減混色模型

4/28/2020MultimediaTechnology&Application3.3圖像的基本屬性

3.3.4真彩色、偽彩色與直接色

1.真彩色(truecolor)：真彩色是指在組成一幅彩色圖像的每個像素值中，有R,G,B三個基色分量，每個基色分量直接決定顯示設備的基色強度，這樣產(chǎn)生的彩色稱為真彩色。

2.直接色(directcolor)：通過相應的彩色變換表找出基色強度，用變換后得到的R,G,B強度值產(chǎn)生的彩色稱為直接色。

4/28/2020MultimediaTechnology&Application3.3圖像的基本屬性

3.3.4真彩色、偽彩色與直接色

3.偽彩色(pseudocolor)：偽彩色圖像的含義是，每個像素的顏色不是由每個基色分量的數(shù)值直接決定，而是把像素值當作彩色查找表(colorlook-uptable,CLUT)的表項入口地址,去查找一個顯示圖像時使用的R,G,B強度值，用查找出的R,G,B強度值產(chǎn)生的彩色稱為偽彩色。4/28/2020MultimediaTechnology&Application3.3圖像的基本屬性

3.3.5常用圖像文件的格式

⑴BMP(BitMap-file)格式,BMP圖像是微軟公司在Windows操作系統(tǒng)下使用的一種標準圖像文件格式。⑵TIFF

(TaggedImageFileFormat)格式，被大量使用于掃描儀和桌面出版，有許多圖像圖形應用軟件支持這種文件格式。⑶GIF

(GraphicsInterchangeFormat)格式，GIF是目前因特網(wǎng)上廣泛使用的一種圖像文件格式。⑷JPEG（theJointPhotographicExpertsGroup）格式是最流行的壓縮圖像文件格式，采用靜止圖像數(shù)據(jù)壓縮編碼的國際標準壓縮，大量用于因特網(wǎng)和數(shù)碼相機等。4/28/2020MultimediaTechnology&Application3.4圖像處理軟件Photoshop應用舉例

3.4.1圖像處理軟件Photoshop簡介

PhotoShop軟件：美國Adobe公司開發(fā)的真彩色和灰度圖像編輯處理軟件。它被認為是目前世界上最優(yōu)秀的圖像編輯軟件。PhotoShop功能與作用：1、它提供多種圖像涂抹、修飾、編輯、創(chuàng)建、合成、分色與打印的方法，并有許多增強圖像的特殊手段，可廣泛地應用于美工設計，廣告及桌面印刷，計算機圖像處理，旅游風光展示，動畫設計，影視特技等領域，是計算機數(shù)字圖像處理的有力工具。

4/28/2020MultimediaTechnology&Application3.4圖像處理軟件Photoshop應用舉例

3.4.1圖像處理軟件Photoshop簡介

2、PhotoShop運行在Windows圖形操作環(huán)境中，可支持TIF、TGA、PCX、GIF、BMP、PSD、JPEG等各種流行的圖像文件格式。3、PhotoShop能方便地與如文字處理，圖形應用，桌面印刷等軟件或程序交換圖像數(shù)據(jù)。4、PhotoShop支持的圖像類型除常見的黑白、灰度、索引16色、索引256色和RGB真彩色圖像外，還支持CMYK、HSB以及HSV模式的彩色圖像。

4/28/2020MultimediaTechnology&Application3.4圖像處理軟件Photoshop應用舉例

3.4.2PhotoShop的運行界面

屬性欄工具欄圖象窗口工作區(qū)菜單欄浮動面板4/28/2020MultimediaTechnology&Application

圖層是一組可以用于繪制圖像和存放圖像的透明層?？梢詫D層想象為一組透明的膠片，在每一層上都可以繪圖，它們疊加到一起后，從上看下去，看到的就是合成的圖像效果。濾鏡是Photoshop中最有特色的地方，也是最令人激動的地方。利用Photoshop提供的各種濾鏡，可以制作出各種令人眼花綴亂的圖像效果。3.4圖像處理軟件Photoshop應用舉例

3.4.3PhotoShop的圖層與濾鏡4/28/2020MultimediaTechnology&Application3.4圖像處理軟件Photoshop應用舉例

3.4.3PhotoShop的圖層與濾鏡

Photoshop中的濾鏡可以分為兩種：1、Photoshop自己內部帶的濾鏡，這些濾鏡在安裝了Photoshop之后，可以在濾鏡菜單下看到。Photoshop提供了近百種內置的濾鏡，每一種都可以產(chǎn)生神奇的效果；2、三方開發(fā)的外掛濾鏡，這種濾鏡在安裝了Photoshop后，還需要另外安裝這些濾鏡后才可以使用。

4/28/2020MultimediaTechnology&Application3.4圖像處理軟件Photoshop應用舉例

3.4.4Photoshop應用舉例

例1．制作暈映效果

暈映（Vignettes）效果是指圖像具有柔軟漸變的邊緣效果。如圖3.8所示。4/28/2020MultimediaTechnology&Application3.4圖像處理軟件Photoshop應用舉例

3.4.4Photoshop應用舉例

操作步驟如下：1）使用Photoshop打開一幅圖像；2）在工具欄中選擇橢圓套索工具；3）用橢圓套索工具在圖像中選取所需的部分，圖3.9（a）；

4）執(zhí)行Select菜單下的Feather命令，設置Feather值為40pixels；5）執(zhí)行Select菜單下的Inverse命令或按Ctrl+Shift+I組合鍵來反轉選擇區(qū)域，圖3.9（b）；6）設置背景色，如白色。7）按Del鍵用背景色填充選擇區(qū)域，暈映效果即形成。

圖3.9（a）圖3.9（b）4/28/2020MultimediaTechnology&Application3.4圖像處理軟件Photoshop應用舉例

3.4.4Photoshop應用舉例

在圖3.10中，利用Photoshop可將第二幅圖中的小狗添加到第一幅圖中，由于是在水邊，所以在制作時要考慮給第二只小狗制作水中倒影。圖像合成并制作倒影效果后的圖像如圖3.10中的第3幅圖所示。

例2．制作倒影效果。

4/28/2020MultimediaTechnology&Application3.4圖像處理軟件Photoshop應用舉例

3.4.4Photoshop應用舉例

在Photoshop圖像制作過程中，可對一幅已有的圖像加上下雨的特效，給人一種雨中攝影的效果。如圖3.11中所示。

例3．制作雨中攝影效果。4/28/2020MultimediaTechnology&Application3.5視頻的基本知識

3.5.1視頻信號的特性

1、什么是視頻（video）2、光柵掃描3、視頻信號的空間特性4、視頻信號的時間特性5、視頻信號的傳輸6、視頻信號的存儲4/28/2020MultimediaTechnology&Application

視頻技術源于影視業(yè),80年代初,由于個人計算機的迅速發(fā)展和普及,許多計算機公司便致力于研究將聲音、圖形、圖像、視頻作為新的信息媒體輸入／輸出計算機。計算機基本技術的進展,有效地帶動了數(shù)字視頻壓縮算法和視頻處理器結構的改進,能做到全屏幕、全運動的視頻圖像、高清晰度的靜態(tài)圖像,視頻特技三維實時的全電視信號以及高速真彩色圖形。1、什么是視頻（video）4/28/2020MultimediaTechnology&Application

視頻信號：連續(xù)的隨著時間變化的一組圖象（24，25，30幀/秒），又叫運動圖象或活動圖象常見視頻信號：

電影，電視，動畫視頻信號的特點：高分辨率（576行）色彩逼真（真彩色）人類接受的信息70%來自視覺,其中活動圖象是信息量最豐富、最直觀、生動、具體的一種承載信息的媒體。視頻信息的處理是多媒體技術的核心。1、什么是視頻（續(xù)）4/28/2020MultimediaTechnology&Application

模擬視頻目前，絕大多數(shù)視頻的記錄、存儲和傳輸仍然是模擬方式?？茖W技術發(fā)展使人類已能對自然界中大多數(shù)物體進行模擬。真實的圖形和聲音是基于光亮度和聲壓值的。他們是空間和時間的連續(xù)函數(shù),將圖像和聲音轉換成電信號是通過合適傳感器的使用來完成的。電視攝像機便是一種將自然界中真實圖像轉換為電信號的傳感器。

1、什么是視頻（續(xù)）4/28/2020MultimediaTechnology&Application

視頻信號模擬視頻信號是涉及一維時間變量的電信號，f(t),它可通過對Sc(x1,x2,t)在時間坐標t和垂直分量X2上采樣得到的。視頻攝像機將攝像機前面的圖像轉換成電信號。電信號是一維的。圖像是兩維的,并在一個圖像的不同位置有許多值。為了轉換這個兩維的圖像成為一維的電信號,圖像被以一種步進次序的方式來掃描這種方式稱為光柵掃描(RasterScan）。1、什么是視頻（續(xù)）4/28/2020MultimediaTechnology&Application2、光柵掃描圖3.12光柵掃描

4/28/2020MultimediaTechnology&Application2、光柵掃描逐行掃描/隔行掃描（progressivescanning/interlacedscanning）逐行掃描是在每一個Δt時間內對一個完整的圖象進行掃描，它被稱之為一幀。計算機行業(yè)對高分辨率采用逐行掃描的Δt為1/70秒。電視行業(yè)使用2:1隔行掃描。其間依次對稱為奇數(shù)場和偶數(shù)場的奇數(shù)行和偶數(shù)行進行掃描。這樣做目的是：在一個固定帶寬下可降低閃爍。4/28/2020MultimediaTechnology&Application3.視頻信號的空間特性

長寬比4:3or16:9(aspectratio)

即圖像水平掃描線的長度與圖像豎直方向所有掃描線所復蓋距離的比。垂直分辨率（verticalresolution）

同一幀面掃描線的數(shù)量。掃描線越多,垂直分辨率就越高。廣播電視系統(tǒng)利用了每個幀面525(北美)或625(歐洲)線的垂直分辨率。水平分辨率（horizontalresolution）

當攝像機掃描點在線上橫向移動時,傳感器輸出的電子信號連續(xù)地變化以反映傳感器所見圖像部分的光亮程度。它依賴于掃描感光點的大小。4/28/2020MultimediaTechnology&Application3、視頻信號的空間特性同步(Synchronization)

假如視頻信號被用于調節(jié)陰極射線管電子束的亮度時,它能以和傳感器卻好一樣的方式被掃描。將重新產(chǎn)生原始圖像(顯示掃描的原始圖像),這在家用電視機和視頻監(jiān)視器中能精確地進行。因此,電子信號被送到監(jiān)視器必須包含某些附加的信息,以確保監(jiān)視器掃描與傳感器的掃描同步。這個信息被稱為同步信息。。4/28/2020MultimediaTechnology&Application掃描與同步特性4/28/2020MultimediaTechnology&Application（1）電視信號的空間特性總線數(shù)有效線數(shù)縱向分辨率縱橫比水平分辨率總象素

6255762884/3768440kb5254842424/3645310kb105096067516/96007200001250100070016/97008700001125108054016/9600575000PALi

NTSCiHDTV(A)HDTV(E)HDTV(J)a.水平分辨率指能再現(xiàn)黑白相間的垂直線條的數(shù)目b.隔行掃描把一幀畫面分成兩場,主要目的是為了節(jié)省頻帶，降低行頻c.垂直分辨率（總線數(shù)）指一幀中的掃描線總數(shù)，有效線數(shù)指可見的掃描線數(shù)目，縱向分辨率指每一場中可見的掃描線數(shù)目4/28/2020MultimediaTechnology&Application（2）電視信號的彩色空間YUV空間(PAL)亮度分量

Y=0.3*R+0.59*G+0.11*B色度分量

U=(B-Y)*0.493色度分量

V=(R-Y)*0.877YIQ空間(NTSC)亮度分量

Y=0.3*R+0.59*G+0.11*B色度分量I=0.6*R-0.28*G-0.32*B色度分量

Q=0.21*R-0.52*G+0.31*B(優(yōu)點：與黑白電視兼容；有利于壓縮信號帶寬)4/28/2020MultimediaTechnology&Application4.視頻信號的時間特性

視頻信號的時間特性用視頻幀率（Videoframerate）來刻畫。幀率越高,圖像的運動就越流暢,大于每秒15幀便可產(chǎn)生連續(xù)的運動圖象4/28/2020MultimediaTechnology&Applicationcontinuityofmotion(>=15f/s)nonflicker(>=50c/s)(PAL制式:25frames/s,interlacedNTSC制式:30frames/s,interlaced)4.視頻信號的時間特性575625全屏光點總數(shù):575*(4/3)*575=440kb(P)484*(4/3)*484=310kb(N)信號最高頻率:440k*25/2=5.5MHz(P)310k*30/2=4.65MHz(N)行頻:626x25=15.625kHz(P);525x30=15.75kHz(N)4/28/2020MultimediaTechnology&Application電視信號的時間特性

頻道總帶寬(MHz)視頻信號帶寬(MHz)掃描速率(Hz)

8.05.51.81.850iNA50i6.04.21.00.659.94iNA59.94i9.010.05.05.059.94p59.94p59.94i12.014.07.07.050p100p50i30.020.07.03.060i60iNAPALi

NTSCiHDTV(A)HDTV(E)HDTV(J)YR-YB-Y攝象機HDTV常規(guī)4/28/2020MultimediaTechnology&Application5、視頻信號的傳輸為便于電視信號遠距傳輸，把三個分量信號以及同步信號復合成一個信號，然后才進行傳輸CVBS=Y+a*U*Sin(Wsc*t)+b*V*Cos(Wsc*t)(Wsc為副載波頻率)伴音信號與視頻信號也復合在一起傳輸亮度色度6MHz(NTSC)-1.00.01.02.03.04.0圖象載波聲音載波色度副載波音頻4/28/2020MultimediaTechnology&Application

5、視頻信號的傳輸(續(xù))復合視頻信號(VHS,用戶級)為保證視頻信號質量，近距離時可用分量視頻信號傳輸(R,G,B或Y,U,V)(Betacam，廣播級或專業(yè)級)介于復合視頻信號與分量視頻信號之間的S-video(Y/Cvideo)信號，由亮度和復合的色度信號組成。彩色空間轉換(RGB=>YUV)顯示信號編碼信號復合RGBYUVCVBSVSyncHSync復合彩電信號4/28/2020MultimediaTechnology&Application6、視頻信號的存儲錄象帶（模擬）照相膠片/數(shù)字相機（模擬、數(shù)字）LD光盤（模擬+數(shù)字）VCD光盤（數(shù)字）DVD光盤（數(shù)字）MP3、MP4（數(shù)字）移動硬盤（數(shù)字）4/28/2020MultimediaTechnology&Application3.5.2彩色電視制式

目前世界上現(xiàn)行的彩色電視制式有三種：

NTSC制、PAL制、SECAM制

它們都是兼容制制式。這里說的“兼容”有兩層意思：一是指黑白電視機能接收彩色電視廣播，顯示的是黑白圖像，另一層意思是彩色電視機能接收黑白電視廣播，顯示的也是黑白圖像，這叫逆兼容性。4/28/2020MultimediaTechnology&Application3.6視頻的數(shù)字化

為什么使用數(shù)字視頻？

易于操作處理質量更好信息復制不會失真有利于傳輸有利于存儲可以與其它媒體組合使用可以生成標題信息（bitsaboutbits）4/28/2020MultimediaTechnology&Application3.6視頻的數(shù)字化

3.6.1視頻信息的獲取主要可分為兩種方式：①通過數(shù)字化設備如數(shù)碼攝象機、數(shù)碼照相機、數(shù)字光盤等獲得；②通過模擬視頻設備如攝像機、錄像機(VCR)等輸出的模擬信號再由視頻（采集）卡將其轉換成數(shù)字視頻存入計算機，以便計算機進行編輯、播放等各種操作。

4/28/2020MultimediaTechnology&Application

將分量視頻信號數(shù)字化例如，以亮度（Y）和色差（U，V）表示彩色畫面的三個分量：對Y、U、V三個分量分別進行采樣對Y、U、V三個分量分別進行量化（色差分量的采樣頻率和量化精度,與亮度分量的處理有所不同）

什么是數(shù)字視頻？4/28/2020MultimediaTechnology&Application3.6視頻的數(shù)字化

視頻卡的功能從多種視頻源中選擇一種輸入支持不同的電視制式同時處理電視畫面的伴音可在顯示器上監(jiān)看輸入的視頻信號,位置及大小可調.可將VGA畫面內容(graphics、text、image)與視頻迭加處理可隨時凍結(定格)一幅畫面,并按指定格式保存可連續(xù)地(實時地)壓縮與存儲視頻及其伴音信息,編碼格式可選可連續(xù)地(實時地)解壓縮并播放視頻及其伴音信息,輸出設備可選(VGA監(jiān)視器、電視機、錄相機等)4/28/2020MultimediaTechnology&Application3.6視頻的數(shù)字化

視頻卡的結構videograbbervideobufferoverlayconversionTVcoderVGAgraphicsVGAVRAMMMCPUDSPCodecdiscPCIbusvideoRGBmonitorTVset4/28/2020MultimediaTechnology&Application視頻圖象數(shù)字化通常有兩種方法。一種是復合編碼，它直接對復合視頻信號進行采樣、編碼和傳輸；另一種是分量編碼，它先從復合彩色視頻信號中分離出彩色分量，然后數(shù)字化?，F(xiàn)在接觸到的大多數(shù)數(shù)字視頻信號源都是復合的彩色全視頻信號

如錄象帶、激光視盤、攝象機等。對這類信號的數(shù)字化，通常是先分離成ＹＵＶ或ＲＧＢ分量信號，然后用三個Ａ／Ｄ轉換器分別對它們數(shù)字化。3.6視頻的數(shù)字化

3.6.2視頻信息的數(shù)字化4/28/2020MultimediaTechnology&Application3.6.2視頻信息的數(shù)字化

數(shù)字化過程：圖3.17①對復合視頻信號的分離（ＹＵＶ或ＲＧＢ分量信號）②分別濾波③Ａ／Ｄ轉換器對它們轉換數(shù)字化④加以編碼。4/28/2020MultimediaTechnology&Application3.6.2視頻信息的數(shù)字化

數(shù)字化過程：簡圖前置慮波采樣量化PCM編碼模擬視頻信號Y,U,V(13.5MHz)(6.75MHz)(8bits)數(shù)字視頻信息720pel(可見部分)12pel132pel水平掃描線(64us)每行象素的數(shù)目:13.5MHz*64us=864pel,有效象素=720(Y)6.75MHz*64us=432pel,有效象素=360(U,V)4/28/2020MultimediaTechnology&Application3.6.3視頻信號的采樣格式4/28/2020MultimediaTechnology&Application視頻信息的數(shù)據(jù)結構*視頻序列(SEQUENCE),可隨機存取，有特定語義*畫面組(GOP)，可隨機存取，編輯處理單位*畫面(Picture),主編碼單位*片(Slice),傳輸中的重同步單位*宏塊(Macro),運動補償單位*塊(Block),DCT單位4/28/2020MultimediaTechnology&Application視頻(復合)流視頻復合流由視頻流、音頻流及應用數(shù)據(jù)流組成，每個基本流分成許多“分組”(PACKET)視頻復合流由若干PACK組成每個PACK中包含若干個分組每個分組的長度可變每個分組中均含有解碼時間戳和表現(xiàn)時間戳，用于解決同步和實時問題。4/28/2020MultimediaTechnology&Application3.7數(shù)字視頻標準

國際無線電咨詢委員會CCIR(InternationalRadioConsultativeCommittee)就制定了彩色電視圖像數(shù)字化標準，稱為CCIR801標準，現(xiàn)改為ITU-RBT.801標準。該標準規(guī)定了彩色電視圖像轉換成數(shù)字圖像時使用的采樣頻率,RGB和YCbCr(或者寫成YCBCR)兩個彩色空間之間的轉換關系等.

1.彩色空間之間的轉換

2.采樣頻率

3.有效顯示分辨率

4/28/2020MultimediaTechnology&Application關于標準化一個成功的標準必須滿足商業(yè)的要求并且不限制革新和競爭,最好的辦法是只限定必要的性能指標,以此來確定基本功能以及重要的數(shù)據(jù)交換方法和接口等。標準化就是國際化。標準化工作的過程：研究，實驗，測試；競爭，篩選，優(yōu)化。標準是長期研究開發(fā)的成果，是工業(yè)界和科技界合作的成果。4/28/2020MultimediaTechnology&Application標準的分類:(1)國際標準由國際標準化組織(ISO)、國際電工委員會(IEC)和國際電信聯(lián)盟(ITU)制定。(2)國家標準由各國國家標準委員會制定.如中國的GB,美國的ANSI,德國的DIN和日本的JIS等。(3)公共規(guī)范(PublicSpecifications)或地區(qū)標準由多家公司或一些地區(qū)性的聯(lián)合組織(Consortium)共同開發(fā)。如早期的網(wǎng)絡協(xié)議TCP/IP標準等。(4)企業(yè)(實用)標準(De-FactoStandard)它由一家公司開發(fā),并被市場接受,如MSWin95軟件標準。4/28/2020MultimediaTechnology&Application多媒體技術國際標準的分工

涉及多媒體標準的國際組織是IEC、ISO和ITU。

(1)ISO/IEC的聯(lián)合技術委員會JTC1的分委會(SC)

SC17,SC31DataCaptureandIdentificationSystem

SC18DocumentProcessing文件處理與相關通信;SC21SC11,SC23InformationInterchangeMedia（磁盤，光盤）SC6，SC25，SC256Networking&InterconnectsSC24，SC29:MultimediaandRepresentation

標準制定過程

工作組草案(WD)=>委員會草案(CD)=>國際標準草案(DIS)=>國際標準(IS)4/28/2020MultimediaTechnology&Application多媒體技術國際標準的分工(續(xù))(2)ISO/

TC36電影攝影術;TC42攝影術;TC43聲學;TC159人類工效學。(3)ITU-R/

SG10聲學;SG11電視。4/28/2020MultimediaTechnology&Application多媒體技術國際標準的分工(續(xù))(4)

ITU-T/

SG1視聽/多媒體服務;SG8視聽遠距服務。(5)DAVIC數(shù)字音頻視頻委員會。(6)DVB已于1995年底完成"數(shù)字電視廣播規(guī)范"。4/28/2020MultimediaTechnology&Application優(yōu)先開展的標準化工作

(1)消費者子系統(tǒng)接口包括消費者子系統(tǒng)與網(wǎng)絡之間以及終端與其它用戶裝置之間的雙向接口,可以考慮以DAVIC參考模型作為基礎。

(2)用戶接口包括對用戶提供服務的雙向接口,可以通過手動操作或與網(wǎng)絡通信來進行。

(3)安全、存取控制、拷貝管理

(4)多媒體節(jié)目要有利于現(xiàn)有的和開發(fā)中的各種格式的用戶裝置的競爭,而不加任何不合理的限制。4/28/2020MultimediaTechnology&Application3.7數(shù)字視頻標準

每行象素的數(shù)目:13.5MHz*64us=864pel,有效象素=720(Y)6.75MHz*64us=432pel,有效象素=360(U,V)(13.5MHz)(6.75MHz)4/28/2020MultimediaTechnology&Application幾種常用數(shù)字視頻的格式(PAL)

(色差信號格式為4:2:2)名稱分辨率量化精度數(shù)碼率應用CCIR601720x576x25(l)8124Mb/s普通電視360x576x25(c)4+4CIF360x288x25(l)823Mb/S視頻會議180x144x25(c)2+2QCIF180x144x25(l)85.8Mb/S電視電話90x72x25(c)2+2HDTV1280x720x608+8+8885Mb/sHDTV(ITU-R601)4/28/2020MultimediaTechnology&Application3.8視頻信息的壓縮編碼

3.8.1概述1、為什么要壓縮數(shù)字音頻、視頻信息量大數(shù)據(jù)壓縮的可能性（原始的視頻圖像信息存在很大的冗余度等）2、圖像壓縮的方法有許多方法用于圖像壓縮,但它們可基本分為兩種類型:無損壓縮有損壓縮。3、圖像壓縮的目的、壓縮依據(jù)在于移走冗余信息,減少表示一個圖像所需的存貯量。4/28/2020MultimediaTechnology&Application壓縮編碼目的信息是對事件和物體的抽象描述數(shù)據(jù)是在確定了描述方法后對事件和物體的具體描述記錄（表示）對同一信息,若使用的描述方法不同,則形成記錄的數(shù)據(jù)量可能完全不同數(shù)據(jù)壓縮的目的,就是用盡可能少的數(shù)據(jù)來表達信息,從而節(jié)省傳輸和存儲的開銷。4/28/2020MultimediaTechnology&Application壓縮編碼的依據(jù)畫面內部信息有很強的相關性相鄰畫面有高度的相容性運動可以估測（MotionEstimation）人眼的視覺特性4/28/2020MultimediaTechnology&Application視頻壓縮編碼技術的分類（續(xù)）

信源模型——編碼技術1.單個像素顏色——PCM編碼2.像素塊顏色——ADPCM，變換編碼3.像素塊顏色和運動——帶運動補償?shù)腄PCM/DCT混合編碼、小波編碼4/28/2020MultimediaTechnology&Application視頻壓縮編碼技術的分類（續(xù)）

信源模型——編碼技術

4.運動的結構——分形編碼、輪廓/紋理編碼5.圖像中每個物體的形狀、運動和顏色——分析/綜合編碼6.圖像中己知物體的形狀、運動和顏色——知識基編碼7.圖像中的行為單元——語義學編碼4/28/2020MultimediaTechnology&Application

視頻壓縮編碼技術的評價準則：重建圖像的質量編碼/解碼延時錯誤修復能力碼率算法復雜程度4/28/2020MultimediaTechnology&Application3.8視頻信息的壓縮編碼

3.8.2常用的圖像壓縮方案1.JPEG(theJointPhotographicExpertsGroup)2.電視電話/會議電視P·84K位/秒(CCITTH.28)標準3.運動圖像專家組MPEG-1標準4．運動圖像專家組MPEG-2及其他標準5.常用的還有MPEG-4、MPEG-7和H.261

4/28/2020MultimediaTechnology&Application運動圖像專家組MPEG

(MovingPictureExpertGroup)是ISO/IEC/JTC1/SC29下面的一個工作組WG11,成立于1988年。大約有100多家單位300名專家參加,分10個組進行工作。1993年8月和1994年11月公布的標準PEG-1和MPEG-2,在影視和多媒體計算機領域中得到了廣泛應用,MPEG-4將于1998年公布。4/28/2020MultimediaTechnology&ApplicationMPEG及其他壓縮方法4/28/2020MultimediaTechnology&ApplicationMPEG標準

MPEG-1標準1993年8月公布。用于傳輸1.5Mbps數(shù)據(jù)傳輸率的數(shù)字存儲媒體運動圖像及其伴音的編碼。MPEG-2標準1994年11月公布。主要針對高清晰度電視(HDTV)所需要的視頻及伴音信號，典型傳輸速率為10Mbps，與MPEG-1兼容，適用于1.5Mbps～60Mbps甚至更高的編碼范圍。

4/28/2020MultimediaTechnology&ApplicationMPEG標準（續(xù)）MPEG-4標準專家組成立于1993年。該標準的目標為：支持多種多媒體應用(主要側重于對多媒體信息內容的訪問)，可根據(jù)應用的不同要求現(xiàn)場配置解碼器。該標準將于1998年11月公布。MPEG-7標準是“多媒體內容描述接口”(MultimediaContentDescriptionInterface)。該標準將確定各種類型的多媒體信息標準的描述方法。該標準計劃于2000年11月公布。4/28/2020MultimediaTechnology&ApplicationMPEG標準的意義MPEG支持JPEG和H.261等優(yōu)秀標準,在參加競爭的14個方案的基礎上,通過反復協(xié)調而得到統(tǒng)一,從而成為先進、合理、質量高、成本低的優(yōu)秀標準,為世界所公認。MPEG促進了大規(guī)模集成電路專用芯片的發(fā)展,為多媒體技術、產(chǎn)品的繁榮立下了功勞。4/28/2020MultimediaTechnology&ApplicationMPEG標準的應用以MPEG-1作為視音頻壓縮標準的VCD在我國已經(jīng)形成了龐大的市場以MPEG-2作為視音頻壓縮標準的數(shù)字衛(wèi)星電視接收機IRD已經(jīng)在歐美形成了很大市場，1993年下半年,美國高級電視聯(lián)盟(ATVGrandAlliance)和歐洲數(shù)字視頻廣播計劃(DigitalVideoBroadcastProject)先后決定將MPEG-2用于自己的高分辨率電視(HDTV)廣播中;4/28/2020MultimediaTechnology&Application我國的研究成果與產(chǎn)品VCD首先在中國開發(fā)和廣泛應用。中科院聲學所在MPEG-1解碼設備的設計與產(chǎn)業(yè)化方面做出了突出的貢獻。中科院計算所國家智能計算機研究開發(fā)中心完成的MPEG-2解碼設備已經(jīng)成功應用到DVD和數(shù)字衛(wèi)星電視接收機等產(chǎn)品中。四川鼎天公司設計的具有實時MPEG-1和MPEG-2解碼功能的多媒體計算機于早就已經(jīng)研制成功,并在當年美國秋季計算機展覽會上公開發(fā)布。4/28/2020MultimediaTechnology&Application我國的研究成果與產(chǎn)品VCD首先在中國開發(fā)和廣泛應用。中科院聲學所在MPEG-1解碼設備的設計與產(chǎn)業(yè)化方面做出了突出的貢獻。中科院計算所國家智能計算機研究開發(fā)中心完成的MPEG-2解碼設備已經(jīng)成功應用到DVD和數(shù)字衛(wèi)星電視接收機等產(chǎn)品中。四川鼎天公司設計的具有實時MPEG-1和MPEG-2解碼功能的多媒體計算機于早就已經(jīng)研制成功,并在當年美國秋季計算機展覽會上公開發(fā)布。4/28/2020MultimediaTechnology&Application多媒體標準與信息基礎設施標準的關系信息基礎設施的不斷完善,要求多媒體技術在節(jié)目供應、服務供應、網(wǎng)絡供應和用戶等各個環(huán)節(jié)上起作用。因此,多媒體標準必須考慮上述4個環(huán)節(jié)。1996年12月,在ISO/IEC/JTC1的年會上,信息基礎設施專題工作組(SWG-GII)提出的全球信息基礎設施標準化首次報告中,初步認定了100項標準專題項目,其中的機頂盒接口、人機接口要求和圖形存取等許多標準是以相應的多媒體標準為基礎的。4/28/2020MultimediaTechnology&Application3.9Windows中的視頻播放軟件

MicrosoftWindowsMediaPlayer（以下稱MediaPlayer）是Windows操作系統(tǒng)自帶的一種通用多媒體播放器。MediaPlayer的作用：可以用來播放CD、DVD和VCD，能從CD復制曲目，創(chuàng)建自己的音頻和數(shù)據(jù)CD，收聽電臺廣播，搜索和組織數(shù)字媒體文件及向便攜設備（如PocketPC和便攜式數(shù)字音頻播放機）復制文件。

4/28/2020MultimediaTechnology&Application3.9Windows中的視頻播放軟件

3.9.1MediaPlayer的運行MediaPlayer的運行步驟如下：單擊“開始”|“程序”|“附件”|“娛樂”|“WindowsMediaPlayer”即可運行該軟件，軟件運行后，屏幕出現(xiàn)圖3.25的運行界面。4/28/2020MultimediaTechnology&Application3.9Windows中的視頻播放軟件

3.9.1MediaPlayer的運行快速訪問面板隱藏任務欄按鈕播放控件區(qū)域正在播放區(qū)域播放信息區(qū)域4/28/2020MultimediaTechnology&Application3.9Windows中的視頻播放軟件

3.9.2MediaPlayer支持的媒體格式

文件類型（格式）文件擴展名音樂CD播放（CD音頻）.cda音頻交換文件格式(AIFF).aif、.aifc和.aiffWindowsMedia音/視頻文件.asf、.asx、.wax、.wm、.wma、.wmd、.wmp、.wmv、.wmx、.wpl和.wvxWindows音頻和視頻文件.avi和.wavWindowsMediaPlayer外觀.wmz運動圖像專家組(MPEG).mpeg、.mpg、.m1v、.mp2、.mpa、.mpe、.mp2v*和.mpv2音樂器材數(shù)字接口(MIDI).mid、.midi和.rmiAU(UNIX).au和.sndMP3.mp3和.m3uDVD視頻.vobMacromediaFlash.swf4/28/2020MultimediaTechnology&Application3.9Windows中的視頻播放軟件

3.9.3利用MediaPlayer播放數(shù)字視頻

1、如何利用MediaPlayer觀看DVD

操作步驟如下：（1）在“播放”菜單上指向“DVD、VCD或CD音頻”，然后單擊包含DVD的驅動器。（2）在播放列表窗格中單擊適當?shù)腄VD標題或章節(jié)名。

選擇要播放的視頻文件。

4/28/2020MultimediaTechnology&Application3.9Windows中的視頻播放軟件

3.9.3利用MediaPlayer播放數(shù)字視頻

2、如何利用MediaPlayer觀看VCD

操作步驟如下：（1）運行MediaPlayer；（2）將VCD插入CD-ROM驅動器中，VCD就會自動開始播放。若WindowsMediaPlayer播放機正在播放其他內容，可以使用“播放”菜單播放VCD。3、如何利用MediaPlayer播放視頻文件若要在MediaPlayer中播放視頻文件，操作步驟為：（1）運行MediaPlayer；（2）單擊“文件”|“打開”命令；選擇要播放的視頻文件。

4/28/2020