內(nèi)蒙古工業(yè)大學(xué) 多媒體技術(shù)(第2章)

第二章

多媒體數(shù)據(jù)編碼基礎(chǔ)

數(shù)字音頻編碼

數(shù)字圖像編碼數(shù)字視頻編碼多媒體數(shù)據(jù)轉(zhuǎn)換2.1

數(shù)字音頻編碼聲音的種類

聲音是攜帶信息的極其重要的媒體，是多媒體技術(shù)研究中的一個(gè)重要內(nèi)容。聲音的種類繁多，如人的話音、樂(lè)器聲、動(dòng)物發(fā)出的聲音、及其產(chǎn)生的聲音以及自然界的雷電、風(fēng)聲、雨聲、閃電聲等等。聲波聲音是通過(guò)空氣傳播的一種連續(xù)的波，叫聲波。聲音的強(qiáng)弱體現(xiàn)在聲波壓力的大小上，音調(diào)的高低體現(xiàn)在聲音的頻率上。聲音用電表示時(shí)，聲音信號(hào)在時(shí)間和幅度上都是連續(xù)的模擬信號(hào)。聲波具有普通波所具有的特性，例如反射（reflection）、折射（refraction）、和衍射（diffraction）等。音頻的基本特性

聲音是由振動(dòng)的聲波所組成，在任一時(shí)刻t，聲波可分解為一系列正弦波線性疊加：f(t)=ΣAnsin(nωt+φn)其中,ω稱為基頻或基音，它決定聲音的高低；nω稱為ω的n次諧波分量或稱為泛音，與聲音的音色有關(guān);An是振幅,表示聲音的強(qiáng)弱；φn是n次諧波的初相位。音頻數(shù)字化

波形音頻是以數(shù)字方式表示音波。它是用聲卡(包含ADC和DAC)來(lái)錄制與執(zhí)行播出聲音的。計(jì)算機(jī)對(duì)聲音表示主要通過(guò)采樣產(chǎn)生一系列聲音數(shù)據(jù)。事實(shí)上,聲波按頻率可分為4類,其中多媒體系統(tǒng)僅處理人類的聽力所接受的頻率范圍的聲音，我們稱之為音頻,這個(gè)頻率范圍的音波稱之為聲音信號(hào)。

聲音的頻率分類聲音分類頻率范圍亞聲波0～20Hz人類的聽力所接受的頻率20Hz～20kHz超聲波20kHz～1GHz超高聲波1GHz～10THz聲音信號(hào)數(shù)字化從模擬過(guò)渡到數(shù)字：回顧歷史，大多數(shù)電信號(hào)的處理一直是用模擬元器件對(duì)模擬信號(hào)進(jìn)行處理。但是，模擬信號(hào)處理元部件相當(dāng)困難的，而且成本高。用數(shù)字來(lái)表示模擬量，對(duì)數(shù)字信號(hào)進(jìn)行計(jì)算處理，那么難點(diǎn)就發(fā)生了轉(zhuǎn)移。把開發(fā)模擬運(yùn)算部件的問(wèn)題轉(zhuǎn)變成開發(fā)數(shù)字運(yùn)算部件的問(wèn)題，這就出現(xiàn)了數(shù)字信號(hào)處理器（digitalsignalprocessor,DSP）。在數(shù)字域做信號(hào)處理的主要優(yōu)點(diǎn):首先，數(shù)字信號(hào)計(jì)算是一種精確的運(yùn)算方法，它不受時(shí)間和環(huán)境的影響；其次，表示部件功能的數(shù)學(xué)運(yùn)算不是物理上實(shí)現(xiàn)的功能部件，而是僅用數(shù)學(xué)運(yùn)算去模擬，其中的數(shù)學(xué)運(yùn)算也相對(duì)容易實(shí)現(xiàn)；此外，可以對(duì)數(shù)字運(yùn)算部件進(jìn)行編程。模擬信號(hào)與數(shù)字信號(hào)： 我們把在時(shí)間和幅度上都是連續(xù)的信號(hào)稱為模擬信號(hào)。 在某些特定的時(shí)刻對(duì)這種模擬信號(hào)進(jìn)行測(cè)量叫做采樣（sampling），由這些特定時(shí)刻采樣得到的信號(hào)稱為離散時(shí)間信號(hào)。 采樣得到的幅值還是連續(xù)的。如果把信號(hào)幅度取值的數(shù)目加以限定，這種由有限個(gè)數(shù)值組成的信號(hào)就稱為離散幅度信號(hào)。 我們把時(shí)間和幅度都用離散的數(shù)字表示的信號(hào)稱為數(shù)字信號(hào)。通過(guò)規(guī)則時(shí)間間隔測(cè)出音波振動(dòng)幅度從而產(chǎn)生一系列聲音數(shù)據(jù)。這種測(cè)出數(shù)據(jù)方法稱之為采樣,一秒內(nèi)采樣次數(shù)叫采樣率。采樣的離散音頻數(shù)據(jù)要轉(zhuǎn)換成計(jì)算機(jī)能夠表示的數(shù)據(jù)范圍,這個(gè)過(guò)程稱之為量化。量化后數(shù)字音頻存儲(chǔ)量計(jì)算公式

音頻數(shù)據(jù)存儲(chǔ)量(字節(jié))=采樣率(Hz)×量化位數(shù)(位)×聲道數(shù)×音頻長(zhǎng)度(秒)/8MIDI

(MussicalInstrumentDigitalInterface)

1980年制定一項(xiàng)工業(yè)標(biāo)準(zhǔn),目的是讓音樂(lè)及合成音可以經(jīng)由一串消息在不同的設(shè)備上交流傳輸。MIDI提供電子樂(lè)器與計(jì)算機(jī)之間的連接器接口。定義物理連接與電子樂(lè)器溝通的協(xié)議。MIDI也定義音頻的形態(tài)與存儲(chǔ)的方法。MIDI音頻是以消息的方式而非波形的方式組成。MIDI有三種連接器(In、Out、Thru)。In為輸入,Out為輸出,而Thru是用來(lái)擴(kuò)充MIDI與其它設(shè)備連接用的。

音序器可以將音樂(lè)等聲音以一種序列來(lái)儲(chǔ)存。所謂序列便是一連串的音符加上系統(tǒng)事件的命令。

MIDI適配器是用來(lái)改變頻道、路徑與按鍵的。當(dāng)電子琴的鍵盤與一般的MIDI規(guī)格不一致時(shí)可以經(jīng)由適配器來(lái)修正使兩者一致。MIDI音頻文件

MIDI音頻文件是一串時(shí)序命令,它記錄音樂(lè)的行為。命令消息分為頻道消息(頻道聲音消息、頻道模式消息)和系統(tǒng)消息(系統(tǒng)實(shí)時(shí)消息、系統(tǒng)通用消息與系統(tǒng)專用消息)。它的文件占用很少存儲(chǔ)器空間。MIDI不適合編制口語(yǔ)旁白的音頻。數(shù)字音頻可從麥克風(fēng)、錄音帶、CD、電視及其它來(lái)源獲取。它把聲音轉(zhuǎn)換成儲(chǔ)存體中數(shù)字信息。數(shù)字音頻較為穩(wěn)定,容易保持一致性,音頻品質(zhì)也較易獲得保證。缺點(diǎn)是記錄非常詳盡,數(shù)據(jù)量極大,文件較MIDI音頻大出200倍以上。它可以適合任何一種音響。

數(shù)字音頻3D音頻3D音效可分為以下幾類：（1）擴(kuò)展式立體聲。（2）環(huán)繞立體聲。（3）交互式音效。支持3D音頻API種類:DirectXDirectSound3D;Aureal3D;

EAX;

Sensaura;Qsound;杜比AC-3;數(shù)字化影院系統(tǒng)DTS

2.2

數(shù)字圖像編碼圖像是重要的媒體

圖像是多媒體中攜帶信息的極其重要的媒體。 有統(tǒng)計(jì)資料表明，人們獲取的信息的70%來(lái)自視覺系統(tǒng)。 圖像數(shù)字化后的數(shù)據(jù)量非常大，必須對(duì)圖像數(shù)據(jù)進(jìn)行壓縮。圖像數(shù)據(jù)壓縮

圖像數(shù)據(jù)壓縮主要是根據(jù)下面兩個(gè)基本事實(shí)來(lái)實(shí)現(xiàn)的:一個(gè)是圖像數(shù)據(jù)中有很多重復(fù)的數(shù)據(jù)，使用數(shù)學(xué)方法來(lái)表示這些重復(fù)數(shù)據(jù)（無(wú)損壓縮）；另一個(gè)是人的眼睛對(duì)圖像細(xì)節(jié)和顏色的分辨有一個(gè)極限，把超過(guò)極限的部分去掉，（有損壓縮）。 實(shí)際的圖像數(shù)據(jù)壓縮技術(shù)是綜合使用各種有損和無(wú)損數(shù)據(jù)壓縮技術(shù)來(lái)實(shí)現(xiàn)的。2.2.1

色彩的基本概念顏色是視覺系統(tǒng)對(duì)可見光的感知結(jié)果。可見光是波長(zhǎng)在380nm~780nm之間的電磁波大多數(shù)光不是一種波長(zhǎng)的光，而是由許多不同波長(zhǎng)的光組合成的。三種錐體細(xì)胞 人們?cè)谘芯垦劬?duì)顏色的感知過(guò)程中普遍認(rèn)為，人的視網(wǎng)膜有對(duì)紅綠藍(lán)顏色敏感程度不同的三種錐體細(xì)胞 另外還有一種在光功率極端低的條件下才起作用的桿狀體細(xì)胞 顏色只存在于眼睛和大腦。人的視覺系統(tǒng)對(duì)顏色的感知特性：⑴眼睛本質(zhì)上是一個(gè)照相機(jī)。⑵紅綠藍(lán)三種錐體細(xì)胞對(duì)不同頻率的光的感知程度不同。⑶自然界中的任何一種顏色都可以由R,G,B這3種顏色值之和來(lái)確定，它們構(gòu)成一個(gè)三維的RGB矢量空間。圖像的顏色模型 顏色模型（colormodel）使用簡(jiǎn)單方法描述所有顏色的一套規(guī)則和定義。 例如，RGB,CMY,YCrCb都是表示顏色的顏色模型。RGB相加混色模型 顯示彩色圖像用RGB相加混色模型 一個(gè)能發(fā)出光波的物體稱為有源物體，它的顏色由該物體發(fā)出的光波決定，并且使用RGB相加模型。HSL模型從人的視覺系統(tǒng)來(lái)看，色彩可用色調(diào)、飽和度和亮度三要素來(lái)描述。在多媒體計(jì)算機(jī)中，除用RGB來(lái)表示圖像外，還用HSL模型。H定義顏色的波長(zhǎng)，稱為色調(diào)；S定義顏色的強(qiáng)度，表示顏色的深淺程度，稱為飽和度；L定義摻入的白光量，稱為量度。可打印彩色圖像用CMY相減混色模型 一個(gè)不發(fā)光波的物體稱為無(wú)源物體，它的顏色由該物體吸收或者反射哪些光波決定，用CMY相減混色模型。

CMY是指青色(cyan)、品紅(magenta)和黃色(yellow)。多媒體系統(tǒng)主要采用數(shù)字化方式對(duì)聲音、文字、圖形、圖像、視頻等媒體進(jìn)行處理。數(shù)字化處理面臨的主要問(wèn)題是巨大的數(shù)據(jù)量。彩色電視信號(hào)原始數(shù)據(jù) 例如：在彩色電視信號(hào)表示時(shí)，設(shè)代表光強(qiáng)、色彩和色飽和度的YIQ色彩空間中各分量的帶寬分別為4.2MHz、1.5MHz、0.5MHz。根據(jù)采樣定理，采樣頻率≧2倍原始信號(hào)頻率。再設(shè)各分量信號(hào)均被數(shù)字化8比特。則一秒鐘電視信號(hào)的數(shù)據(jù)量為：(4.2+1.5+0.5)*2*8=99.2M(bit) 650MB的CD-ROM僅能存約1分鐘的原始電視數(shù)據(jù)。圖像的三個(gè)基本屬性 描述一幅圖像需要使用圖像的屬性。圖像的屬性包含分辨率、像素深度、真/偽彩色、圖像的表示法和種類等。分辨率 有兩種：顯示分辨率和圖像分辨率。像素深度 指存儲(chǔ)每個(gè)像素所用的位數(shù)。 在用32位表示一個(gè)像素時(shí)，若R,G,B分別用8位表示，剩下8位常稱為a通道(alpha)。真彩色、偽彩色與直接色

真彩色指每個(gè)像素用RGB的值直接確定。 偽彩色指通過(guò)查表。 直接色指分別用RGB分量分別查表。圖像的種類矢量圖與點(diǎn)位圖灰度圖與彩色圖γ(伽馬)校正γ的概念 目前幾乎所有的CRT顯示設(shè)備、攝影膠片和許多電子照相機(jī)的光電轉(zhuǎn)換特性都是非線性的。這些非線性部件都有一個(gè)能夠反映各自特性的冪函數(shù)，它的一般形式是：

y=xγ

?輸出=(輸入)γγ校正 這些環(huán)節(jié)至少有5個(gè)地方可有非線性轉(zhuǎn)換函數(shù)存在并可引入γ值。2.2.2顏色的度量體系

顏色是一門很復(fù)雜的學(xué)科，它涉及到物理學(xué)、生物學(xué)、心理學(xué)和材料學(xué)等多種學(xué)科。顏色是人的大腦對(duì)物體的一種反映，是人的一種感覺，帶有極端的主觀性，用數(shù)學(xué)的方法來(lái)描述這種感覺可能是一件很困難的事?，F(xiàn)在已經(jīng)有許多有關(guān)顏色的理論、測(cè)量技術(shù)和顏色標(biāo)準(zhǔn)。顏色科學(xué)簡(jiǎn)史在1666年，IsaacNewton(1642-1727)就開始研究顏色。牛頓色圓為揭示RGB相加混色奠定了基礎(chǔ)。在1802年，ThomasYoung(1773-1829)認(rèn)為人的眼睛有三種不同類型的顏色感知接收器。19世紀(jì)60年代，Maxwell,JamesClerk(1831-1879)探索了三種基色的關(guān)系，被認(rèn)為是現(xiàn)代色度學(xué)的基礎(chǔ)。其后，HermannvonHelmholtz(1821-1894)進(jìn)行了定量研究。在1931年，國(guó)際照明委員會(huì)(CommissionInternationaledel’clairage/InternationalCommissiononIllumination,CIE)定義標(biāo)準(zhǔn)顏色體系，為大多數(shù)定量的顏色度量方法奠定了基礎(chǔ)。

1965年前后人們才做詳細(xì)的生理學(xué)實(shí)驗(yàn)驗(yàn)證在眼睛中的確存在三種不同類型的錐體。顏色的度量體系顏色度量體系(colorsystem)，也叫做顏色制或者顏色體制，實(shí)際上就是人們組織和表示顏色的方法。AlbertH.Munsell(1858~1919)是美國(guó)杰出的一位藝術(shù)家和教授。1905年提出并在1943年修改的Munsell顏色系統(tǒng)使用色調(diào)、飽和度和明度表示顏色的3種屬性。德國(guó)化學(xué)家WilhelmOstwald(1853~1932)的Ostwald制是根據(jù)對(duì)顏色起作用的波長(zhǎng)、純度和亮度來(lái)反映色調(diào)、飽和度和明度的值。CIE顏色系統(tǒng)國(guó)際照明委員會(huì)的顏色科學(xué)家們企圖在RGB模型的基礎(chǔ)上，用數(shù)學(xué)的方法從真實(shí)的基色推到出理論的三基色，創(chuàng)建一個(gè)新的顏色系統(tǒng)，使顏料、染料和印刷等工業(yè)能夠明確指定產(chǎn)品的顏色。1931年9月，國(guó)際照明委員會(huì)在英國(guó)的劍橋市召開了具有歷史意義的會(huì)議。1931的CIE系統(tǒng)規(guī)范使用三基色刺激值和色度圖描述顏色空間。其后，國(guó)際照明委員會(huì)的專家們對(duì)該系統(tǒng)做了許多改進(jìn)，包括1964年根據(jù)10度視野的實(shí)驗(yàn)數(shù)據(jù)，添加了補(bǔ)充標(biāo)準(zhǔn)觀察者的定義。CIEXYZ是國(guó)際照明委員會(huì)在1931年開發(fā)并在1964年修改的CIE顏色系統(tǒng)(CIEColorSystem)，該系統(tǒng)是其他顏色系統(tǒng)的基礎(chǔ)。1976年國(guó)際照明委員會(huì)召開了一次又具有歷史意義的會(huì)議。為了解決顏色空間的感知一致性問(wèn)題，專家們對(duì)CIE1931XYZ系統(tǒng)進(jìn)行了非線性變換，制定了CIE1976L*a*b*顏色空間的規(guī)范。事實(shí)上，1976年CIE規(guī)定了兩種顏色空間：一種用于自照明的顏色空間，叫做CIELUV；另一種是用于非自照明的顏色空間，叫做CIE1976L*a*b*，或者叫CIELAB。這兩個(gè)顏色空間與顏色的感知更均勻，并且給了人們?cè)u(píng)價(jià)兩種顏色近似程度的一種方法，允許使用數(shù)字量ΔE表示兩種顏色之差。2.2.3

彩色空間及其變換常見模型：

RGB彩色空間

HSI彩色空間

YUV彩色空間

YIQ彩色空間RGB彩色空間R、G、B是彩色最基本表示模型,也是計(jì)算機(jī)系統(tǒng)中所使用的彩色模型。

RGB5:5:5方式用2個(gè)字節(jié)表示一個(gè)象素，具體位分配。RGB5:5:5方式RGB8:8:8方式R、G、B三個(gè)分量各占一個(gè)字節(jié)。T(1b)R(5b)G(5b)B(5b)HSI彩色空間這種模型中,用H(Hue,色調(diào))、S(Saturation,飽和度)、I(Intensity,光強(qiáng)度)3個(gè)分量來(lái)表示一種顏色,這種表示更適合人的視覺特性。YUV彩色空間Y為亮度信號(hào),U、V是色差信號(hào)(B-Y,R-Y)。

PAL制式彩色空間即為YUV。優(yōu)點(diǎn)是亮度和色差信號(hào)分離,容易使彩色電視系統(tǒng)與黑白電視信號(hào)兼容。國(guó)際無(wú)線電咨詢委員會(huì)根據(jù)實(shí)驗(yàn)認(rèn)為采用雙倍度采樣4:2:2方案效果較好,提出CCIR601標(biāo)準(zhǔn)。變換公式（YUV<--->RGB）Y=0.299*R+0.587*G+0.114*B;U=-0.169*R-0.332*G+0.500*B;V=0.500*R+0.419*G-0.081*BYIQ彩色空間廣播電視系統(tǒng)另一種常用的亮度與色差分離的模型。NTSC制式彩色空間即為YIQ。這里Y是亮度,I和Q共同描述圖象的色調(diào)和飽和度。變換公式(YIQ<--->RGB)

Y=0.299*R+0.587*G+0.114*B;I=0.211*R-0.523*G+0.312*B;Q=0.596*R-0.275*G-0.322*B2.2.4數(shù)字圖象文件格式

TIFPCXGIF、TGA、BMP、DVI、JPEG等

BMP文件格式位圖文件(bitmap-file,BMP)格式是Windows采用的圖像文件存儲(chǔ)格式。BMP圖像文件結(jié)構(gòu)位圖文件的組成結(jié)構(gòu)名稱位圖文件頭（bitmap-fileheader）BITMAPFILEHEADER位圖信息頭（bitmap-informationheader）BITMAPINFORMATIONHEADER彩色表（colortable）RGBQUAD圖像數(shù)據(jù)陣列字節(jié)BYTE位圖文件頭包含有關(guān)文件類型、文件大小和存放位置等信息。 位圖信息頭包含有位圖文件的大小、壓縮類型和顏色格式。BMP位圖可以是沒(méi)有壓縮的位圖，或者采用RLE進(jìn)行壓縮的位圖。顏色格式說(shuō)明位圖所用的顏色數(shù)目，2/16/256/16777216種顏色。 彩色表中的元素與位圖所有的顏色相同。對(duì)于24位真彩色就不使用彩色表。 圖像數(shù)據(jù)陣列字節(jié)是緊跟在彩色表后的圖像數(shù)據(jù)字節(jié)陣列。TIF文件格式由美國(guó)AldusDeveloper’sDesk和Microsoft制定結(jié)構(gòu)文件頭(8B)參數(shù)指針表參數(shù)數(shù)據(jù)表圖象數(shù)據(jù)

文件頭含字節(jié)順序(2B,表示存貯格式:II-Intel格式;MM—Motorola格式);標(biāo)記號(hào)(2B,版本信息);指向第一個(gè)參數(shù)指針表的編碼(4B)。參數(shù)指針表由每個(gè)長(zhǎng)為12B參數(shù)塊構(gòu)成,描述壓縮種類、長(zhǎng)寬、彩色數(shù)、掃描密度等參數(shù)。較長(zhǎng)參數(shù)(如調(diào)色板)只給出指針,參數(shù)放在參數(shù)數(shù)據(jù)表中。其結(jié)構(gòu)定義如下：

typedef

struct{

inttag-type;

intnumber-size;longlength;longoffset;}TIF-FIELD;圖象數(shù)據(jù)按參數(shù)表中描述的形式按行排列PCX文件格式由ZSoft公司最初制定結(jié)構(gòu)文件頭(128字節(jié))數(shù)據(jù)部分(采用行程長(zhǎng)度編碼)文件頭結(jié)構(gòu)定義

typedef

struct{charmanufacture;/*always0xa0*/charversion；charencoding;/*always1*/charbits-per-pixel;/*colorbits*/

int

Xmin,Ymin;/*imageorigin*/

int

Xmax,Ymax;/*imagedimension*/

int

hres;/*resolutionvalues*/

int

vres;charpalette[48];/*colorpalette*/charreserved;charcolor-planes;/*colorplanes*/

intbytes-per-line;/*linebuffersize*/

intpalette-type;/*greyorcolorpalette*/charfiller[58];}PCXHEAD;

其中Version若為5,文件內(nèi)有個(gè)256色調(diào)色板,數(shù)據(jù)768字節(jié),在文件最后。

文件體對(duì)象素?cái)?shù)據(jù)采用行程長(zhǎng)度編碼,由包含Keybyte和Databyte的包組成。分2種情況:

(1)若Keybyte最高位為11,則低6位為重復(fù)次數(shù)。但最多重復(fù)63次,若再長(zhǎng)重建一個(gè)包.PCX數(shù)據(jù)包的結(jié)構(gòu)

(2)若Keybyte最高位不是11，那么該Databyte按原樣寫入圖象文件。對(duì)一個(gè)字符的表示用長(zhǎng)度為1的包。11IndexDatabyte111Databyte2.3

數(shù)字視頻編碼電視是當(dāng)代信息傳播工具 電視是20世紀(jì)20年代的偉大發(fā)明。在50年代開發(fā)電視技術(shù)時(shí)，電視技術(shù)一直沿著模擬信號(hào)處理技術(shù)的方向發(fā)展，自到70年代才開始開發(fā)數(shù)字電視。 由于數(shù)字技術(shù)具有許多優(yōu)越件，而且數(shù)字技術(shù)發(fā)展到足以使模擬電視向數(shù)字電視過(guò)渡的水平，電視和計(jì)算機(jī)才開始融合在一起。數(shù)字視頻的結(jié)構(gòu)

基本單位是幀。若干同一場(chǎng)景的幀構(gòu)成鏡頭若干鏡頭構(gòu)成情節(jié)若干情節(jié)構(gòu)成故事(節(jié)目)國(guó)際視頻標(biāo)準(zhǔn)

NTSC

美國(guó)研制,是目前廣泛使用的電視制式。它以525條橫掃描線來(lái)組成一個(gè)屏幕幀,每秒30幀。PAL

中國(guó)、英國(guó)等國(guó)采用制式,W.Bruch1963年發(fā)明的,其基本原理類似于NTSC制式。以625條掃描線,每秒25幀。SECAM

法國(guó)、俄羅斯等國(guó)采用制式。同樣采用625條線和25幀,但與NTSC和PAL相比,其基礎(chǔ)技術(shù)是采用頻率調(diào)制。數(shù)字視頻CCIR601編碼標(biāo)準(zhǔn)數(shù)字視頻CCIR601編碼標(biāo)準(zhǔn)是國(guó)際無(wú)線電咨詢委員會(huì)（CCIR）制定的廣播級(jí)質(zhì)量的數(shù)字視頻編碼標(biāo)準(zhǔn)。采樣頻率：為了保證信號(hào)的同步，采樣頻率必須是電視信號(hào)行頻的倍數(shù)，fs=13.5MHz是PAL、SECAM