多媒體編碼通信導(dǎo)論

多媒體編碼通信導(dǎo)論第一頁(yè)，共五十頁(yè)，2022年，8月28日提綱數(shù)字圖像顏色空間量化和伽馬校正采樣原始數(shù)據(jù)格式數(shù)字視頻幀速率逐行和隔行BT.601

電影原始數(shù)據(jù)格式壓縮的必要性原始數(shù)據(jù)量存儲(chǔ)器容量傳輸速率壓縮的可行性冗余的概念統(tǒng)計(jì)冗余空間冗余時(shí)間冗余知識(shí)冗余第二頁(yè)，共五十頁(yè)，2022年，8月28日數(shù)字圖像：成像原理第三頁(yè)，共五十頁(yè)，2022年，8月28日焦點(diǎn)、焦距、凸透鏡成像公式影像放大率：像高與物高的比，等于v/u視角：膠片對(duì)角線兩端點(diǎn)與鏡頭中心點(diǎn)所連線的夾角稱為視角。焦距愈長(zhǎng)視角愈小；焦距愈短視角愈大數(shù)字圖像：成像原理第四頁(yè)，共五十頁(yè)，2022年，8月28日數(shù)字圖像：成像原理對(duì)焦點(diǎn)前后能夠清晰成像的范圍叫做景深范圍第五頁(yè)，共五十頁(yè)，2022年，8月28日光圈是鏡頭后面的一個(gè)遮擋光線的器件，光線只能從光圈的開口處通過(guò)。光圈愈大，進(jìn)光量愈多，反之進(jìn)光量愈少光圈越大，彌散斑越大，景深越小數(shù)字圖像：成像原理第六頁(yè)，共五十頁(yè)，2022年，8月28日數(shù)字圖像：成像原理第七頁(yè)，共五十頁(yè)，2022年，8月28日快門是照相機(jī)中控制曝光時(shí)間長(zhǎng)短的裝置小型相機(jī)一般使用鏡間快門，而單反相機(jī)常用焦平面快門。數(shù)字圖像：成像原理第八頁(yè)，共五十頁(yè)，2022年，8月28日數(shù)字圖像：成像原理開大光圈,選用小景深,就能從距離不同的諸多物體中突出某一物體,使它能夠得到強(qiáng)調(diào)第九頁(yè)，共五十頁(yè)，2022年，8月28日數(shù)字圖像：成像原理收小光圈,選用大景深,這時(shí)照片中的前后景物都將控制在清晰的焦點(diǎn)之下,相片包含了豐富的信息和細(xì)節(jié)第十頁(yè)，共五十頁(yè)，2022年，8月28日數(shù)字圖像：成像原理快門速度越快,曝光時(shí)間越短,能夠把瞬間的動(dòng)作記錄下來(lái)。第十一頁(yè)，共五十頁(yè)，2022年，8月28日數(shù)字圖像：成像原理快門速度越慢,曝光時(shí)間越長(zhǎng),運(yùn)動(dòng)的物體就會(huì)留下流動(dòng)的影像,這也是攝影中表現(xiàn)動(dòng)感的一種獨(dú)特方法之一第十二頁(yè)，共五十頁(yè)，2022年，8月28日數(shù)字圖像：成像原理快門速度越慢,曝光時(shí)間越長(zhǎng),運(yùn)動(dòng)的物體就會(huì)留下流動(dòng)的影像,這也是攝影中表現(xiàn)動(dòng)感的一種獨(dú)特方法之一第十三頁(yè)，共五十頁(yè)，2022年，8月28日數(shù)字圖像：顏色空間標(biāo)準(zhǔn)單色圖標(biāo)準(zhǔn)灰度圖按照顏色數(shù)，圖像分為單色圖、灰度圖、彩色（16/24位）第十四頁(yè)，共五十頁(yè)，2022年，8月28日?qǐng)D5-2光譜色數(shù)字圖像：顏色空間第十五頁(yè)，共五十頁(yè)，2022年，8月28日數(shù)字圖像：顏色空間人的視網(wǎng)膜上有很多神經(jīng)元，神經(jīng)元有錐狀和桿狀兩種

錐狀：分三種，分別對(duì)紅、綠、藍(lán)光敏感桿狀：只在光功率極低的條件下才起作用第十六頁(yè)，共五十頁(yè)，2022年，8月28日顏色特性通常進(jìn)入我們眼睛的光是由許多不同波長(zhǎng)的光組合成的，人類視覺(jué)系統(tǒng)對(duì)可見光的不同組合有一定的區(qū)分能力能夠區(qū)分：使我們能夠看到光譜色以外的許多顏色不能區(qū)分：不同的組合光可以呈現(xiàn)出相同的顏色，可以利用這點(diǎn)生成顏色數(shù)字圖像：顏色空間第十七頁(yè)，共五十頁(yè)，2022年，8月28日國(guó)際照明委員會(huì)把三種單色光的波長(zhǎng)分別定為紅光(R)：700nm綠光(G)：546.1nm藍(lán)光(B)：435.8nm為匹配在438.1nm和546.1nm之間的光譜色，出現(xiàn)負(fù)值，表示需要使用補(bǔ)色顏色匹配曲線是采集和再現(xiàn)顏色的基礎(chǔ)1931CIERGB顏色匹配曲線數(shù)字圖像：顏色空間第十八頁(yè)，共五十頁(yè)，2022年，8月28日像素(pixel)成像平面上的感光材料或感光器件由很多單元組成，模擬時(shí)代常用鹵化銀顆粒，數(shù)字時(shí)代根據(jù)光電效應(yīng)制造感光器件，把光轉(zhuǎn)化成電壓或電流，然后再量化為數(shù)值每個(gè)感光單元采集一組數(shù)據(jù)，構(gòu)成一個(gè)像素像素的形狀通常認(rèn)為是正方形，這是為了理解起來(lái)比較方便，事實(shí)上可能稍有變化像素的排列通常是光柵型，這是為了制造圖像采集設(shè)備的方便數(shù)字圖像：圖像采集第十九頁(yè)，共五十頁(yè)，2022年，8月28日一幅圖像由許多像素組成數(shù)字圖像：圖像采集第二十頁(yè)，共五十頁(yè)，2022年，8月28日像素分量和像素值如果每個(gè)采集單元可以采集RGB三個(gè)分量的值，就得到彩色圖像；如果每個(gè)采集單元只采集亮度的值，就得到灰度圖像；每個(gè)像素的所有分量的值構(gòu)成的組合稱為像素值數(shù)字圖像：圖像采集第二十一頁(yè)，共五十頁(yè)，2022年，8月28日各種設(shè)備的非線性人的主觀感覺(jué)和光子的數(shù)量或能量之間不是線性的關(guān)系攝影機(jī)、照相機(jī)等圖像采集設(shè)備的光電轉(zhuǎn)換是非線性的CRT、液晶等顯示設(shè)備的電光轉(zhuǎn)換是非線性的在用計(jì)算機(jī)處理圖像的時(shí)候，我們希望像素值對(duì)應(yīng)的人的感覺(jué)是線性的，這對(duì)控制失真非常重要例如灰度值30和31之間的亮度差和灰度值32與31之間的亮度差應(yīng)該相等數(shù)字圖像：圖像采集第二十二頁(yè)，共五十頁(yè)，2022年，8月28日校正各種非線性基本上都可以用冪函數(shù)來(lái)近似，即輸出=(輸入)了解了非線性的特性，就可以在圖像采集的最后進(jìn)行校正，使輸出的像素值對(duì)人的主觀感覺(jué)是線性的，即最終輸出=(輸出)-在顯示圖像的時(shí)候，也可以進(jìn)行校正，使像素值的顯示對(duì)于人的主觀感覺(jué)是線性的，有時(shí)又叫預(yù)失真數(shù)字圖像：圖像采集第二十三頁(yè)，共五十頁(yè)，2022年，8月28日數(shù)字圖像：圖像采集第二十四頁(yè)，共五十頁(yè)，2022年，8月28日像素深度表示每個(gè)像素值所用的位數(shù)例如，用R，G，B三個(gè)分量表示的彩色圖像，若每個(gè)分量用8位表示，那么一個(gè)像素共用24位表示，就說(shuō)像素深度為24位像素深度決定彩色圖像的每個(gè)像素可能有的顏色數(shù)，或者確定灰度圖像的每個(gè)像素可能有的灰度級(jí)數(shù)例如，像素深度為24位時(shí)，可以表示224=16777216種顏色數(shù)字圖像：圖像采集第二十五頁(yè)，共五十頁(yè)，2022年，8月28日像素深度（續(xù)）像素深度大，表達(dá)的顏色數(shù)目就越多，圖像看上去越逼真，效果越好像素深度大，所占用的存儲(chǔ)空間越大由于受到設(shè)備能力的限制，像素深度不會(huì)太大，一般是24位，少數(shù)設(shè)備可以做到30位或36位（每個(gè)分量10位或12位）根據(jù)人眼的分辨能力，不一定要追求特別深的像素深度數(shù)字圖像：圖像采集第二十六頁(yè)，共五十頁(yè)，2022年，8月28日?qǐng)D像分辨率(resolution)圖像中像素的數(shù)量和分布情況叫做圖像分辨率，也稱空間分辨率(spatialresolution)或像素分辨率(pixelresolution)，640x480圖像分辨率表示圖像的精細(xì)程度對(duì)同樣內(nèi)容的圖像，如果像素?cái)?shù)目越多，則說(shuō)明圖像的分辨率越高，看起來(lái)就越逼真。相反，圖像顯得越粗糙分辨率越高，像素就越多，要求存儲(chǔ)容量就越大計(jì)算數(shù)字圖像：圖像采集第二十七頁(yè)，共五十頁(yè)，2022年，8月28日在圖像顯示應(yīng)用中的圖像分辨率表示法像素/行×行：640像素/行×480行或640x480圖像分辨率與設(shè)備分辨率是不同的概念打印機(jī)：用多少點(diǎn)每英寸(dotsperinch，DPI)表示，如300DPI數(shù)碼相機(jī)：用像素總數(shù)表示，如500萬(wàn)像素掃描儀：用像素每英寸(pixelsperinch，PPI)表示，如300PPI模擬電視機(jī)：用掃描線數(shù)表示，例如525線、625線、1080線電腦顯示器、數(shù)字電視機(jī)：用像素/行×行表示，如640像素/行×480行數(shù)字圖像：圖像采集第二十八頁(yè)，共五十頁(yè)，2022年，8月28日rawdatargbrgb.......rrrrr....g.....b.....bmp文件文件頭位圖頭調(diào)色板：可選像素值：從下到上，從左到右，每行數(shù)據(jù)四字節(jié)對(duì)齊，數(shù)字圖像：數(shù)據(jù)格式第二十九頁(yè)，共五十頁(yè)，2022年，8月28日視頻是（連續(xù)的活動(dòng)的）圖像序列分辨率、顏色空間、像素深度等參數(shù)完全相同時(shí)間上間隔相等，每秒鐘內(nèi)圖像的個(gè)數(shù)叫做‘幀速率’或‘幀率’，相鄰兩幅圖像的時(shí)間間隔叫做‘幀間隔’或‘幀周期’數(shù)字視頻：幀速率第三十頁(yè)，共五十頁(yè)，2022年，8月28日人眼的視覺(jué)暫留特性要求幀速率>=12動(dòng)畫片的幀率為12電視的幀率為25或30電影的幀率為24刷新率（顯示時(shí)）電視為50或60電影為72數(shù)字視頻：幀速率第三十一頁(yè)，共五十頁(yè)，2022年，8月28日從采集到重現(xiàn)使用了兩類顏色空間采集和重現(xiàn)使用了RGB顏色空間中間處理使用YUV型顏色空間數(shù)字視頻：顏色空間第三十二頁(yè)，共五十頁(yè)，2022年，8月28日應(yīng)用

顏色空間NTSC YIQPAL和SECAM YUVSDTV BT.601Y'CbCr，HDTV BT.709Y'CbCr，HDTV Y'PbPr數(shù)字視頻：顏色空間第三十三頁(yè)，共五十頁(yè)，2022年，8月28日BT.601Y'CbCrCCIR于20世紀(jì)80年代初制定，用于SDTVY’[16,235]，Cb，Cr[16,240],都用8位表示0.2990.5870.114是在1953年確定的數(shù)字視頻：顏色空間第三十四頁(yè)，共五十頁(yè)，2022年，8月28日逐行掃描(progressivescanning)逐行掃描數(shù)字視頻：電視掃描方式第三十五頁(yè)，共五十頁(yè)，2022年，8月28日隔行掃描：一幀由兩場(chǎng)構(gòu)成，奇場(chǎng)、偶場(chǎng)數(shù)字視頻：電視掃描方式第三十六頁(yè)，共五十頁(yè)，2022年，8月28日數(shù)字視頻：電視掃描方式例1：horseriding(720x576i)例2：fireworks(720x576p)第三十七頁(yè)，共五十頁(yè)，2022年，8月28日數(shù)字視頻：曝光時(shí)間電視的曝光時(shí)間有兩個(gè)特點(diǎn)同一幀的各像素按掃描順序依次曝光曝光時(shí)間等于幀間隔電影的曝光時(shí)間與電視完全不同，更像照相機(jī)同一幀的各像素同時(shí)曝光曝光時(shí)間不一定等于幀間隔第三十八頁(yè)，共五十頁(yè)，2022年，8月28日數(shù)字視頻：曝光時(shí)間例3：tabletennis(720x576i)例4：opening(1920x1080p),f355第三十九頁(yè)，共五十頁(yè)，2022年，8月28日對(duì)色差信號(hào)使用較低的采樣頻率的方法是一種簡(jiǎn)單的圖像壓縮技術(shù)依據(jù)人眼對(duì)色度信號(hào)的敏感程度比對(duì)亮度信號(hào)的敏感程度低人眼對(duì)圖像細(xì)節(jié)的分辨能力有一定的限度數(shù)字視頻：色差下采樣第四十頁(yè)，共五十頁(yè)，2022年，8月28日YCbCr樣本空間位置數(shù)字視頻：色差下采樣第四十一頁(yè)，共五十頁(yè)，2022年，8月28日數(shù)字視頻：原始數(shù)據(jù)格式設(shè)空間分辨率為W×H.yuv無(wú)頭文件={frame0,frame1,...}frame={data_y,data_cb,data_cr}data_y={line_y0,line_y1,...}共H行，從上到下line_y={y0,y1,...}，共W個(gè)亮度值data_c={line_c0,line_c1,...}行數(shù)和色差下采樣有關(guān)line_c={c0,c1,...}，每行色差值數(shù)和色差下采樣有關(guān)第四十二頁(yè)，共五十頁(yè)，2022年，8月28日壓縮的必要性圖像的原始數(shù)據(jù)量size=width×height×bpp(bit)bpp(bitsperpixel)表示每個(gè)像素的比特?cái)?shù)單位是比特視頻的原始數(shù)據(jù)量和數(shù)據(jù)速率size=width×height×bpp×framenum(bit)framenum表示幀數(shù)bitrate=width×height×bpp×fps(bps)fps(framespersecond)表示幀速率第四十三頁(yè)，共五十頁(yè)，2022年，8月28日壓縮的可行性冗余的概念統(tǒng)計(jì)冗余空間冗余時(shí)間冗余結(jié)構(gòu)冗余視覺(jué)冗余知識(shí)冗余第四十四頁(yè)，共五十頁(yè)，2022年，8月28日壓縮的可行性廣義的冗余就是不必要的、重復(fù)的部分在數(shù)據(jù)處理領(lǐng)域，冗余就是相對(duì)于最精簡(jiǎn)的表示而多出來(lái)的比特比如，其中1就是冗余再比如奇偶校驗(yàn)10011010，最后一個(gè)比特是冗余第四十五頁(yè)，共五十頁(yè)，2022年，8月28日壓縮的可行性由于數(shù)據(jù)中每個(gè)值出現(xiàn)的概率不相等，如果為出現(xiàn)概率大的值設(shè)計(jì)較短的碼字，為出現(xiàn)概率小的值設(shè)計(jì)較長(zhǎng)的碼字，那么相對(duì)于固定長(zhǎng)度的碼字就可以節(jié)省總比特?cái)?shù)。圖像和視頻的原始數(shù)據(jù)都采用固定長(zhǎng)度碼字，沒(méi)有考慮數(shù)據(jù)的統(tǒng)計(jì)特性，存在冗余，這種冗余稱為信息熵冗余或統(tǒng)計(jì)冗余第四十六頁(yè)，共五十頁(yè)，2022年，8月28日壓縮的可行性空間冗余：圖像中相鄰像素的顏色之間往往存在著空間連貫性。但是原始數(shù)據(jù)沒(méi)有利用這種連貫性，而是忠實(shí)的記錄了每一個(gè)像素的值，這就產(chǎn)生了空間冗余。第四十七頁(yè)，共五十頁(yè)，2022年，8月28日壓縮的可行性時(shí)間冗余：視頻中相鄰的兩幀圖像之間存在著很強(qiáng)的相關(guān)