數(shù)字圖像基礎(chǔ)視覺系統(tǒng)

數(shù)字圖像基礎(chǔ)視覺系統(tǒng)第1頁，課件共74頁，創(chuàng)作于2023年2月人類視覺系統(tǒng)成像傳感器及其工作原理圖像采集、量化與表示圖像像素間的基本關(guān)系及基本數(shù)據(jù)結(jié)構(gòu)圖像文件格式圖像顯示圖像運算與操作第2頁，課件共74頁，創(chuàng)作于2023年2月一、視覺系統(tǒng)、視覺感知要素

與視覺特性（現(xiàn)象）圖像處理的研究需要了解人類視覺機(jī)理：人們能夠區(qū)分的光強(qiáng)度差別有多大？我們眼睛的空間清晰度是多少？對運動的感覺如何?我們估計和比較距離和面積的精度是多少？人類特性視覺的光譜是什么樣的?人的視覺中彩色如何形成？起什么作用？人類是如何獲得視覺感知，如何認(rèn)知周圍事物的？人們對于自己視覺機(jī)理的生理物理過程，以及神經(jīng)運動、精神心理方面的了解還處于低級階段，認(rèn)識還很不完善，有一定局限性。第3頁，課件共74頁，創(chuàng)作于2023年2月重點：人眼形成圖像的機(jī)理與參數(shù)人類和電子圖像的比較人的直覺和分析在選擇一種技術(shù)時起著核心作用。視覺現(xiàn)象(視覺特性)——

視覺的外在表現(xiàn)(1)相對視敏函數(shù)；(2)對比度的靈敏度和同時對比度；(3)馬赫帶(MachBands)和視覺系統(tǒng)的調(diào)制傳輸函數(shù)MTF；(4)視覺的瞬時性質(zhì)(TemporalPropertiesofVision)；(5)彩色視覺特性……視覺感知——

視覺的內(nèi)在表象第4頁，課件共74頁，創(chuàng)作于2023年2月從外到內(nèi)：角膜鞏膜外殼脈絡(luò)膜視網(wǎng)膜1.人眼的結(jié)構(gòu)從前到后：角膜晶狀體玻璃體視網(wǎng)膜視神經(jīng)鞘圖2.1人眼結(jié)構(gòu)第5頁，課件共74頁，創(chuàng)作于2023年2月●

桿細(xì)胞細(xì)長而薄，對亮度靈敏，無彩色分辨能力。 提供暗視視覺。

7,500~15,000萬，離視軸約20°時密度最大?！?/p>

中央凹直徑約1.5mm●錐狀細(xì)胞結(jié)構(gòu)上短而粗，光靈敏度低，對顏色靈敏度高， 分為三種（紅、綠、蘭），提供明視視覺。

600~700萬，主要集中在中央凹可以看作1.5mm×1.5mm的方形傳感器陣列錐狀細(xì)胞數(shù)目約為337,000個。行分辨能力=中等分辨率的CCD(<5mm×5mm)

光圖像激活視桿體或視錐體時,發(fā)生光電化學(xué)反應(yīng)，同時產(chǎn)生視神經(jīng)脈沖。視覺系統(tǒng)散布視神經(jīng)中有80萬神經(jīng)纖維，這些神經(jīng)纖維傳播視神經(jīng)脈沖給大腦相應(yīng)處理中樞。許許多多的視桿體和視錐體相互連接到神經(jīng)纖維上。第6頁，課件共74頁，創(chuàng)作于2023年2月圖2.2靈長類生物視網(wǎng)膜結(jié)構(gòu)1.錐細(xì)胞(Conereceptor)2.桿細(xì)胞(Rodreceptor)5.桿狀雙極細(xì)胞(Rodbipolarcell)6.無長突細(xì)胞(Amacrinecell)7.水平細(xì)胞(Horizontalcell)8.侏儒節(jié)細(xì)胞(Midgetganglioncell)9.彌散節(jié)細(xì)胞(diffuseganglioncell)3.扁平雙極細(xì)胞(Flatbipolarcell)4.侏儒雙極細(xì)胞(Midgetbipolarcell)第7頁，課件共74頁，創(chuàng)作于2023年2月圖2.3桿細(xì)胞和錐細(xì)胞光譜響應(yīng)屬性(實心黑點曲線代表桿細(xì)胞響應(yīng))第8頁，課件共74頁，創(chuàng)作于2023年2月距視軸（中央凹的中心）的度數(shù)每平方毫米桿細(xì)胞和錐體細(xì)胞的數(shù)目盲點——錐細(xì)胞------桿細(xì)胞圖2.4視網(wǎng)膜上桿細(xì)胞和錐狀細(xì)胞的分布第9頁，課件共74頁，創(chuàng)作于2023年2月高級感知層次圖2.5視覺通道示意圖第10頁，課件共74頁，創(chuàng)作于2023年2月2.眼睛中圖像的形成

晶狀體

光學(xué)透鏡

焦距10cm~無窮連續(xù)可調(diào)范圍有限

視覺系統(tǒng)從外界獲取圖像，就是在眼睛視網(wǎng)膜上獲得周圍世界的光學(xué)成像，然后由光接收器(桿狀體和錐狀體在視網(wǎng)膜上作為光接收器)將光圖像信息轉(zhuǎn)化為視網(wǎng)膜的神經(jīng)活動電信息，最后通過視神經(jīng)纖維，把這些圖像信息傳送入大腦,由大腦獲得圖像感知。第11頁，課件共74頁，創(chuàng)作于2023年2月大腦對視神經(jīng)纖維傳送來的圖像信息進(jìn)行分析和理解，通過圖像獲得對周圍世界感知的信息和知識。人們對大腦的高級感知層次至今知之甚少，仍是生理學(xué)、神經(jīng)科學(xué)、生物物理學(xué)、生物化學(xué)研究的重要課題。圖2.6On-中心型與Off-中心型感受野第12頁，課件共74頁，創(chuàng)作于2023年2月整體視覺過程

視覺＝“視”＋“覺”

第13頁，課件共74頁，創(chuàng)作于2023年2月3.視覺特性（現(xiàn)象）圖像是周圍世界的一種映射。周圍世界是一個能量場，可以描述為：E(x,y,z,,t)圖像I(x,y,)是客觀世界的一次攝影的結(jié)果，是能量場E的一個映射運動圖像——x、y、z都是時間t的函數(shù) 若在連續(xù)的不同時間獲取圖像，可以獲得序列圖像{I1,I2,…,In}。按不同波段獲取圖像，可獲得彩色圖像或不同波段的圖像信號(如醫(yī)學(xué)圖像、航空圖像等)。第14頁，課件共74頁，創(chuàng)作于2023年2月視覺現(xiàn)象包括：視覺對光強(qiáng)的感應(yīng)——相對視敏函數(shù)；對比度的靈敏度和同時對比度視覺對各種波長、彩色的光譜效應(yīng)——彩色視覺特性視覺對物體邊緣等空間頻率變化的響應(yīng)——馬赫帶和視覺系統(tǒng)的調(diào)制傳輸函數(shù)視覺對時間瞬時變化運動的響應(yīng)——視覺的瞬時性質(zhì)第15頁，課件共74頁，創(chuàng)作于2023年2月(1)相對視敏函數(shù)人眼對不同波長的光有不同的敏感度，不同波長而幅射功率相同的光不僅給人以不同的色彩感覺，而且亮度感覺也不同。視桿體和視錐體的相對視敏曲線有所不同對視錐體情況，在

=555nm

時綠光亮度最敏感，對視桿體暗視情況，則

=505nm

時最敏感。第16頁，課件共74頁，創(chuàng)作于2023年2月(2)亮度適應(yīng)和視覺靈敏度人眼視覺系統(tǒng)對亮度的響應(yīng)具有對數(shù)性質(zhì)，是單調(diào)的非線性系統(tǒng)。實驗證明，接近1/3的冪指數(shù)函數(shù)。人眼對光強(qiáng)的響應(yīng)范圍（動態(tài)范圍）：1010人眼里用改變其整個靈敏度來實現(xiàn)大的動態(tài)范圍響應(yīng)——亮度適應(yīng)現(xiàn)象第17頁，課件共74頁，創(chuàng)作于2023年2月眼睛對光強(qiáng)的響應(yīng)是非線性的。一塊光強(qiáng)為I+⊿I

小塊被背景強(qiáng)度I

所包圍，則可覺察的差值⊿I

是I的函數(shù)。——對視覺敏感的是對比度，而不是亮度值本身背景照明恒定時，人眼的單色分辨力：

12~24級證據(jù)：馬赫帶、同時對比度第18頁，課件共74頁，創(chuàng)作于2023年2月

實際亮度

感覺亮度馬赫帶

不同強(qiáng)度邊界周圍的“欠調(diào)”或“過調(diào)”。第19頁，課件共74頁，創(chuàng)作于2023年2月感覺的亮度區(qū)域并非簡單取決于強(qiáng)度，而與背景有關(guān)。各圖中心方塊具有相同的強(qiáng)度同時對比度：第20頁，課件共74頁，創(chuàng)作于2023年2月視覺錯覺

眼睛填充了不存在的信息或錯誤地感知物體的幾何特點。第21頁，課件共74頁，創(chuàng)作于2023年2月(4)彩色視覺特性與顏色模型基礎(chǔ)光和彩色光的彩色感覺由其光譜成分（波長組成）決定。物體的顏色由物體的反射光性質(zhì)決定。圖2.7可見光范圍電磁波譜第22頁，課件共74頁，創(chuàng)作于2023年2月圖2.8白光通過棱鏡是看到的彩色譜物體的顏色由物體的反射光性質(zhì)決定。白色：在整個可見光譜頻帶內(nèi)具有相同能量的光。物體對所有反射的可見光相對平衡。第23頁，課件共74頁，創(chuàng)作于2023年2月彩色的表示TomasYoung提出的三基色原理： “任何彩色可以用合適的三種基本色混合而再生”三基色原理的生理基礎(chǔ)：視網(wǎng)膜中有叁種視錐體，具有不同的吸收光譜S1()、S2()、S3()，380nm780nm。 吸收光譜響應(yīng)的峰值分別在光譜的紅(黃綠)、綠、蘭區(qū)域。吸收曲線有相當(dāng)多的部分是相互重疊的。第24頁，課件共74頁，創(chuàng)作于2023年2月三基色相加混色： 紅(Red)

綠(Green)

藍(lán)(Blue)三基色相減混色：

黃(Yellow)

品紅(Magenta)

青(Cyan)三基色第25頁，課件共74頁，創(chuàng)作于2023年2月彩色心理感知

——亮度(I)、色調(diào)(H)、色飽和度(S)亮度表示色彩明亮度。色調(diào)表示觀察者接收的主要顏色（說某物體是紅色是指其色調(diào)）。飽和度是彩色中包含白光的多少。色調(diào)與飽和度一起稱為彩色。顏色用亮度和彩色表征。視覺的彩色感知能區(qū)分純彩色數(shù)目：

上百種圖2.8彩色空間的感知表示第26頁，課件共74頁，創(chuàng)作于2023年2月圖2.9基于圓形彩色平面的HSI彩色模型（圓形平面垂直于強(qiáng)度軸）第27頁，課件共74頁，創(chuàng)作于2023年2月(5)視覺的瞬時性質(zhì)處理運動圖像和圖像顯示設(shè)計時十分重要。視覺暫留（視覺惰性）：光脈沖刺激人眼時，視覺的建立和消失都需要一定的過程。光源消失后，景物影響會在視覺中保留一段時間——視覺暫留或視覺惰性。視覺暫留時間：0.05s~0.2s融合頻率：>20Hz，人眼感覺到連續(xù)畫面。第28頁，課件共74頁，創(chuàng)作于2023年2月閃爍（明暗交替）感覺：閃爍頻率高于臨界閃爍頻率(50～60Hz)時，與具有同樣平均強(qiáng)度的穩(wěn)定發(fā)光感覺相同。——電視換幅頻率和場頻的選擇依據(jù)。時空效應(yīng)：

對高空間頻率的閃爍，眼睛的敏感度高。對運動圖像的編碼時，除了邊緣以外的任何地方可以進(jìn)行亞取樣，以壓縮碼率。非隔行光柵的監(jiān)視器（閃爍頻率高，可保留良好的高清析度細(xì)節(jié)）相比隔行光柵（閃爍頻率低，對低空間頻率已足夠），可以提供高空間解析度的圖像顯示。第29頁，課件共74頁，創(chuàng)作于2023年2月(6)人類視覺分辨力視角：13×10~35×20

分辨角θ：1'~1.5'——電視系統(tǒng)掃描行數(shù)設(shè)置依據(jù)分辨力：1/θ分辨力與景物運動連續(xù)感的關(guān)系：人眼對運動景物的分辨力低于對靜止景物的分辨力，其分辨角約是靜止景物時的5倍：7.5'第30頁，課件共74頁，創(chuàng)作于2023年2月(7)人類視覺感知能力的特點人類視覺系統(tǒng)在對物體的識別上有特殊強(qiáng)大的功能；但在對灰度、距離和面積的絕對的估計上卻有某些欠缺。與傳感器單元的數(shù)目比較：視網(wǎng)膜包含接近130millions光接收器，遠(yuǎn)遠(yuǎn)大于CCD芯片上的傳感器單元數(shù)；和計算機(jī)的時鐘頻率相比：神經(jīng)處理單元的開關(guān)時間將比之大約慢104~108

倍；人類的視覺系統(tǒng)能實時分析復(fù)雜的景物

——人能對事物即時反應(yīng)。第31頁，課件共74頁，創(chuàng)作于2023年2月二、圖像感知和獲取應(yīng)用圖像傳感器將照射量（電磁波或其他）變?yōu)閿?shù)字圖像原理： 光電感應(yīng)等第32頁，課件共74頁，創(chuàng)作于2023年2月1.單個傳感器獲取圖像（光二極管等）

單一傳感器+二維機(jī)械運動可以得到高分辨率圖像，廉價速度較慢第33頁，課件共74頁，創(chuàng)作于2023年2月2.帶狀傳感器獲取圖像(線性或環(huán)形)用途：平板掃描儀航空、遙感醫(yī)學(xué)(CT、MRI、PET)工業(yè)成像特點：可以有>10000個傳感器*一次給出圖像的一行第34頁，課件共74頁，創(chuàng)作于2023年2月圖像重建三維物體的橫截面圖像傳感器環(huán)第35頁，課件共74頁，創(chuàng)作于2023年2月3.傳感器陣列獲取圖像典型器件：CCD、CMOS用途廣泛，可以直接得到完整的圖像第36頁，課件共74頁，創(chuàng)作于2023年2月4.簡單的圖像形成模型一幅圖像可定義為一個二維函數(shù)f(x,y)f為正值，物理意義由圖像源決定f正比于物理源的輻射能量f(x,y)可由兩個分量來表征：光源入射總量i(x,y)物體反射光總量r(x,y)第37頁，課件共74頁，創(chuàng)作于2023年2月

圖2.10

彩色圖像增強(qiáng)舉例左圖：原始圖像，細(xì)節(jié)不清晰，偏色右圖：增強(qiáng)后的圖像第38頁，課件共74頁，創(chuàng)作于2023年2月單色圖像在任意坐標(biāo)處(x0,y0)的強(qiáng)度稱為圖像在該點的灰度級l區(qū)間[Lmin，Lmax]稱為灰度級實際應(yīng)用中，常令Lmin=0(黑色),Lmax=L-1（白色）所有中間值是從黑到白的各種灰色調(diào)第39頁，課件共74頁，創(chuàng)作于2023年2月三、圖像取樣和量化

大多數(shù)傳感器輸出的是連續(xù)電壓波形，這些波形的幅度和空間特性都與感知的物理現(xiàn)象有關(guān)。產(chǎn)生一幅數(shù)字圖像——將連續(xù)的感知轉(zhuǎn)換為數(shù)字形式1.采樣和量化的基本概念 采樣：數(shù)字化坐標(biāo)值 量化：數(shù)字化幅度值包括兩種處理：采樣和量化第40頁，課件共74頁，創(chuàng)作于2023年2月圖2.11獲取數(shù)字圖像的過程第41頁，課件共74頁，創(chuàng)作于2023年2月連續(xù)圖像投影到傳感器陣列(b)圖像采樣和量化的結(jié)果(a)(b)第42頁，課件共74頁，創(chuàng)作于2023年2月2.數(shù)字圖像表示采樣和量化的結(jié)果是一個實際矩陣。一幅圖像被取樣后，產(chǎn)生的數(shù)字圖像有M行和N列。第43頁，課件共74頁，創(chuàng)作于2023年2月圖2.12本課程使用的數(shù)字圖像的坐標(biāo)第44頁，課件共74頁，創(chuàng)作于2023年2月3.空間和灰度級分辨率(1)

空間分辨率

——圖像中可辨別的最小細(xì)節(jié)。

采樣值是決定一幅圖像空間分辨率的主要參數(shù)。(2)灰度分辨率

——在灰度級別中可分辨的最小變化。 多數(shù)情況下，取灰度分辨率為8比特（位）。通常把大小為M×N，灰度為L級的數(shù)字圖像稱為空間分辨率為M×N

像素、灰度分辨率為L級的數(shù)字圖像。第45頁，課件共74頁，創(chuàng)作于2023年2月數(shù)字圖像

圖像（水平）尺寸M：圖像（垂直）尺寸N：像素灰度級數(shù)G(k-bit)：圖像所需的位數(shù)b：

M=N時，一幅圖像有256個可能的灰度級，稱為8比特圖像。第46頁，課件共74頁，創(chuàng)作于2023年2月存儲數(shù)字圖像需要的比特數(shù)b是:b=N2k存儲1幅3232，16個灰度級的圖需要4,096bit存儲1幅128128，64個灰度級的圖需要98,304bit存儲1幅512512，256個灰度級的圖需要2,097,152bit表2.1N和k變化時存儲的比特數(shù)第47頁，課件共74頁，創(chuàng)作于2023年2月圖2.13(a)~(f)的空間分辨率依次為512×512、256×256、128×128、64×64、32×32、16×16像素，8bit圖像。圖像空間分辨率（采樣點數(shù)）變化對圖像質(zhì)量的影響第48頁，課件共74頁，創(chuàng)作于2023年2月256256

12812864643232圖2.14原始空間分辨率依次為256×256、128×128、64×64、32×32像素，8bit圖像。第49頁，課件共74頁，創(chuàng)作于2023年2月圖2.15(a)~(f)的量化級數(shù)依次為256、64、16、8、4、2;512×512像素。圖像灰度分辨率（量化級數(shù)）變化對圖像質(zhì)量的影響第50頁，課件共74頁，創(chuàng)作于2023年2月

L=16

L=8L=4L=2圖2.16量化級數(shù)依次為16、8、4、2;256×256像素。第51頁，課件共74頁，創(chuàng)作于2023年2月圖2.17不同灰度分辨率圖像(a)453×374，256灰度級圖像；(b)~(d)保持空間分辨率不變，灰度級為128、64和32的圖像第52頁，課件共74頁，創(chuàng)作于2023年2月圖2.17（續(xù)）(e)~(h)灰度級16、8、4和2的圖像第53頁，課件共74頁，創(chuàng)作于2023年2月圖像空間和灰度分辨率同時變化對圖像質(zhì)量的影響圖2.17(a)~(f)的空間分辨率依次為256×256、181×181、128×128、90×90、64×64，45×45像素。(a)~(f)的量化級數(shù)依次為128、64、32、16、8、4。第54頁，課件共74頁，創(chuàng)作于2023年2月考慮空間分辨率和灰度分辨率之間可能存在的關(guān)系——細(xì)節(jié)右圖：Nk平面的等偏愛曲線，右上為好。細(xì)節(jié)增加，所需灰度級減少。第55頁，課件共74頁，創(chuàng)作于2023年2月四、圖像顯示顯示：將數(shù)字圖像轉(zhuǎn)化為適合人們使用的形式，便于人們觀察和理解。一般直接用計算機(jī)的圖形終端顯示圖像，圖像窗口只是圖形用戶界面的一個普通的窗口。為方便處理，通常圖像都表現(xiàn)為一矩形區(qū)域的位圖形式（Bitmapformat）。第56頁，課件共74頁，創(chuàng)作于2023年2月CRT顯示（LED、LCD）方向比（4:3）1024x768,800x600…

分辨率，像素，調(diào)色板(查找表)gamma校正

打印分辨率，空間灰度→區(qū)域上點數(shù)圖案法抖動法基本方法：混色第57頁，課件共74頁，創(chuàng)作于2023年2月五、像素間的一些基本關(guān)系

以及基本數(shù)據(jù)結(jié)構(gòu)1.像素(x,y)的相鄰像素4鄰域（用N4(p)表示）(x+1,y),(x-1,y),(x,y+1),(x,y-1)4鄰域+4個對角的相鄰像素4個對角鄰像素（用ND(p)表示）:4個水平和垂直的相鄰像素8鄰域（用N8(p)表示）(x+1,y+1),(x+1,y-1),(x-1,y-1),(x-1,y-1)第58頁，課件共74頁，創(chuàng)作于2023年2月2.鄰接性、連通性、區(qū)域和邊界(1)鄰接性 兩像素p和q灰度值屬于灰度值集合V

4鄰接：qN4(p)，p和q是4鄰接的。

8鄰接：qN8(p)，p和q是8鄰接的。m鄰接(混合鄰接)：

(1)qN4(p)(2)qND(p)，且N4(p)N4(q)沒有V值的像素第59頁，課件共74頁，創(chuàng)作于2023年2月(a)(b)(c)圖2.18鄰接關(guān)系(a)像素分布，(b)中心像素的8鄰接像素（虛線表示），(c)m鄰接(8鄰接的改進(jìn)，消除8鄰接的二義性)第60頁，課件共74頁，創(chuàng)作于2023年2月兩個像素間連通： 兩個像素相鄰，且它們的灰度值滿足特定的相似性準(zhǔn)則（如灰度值相等）兩個像素間的通路：從像素p(x,y)到像素q(s,t)存在特定像素序列：(x0,y0),(x1,y1),…,(xn,yn)(這里(x0,y0)=(x,y),(xn,yn)=(s,t))，且像素(xi,yi)和(xi-1,yi-1)(1in)是鄰接的。閉合通路：(x0,y0)=(xn,yn)(2)連通性第61頁，課件共74頁，創(chuàng)作于2023年2月令R表示圖像的像素子集。區(qū)域：若R是連通集，則稱R為一個區(qū)域。邊界（也可稱為邊緣或輪廓）：區(qū)域R中像素的集合，該區(qū)域有一個或多個不在R中的鄰點。注意邊界：一個有限區(qū)域的邊界形成一個閉合通路，是一個“整體”的概念。邊緣：由具有某些導(dǎo)數(shù)值的像素形成，基于不連續(xù)點進(jìn)行灰度級測量的局部概念。二值圖像中，邊緣和邊界是吻合的。(3)區(qū)域和邊界第62頁，課件共74頁，創(chuàng)作于2023年2月3.距離度量距離量度函數(shù) 像素p(x,y)，q(s,t)和z(v,w)，如果：

(1)D(p,q)0[D(p,q)=0，當(dāng)且僅當(dāng)p=q (2)D(p,q)=D(q,p) (3)D(p,z)=D(p,q)+D(q,z)

則D是距離函數(shù)或度量。(1)歐氏距離

De(p,q)=[(x-s)2+(y-t)2]1/2(2)D4(城市街區(qū))距離

D4(p,q)=|x-s|+|y-t|(3)D8(棋盤)距離

D8(p,q)=max(|x-s|,|y–t|)第63頁，課件共74頁，創(chuàng)作于2023年2月

距離計算示例De=5D4=7D8=4圖2.19像素間的距離計算第64頁，課件共74頁，創(chuàng)作于2023年2月22122101221222222221112210122111222222(a)D4距離2;(b)D8距離2p和q之間的D4和D8距離與任何通路無關(guān)。圖2.20等距離輪廓圖案第65頁，課件共74頁，創(chuàng)作于2023年2月4.基本數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)結(jié)構(gòu)是指數(shù)據(jù)的組織方式，對算法的選擇和其實現(xiàn)的容