計(jì)算機(jī)視覺預(yù)備知識

計(jì)算機(jī)視覺預(yù)備知識第一頁，共四十五頁，2022年，8月28日人類視覺原理與特點(diǎn)

人類從外界環(huán)境獲取信息，一般是通過視覺﹑觸覺﹑聽覺﹑嗅覺等感覺器官來實(shí)現(xiàn)的。其中，60％-80％的信息是由人的眼睛，即視覺來獲得的?？梢?，視覺器官是人類的最重要的感知器官。第二頁，共四十五頁，2022年，8月28日人類的視覺系統(tǒng)1，眼睛2，視覺神經(jīng)系統(tǒng)第三頁，共四十五頁，2022年，8月28日基本視覺信息

1.亮度：亮度是最基本的視覺信息，亮度是一種外界輻射的物理量在我們視覺中反映出來的心理物理量。2.形狀：由物體在視覺空間上的亮度分布，顏色分布或運(yùn)動(dòng)狀態(tài)不同而顯示出來的。3.運(yùn)動(dòng)。4.顏色：是一種主觀感覺，目前只在感受器細(xì)胞水平和心理物理的宏觀水平上得到了較深入的研究。第四頁，共四十五頁，2022年，8月28日

例如：雪地上一張白紙，荒野中潛伏的狼，都比較難以覺察。相反，雪地上一張彩紙，綠草地上一朵紅花，荒野中奔跑的狼，都比較容易發(fā)現(xiàn)，這是由于物體形狀因亮度、顏色、運(yùn)動(dòng)等因素而突顯出來，易于被人眼分辨出來。第五頁，共四十五頁，2022年，8月28日5.深度知覺：判斷物體距離或深度的感覺。 例如：伸手拿一本書，躲開汽車或障礙物，把足球踢入球門等。 ——外界目標(biāo)在視網(wǎng)膜上的象是二維的，而且同一物體在左右眼的視網(wǎng)膜上的成象有著微小的差異，這種差異為立體視覺提供了最基本的信息——視差?！€有許多單眼的信息可以產(chǎn)生深度信息的估計(jì)，如物體的重疊、透視（近大遠(yuǎn)小，近清晰遠(yuǎn)模糊，近亮遠(yuǎn)暗）、明暗、紋理及運(yùn)動(dòng)。第六頁，共四十五頁，2022年，8月28日視覺中的一些心理和生理特征與現(xiàn)象

1.視覺的相對性：視覺感知的結(jié)果不僅僅取決于刺激本身，同時(shí)還受經(jīng)驗(yàn)、對比等的影響，這就是視覺的相對性。

例如：初升的旭日和正午的驕陽究竟何者離我們更近。2.視覺的選擇性

例如：視而不見

第七頁，共四十五頁，2022年，8月28日3.視覺的整體性：整體性是指超越對部分感知之和而產(chǎn)生的一種整體知覺經(jīng)驗(yàn)，即整體大于部分之和。

4.視覺的恒常性

1）．亮度恒常性

例如：一匹黑布和一匹白布 原因：先驗(yàn)知識；本體反射率。

2）．大小恒常性

例如：遠(yuǎn)處的牛比近處的狗要大

3）．形狀恒常性

4）．顏色恒常性第八頁，共四十五頁，2022年，8月28日5.錯(cuò)視現(xiàn)象（a）高度錯(cuò)視；（b）長度錯(cuò)視;（c）平行線錯(cuò)視;（d）大小錯(cuò)視;（e）主從錯(cuò)視;第九頁，共四十五頁，2022年，8月28日第十頁，共四十五頁，2022年，8月28日第十一頁，共四十五頁，2022年，8月28日計(jì)算機(jī)視覺計(jì)算機(jī)視覺是指用計(jì)算機(jī)實(shí)現(xiàn)人的視覺功能——對客觀世界的三維場景的感知、識別和理解。第十二頁，共四十五頁，2022年，8月28日圖像輸入人機(jī)交互處理

結(jié)果輸出

圖像理解

圖像分析

圖像處理數(shù)字化計(jì)算機(jī)視覺系統(tǒng)的組成及原理第十三頁，共四十五頁，2022年，8月28日計(jì)算機(jī)數(shù)字圖象處理系統(tǒng)

幀存攝像頭A/DLUT監(jiān)視器D/A微機(jī)接口顯示器系統(tǒng)總線內(nèi)存顯存CPU計(jì)算機(jī)圖象采集卡第十四頁，共四十五頁，2022年，8月28日CCD攝像頭

CCD（ChargeCouplingDevice)攝像頭由一組離散的光敏元件陣列組成，當(dāng)光線照到這個(gè)陣列上時(shí)，每個(gè)光敏元件上產(chǎn)生電荷。電荷的多少和光敏元件上的照度成正比，由此產(chǎn)生的電信號反映光強(qiáng)。這些電信號用兩相時(shí)鐘脈沖順序傳送，就產(chǎn)生代表圖像的電壓時(shí)間信號。第十五頁，共四十五頁，2022年，8月28日XOnYm視頻圖像構(gòu)成原理分辨率m

×n如：480×640灰度圖像I=f(x,y)彩色圖像IR=fR(x,y)IG=fG(x,y)IB=fB(x,y)制式PAL/NTSC視頻圖像數(shù)字圖像像素第十六頁，共四十五頁，2022年，8月28日圖象數(shù)字化

黑白圖象數(shù)字化彩色圖象數(shù)字化第十七頁，共四十五頁，2022年，8月28日計(jì)算機(jī)視覺基本特點(diǎn)

分階段信息處理，多層次信息表示絕大部分問題為病態(tài)問題

原始信息被污染，信息處理量巨大

一種知識導(dǎo)引與管理系統(tǒng)

多學(xué)科交叉與結(jié)合

第十八頁，共四十五頁，2022年，8月28日實(shí)用圖像處理技術(shù)

灰度圖像彩色圖像二值化圖像

第十九頁，共四十五頁，2022年，8月28日圖像的增強(qiáng)

1.直方圖的均衡化

第二十頁，共四十五頁，2022年，8月28日2.平滑濾波

原圖噪聲污染后的圖像第二十一頁，共四十五頁，2022年，8月28日均值濾波后的圖像中值濾波后的圖像第二十二頁，共四十五頁，2022年，8月28日3.銳化(邊緣檢測)

第二十三頁，共四十五頁，2022年，8月28日彩色圖像分割方法

三色學(xué)說假設(shè)人視網(wǎng)膜上有三種神經(jīng)纖維，每種神經(jīng)纖維的興奮都引起紅綠藍(lán)原色中的一種的感覺。光作用在視網(wǎng)膜上雖然能同時(shí)引起三種纖維的興奮，但波長不同，引起三種纖維的興奮程度不同，人眼就產(chǎn)生不同的顏色感覺。

第二十四頁，共四十五頁，2022年，8月28日三種視神經(jīng)興奮曲線

紅色纖維綠色纖維藍(lán)色纖維紅橙黃綠藍(lán)紫第二十五頁，共四十五頁，2022年，8月28日顏色視覺和顏色空間理論

三色原理

現(xiàn)代色度學(xué)理論指出，人對任何一種顏色的感覺，都可以用紅、綠、藍(lán)三種單色加權(quán)混合產(chǎn)生，因此，紅、綠、藍(lán)三種單色稱為三基色，這就是三色原理。顏色空間

各顏色的光都可以由紅、綠、藍(lán)三種基色光加權(quán)混合而成，因此，彩色空間是三維的線形空間，任何一種具有一定亮度的顏色光都是空間中的一個(gè)點(diǎn)（或向量），這個(gè)空間就是顏色空間。第二十六頁，共四十五頁，2022年，8月28日幾種顏色空間RGB顏色空間

當(dāng)我們選擇具有確定光通量的紅綠藍(lán)三基色光作為三維顏色空間的基時(shí)，就構(gòu)成了RGB顏色空間。顏色空間不是唯一的

格拉斯曼定律指出，人的視覺只能分辨顏色的三種變化（例如明度、色度、飽和度）。這就是說，通過對RGB顏色空間進(jìn)行坐標(biāo)變換，可以產(chǎn)生新的顏色空間。XYZ表色系統(tǒng)YIQ表色系統(tǒng)HSI表色系統(tǒng)

第二十七頁，共四十五頁，2022年，8月28日彩色視覺系統(tǒng)顏色分類

顏色信息提取

從理論上講，在這個(gè)空間中的每一個(gè)點(diǎn)都代表一種顏色，因而，在這個(gè)空間中有16.7兆種顏色。但從實(shí)際上看，這16.7兆個(gè)點(diǎn)并不簡單的劃分為16.7兆種顏色。GRB255RGB顏色空間255255第二十八頁，共四十五頁，2022年，8月28日HIS顏色模型第二十九頁，共四十五頁，2022年，8月28日顏色空間的相互轉(zhuǎn)換

第三十頁，共四十五頁，2022年，8月28日圖5.30劃分HSI空間的方法顏色模型的轉(zhuǎn)換第三十一頁，共四十五頁，2022年，8月28日計(jì)算機(jī)視覺預(yù)備知識

暫時(shí)到此第三十二頁，共四十五頁，2022年，8月28日返回第三十三頁，共四十五頁，2022年，8月28日返回第三十四頁，共四十五頁，2022年，8月28日圖像處理由于實(shí)際景物轉(zhuǎn)換為圖像信號時(shí)，總會引入各種噪聲或畸變失真，一般需要先進(jìn)行圖像處理。這一過程借用了大量的圖象處理技術(shù)和算法，如圖象濾波、圖像增強(qiáng)、邊緣檢測等，以便從圖象中抽取諸如角點(diǎn)、邊緣﹑線條、邊界以及色彩等關(guān)于場景的基本特征；這一過程還包含了各種圖象變換（如校正）、圖象紋理檢測、圖象運(yùn)動(dòng)檢測等；有時(shí)還采用圖像編碼壓縮技術(shù)大大地減少信息量，以達(dá)到減少對計(jì)算機(jī)存儲容量和傳輸通道的要求。

返回第三十五頁，共四十五頁，2022年，8月28日圖象分析圖象分析的主要任務(wù)是恢復(fù)場景的深度、表面法線方向、輪廓等有關(guān)場景的2.5維信息。實(shí)現(xiàn)的途徑有立體視覺、測距成象、運(yùn)動(dòng)估計(jì)、明暗特征、紋理特征等估計(jì)方法。系統(tǒng)標(biāo)定、系統(tǒng)成象模型等研究內(nèi)容一般也是在這個(gè)層次上進(jìn)行的。

返回第三十六頁，共四十五頁，2022年，8月28日圖象理解圖象理解是在以物體為中心的坐標(biāo)系中，在原始輸入圖象、圖象基本特征、2.5維圖的基礎(chǔ)上，恢復(fù)物體的完整三維圖，建立物體三維描述，識別三維物體并確定物體的位置和方向。

返回第三十七頁，共四十五頁，2022年，8月28日絕大部分問題為病態(tài)問題

由于視覺問題是成象過程的逆過程，成象是從三維向二維投影的過程，因而在這個(gè)過程中會把深度信息丟失，造成圖象的多義性，同時(shí)諸如光照﹑材料特性、朝向、距離等信息都反映成唯一的測量值——灰度，因而要從這唯一的測量值恢復(fù)上述一個(gè)或幾個(gè)反映物體本質(zhì)特征的參數(shù)是一個(gè)病態(tài)的過程。成象中由于大氣擾動(dòng)、鏡頭因素、傳感器噪聲、傳輸噪聲以及量化噪聲等的干擾，都會使圖象產(chǎn)生失真，這些干擾多具有隨機(jī)性。以上這些病態(tài)性問題，在處理和分析過程中都會導(dǎo)致圖象的解不唯一。

返回第三十八頁，共四十五頁，2022年，8月28日原始信息被污染，信息處理量巨大

灰度圖象，彩色圖象，深度圖象的信息量十分巨大，比如分辨率為640×480的8位灰度圖象的數(shù)據(jù)量為300K，同樣分辨率的彩色圖象的數(shù)據(jù)量是900K。如果處理的是圖象序列，則數(shù)據(jù)量更大。巨大的數(shù)據(jù)量需要巨大的存貯空間，還不易實(shí)現(xiàn)快速處理。同時(shí)，由于光學(xué)成像通道和電子線路成像通道存在大量的隨機(jī)噪聲，使得原始信息被污染，這也增加了后續(xù)處理的難度。返回第三十九頁，共四十五頁，2022年，8月28日一種知識導(dǎo)引與管理系統(tǒng)在視覺過程中對一幅圖象的理解需要大量的關(guān)于任務(wù)領(lǐng)域的知識，這些知識不同于問題求解中的知識可以明確地顯式表示；人類獲取信息的60％-80％是通過視覺得到的，因而這些知識涉及面之廣難以預(yù)測。因此視覺系統(tǒng)中的知識管理是一個(gè)重要的問題。我們會看到，計(jì)算機(jī)視覺系統(tǒng)的最大特征是，在視覺的各個(gè)階段，系統(tǒng)盡可能地進(jìn)行自動(dòng)運(yùn)算。為此，系統(tǒng)需要使用各種知識，包括特征模型、成象模型、物體模型和物體間的關(guān)系等。如果計(jì)算機(jī)視覺系統(tǒng)不用這些知識，則其應(yīng)用的范圍及其功能將十分有限。返回第四十頁，共四十五頁，2022年，8月28日多學(xué)科交叉與結(jié)合

計(jì)算機(jī)視覺計(jì)算機(jī)科學(xué)心理學(xué)生理學(xué)物理學(xué)信號處理數(shù)學(xué)圖象圖形學(xué)模式識別與人工智能返回第四十一頁，共四十五頁，2022年，8月28日黑白圖象數(shù)字化視頻輸入預(yù)處理A/D數(shù)字輸出同步鎖相采樣脈沖形成地址形成地址輸出返回第四十二頁，共四十五頁，2022年，8月28日彩色圖象數(shù)字化

解碼器彩色視頻輸入預(yù)處理A/DGD預(yù)處理A/DRD預(yù)處理A/DBD返回第四十三頁，共四十五頁，2022年，8月28日圖像的灰度直方圖n（I）--I為一幅圖像的灰度直方圖（圖5﹒14）對灰度圖像而言，一個(gè)圖像的灰度直方圖整體地描述了這幅圖像的灰度分布設(shè)I1，I2，﹒﹒﹒IL為一幅給定圖像的離散強(qiáng)度，則直方圖的第j個(gè)值為：

其中，mj為灰度Ij的像素點(diǎn)的數(shù)目，m為圖像總像素?cái)?shù)。n（I）I圖5﹒14一幅圖像的灰度直方圖返回第四十