第4章 數(shù)字圖像處理

第四章數(shù)字圖像處理章節(jié)介紹Introduction數(shù)字圖像處理是一門涉及學(xué)科領(lǐng)域十分廣泛的交叉學(xué)科，在工業(yè)生產(chǎn)、機(jī)器視覺、視頻與多媒體系統(tǒng)等各個(gè)方面都存在極大的應(yīng)用價(jià)值。它的目的主要是通過一系列數(shù)字圖像處理技術(shù)將圖像處理得更加符合人眼視覺感知，從而使信息清晰地展示在用戶面前。理解并熟練掌握數(shù)字圖像處理中相關(guān)的基礎(chǔ)知識(shí)就可以對(duì)計(jì)算機(jī)視覺領(lǐng)域中的方法有較為全面的認(rèn)識(shí)。本章旨在介紹圖像、數(shù)字圖像等基本概念以及相關(guān)的基本處理方法，這些操作在計(jì)算機(jī)視覺領(lǐng)域的預(yù)處理等步驟被廣泛應(yīng)用。學(xué)習(xí)目標(biāo)Learningaims（1）掌握?qǐng)D像、數(shù)字圖像、色彩空間等基本概念，理解圖像在計(jì)算機(jī)中的表示方法；（2）掌握基礎(chǔ)的圖像處理方法；（3）理解并掌握邊緣檢測(cè)的原理和步驟；（4）熟練使用OpenCV對(duì)圖像進(jìn)行一系列基本操作。學(xué)習(xí)內(nèi)容Learningcontent1圖像及視覺基礎(chǔ)Fundamentalsofimageandvision數(shù)字圖像概述數(shù)字圖像，又稱數(shù)碼圖像或數(shù)位圖像，用二維數(shù)組來表示。它是通過圖像數(shù)字化將原始圖像分割成一個(gè)個(gè)小的區(qū)域而得到的，主要包括采樣和量化兩個(gè)過程。采樣：指將在空間上連續(xù)的圖像轉(zhuǎn)換成離散的采樣點(diǎn)(即像素)的操作。量化：模擬圖像經(jīng)過采樣后，離散化為像素，但像素值(即灰度值)仍為連續(xù)量，把采樣后所得的各像素的灰度值轉(zhuǎn)換為整數(shù)的過程稱為量化。采樣量化數(shù)字圖像概述矩陣是用于描述圖像的最常用的數(shù)據(jù)結(jié)構(gòu)，它可以用來表示二值圖像（黑白圖像）、灰度圖像和彩色圖像。二值圖像：矩陣中的元素取值非0即1?；叶葓D：矩陣描述灰度圖像時(shí)，矩陣中的元素由一個(gè)量化的灰度級(jí)描述，灰度級(jí)通常為8位，即0-255之間的整數(shù)，其中0表示黑色，255表示白色。彩色圖像：利用3個(gè)分別代表R、G、B分量的大小相同的二維數(shù)組表示圖像中的像素，R表示紅色，G表示綠色，B表示藍(lán)色，通過三種基本顏色可以合成任意顏色。數(shù)字圖像概述二值圖灰度圖彩色圖色彩空間顏色空間按照基本結(jié)構(gòu)可以分為兩大類：基色顏色空間以及色、亮分離顏色空間。RGB：在RGB顏色空間中，任意色光F都可以用R、G、B三色不同分量的相加混合而成。HSV：模型反映了人的視覺系統(tǒng)感知彩色的方式，以色調(diào)(Hue)、飽和度(Saturation)和明度(Value)三種基本特征量來感知顏色，用六角形椎體進(jìn)行表示。三色光疊加圖HSV色彩空間2基礎(chǔ)圖像處理方法Basicimageprocessingmethod基本運(yùn)算算術(shù)運(yùn)算加法運(yùn)算減法運(yùn)算乘法運(yùn)算除法運(yùn)算邏輯運(yùn)算與運(yùn)算或運(yùn)算異或運(yùn)算非運(yùn)算基本運(yùn)算加法運(yùn)算減法運(yùn)算乘法運(yùn)算除法運(yùn)算基本運(yùn)算圖像變換幾何變換包括：圖像平移變換：將圖像中的所有像素點(diǎn)按照給定的平移量進(jìn)行水平或垂直方向上的位移。圖像放縮變換：對(duì)數(shù)字圖像的大小進(jìn)行調(diào)整的操作。圖像旋轉(zhuǎn)變換：圖像以某一點(diǎn)為中心旋轉(zhuǎn)一定的角度，形成一幅新的圖像的過程。圖片鏡像變換：圖像旋轉(zhuǎn)變換的一種特殊情況，通常包括垂直方向和水平方向的鏡像。圖像變換圖像仿射變換：一種從一個(gè)二維坐標(biāo)到另一個(gè)二維坐標(biāo)的線性變換，是指在幾何中，一個(gè)向量空間進(jìn)行一次線性變換并接上一個(gè)平移，變換為另一個(gè)向量空間。圖像透視變換：透視變換的本質(zhì)就是空間立體三維變換，將圖像投影至另外一個(gè)視平面上，常常用作圖像矯正任務(wù)當(dāng)中。圖像變換圖像平移圖像旋轉(zhuǎn)鏡像變換圖像變換仿射變換透視變換圖像變換從純粹的數(shù)學(xué)意義上看，傅立葉變換是將一個(gè)圖像函數(shù)轉(zhuǎn)換為一系列周期函數(shù)來處理的。其物理意義是將圖像的灰度分布函數(shù)變換為圖像的頻率分布函數(shù)，傅立葉逆變換是將圖像的頻率分布函數(shù)變換為灰度分布函數(shù)。實(shí)際上對(duì)圖像進(jìn)行二維傅立葉變換得到頻譜圖，就是圖像梯度的分布圖，傅立葉頻譜圖上看到的明暗不一的亮點(diǎn)，實(shí)際上圖像上某一點(diǎn)與鄰域點(diǎn)差異的強(qiáng)弱，即梯度的大小，也即該點(diǎn)的頻率的大小。如果頻譜圖中暗的點(diǎn)數(shù)更多，那么實(shí)際圖像是比較柔和的；反之，如果頻譜圖中亮的點(diǎn)數(shù)多，那么實(shí)際圖像一定是尖銳的，邊界分明且邊界兩邊像素差異較大的。圖像變換傅立葉變換是在以時(shí)間為自變量的“信號(hào)”與頻率為自變量的“頻譜”函數(shù)之間的某種變換關(guān)系。通過傅立葉變換，可在一個(gè)全新的頻率空間上來認(rèn)識(shí)信號(hào)：一方面可能使得在時(shí)域研究中較復(fù)雜的問題在頻域中變得簡(jiǎn)單起來，從而簡(jiǎn)化其分析過程；另一方面使得信號(hào)與系統(tǒng)的物理本質(zhì)在頻域中能更好地被揭示出來。當(dāng)自變量“時(shí)間”或“頻率”為連續(xù)形式和離散形式的不同組合，就可以形成各種不同的傅立葉變換對(duì)，即“信號(hào)”與“頻譜”的對(duì)應(yīng)關(guān)系。傅立葉變換包含連續(xù)傅立葉變換、離散傅立葉變換、快速傅立葉變換、短時(shí)傅立葉變換等，在數(shù)字圖像處理中使用的是二維離散傅立葉變換。圖像增強(qiáng)點(diǎn)運(yùn)算灰度變換：灰度變換是指根據(jù)某種目標(biāo)條件按一定變換關(guān)系逐點(diǎn)改變?cè)磮D像中每一個(gè)像素灰度值的方法。目的是為了改善畫質(zhì)，使圖像的顯示效果更加清晰。圖像的灰度變換處理是圖像增強(qiáng)處理技術(shù)中的一種非?；A(chǔ)、直接的空間域圖像處理方法，也是圖像數(shù)字化軟件和圖像顯示軟件的一個(gè)重要組成部分。包括：線性灰度變換和非線性灰度變換。直方圖變換：圖像直方圖是圖像的最基本的統(tǒng)計(jì)特征，記錄了圖像中每個(gè)像素值的數(shù)量。直方圖反映了圖像的明暗分布規(guī)律，可以通過圖像變換進(jìn)行直方圖調(diào)整，獲得較好的視覺效果。包括：直方圖均衡化和直方圖規(guī)定化。圖像增強(qiáng)空域?yàn)V波平滑濾波器：平滑濾波器就是使像素點(diǎn)與周圍的像素點(diǎn)進(jìn)行混合，致使圖像變得模糊，目的是為了減少噪聲，將“尖銳”的部分去除，刪除無用的細(xì)節(jié)部分，常用于圖像預(yù)處理部分。包括：均值濾波器、中值濾波器、高斯濾波器等。銳化濾波器：銳化濾波器與平滑濾波器作用相反，它可以削弱圖像中的低頻分量，使圖像的突變信息、邊緣信息更加明顯，產(chǎn)生更加適合人眼觀察的圖像，為進(jìn)一步的圖像處理奠定基礎(chǔ)。包括：梯度銳化、拉普拉斯銳化等。形態(tài)學(xué)操作形態(tài)學(xué)操作是指處理圖像的形狀特征的圖像處理技術(shù)。我們?cè)趯?duì)圖像進(jìn)行閾值處理、圖像增強(qiáng)等一系列預(yù)處理過程中會(huì)使圖像中存在一些噪聲。而形態(tài)學(xué)操作可以有效地去除影響圖像效果的噪聲點(diǎn)，從而改善圖像質(zhì)量為后面的任務(wù)“打好基礎(chǔ)”。一般來說，形態(tài)學(xué)操作主要用來處理二值化圖像，其基本操作包括：膨脹、腐蝕、開運(yùn)算、閉運(yùn)算、形態(tài)學(xué)梯度、頂帽和黑帽。膨脹和腐蝕：基本思想簡(jiǎn)單地認(rèn)為是“將圖像擴(kuò)大”，腐蝕則相反。開運(yùn)算和閉運(yùn)算：開運(yùn)算就是先對(duì)圖像進(jìn)行腐蝕操作再進(jìn)行膨脹操作，閉運(yùn)算則相反。形態(tài)學(xué)梯度：形態(tài)學(xué)梯度是指膨脹結(jié)果和腐蝕結(jié)果的差值，可以有效地將二值圖像的邊緣凸顯出來以此來保留邊緣信息。黑帽和頂帽：分別用來突出比鄰近點(diǎn)較暗或較亮的區(qū)域。形態(tài)學(xué)操作原圖像腐蝕膨脹開操作閉操作形態(tài)學(xué)梯度黑帽頂帽3邊緣檢測(cè)EdgedetectionSobel算子與Laplacian算子Sobel算子認(rèn)為，鄰域的像素對(duì)當(dāng)前像素產(chǎn)生的影響是不等價(jià)的。所以距離不同的像素具有不同的權(quán)值，對(duì)算子結(jié)果產(chǎn)生的影響也不同。一般來說，距離越遠(yuǎn)，產(chǎn)生的影響越小。Sobel算子的原理，對(duì)傳進(jìn)來的圖像像素做卷積，卷積的實(shí)質(zhì)是在求梯度值，或者說給了一個(gè)加權(quán)平均，其中權(quán)值就是所謂的卷積核；然后對(duì)生成的新像素灰度值做閾值運(yùn)算，以此來確定邊緣信息。拉普拉斯算子是最簡(jiǎn)單的各向同性微分算子，具有旋轉(zhuǎn)不變性。Laplacian算子進(jìn)行邊緣檢測(cè)并沒有像Sobel那樣的平滑過程，所以它會(huì)對(duì)噪聲產(chǎn)生較大的響應(yīng)，并且無法分別得到水平方向、垂直方向或者其他固定方向的的邊緣。但是它只有一個(gè)卷積核，所以計(jì)算成本會(huì)更低。Canny算子Canny邊緣檢測(cè)算法是JohnF.Canny于1986年開發(fā)出來的一個(gè)多級(jí)邊緣檢測(cè)算法。通常情況下邊緣檢測(cè)的目的是在保留原有圖像屬性的情況下，顯著減少圖像的數(shù)據(jù)規(guī)模。目前有多種算法可以進(jìn)行邊緣檢測(cè)，雖然Canny算法年代久遠(yuǎn)，但可以說它是邊緣檢測(cè)的一種標(biāo)準(zhǔn)算法，而且仍在研究中廣泛使用。Canny算子求邊緣點(diǎn)的具體算法可以分為四個(gè)步驟：(1)使用高斯濾波器，以平滑圖像，濾除噪聲；(2)采用梯度濾波模板對(duì)圖像進(jìn)行卷積，求取圖像X方向和Y方向的梯度，以及對(duì)應(yīng)的夾角；(3)對(duì)梯度幅值進(jìn)行非極大值抑制；(4)用雙閾值算法檢測(cè)和連接邊緣。由于它具有滿足邊緣檢測(cè)的三個(gè)標(biāo)準(zhǔn)和實(shí)現(xiàn)過程簡(jiǎn)單的優(yōu)勢(shì)，成為邊緣檢測(cè)最流行的算法之一。4項(xiàng)目實(shí)戰(zhàn)Projectpractice項(xiàng)目介紹近年來，隨著我國汽車數(shù)量的不斷增長(zhǎng)，交通事故也隨之增加。世界衛(wèi)生組織報(bào)告稱，全世界每年有135萬人死于道路事故。其中疲勞駕駛就是導(dǎo)致交通事故的重要原因之一，占傷亡人數(shù)的20%-30%。一般的疲勞表現(xiàn)有打哈欠、閉眼等，在本項(xiàng)目中我們利用Dlib第三方庫實(shí)現(xiàn)了一個(gè)疲勞駕駛檢測(cè)程序，通過計(jì)算嘴部、眼部的長(zhǎng)寬比等來判斷駕駛員是否在疲勞駕駛。實(shí)現(xiàn)流程首先定義初始化函數(shù)。由于特征點(diǎn)預(yù)測(cè)器的返回值為臉部的68個(gè)特征點(diǎn)，每個(gè)部位的特征點(diǎn)都是連續(xù)且相鄰的。創(chuàng)建人臉檢測(cè)器、特征點(diǎn)檢測(cè)器以及疲勞檢測(cè)所需要的閾值。檢測(cè)人臉。利用人臉檢測(cè)器進(jìn)行實(shí)現(xiàn)，輸入為灰度圖，輸出檢測(cè)到的人臉矩形框坐標(biāo)列表。定位人臉關(guān)鍵點(diǎn)。利用關(guān)鍵點(diǎn)檢測(cè)器實(shí)現(xiàn)，輸入為圖像和矩形框坐標(biāo)，輸出為68個(gè)關(guān)鍵點(diǎn)坐標(biāo)。利用得到的特征點(diǎn)坐標(biāo)計(jì)算眼部高寬比、面積大小和嘴部高寬比。檢測(cè)。首先創(chuàng)建檢測(cè)器示例，利用OpenCV開啟攝像頭并讀取每一幀圖像，利用檢測(cè)器進(jìn)行檢測(cè)并做出判斷。5小結(jié)S