第4章 數(shù)字圖像處理

第四章數(shù)字圖像處理章節(jié)介紹Introduction數(shù)字圖像處理是一門涉及學(xué)科領(lǐng)域十分廣泛的交叉學(xué)科，在工業(yè)生產(chǎn)、機器視覺、視頻與多媒體系統(tǒng)等各個方面都存在極大的應(yīng)用價值。它的目的主要是通過一系列數(shù)字圖像處理技術(shù)將圖像處理得更加符合人眼視覺感知，從而使信息清晰地展示在用戶面前。理解并熟練掌握數(shù)字圖像處理中相關(guān)的基礎(chǔ)知識就可以對計算機視覺領(lǐng)域中的方法有較為全面的認(rèn)識。本章旨在介紹圖像、數(shù)字圖像等基本概念以及相關(guān)的基本處理方法，這些操作在計算機視覺領(lǐng)域的預(yù)處理等步驟被廣泛應(yīng)用。學(xué)習(xí)目標(biāo)Learningaims（1）掌握圖像、數(shù)字圖像、色彩空間等基本概念，理解圖像在計算機中的表示方法；（2）掌握基礎(chǔ)的圖像處理方法；（3）理解并掌握邊緣檢測的原理和步驟；（4）熟練使用OpenCV對圖像進行一系列基本操作。學(xué)習(xí)內(nèi)容Learningcontent1圖像及視覺基礎(chǔ)Fundamentalsofimageandvision數(shù)字圖像概述數(shù)字圖像，又稱數(shù)碼圖像或數(shù)位圖像，用二維數(shù)組來表示。它是通過圖像數(shù)字化將原始圖像分割成一個個小的區(qū)域而得到的，主要包括采樣和量化兩個過程。采樣：指將在空間上連續(xù)的圖像轉(zhuǎn)換成離散的采樣點(即像素)的操作。量化：模擬圖像經(jīng)過采樣后，離散化為像素，但像素值(即灰度值)仍為連續(xù)量，把采樣后所得的各像素的灰度值轉(zhuǎn)換為整數(shù)的過程稱為量化。采樣量化數(shù)字圖像概述矩陣是用于描述圖像的最常用的數(shù)據(jù)結(jié)構(gòu)，它可以用來表示二值圖像（黑白圖像）、灰度圖像和彩色圖像。二值圖像：矩陣中的元素取值非0即1?；叶葓D：矩陣描述灰度圖像時，矩陣中的元素由一個量化的灰度級描述，灰度級通常為8位，即0-255之間的整數(shù)，其中0表示黑色，255表示白色。彩色圖像：利用3個分別代表R、G、B分量的大小相同的二維數(shù)組表示圖像中的像素，R表示紅色，G表示綠色，B表示藍(lán)色，通過三種基本顏色可以合成任意顏色。數(shù)字圖像概述二值圖灰度圖彩色圖色彩空間顏色空間按照基本結(jié)構(gòu)可以分為兩大類：基色顏色空間以及色、亮分離顏色空間。RGB：在RGB顏色空間中，任意色光F都可以用R、G、B三色不同分量的相加混合而成。HSV：模型反映了人的視覺系統(tǒng)感知彩色的方式，以色調(diào)(Hue)、飽和度(Saturation)和明度(Value)三種基本特征量來感知顏色，用六角形椎體進行表示。三色光疊加圖HSV色彩空間2基礎(chǔ)圖像處理方法Basicimageprocessingmethod基本運算算術(shù)運算加法運算減法運算乘法運算除法運算邏輯運算與運算或運算異或運算非運算基本運算加法運算減法運算乘法運算除法運算基本運算圖像變換幾何變換包括：圖像平移變換：將圖像中的所有像素點按照給定的平移量進行水平或垂直方向上的位移。圖像放縮變換：對數(shù)字圖像的大小進行調(diào)整的操作。圖像旋轉(zhuǎn)變換：圖像以某一點為中心旋轉(zhuǎn)一定的角度，形成一幅新的圖像的過程。圖片鏡像變換：圖像旋轉(zhuǎn)變換的一種特殊情況，通常包括垂直方向和水平方向的鏡像。圖像變換圖像仿射變換：一種從一個二維坐標(biāo)到另一個二維坐標(biāo)的線性變換，是指在幾何中，一個向量空間進行一次線性變換并接上一個平移，變換為另一個向量空間。圖像透視變換：透視變換的本質(zhì)就是空間立體三維變換，將圖像投影至另外一個視平面上，常常用作圖像矯正任務(wù)當(dāng)中。圖像變換圖像平移圖像旋轉(zhuǎn)鏡像變換圖像變換仿射變換透視變換圖像變換從純粹的數(shù)學(xué)意義上看，傅立葉變換是將一個圖像函數(shù)轉(zhuǎn)換為一系列周期函數(shù)來處理的。其物理意義是將圖像的灰度分布函數(shù)變換為圖像的頻率分布函數(shù)，傅立葉逆變換是將圖像的頻率分布函數(shù)變換為灰度分布函數(shù)。實際上對圖像進行二維傅立葉變換得到頻譜圖，就是圖像梯度的分布圖，傅立葉頻譜圖上看到的明暗不一的亮點，實際上圖像上某一點與鄰域點差異的強弱，即梯度的大小，也即該點的頻率的大小。如果頻譜圖中暗的點數(shù)更多，那么實際圖像是比較柔和的；反之，如果頻譜圖中亮的點數(shù)多，那么實際圖像一定是尖銳的，邊界分明且邊界兩邊像素差異較大的。圖像變換傅立葉變換是在以時間為自變量的“信號”與頻率為自變量的“頻譜”函數(shù)之間的某種變換關(guān)系。通過傅立葉變換，可在一個全新的頻率空間上來認(rèn)識信號：一方面可能使得在時域研究中較復(fù)雜的問題在頻域中變得簡單起來，從而簡化其分析過程；另一方面使得信號與系統(tǒng)的物理本質(zhì)在頻域中能更好地被揭示出來。當(dāng)自變量“時間”或“頻率”為連續(xù)形式和離散形式的不同組合，就可以形成各種不同的傅立葉變換對，即“信號”與“頻譜”的對應(yīng)關(guān)系。傅立葉變換包含連續(xù)傅立葉變換、離散傅立葉變換、快速傅立葉變換、短時傅立葉變換等，在數(shù)字圖像處理中使用的是二維離散傅立葉變換。圖像增強點運算灰度變換：灰度變換是指根據(jù)某種目標(biāo)條件按一定變換關(guān)系逐點改變源圖像中每一個像素灰度值的方法。目的是為了改善畫質(zhì)，使圖像的顯示效果更加清晰。圖像的灰度變換處理是圖像增強處理技術(shù)中的一種非?；A(chǔ)、直接的空間域圖像處理方法，也是圖像數(shù)字化軟件和圖像顯示軟件的一個重要組成部分。包括：線性灰度變換和非線性灰度變換。直方圖變換：圖像直方圖是圖像的最基本的統(tǒng)計特征，記錄了圖像中每個像素值的數(shù)量。直方圖反映了圖像的明暗分布規(guī)律，可以通過圖像變換進行直方圖調(diào)整，獲得較好的視覺效果。包括：直方圖均衡化和直方圖規(guī)定化。圖像增強空域濾波平滑濾波器：平滑濾波器就是使像素點與周圍的像素點進行混合，致使圖像變得模糊，目的是為了減少噪聲，將“尖銳”的部分去除，刪除無用的細(xì)節(jié)部分，常用于圖像預(yù)處理部分。包括：均值濾波器、中值濾波器、高斯濾波器等。銳化濾波器：銳化濾波器與平滑濾波器作用相反，它可以削弱圖像中的低頻分量，使圖像的突變信息、邊緣信息更加明顯，產(chǎn)生更加適合人眼觀察的圖像，為進一步的圖像處理奠定基礎(chǔ)。包括：梯度銳化、拉普拉斯銳化等。形態(tài)學(xué)操作形態(tài)學(xué)操作是指處理圖像的形狀特征的圖像處理技術(shù)。我們在對圖像進行閾值處理、圖像增強等一系列預(yù)處理過程中會使圖像中存在一些噪聲。而形態(tài)學(xué)操作可以有效地去除影響圖像效果的噪聲點，從而改善圖像質(zhì)量為后面的任務(wù)“打好基礎(chǔ)”。一般來說，形態(tài)學(xué)操作主要用來處理二值化圖像，其基本操作包括：膨脹、腐蝕、開運算、閉運算、形態(tài)學(xué)梯度、頂帽和黑帽。膨脹和腐蝕：基本思想簡單地認(rèn)為是“將圖像擴大”，腐蝕則相反。開運算和閉運算：開運算就是先對圖像進行腐蝕操作再進行膨脹操作，閉運算則相反。形態(tài)學(xué)梯度：形態(tài)學(xué)梯度是指膨脹結(jié)果和腐蝕結(jié)果的差值，可以有效地將二值圖像的邊緣凸顯出來以此來保留邊緣信息。黑帽和頂帽：分別用來突出比鄰近點較暗或較亮的區(qū)域。形態(tài)學(xué)操作原圖像腐蝕膨脹開操作閉操作形態(tài)學(xué)梯度黑帽頂帽3邊緣檢測EdgedetectionSobel算子與Laplacian算子Sobel算子認(rèn)為，鄰域的像素對當(dāng)前像素產(chǎn)生的影響是不等價的。所以距離不同的像素具有不同的權(quán)值，對算子結(jié)果產(chǎn)生的影響也不同。一般來說，距離越遠(yuǎn)，產(chǎn)生的影響越小。Sobel算子的原理，對傳進來的圖像像素做卷積，卷積的實質(zhì)是在求梯度值，或者說給了一個加權(quán)平均，其中權(quán)值就是所謂的卷積核；然后對生成的新像素灰度值做閾值運算，以此來確定邊緣信息。拉普拉斯算子是最簡單的各向同性微分算子，具有旋轉(zhuǎn)不變性。Laplacian算子進行邊緣檢測并沒有像Sobel那樣的平滑過程，所以它會對噪聲產(chǎn)生較大的響應(yīng)，并且無法分別得到水平方向、垂直方向或者其他固定方向的的邊緣。但是它只有一個卷積核，所以計算成本會更低。Canny算子Canny邊緣檢測算法是JohnF.Canny于1986年開發(fā)出來的一個多級邊緣檢測算法。通常情況下邊緣檢測的目的是在保留原有圖像屬性的情況下，顯著減少圖像的數(shù)據(jù)規(guī)模。目前有多種算法可以進行邊緣檢測，雖然Canny算法年代久遠(yuǎn)，但可以說它是邊緣檢測的一種標(biāo)準(zhǔn)算法，而且仍在研究中廣泛使用。Canny算子求邊緣點的具體算法可以分為四個步驟：(1)使用高斯濾波器，以平滑圖像，濾除噪聲；(2)采用梯度濾波模板對圖像進行卷積，求取圖像X方向和Y方向的梯度，以及對應(yīng)的夾角；(3)對梯度幅值進行非極大值抑制；(4)用雙閾值算法檢測和連接邊緣。由于它具有滿足邊緣檢測的三個標(biāo)準(zhǔn)和實現(xiàn)過程簡單的優(yōu)勢，成為邊緣檢測最流行的算法之一。4項目實戰(zhàn)Projectpractice項目介紹近年來，隨著我國汽車數(shù)量的不斷增長，交通事故也隨之增加。世界衛(wèi)生組織報告稱，全世界每年有135萬人死于道路事故。其中疲勞駕駛就是導(dǎo)致交通事故的重要原因之一，占傷亡人數(shù)的20%-30%。一般的疲勞表現(xiàn)有打哈欠、閉眼等，在本項目中我們利用Dlib第三方庫實現(xiàn)了一個疲勞駕駛檢測程序，通過計算嘴部、眼部的長寬比等來判斷駕駛員是否在疲勞駕駛。實現(xiàn)流程首先定義初始化函數(shù)。由于特征點預(yù)測器的返回值為臉部的68個特征點，每個部位的特征點都是連續(xù)且相鄰的。創(chuàng)建人臉檢測器、特征點檢測器以及疲勞檢測所需要的閾值。檢測人臉。利用人臉檢測器進行實現(xiàn)，輸入為灰度圖，輸出檢測到的人臉矩形框坐標(biāo)列表。定位人臉關(guān)鍵點。利用關(guān)鍵點檢測器實現(xiàn)，輸入為圖像和矩形框坐標(biāo)，輸出為68個關(guān)鍵點坐標(biāo)。利用得到的特征點坐標(biāo)計算眼部高寬比、面積大小和嘴部高寬比。檢測。首先創(chuàng)建檢測器示例，利用OpenCV開啟攝像頭并讀取每一幀圖像，利用檢測器進行檢測并做出判斷。5小結(jié)S