第十二章 數字圖像處理及應用

第十二章圖像信息處理及機器視覺《電子信息技術導論》視覺重要？古語百聞不如一見一目了然眼見為實，耳聽為虛。。。人類信息的主要傳遞手段視覺，聽覺，味覺，觸覺等視覺占60％以上人機交互字符、圖形計算機接收信息手段單一（鍵盤，鼠標）圖像處理重要？兩大應用需求對圖像信息的改進機器自動理解：使計算機具有視覺

圖像處理與計算機視覺的發(fā)展20世紀20年代：報紙業(yè)圖像的編碼與重構技術Bartlane電纜圖片傳輸系統：從倫敦到紐約傳送一幅圖片從1周減少到3小時色調質量和分辨率改善1921年，電報打印機，5個灰度級1922年，穿孔紙帶，5個灰度級1929年，15級灰度1964年：航天技術60年代初作為一門學科，主要目的是改善圖像質量，采取的方法有圖像增強和復原技術美國JPL（噴氣推進）實驗室處理衛(wèi)星發(fā)射回來的月球表面的照片應用圖像畸變的校正、灰度變換、去除噪聲20世紀70年代：遙感衛(wèi)星和醫(yī)學圖像增強和圖像識別

利用遙感圖片，進行地質資源探測，農作物估產，水文氣象監(jiān)測等圖像重構

X光斷層圖像重構技術，英國G.N.Hounsfield第一臺腦斷層攝像儀應用20世紀70年代末：人工智能興起，開始計算機視覺研究，由2D獲取3D空間信息80年代末到今：多媒體技術高速計算機和大規(guī)模集成電路的發(fā)展：圖像壓縮和多媒體技術；文本圖像的分析和理解，文字的識別取得重大的進展；圖像通訊和傳輸等的廣泛應用一、圖像信息處理基礎知識圖像和數字圖像

11.圖像

圖像處理廣泛應用在科學研究、機器人視覺、宇宙探測和國防科技等方面，成為了信息處理的一個重要的學科分支。圖像是人們獲取信息的主要來源。人類主要通過眼睛觀察外部世界，據統計，在人類獲取的信息中，視覺信息約占70%。左邊是嫦娥一號衛(wèi)星傳回的第一幅月面圖像。右邊是第一幅月面圖像的飛行效果圖。第一幅月面圖像就是我們對月球的直觀感受和初步認識。一、圖像信息處理基礎知識繪圖照片視頻圖像電視電影圖像的多種形式一、圖像信息處理基礎知識圖像是客觀景物（萬事萬物）呈現在人心目中的影象。圖像是物件或事物的一種表示、寫真或臨摹，是一個生動的或圖形化的描述。“圖”是物體投射或反射光的分布；“像”是人的視覺系統對“圖”在大腦中形成的印象或反映。韋氏定義抽象的定義分離定義圖像是客觀世界能量或狀態(tài)以可視化形式在二維平面上的投影圖像的各種定義：能量的定義一、圖像信息處理基礎知識2.數字圖像（Image）

把連續(xù)空間的圖像，在坐標空間和性質空間都進行離散化，便于計算機進行加工處理，這種離散化的圖像就是數字圖像。相對于數字圖像，其它的圖像都認為是模擬圖像。數字圖像是模擬圖像在計算機中的表現形式，兩者之間可以轉換。例如：模擬圖像數字圖像數字圖像模擬圖像掃描儀打印機一、圖像信息處理基礎知識數字圖像與模擬圖像相比，有以下幾個方面的特點：①靈活性方面。對模擬圖像處理，只能進行簡單的放大、縮小等，而數字圖像的處理方式非常精確、靈活,可以進行變形、改變亮度、色度、添加濾鏡等效果。②傳輸性方面。模擬圖像以實物為載體，傳輸相對困難，而數字圖像以數字信息為載體，傳輸相對較快。③再現性方面。模擬圖像不易保存，時間長了會有所變化；而數字圖像不會因為保存、傳輸或復制而產生圖像質量上的變化。④觀看性方面。數字圖像必須借助播放設備才能觀看。有些模擬圖像需要借助播放設備才能觀看，如錄像帶、電影片等；有些不需要借助播放設備就能直接觀看，如課本上的圖像、照片等，能直接觀看。一、圖像信息處理基礎知識通用數字圖像處理系統2“嫦娥一號”第一幅月面圖像處理的過程如下：（圖像獲取）（圖像傳輸）1.衛(wèi)星數字圖像處理過程

一、圖像信息處理基礎知識2.數字圖像處理系統

圖像處理系統的構成示意圖

一個通用的圖像處理系統構成，主要分為采集、顯示、存儲、通信、處理和分析5個模塊。一、圖像信息處理基礎知識①圖像采集模塊常見的圖像采集的設備如數碼攝像機、數碼相機、掃描儀、采集卡、攝像頭、遙感儀、CT機等。

掃描儀采集卡攝像頭CT機一、圖像信息處理基礎知識②圖像顯示模塊常見的圖像顯示的設備有顯示器（包括CRT和LCD）、打印機、繪圖儀、顯卡、膠片記錄儀等。打印機顯卡繪圖儀一、圖像信息處理基礎知識③圖像存儲模塊常見的圖像存儲的設備有磁盤、硬軟盤、磁帶、光盤等,還有現在用于數碼相機和手機的存儲卡，包括CF卡、SD卡、MMC卡、TF卡等。圖像數據量龐大，除了大容量磁盤外，MO(磁光存儲器)、CD、DVD等光學存儲裝置以及SAN、NAS等網絡存儲系統，為存儲海量圖像數據提供了極好的支持。

磁帶CF卡NAS/SAN網絡存儲設備一、圖像信息處理基礎知識④圖像通信模塊：圖像通信可分為近程的和遠程的。近程圖像通信是指在不同設備間交換圖像數據，例如u盤與計算機之間交換。遠程圖像通信是指在長距離的圖像系統間傳輸圖像，主要是網絡上傳輸，網絡帶寬問題是需要考慮的主要問題。一、圖像信息處理基礎知識

⑤圖像處理和分析模塊該模塊一般可用算法的形式描述，而大多數的算法可用軟件實現，只有在為了提高速度和克服通用計算機限制的情況下采用特制的硬件。圖像處理和分析涉及到的技術包括各種圖像變換、圖像增強技術、圖像恢復和重建技術、圖像編碼技術、圖像分割技術、目標表達和描述技術等。一、圖像信息處理基礎知識圖像處理和分析模塊包含內容圖像恢復和重建

圖像增強圖像編碼

圖像分割

圖像描述和表達

圖像變換

將圖像轉換為變換域的處理。主要研究如何突出圖像中所感興趣的部分。針對圖像退化原因建立模型，以濾波恢復或重建圖像。主要用于減少數據量，以便存儲和傳輸。提取圖像中有意義的特征，例如邊緣和區(qū)域。是圖像識別和理解的必要前提。一、圖像信息處理基礎知識①信息量大。如果要處理30幀/秒的電視圖像序列，則每秒要求500kbit～22.5Mbit數據量。因此對計算機的計算速度、存儲容量等要求較高。②占用的頻帶寬。如電視圖像的帶寬約5.6MHz，而語音帶寬僅為4kHz左右。③相關性大。就電視畫面而言，同一行中相鄰兩個像素或相鄰兩行間的像素，其相關系數可達0.9以上，而相鄰兩幀之間的相關性比幀內相關性一般來說還要大些。④受人的因素影響較大。影響因素有環(huán)境條件、視覺性能、人的情緒愛好以及知識狀況等。3數字圖像處理的基本特點一、圖像信息處理基礎知識數字圖像處理的發(fā)展歷程1921巴特蘭圖片傳輸系統（5個灰度級）1922基于光學還原的技術1929用15級色調設備通過電纜傳送4一、圖像信息處理基礎知識1960s’于60年代初，數字圖像處理作為一門學科形成。首次獲得實際成功應用的是美國噴氣推進實驗室（JPL）。

1950s’電子計算機已經發(fā)展到一定水平，人們開始利用計算機來處理圖形和圖像信息。

1970s’自70年代中期，隨著計算機技術和人工智能等研究的迅速發(fā)展，人們已開始研究圖像理解（即計算機視覺）至今計算機性價比的不斷提高和通過萬維網及互聯網的網絡通信帶寬的擴展，為之創(chuàng)造了前所未有的機遇。一、圖像信息處理基礎知識遙感和航空測量1遙感：主要用于資源、礦藏勘探、國土規(guī)劃、高速公路選線、災害調查、農作物估產、氣象預報以及軍事目標監(jiān)視等。氣象衛(wèi)星云圖土地變化監(jiān)測圖云南省大理州森林火災的遙感圖二、數字圖像處理的應用生物醫(yī)學領域應用三維快速血管造影成像頭部CT主要應用如X射線層析攝影(CT)、核磁共振(MRI)、超聲成像、血管造影、細胞和染色體自動分類等。這些技術和設備大大提高了治療診斷水平，減輕了病人的痛苦。2二、數字圖像處理的應用以下是一個將圖像處理應用于臨床醫(yī)學的例子――CT腦血管醫(yī)學圖像三維重建。重建的腦血管三維圖像加入對比劑腦血管掃描圖像依次為第1層,第2層,第3層腦血管腦血管邊緣提取依次為第1層,第2層,第3層腦血管二、數字圖像處理的應用圖像通信常見的數字圖像和數字視頻設備如可視電話、會議電視、衛(wèi)星電視、數字電視、高清晰度電視、VCD、DVD等會議電視終端可視電話衛(wèi)星電視接收器3二、數字圖像處理的應用基于H.323標準的遠程教學組網圖二、數字圖像處理的應用工業(yè)與交通應用該領域的應用從70年代起取得了迅速的發(fā)展，主要有產品質量檢測、生產過程的自動控制、CAD／CAM等。檢查瓶裝液體容量是否合格智能交通控制4二、數字圖像處理的應用汽車牌照識別系統圖二、數字圖像處理的應用交通視頻監(jiān)控系統圖二、數字圖像處理的應用軍事公安軍事目標的偵察、制導和警戒系統、自動滅火器的控制及反偽裝等等都需要用到圖像處理技術；公安部門的現場照片、指紋、虹膜、面部、手跡、印章等的處理和辨識也要借助圖像處理。導彈制導指紋門鎖5二、數字圖像處理的應用虹膜識別系統框圖二、數字圖像處理的應用生物識別技術的重要分支――自動指紋識別系統下圖是指紋圖像預處理各階段的結果：指紋原始圖像濾波后圖像二值化圖像細化圖像二、數字圖像處理的應用機器視覺

機器視覺主要用于軍事偵察、危險環(huán)境的自主機器人，郵政、醫(yī)院和家庭服務的智能機器人，裝配線工件識別、定位，太空機器人的自動操作等。

ASIMO踢球ASIMO上樓梯6二、數字圖像處理的應用虛擬現實當人們通過虛擬現實瀏覽、觀賞時就如身臨其境一般，并且可以選擇任一角度，觀看任一范圍內的場景或選擇觀看物體的任一角度。虛擬漫游技術是虛擬現實（VR）技術的重要分支，在建筑、旅游、游戲、航空航天、醫(yī)學等多種行業(yè)發(fā)展很快。VR的相關設備7二、數字圖像處理的應用故宮VR——《紫禁城?天子的宮殿》中的一景

二、數字圖像處理的應用電腦游戲中的建筑場景漫游二、數字圖像處理的應用三、數字圖像處理技術簡介處理方法：空域方法和頻域方法處理策略：全局處理和局部處理處理對象：灰度圖像增強和彩色圖像增強圖像處理涉及到的技術包括各種圖像增強技術、圖像恢復和重建技術、圖像分割技術等。圖像增強分類方法圖像增強：1

1.

空域增強空域增強就是指直接對圖像的像素灰度值做某些運算，從而達到對某些像素的灰度值的改變，以改善圖片視覺效果。①直接灰度變換增強對圖像中的每個像素按某種運算直接進行灰度變換Couple原圖像三段式增強效果對數變換增強效果三、數字圖像處理技術簡介②

直方圖變換增強直方圖是對圖像中每一個灰度值統計出現的次數或者頻率后繪制出的圖。對直方圖變換可以實現圖像增強。原始圖像及其直方圖直方圖均衡后圖像及其直方圖三、數字圖像處理技術簡介航拍的城市夜景（紅外成像）直方圖均衡后的效果三、數字圖像處理技術簡介2.空域濾波

①圖像平滑

中值濾波去噪效果

空域濾波就是設計一些運算模板，將模板和圖像中對應的各像素點的灰度值做積分運算或微分運算，以達到圖像平滑或銳化的目的。三、數字圖像處理技術簡介②圖像銳化

拉普拉斯算子圖像銳化增強效果

三、數字圖像處理技術簡介3.頻域增強頻域增強是指通過在圖像的頻域或變換域進行處理后，使圖像得到增強的方法。指紋原圖

頻域增強后的指紋圖像

三、數字圖像處理技術簡介景物成像過程中凡出現畸變、模糊、失真或混入噪聲，使得所成圖像降質，稱之為圖像“退化”。這些質量降低的圖像，我們通稱為退化圖像。

圖像復原1.什么是圖像的退化和圖像復原

圖像復原通俗地講，就是圖像退化的逆過程。典型的圖像復原方法是根據圖像退化的先驗知識建立一個退化模型，以此模型為基礎，采用濾波等手段進行處理，使得復原后的圖像符合一定的準則，達到改善圖像質量的目的。2三、數字圖像處理技術簡介通用的圖像退化模型為：

式中，g(x,y)為退化圖像，f(x,y)為求解的圖像；H[·]是綜合所有退化因素的一個函數。n(x,y)為噪聲函數。圖像復原就是已知g(x,y)，求f(x,y)的問題（近似過程）。求解逼近過程，由于解不唯一，故方法很多，不同誤差準則，不同約束條件，得到的解會不同。實際的復原過程是設計一個濾波器，使其能從降質圖像中計算得到真實圖像的估計值。三、數字圖像處理技術簡介2.逆濾波復原方法若F(u,v)和G(u,v)分別表示復原圖像和退化圖像的傅里葉變換；H(u,v)表示圖像退化函數，它綜合了所有造成圖像退化的因素，可采用實測或點沖激函數測量方法得到。

F(u,v)、G(u,v)和H(u,v)都用矩陣表示。設H(u,v)已知，忽略噪聲的情況下，復原圖像F(u,v)為

如果H(u,v)的逆存在，則等式右邊就是一個逆濾波過程。三、數字圖像處理技術簡介微裝配準備對接模糊圖像逆濾波恢復的圖像三、數字圖像處理技術簡介3.運動模糊圖像的復原當成像傳感器與被攝景物之間存在足夠快的相對運動時，所攝取的圖像就會出現“運動模糊”。運動模糊圖像的復原，最為關鍵的就是運動速度要估計得比較準。為了簡單起見，一般只考慮勻速直線運動模糊圖像的復原。運動模糊圖像的復原三、數字圖像處理技術簡介4.圖像灰度校正和幾何畸變校正圖像幾何畸變校正的思路是通過一些已知的參考點，即無失真圖像某些像素點和畸變圖像相應像素的坐標間對應關系，擬合出上述多項式中的系數，并作為恢復其它像素的基礎。幾何失真校正主要包括二個步驟：

①空間變換，恢復像素原空間的位置；

②灰度插值，對空間變換后像素賦予原位置的灰度值。三、數字圖像處理技術簡介①空間變換

幾何空間位置校正示意圖：

將四邊形區(qū)域的4個頂點作為控制點，根據4個已知點建立方程組，由待定系數法求出未知系數，由這些系數即可實現四邊形內所有點的校正。②灰度插值對空間變換后的像素賦予原位置的灰度值。例如雙線性插值等。三、數字圖像處理技術簡介數碼相機中由于光學鏡頭的生產工藝等原因，拍攝圖像出現了較為嚴重的非線性幾何畸變。幾何畸變圖像幾何校正的結果三、數字圖像處理技術簡介

圖像重建圖像投影重建是一類特殊的圖像復原技術，投影重建是指從一個物體的多個（軸向）投影圖來重建目標圖像的過程。輸入是一系列圖像，輸出是一幅重建圖。主要有兩類重建圖像的方法：

（1）傅里葉反變換重建技術（2）

級數展開重建技術通常圖像重建的數學模型較復雜，計算量大，涉及到投影模型、迭代計算等，在此不作詳細介紹。3三、數字圖像處理技術簡介

圖像分割1.圖像分割的含義圖像分割是把圖像分解成構成它的部件和對象的過程；達到有選擇性地定位感興趣對象在圖像中的位置和范圍。因此，圖像分割是指把圖像分成各具特性的區(qū)域，并提取出感興趣目標的技術和過程。分割的特性可以是灰度、顏色、紋理等；目標可以是對應單個區(qū)域或者是多個區(qū)域。4圖像分割的示意圖三、數字圖像處理技術簡介2.圖像分割的基本分類圖像分割算法基于圖像灰度值的兩個基本特性：不連續(xù)性和相似性；因此，圖像分割基本上分類為基于邊界的分割方法和基于區(qū)域的分割方法。紅色綠色分割閾值兩種顏色區(qū)域的圖像分割示意圖三、數字圖像處理技術簡介3.圖像目標分割的方法（1）基于邊界的分割方法基于邊界的圖像分割方法有并行邊界技術和串行邊界技術兩類，并行邊界技術是邊緣的檢測和邊界的閉合同時進行；而串行邊界技術是邊緣檢測和邊界的閉合連接是串行完成的。無論是采用并行邊界技術還是串行邊界技術，邊緣檢測都是基于邊界技術分割方法的第一步，在圖像分割中非常重要。三、數字圖像處理技術簡介常用的三個邊緣檢測算子及其檢測結果：Lena原圖①

Robert算子②

sobel算子③

laplace算子三、數字圖像處理技術簡介（2）基于區(qū)域的分割方法基于區(qū)域的分割方法也有并行區(qū)域技術和串行區(qū)域技術兩類；并行區(qū)域技術的主要方法是閾值分割法，串行區(qū)域技術的主要方法是區(qū)域生長法。①閾值分割法閾值分割法,即通過閾值定義圖像中不同目標的區(qū)域歸屬,所有大于等于某閾值的像素屬于物體,所有小于該閾值的像素排除在物體之外,這種方法有利于目標識別。閾值分割法的關鍵問題是選取合適的閾值，因此如何搜索得到最優(yōu)分割閾值是閾值分割研究的熱點。三、數字圖像處理技術簡介530＊500分辨率的灰度級圖像閾值分割后三、數字圖像處理技術簡介②區(qū)域生長法區(qū)域生長法的基本思想是，逐步將具有相似性質的像素集中起來構成各個不同的區(qū)域，實現圖像的分割。③分裂合并法分裂合并法與區(qū)域生長法相似的分割方法還有，基本思想是從整幅圖像開始，通過不斷分裂和合并，得到各個不同性質或屬性的區(qū)域。分裂合并法一般常用四叉樹或金字塔式分割技術來完成。三、數字圖像處理技術簡介盆腔骨CT原圖提取邊緣區(qū)域生長分割結果圖像分割應用實例三、數字圖像處理技術簡介4.圖像分割方法的比較以下分別選用了早晨、中午和傍晚的煙塵圖像，對閾值分割、區(qū)域生長、分裂合并等3種基于區(qū)域的分割方法作一個比較。

(a)早上煙塵圖像(b)中午煙塵圖像(c)傍晚煙塵圖像3幅原始圖像三、數字圖像處理技術簡介

(d)(e)(f)閾值分割算法的結果

(g)(h)(i)區(qū)域生長算法的結果(j)(k)(l)分裂合并算法的結果三、數字圖像處理技術簡介

數字圖像處理與相關學科的聯系和區(qū)別數字圖像處理是一門研究圖像理論、技術和應用的交叉學科。研究方法上，與數學、物理學（光學）、生理學、心理學、電子學、計算機科學相互借鑒；研究范圍上，與計算機圖形學、模式識別、計算機視覺等多個專業(yè)相互交叉。1.數字圖像處理與相關學科的聯系數字圖像處理與計算機圖形學、計算機視覺互相滲透，覆蓋面有很多重合。5三、數字圖像處理技術簡介2.數字圖像處理與相關學科的區(qū)別（1）與計算機圖形學的區(qū)別計算機圖形學是應用計算機生成、處理、存貯、顯示圖形的學科；計算機圖形學在計算機輔助設計/計算機輔助制作(CAD/CAM)，多媒體技術，圖形用戶界面，科學計算可視化等領域廣泛應用。計算機圖形學的數據流是從數據到圖形，與圖像分析時的數據流方向相反（從圖像到數據）。（2）與模式識別的區(qū)別模式識別是利用計算機對某些物理現象進行分類，在錯誤概率最小的條件下，使識別的結果盡量與事物相符。模式識別在醫(yī)學、軍事等眾多領域應用十分廣泛。三、數字圖像處理技術簡介（3）與計算機視覺的區(qū)別

計算機視覺是要為計算機和機器人開發(fā)具有與人類水平相當的視覺能力。在建立計算機視覺系統時需要用到圖像處理、模式識別學科中的有關技術，但計算機視覺研究的內容要比這些學科更為廣泛。三、數字圖像處理技術簡介四圖像處理與計算機視覺的應用領域

及面臨問題主要相關學科計算機圖形學：原指用圖形、圖表、繪圖等形式表達數據信息的科學，而計算機圖形學研究的就是如何利用計算機技術來產生這些形式模式識別：試圖把圖像分解成可用符號較抽象地描述的類別計算機視覺：主要強調用計算機實現人的視 覺功能，目前的研究內容主要與圖像 理解相結合 1.3.1圖像處理與計算機視覺的應用領域圖像增強/恢復藝術級效果醫(yī)學可視化工業(yè)檢驗法律執(zhí)行人機交互

圖像處理與計算機視覺的應用領域

及面臨問題舉例：圖像增強DIP技術最常見的用處是：提高質量，消除噪音等等舉例：Hubble望遠鏡1990年發(fā)射的“哈勃”號太空望遠

鏡能夠拍攝超遠距離的物體，但是

由于鏡子出現誤差，拍攝到的圖像

就失去了價值，而借助于圖像處理

技術便可以修復舉例：藝術效果藝術效果是指通過特

效或者圖像合成等方法，

使得圖像具有更強的視

覺效果舉例：醫(yī)學通過MRI（核磁共振）掃描到的犬類心臟切片，我們可以找出其中各種組織的邊界線:灰度圖表示組織密度使用合適的濾波器來增強邊緣取自狗心臟的原始MRI圖像邊緣檢測圖像舉例：GIS地理信息系統（GeographicInformationSystems，GIS)，數字圖像處理技術廣泛用于：氣象學地形分類操作衛(wèi)星圖像舉例：GIS(續(xù)…)全球夜間燈光數據集可以提供全球人類居住區(qū)的匯總情況不難想象這些數據需要進行分析和處理舉例：GIS(續(xù)…)遙感圖像：農業(yè)普查森林覆蓋計算水利工程等的客觀估計計算森林火災監(jiān)護－－客觀反映火災情況、面積舉例：工業(yè)檢驗操作人員需要花費大量的精力，卻又慢又不可靠；使用機器代替；工業(yè)可視化系統廣泛應用于各類產業(yè)

舉例：印刷電路板檢測印刷電路板檢測(PrintedCircuitBoardinspection,PCB)使用機器檢測零件是否完整以及焊接是否合格常規(guī)成像和X光成像相結合舉例：法律執(zhí)行圖像處理技術被法律執(zhí)行者廣泛采用高速相機或者