圖像采集與處理

圖像采集與處理第一頁，共七十四頁，2022年，8月28日課程介紹本課程主要講授圖像處理和計算機視覺領(lǐng)域的基本理論和技術(shù)，包括圖像預(yù)處理、視覺特征提取、圖像分割、目標(biāo)檢測、物體識別、目標(biāo)跟蹤、3D視覺等；同時，介紹目前國際上該領(lǐng)域前沿的研究方向和成果。所需背景知識：（1）數(shù)學(xué)：高等數(shù)學(xué)、線性代數(shù)、概率統(tǒng)計與隨機過程（2）編程：VisualC++,Matlab第二頁，共七十四頁，2022年，8月28日課程考核方式項目百分比內(nèi)容平時作業(yè)(Assignments)40%內(nèi)容：4次；編程作業(yè)。要求：個人完成。文獻綜述(Termpaper)20%自選一個領(lǐng)域，閱讀該領(lǐng)域國際上成熟的、以及最新的研究文獻，寫一篇綜述文章。要求：主要參考英文文獻。個人完成。課程項目(Project)40%自選一個課題，設(shè)計并且編程實現(xiàn)。內(nèi)容：項目題目與摘要(Topic&Abstract)項目實施(Design&Programming)項目最終設(shè)計報告撰寫(FinalReport)項目演示與宣講(Presentation)要求：個人或者2人團隊完成。按規(guī)定時間提交（特殊情況須事先說明），過時沒有相應(yīng)成績。第三頁，共七十四頁，2022年，8月28日重要時間節(jié)點10月8日提交課程項目題目10月15日提交作業(yè)1提交課程項目摘要11月5日提交作業(yè)211月19日提交文獻綜述11月26日提交作業(yè)312月10日提交作業(yè)412月25日項目課堂演示與宣講12月27日12月31日提交課程項目最終報告截止時間：當(dāng)日23:59第四頁，共七十四頁，2022年，8月28日參考書目《數(shù)字圖像處理》，RafaelC.Gonzalez等著，阮秋琦等譯，電子工業(yè)出版社?！秷D像處理、分析與機器視覺》，MilanSonka等著，艾海舟等譯，清華大學(xué)出版社。RafaelC.Gonzalez,RichardE.Woods,DigitalImageProcessing

(2ndEdition),PrenticeHall,2003.RichardSzeliski,ComputerVision:AlgorithmsandApplications,freedownload.DavidA.Forsvth,JeanPonce,ComputerVision:AModernApproach(2ndEdition),PrenticeHall,2011.第五頁，共七十四頁，2022年，8月28日參考資料重要的國際期刊：IEEETransactionsonPatternAnalysisandMachineIntelligence(PAMI)InternationalJournalofComputerVisionIEEETransactionsonImageProcessingIEEETransactionsonCircuitsandSystemsforVideoTechnologyVisionResearchIEEETransactionsonMedicalImagingIEEETransactionsonSystem,ManandCybernetics,PartBIEEETransactionsonAutonomousMentalDevelopmentIEEETransactionsonSystem,ManandCybernetics,PartAIEEETransactionsonRoboticsPatternRecognition第六頁，共七十四頁，2022年，8月28日參考資料重要的國際會議：IEEEInternationalConferenceonComputerVisionandPatternRecognition(CVPR)InternationalConferenceonComputerVision(ICCV)EuropeanConferenceonComputerVision(ECCV)IEEEInternationalConferenceonRoboticsandAutomation(ICRA)IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems(IROS)IEEEInternationalConferenceonPatternRecognition(ICPR)

第七頁，共七十四頁，2022年，8月28日聯(lián)系方式選課學(xué)生發(fā)送下列信息給老師：

姓名：學(xué)號：聯(lián)系方式：Email,QQ，電話導(dǎo)師：研究方向：QQ群：74523960第八頁，共七十四頁，2022年，8月28日圖像處理與計算機視覺概述

基本概念圖像處理和計算機視覺的應(yīng)用圖像處理和計算機視覺系統(tǒng)的體系結(jié)構(gòu)第九頁，共七十四頁，2022年，8月28日基本概念什么是圖像、數(shù)字圖像？什么是數(shù)字圖像處理？什么是計算機視覺？什么是機器視覺？圖像處理、計算機視覺和機器視覺的關(guān)系第十頁，共七十四頁，2022年，8月28日什么是圖像？定義：二維函數(shù)f(x,y)，其中，x，y是空間坐標(biāo)，f(x,y)是點(x,y)的幅值?；叶葓D像是一個二維灰度（亮度）函數(shù)f(x,y)。彩色圖像由三個（如RGB，HSV）二維灰度（亮度）函數(shù)f(x,y)組成。第十一頁，共七十四頁，2022年，8月28日什么是數(shù)字圖像？數(shù)字圖像是由二維像素組成，每一個像素具有一個特定的位置(x,y)和幅值f(x,y)。數(shù)字圖像在計算機中通常用矩陣來表達。第十二頁，共七十四頁，2022年，8月28日圖像與視頻靜態(tài)圖像：用圖像函數(shù)f(x,y)來表示，即一張靜止的圖片。動態(tài)圖像（視頻）：用圖像函數(shù)f(x,y,t)來表示，即沿著時間序列產(chǎn)生的一組圖片。第十三頁，共七十四頁，2022年，8月28日什么是數(shù)字圖像處理？數(shù)字圖像處理是將模擬的圖像信號轉(zhuǎn)換為數(shù)字的圖像信號并用計算機對其進行處理的過程。主要目的：（1）改善圖像質(zhì)量，例如，去除噪聲、圖像增強。（2）提取圖像中的特征信息，例如，邊界、紋理。（3）進行圖像編碼和壓縮，以便圖像的存儲和傳輸。第十四頁，共七十四頁，2022年，8月28日什么是計算機視覺？計算機視覺是指用攝像機和計算機來復(fù)制人類感知和理解視覺信息的能力。主要目的：通過對于視覺信息的獲取、處理、分析理解，從而產(chǎn)生相應(yīng)的行為決策。視覺信息：由一幅靜止圖像、多幅靜止圖像、或者一組視頻提供的信息。機器人視覺導(dǎo)航第十五頁，共七十四頁，2022年，8月28日什么是機器視覺？機器視覺用來泛指實現(xiàn)基于圖像的自動檢測、控制和分析的相關(guān)技術(shù)和方法。主要目的：實現(xiàn)工業(yè)生產(chǎn)過程中基于圖像的自動化和智能化。水稻種子自動分析系統(tǒng)：計算粒重、粒形、雜質(zhì)等第十六頁，共七十四頁，2022年，8月28日圖像處理、計算機視覺和機器視覺的關(guān)系本課程將主要講授圖像處理和計算機視覺領(lǐng)域的基礎(chǔ)理論和技術(shù)。第十七頁，共七十四頁，2022年，8月28日圖像處理與計算機視覺概述基本概念圖像處理和計算機視覺的應(yīng)用圖像處理和計算機視覺系統(tǒng)的體系結(jié)構(gòu)第十八頁，共七十四頁，2022年，8月28日圖像處理和計算機視覺的應(yīng)用1.圖像增強第十九頁，共七十四頁，2022年，8月28日圖像處理和計算機視覺的應(yīng)用2.人臉檢測第二十頁，共七十四頁，2022年，8月28日圖像處理和計算機視覺的應(yīng)用2.人臉檢測第二十一頁，共七十四頁，2022年，8月28日圖像處理和計算機視覺的應(yīng)用3.視頻字幕識別第二十二頁，共七十四頁，2022年，8月28日圖像處理和計算機視覺的應(yīng)用4.姿態(tài)與動作識別第二十三頁，共七十四頁，2022年，8月28日圖像處理和計算機視覺的應(yīng)用5.基于圖像的互聯(lián)網(wǎng)搜索(Google)第二十四頁，共七十四頁，2022年，8月28日圖像處理和計算機視覺的應(yīng)用5.基于圖像的互聯(lián)網(wǎng)搜索(Google)第二十五頁，共七十四頁，2022年，8月28日圖像處理和計算機視覺的應(yīng)用5.基于圖像的互聯(lián)網(wǎng)搜索(myGoogle)第二十六頁，共七十四頁，2022年，8月28日圖像處理和計算機視覺的應(yīng)用6.機器人目標(biāo)抓取第二十七頁，共七十四頁，2022年，8月28日圖像處理和計算機視覺的應(yīng)用7.機器人自主行走第二十八頁，共七十四頁，2022年，8月28日圖像處理和計算機視覺的應(yīng)用8.目標(biāo)跟蹤第二十九頁，共七十四頁，2022年，8月28日圖像處理和計算機視覺的應(yīng)用9.自主目標(biāo)檢測第三十頁，共七十四頁，2022年，8月28日圖像處理與計算機視覺概述基本概念圖像處理和計算機視覺的應(yīng)用圖像處理和計算機視覺的體系結(jié)構(gòu)和系統(tǒng)組成第三十一頁，共七十四頁，2022年，8月28日圖像處理與計算機視覺的體系結(jié)構(gòu)圖像獲取（數(shù)字攝像機等）圖像預(yù)處理（去噪、圖像增強等）特征提?。ň€、邊界、興趣點、紋理、形狀等）檢測與分割（從圖像中找出并分割出來一組感興趣的數(shù)據(jù)）理解（對感興趣的數(shù)據(jù)進行識別與分析）決策、產(chǎn)生相應(yīng)的行為動作第三十二頁，共七十四頁，2022年，8月28日圖像處理與計算機視覺的相關(guān)領(lǐng)域第三十三頁，共七十四頁，2022年，8月28日圖像處理與計算機視覺的系統(tǒng)組成1.圖像采集系統(tǒng)：模擬信號：模擬攝像機+圖像采集卡數(shù)字信號：數(shù)字攝像機（接口：USB，1394，網(wǎng)絡(luò)）第三十四頁，共七十四頁，2022年，8月28日圖像處理與計算機視覺的系統(tǒng)組成2.信息處理與分析系統(tǒng)：

第三十五頁，共七十四頁，2022年，8月28日數(shù)字圖像處理基礎(chǔ)知識

圖像采樣與量化數(shù)字圖像的表示和存儲數(shù)字圖像的質(zhì)量像素間的一些基本關(guān)系第三十六頁，共七十四頁，2022年，8月28日圖像的采樣和量化大多數(shù)傳感器的輸出是連續(xù)電壓為了產(chǎn)生一幅數(shù)字圖像，需要把連續(xù)的感知數(shù)據(jù)轉(zhuǎn)化為數(shù)字形式包括兩種處理：取樣和量化取樣：圖像空間坐標(biāo)(x,y)的數(shù)字化量化：圖像函數(shù)值f(x,y)的數(shù)字化第三十七頁，共七十四頁，2022年，8月28日圖像采樣圖像采樣：一個連續(xù)圖像在每個采樣點處被數(shù)字化。每個采樣點對應(yīng)于數(shù)字化圖像的一個像素。確定水平和垂直方向上的像素個數(shù)N和M。采樣間隔(SamplingInterval)第三十八頁，共七十四頁，2022年，8月28日圖像采樣與圖像質(zhì)量的關(guān)系第三十九頁，共七十四頁，2022年，8月28日圖像采樣與圖像質(zhì)量的關(guān)系第四十頁，共七十四頁，2022年，8月28日圖像量化圖像量化：給每一個像素的圖像數(shù)值f(x,y)用一個離散的數(shù)字（灰度值）來表示。第四十一頁，共七十四頁，2022年，8月28日圖像量化大部分數(shù)字圖像處理設(shè)備都采用K個等間隔的量化方式。對于灰度圖像而言，每個像素的亮度用一個數(shù)值來表示，該數(shù)值范圍通常在0到255之間，0表示黑，255表示白，其它值表示處于黑白之間的灰度。彩色圖像可以用紅、綠、藍(RGB)三元組二維矩陣來表示。通常三元組的每個數(shù)值也是0到255之間，0表示相應(yīng)的基色在該像素中沒有，而255表示相應(yīng)的基色在該像素中取得最大值。256×256×256種顏色第四十二頁，共七十四頁，2022年，8月28日圖像量化與圖像質(zhì)量的關(guān)系偽輪廓(FalseContour)偽輪廓(FalseContour)第四十三頁，共七十四頁，2022年，8月28日數(shù)字圖像處理基礎(chǔ)知識

圖像采樣與量化數(shù)字圖像的質(zhì)量數(shù)字圖像的表示和存儲像素間的一些基本關(guān)系第四十四頁，共七十四頁，2022年，8月28日數(shù)字圖像的質(zhì)量：層次灰度級：表示像素明暗程度的整數(shù)量。例如：像素的量化范圍為0～255，就稱該圖像為256個灰度級的圖像。層次：表示圖像實際擁有的灰度級的數(shù)量。圖像數(shù)據(jù)的實際層次越多，視覺效果就越好。第四十五頁，共七十四頁，2022年，8月28日數(shù)字圖像的質(zhì)量：層次第四十六頁，共七十四頁，2022年，8月28日數(shù)字圖像的質(zhì)量：對比度對比度：是指一幅圖像中灰度反差的大小

對比度＝最大亮度/最小亮度第四十七頁，共七十四頁，2022年，8月28日數(shù)字圖像的質(zhì)量：清晰度與清晰度相關(guān)的因素：亮度對比度尺寸大小顏色飽和度第四十八頁，共七十四頁，2022年，8月28日影響清晰度的因素：亮度第四十九頁，共七十四頁，2022年，8月28日影響清晰度的因素：對比度第五十頁，共七十四頁，2022年，8月28日影響清晰度的因素：尺寸大小第五十一頁，共七十四頁，2022年，8月28日影響清晰度的因素：顏色飽和度第五十二頁，共七十四頁，2022年，8月28日數(shù)字圖像處理基礎(chǔ)知識

圖像采樣與量化數(shù)字圖像的質(zhì)量數(shù)字圖像的表示和存儲像素間的一些基本關(guān)系第五十三頁，共七十四頁，2022年，8月28日數(shù)字圖像的表示二維離散的亮度函數(shù)：f(x,y)(x,y)說明圖像像素的空間坐標(biāo)函數(shù)值f代表了在點(x,y)處的像素灰度值。二維矩陣：A[m,n]m,n代表圖像的寬和高矩陣元素a(i,j)的值表示圖像在第i行、第j列的像素灰度值。RGB彩色圖像的矩陣表示：三維矩陣A[m,n,3]第五十四頁，共七十四頁，2022年，8月28日數(shù)字圖像的存儲格式圖像描述信息：如圖像的高度和寬度等信息圖像數(shù)據(jù)：順序存放的連續(xù)數(shù)據(jù)BMP（Bitmap）格式

1.位圖文件頭

2.位圖信息頭

3.調(diào)色板

4.圖像數(shù)據(jù)第五十五頁，共七十四頁，2022年，8月28日BMP格式：位圖文件頭第五十六頁，共七十四頁，2022年，8月28日BMP格式：位圖信息頭像素/米0表示都重要第五十七頁，共七十四頁，2022年，8月28日BMP格式：圖像數(shù)據(jù)2色位圖：圖中只有2種顏色。所以一個像素只需要占用1位(bit)存儲空間。相應(yīng)的，一個字節(jié)(byte)可以表示8個像素。16色位圖：圖中有16種顏色，所以一個像素需要占用4位(bit)存儲空間。一個字節(jié)(byte)表示2個像素。256色位圖：圖中有256種顏色，所以1個字節(jié)(byte)表示1個像素。24位真彩色圖：圖中有2^24種顏色，所以3個字節(jié)(byte)表示1個像素。問題：RGB顏色結(jié)構(gòu)中，每個顏色通常使用256個灰度級來量化，那么如何表達2色、16色和25色？第五十八頁，共七十四頁，2022年，8月28日BMP格式：調(diào)色板0～255一個結(jié)構(gòu)體變量表示一種顏色（占用3bytes）。如果是16色位圖，調(diào)色板需要占用16×3bytes。如果是16色位圖，在其位圖數(shù)據(jù)中，4位的數(shù)據(jù)為調(diào)色板中的顏色索引值（0～15）。24位真彩色圖中，不需要調(diào)色板。第五十九頁，共七十四頁，2022年，8月28日數(shù)字圖像處理基礎(chǔ)知識

圖像采樣與量化數(shù)字圖像的質(zhì)量數(shù)字圖像的表示和存儲像素間的一些基本關(guān)系第六十頁，共七十四頁，2022年，8月28日像素間的一些基本關(guān)系

相鄰像素：4鄰域D鄰域8鄰域連通性4聯(lián)通8聯(lián)通距離測量第六十一頁，共七十四頁，2022年，8月28日相鄰像素：4鄰域4鄰域：像素p=(x,y)的4鄰域是：

(x+1,y)；(x-1,y)；(x,y-1)；(x,y+1)第六十二頁，共七十四頁，2022年，8月28日相鄰像素：D鄰域D鄰域：像素p=(x,y)的D鄰域是其對角上的點：

(x+1,y+1)；(x+1,y-1)；(x-1,y+1)；(x-1,y-1)第六十三頁，共七十四頁，2022年，8月28日相鄰像素：8鄰域8鄰域：像素p=(x,y)的8鄰域是：

4鄰域點+D鄰域點第六十四頁，共七十四頁，2022年，8月28日像素間的連通性連通性是描述區(qū)域和邊界的重要概念。兩個像素聯(lián)通的必要條件：兩個像素的位置是否相鄰種類：4連通和8連通第六十五頁，共七十四頁，2022年，8月28日像素間的連通性：4連通對于兩個像素p和q，如果q在p的4鄰域集合中，則稱這兩個像素是4連通的。第六十六頁，共七十四頁，2022年，8月28日像素間的連通性：8連通對于兩個像素p和q，如果q在p的8鄰域集合中，則稱這兩個像素是8連通的。第六十七頁，共七十四頁，2022年，8月28日像素間的連通性：通路通路：一條從像素p=(x0,y0)到像素q=(xn,yn)的路徑。該路徑是由具有坐標(biāo)(x0,y0)，(x1,y1)，…，(xn,yn)的不