計(jì)算機(jī)科學(xué)導(dǎo)論課件：4-4 圖像處理與模式識(shí)別

1、4.5 從圖像處理到機(jī)器視覺(jué)綱要1.相關(guān)概念2.圖像處理3.圖像識(shí)別4.計(jì)算機(jī)視覺(jué)與機(jī)器視覺(jué)5.我們正開(kāi)展的一些工作1.相關(guān)概念（1）圖像：對(duì)客觀對(duì)象的一種相似的、生動(dòng)的描述或?qū)懻?。或者說(shuō)圖像是客觀對(duì)象的一種表示。 圖像分類：可見(jiàn)光譜圖像、多波段圖像運(yùn)動(dòng)圖像、靜止圖像模擬圖像、數(shù)字圖像彩色圖像、灰度圖像（2）物理圖像與數(shù)學(xué)圖像 物理圖像：是物質(zhì)或能量的實(shí)際分布。如光學(xué)圖像，溫度、壓力、高度及密度的分布圖。 數(shù)學(xué)圖像：由連續(xù)函數(shù)和離散函數(shù)組成的圖像。（3）圖形與圖像 圖形：側(cè)重于根據(jù)給定的物體描述模型、光照及想象中的攝像機(jī)的成像幾何，生成一幅圖像的過(guò)程。（4）數(shù)字圖像 采樣和量化后的圖像。 對(duì)圖

2、像經(jīng)過(guò)一系列的操作以達(dá)到預(yù)期目的的技術(shù)稱為圖像處理?？煞譃槟M圖像處理和數(shù)字圖像處理。模擬圖像處理：利用光學(xué)、照相和電子方法對(duì)模擬圖像的處理成為模擬圖像處理。許多軍用、宇航的處理仍利用模擬處理。如光學(xué)傅立葉變換。數(shù)字圖像處理：利用計(jì)算機(jī)對(duì)數(shù)字圖像進(jìn)行系列操作，從而獲得某種預(yù)期的結(jié)果一種技術(shù)。是指將一幅圖像變?yōu)榱硪环?jīng)過(guò)修改的圖像，因此，是一個(gè)由圖像到圖像的過(guò)程。 g(x,y)=Tf(x,y)（5）圖像處理(6) 圖像分析 主要是對(duì)圖像中感興趣的目標(biāo)進(jìn)行測(cè)量和檢測(cè)，從而建立對(duì)圖像的描述。 是一個(gè)從圖像到數(shù)值或符號(hào)的過(guò)程，即將一幅圖像轉(zhuǎn)化為一種非圖像的表示，如一個(gè)測(cè)量的數(shù)據(jù)集等。 (7)圖像識(shí)別圖

3、像的識(shí)別過(guò)程實(shí)際上可以看作是一個(gè)標(biāo)記過(guò)程，即利用識(shí)別算法來(lái)辨別景物中已分割好的各個(gè)物體，給這些物體賦予特定的標(biāo)記。 圖像識(shí)別的方法主要分為統(tǒng)計(jì)方法和結(jié)構(gòu)方法。統(tǒng)計(jì)方法的基礎(chǔ)是決策函數(shù)，利用它對(duì)模式向量進(jìn)行分類識(shí)別；結(jié)構(gòu)方法的核心是將物體分解成了模式或模式基元，而不同的物體結(jié)構(gòu)有不同的基元串（或稱字符串），通過(guò)對(duì)未知物體利用給定的模式基元求出編碼邊界，得到字符串，再根據(jù)字符串判斷它的屬類。 (8) 圖像理解 在圖像分析的基礎(chǔ)上，進(jìn)一步研究圖像中各目標(biāo)的性質(zhì)和它們之間的相互聯(lián)系，并得出對(duì)圖像內(nèi)容的理解以及對(duì)原來(lái)客觀場(chǎng)景的解釋。 (9) 計(jì)算機(jī)視覺(jué)計(jì)算機(jī)視覺(jué)是研究如何使計(jì)算機(jī) “看”的科學(xué)，進(jìn)一步說(shuō)

4、，指用計(jì)算機(jī)實(shí)現(xiàn)人的視覺(jué)功能。研究目標(biāo)是使計(jì)算機(jī)具有通過(guò)二維圖像感知三維環(huán)境信息的能力。因此，不僅需要能感知三維環(huán)境中物體的幾何信息（形狀、位置、姿態(tài)、運(yùn)動(dòng)等），而且能對(duì)他們進(jìn)行描述、存儲(chǔ)、識(shí)別和理解。 與人類視覺(jué)不同：它借助于幾何、物理和學(xué)習(xí)技術(shù)來(lái)構(gòu)造模型，從而用統(tǒng)計(jì)的方法來(lái)處理數(shù)據(jù)。計(jì)算機(jī)視覺(jué)的研究目的有兩個(gè)：一是用計(jì)算機(jī)部分實(shí)現(xiàn)人類視覺(jué)的功能；二是理解人類視覺(jué)機(jī)理。此二方面使計(jì)算機(jī)視覺(jué)的研究既帶有基礎(chǔ)性，又有很強(qiáng)的應(yīng)用特征和工程性質(zhì)。計(jì)算機(jī)視覺(jué)包含如下一些分支：畫(huà)面重建，事件監(jiān)測(cè)，目標(biāo)跟蹤，目標(biāo)識(shí)別，機(jī)器學(xué)習(xí)，索引建立，圖像恢復(fù)等。(10) 機(jī)器視覺(jué)機(jī)器視覺(jué)是建立在計(jì)算機(jī)視覺(jué)理論基礎(chǔ)上，

5、偏重于計(jì)算機(jī)視覺(jué)的工程化，強(qiáng)調(diào)的是實(shí)際應(yīng)用，視覺(jué)過(guò)程的實(shí)質(zhì)就是從圖象中提取信息并作出決策。機(jī)器視覺(jué)與計(jì)算機(jī)視覺(jué)并沒(méi)有很清晰的界限，而是緊密聯(lián)系在一起的，他們有著相同的理論，只是在應(yīng)用中根據(jù)具體實(shí)際應(yīng)用目標(biāo)的不同而不同。2.圖像處理2.1數(shù)字圖像的表示 一幅圖像實(shí)際上記錄的是物體輻射能量的空間分布，這個(gè)分布是空間坐標(biāo)、時(shí)間和波長(zhǎng)的函數(shù)，即: I=(x,y,z,t) 當(dāng)一幅圖像為平面單色靜止圖像時(shí)，空間坐標(biāo)變量z ,波長(zhǎng)和時(shí)間變量t可以從函數(shù)中去除，這樣一幅圖像可以用下面的二維函數(shù)f(x,y)來(lái)表示。 函數(shù)f(x,y)可由兩個(gè)分量來(lái)表征： (1)入射到觀察場(chǎng)景的光源總量入射分量i(x,y) (2)

6、場(chǎng)景中物體反射光的總量反射分量r(x,y) f(x,y)=i(x,y)r(x,y) 利用微納制造的三維成像關(guān)鍵技術(shù)與系統(tǒng) （BE2009048） 圖像數(shù)字化：包括采樣和量化兩個(gè)過(guò)程。 采樣：將空間上連續(xù)的圖像變成離散點(diǎn)的操作。 量化：將像素灰度轉(zhuǎn)換成離散的整數(shù)值的過(guò)程。 (a) 采樣點(diǎn)數(shù)與圖像質(zhì)量之間的關(guān)系(b) 量化級(jí)數(shù)與圖像質(zhì)量之間的關(guān)系(a) 量化 (b) 量化為8 bit量化示意圖2.2. 圖像處理的主要研究?jī)?nèi)容(1) 圖像信息的獲取 主要是把一幅圖像轉(zhuǎn)換成適合計(jì)算機(jī)或數(shù)字設(shè)備的數(shù)字信號(hào)，這一過(guò)程主要包括攝取圖像、光電轉(zhuǎn)換及數(shù)字化等幾個(gè)步驟。 獲取設(shè)備通常包括電視攝像機(jī)、數(shù)碼攝像機(jī)、數(shù)

7、碼照相機(jī)、掃描儀等。(2)圖像信息的存儲(chǔ) 為解決海量存儲(chǔ)問(wèn)題，需要研究數(shù)據(jù)壓縮、圖像格式及圖像數(shù)據(jù)庫(kù)技術(shù)。(3)圖像信息的傳送 分系統(tǒng)內(nèi)部傳送與遠(yuǎn)距離傳送。外部傳送需要解決帶寬問(wèn)題。(4)數(shù)字圖像處理主要包括：幾何處理 主要包括坐標(biāo)變換，圖像的放大、縮小、旋轉(zhuǎn)、移動(dòng)等。圖像變換 FFT，DCT，DWT，KL等。(a)原圖像 (b)傅立葉變換圖像增強(qiáng) 主要目的是突出感興趣的信息，而減弱或去除不需要的信息。圖像復(fù)原圖像在形成、傳輸和記錄過(guò)程中，由于受多種原因的影響，圖像的質(zhì)量會(huì)有所下降，典型表現(xiàn)為圖像模糊、失真、有噪聲等，稱為圖像的退化。圖像復(fù)原試圖利用退化現(xiàn)象的某種先驗(yàn)知識(shí)(即退化模型)，對(duì)已經(jīng)

8、退化了的圖像加以重建和復(fù)原，使復(fù)原的圖像盡量接近原圖像。實(shí)現(xiàn)圖像復(fù)原需要弄清退化的原因，建立相應(yīng)的數(shù)學(xué)模型，并沿著圖像降質(zhì)的逆過(guò)程對(duì)圖像進(jìn)行復(fù)原。圖像重建 圖像重建主要是從數(shù)據(jù)到圖像的處理。如CT， 三維重建。圖像編碼 利用圖像信號(hào)的統(tǒng)計(jì)特性及人類視覺(jué)的生理學(xué)特性對(duì)圖像信號(hào)進(jìn)行高效編碼?；趶?qiáng)化學(xué)習(xí)的Ad Hoc網(wǎng)絡(luò)視頻魯棒傳輸模型研究（BK2009116） 圖像分割 圖像分割是將圖像分成若干部分，每一部分對(duì)應(yīng)于某一物體表面，在進(jìn)行分割時(shí)，每一部分的灰度或紋理符合某一種均勻測(cè)度度量。其本質(zhì)是將像素進(jìn)行分類。分類的依據(jù)是像素的灰度值、顏色、頻譜特性、空間特性或紋理特性等。圖像分割方法：灰度閾值分

9、割法。根據(jù)圖像灰度直方圖來(lái)決定圖像空間域像素聚類。但它只利用了圖像灰度特征，并沒(méi)有利用圖像中的其它有用信息，使得分割結(jié)果對(duì)噪聲十分敏感；空間域區(qū)域增長(zhǎng)分割方法。它是對(duì)在某種意義上（如灰度級(jí)、組織、梯度等）具有相似性質(zhì)的像素連通集構(gòu)成分割區(qū)域，該方法有很好的分割效果，但缺點(diǎn)是運(yùn)算復(fù)雜，處理速度慢。基于知識(shí)的分割方法。利用景物的先驗(yàn)信息和統(tǒng)計(jì)特性，首先對(duì)圖像進(jìn)行初始分割，抽取區(qū)域特征，然后利用領(lǐng)域知識(shí)推導(dǎo)區(qū)域的解釋，最后根據(jù)解釋對(duì)區(qū)域進(jìn)行合并。 其它的方法。如邊緣追蹤法主要著眼于保持邊緣性質(zhì)，跟蹤邊緣并形成閉合輪廓，將目標(biāo)分割出來(lái)。圖像融合 圖像融合（Image Fusion）技術(shù)是指將多源信道所

10、采集到的關(guān)于同一目標(biāo)的圖像經(jīng)過(guò)一定的圖像處理，提取各自信道的信息，最后綜合成同一圖像以供觀察或進(jìn)一步處理。 (a) 圖像1(MR) (b) 圖像2(CT) (c) 融合結(jié)果圖1 一組多傳感器圖像融合實(shí)驗(yàn)圖像修復(fù) 目的是根據(jù)圖像現(xiàn)有未被損害的信息，按照一定的規(guī)則填補(bǔ)，使修復(fù)后的圖像接近或達(dá)到原圖像的視覺(jué)效果。對(duì)原本有劃痕或破損的圖片進(jìn)行數(shù)字掃描后得到的圖像; (如珍貴的美術(shù)作品和照片)；為了某種特殊目的而移走圖像上的目標(biāo)物體或文字后留下的信息空白區(qū)（文字，某些特殊目標(biāo)物的移除）；在數(shù)字圖像的獲取、處理、壓縮、傳輸和解壓縮過(guò)程中因信息丟失所留下的信息缺損區(qū)等。 有劃痕和缺失信息的修補(bǔ) 目標(biāo)區(qū)域的移

11、除3.模式（圖像）識(shí)別3.1相關(guān)概念模式廣義地說(shuō)，存在于時(shí)間和空間中可觀察的物體，如果我們可以區(qū)別它們是否相同或是否相似，都可以稱之為模式。模式所指的不是事物本身，而是從事物獲得的信息，因此，模式往往表現(xiàn)為具有時(shí)間和空間分布的信息。模式的直觀特性:可觀察性可區(qū)分性相似性模式識(shí)別：研究用計(jì)算機(jī)來(lái)實(shí)現(xiàn)人類的分類識(shí)別能力的一門(mén)學(xué)科。如指紋識(shí)別、人臉識(shí)別，汽車(chē)牌照識(shí)別等。目的：利用計(jì)算機(jī)對(duì)物理對(duì)象進(jìn)行分類，在錯(cuò)誤概率最小的條件下，使識(shí)別的結(jié)果盡量與客觀物體相符合。模式識(shí)別可以用如下函數(shù)表示： Y = F(X)X的定義域取自特征集Y的值域?yàn)轭悇e的標(biāo)號(hào)集F是模式識(shí)別的判別方法人和動(dòng)物的識(shí)別能力是極其平常的

12、，但對(duì)計(jì)算機(jī)來(lái)說(shuō)卻是非常困難的。如小孩識(shí)別媽媽。3.2 模式識(shí)別系統(tǒng)模式識(shí)別系統(tǒng)的基本構(gòu)成數(shù)據(jù)獲取特征提取和選擇預(yù)處理分類決策分類器設(shè)計(jì)模式識(shí)別系統(tǒng)組成單元數(shù)據(jù)獲?。河糜?jì)算機(jī)可以運(yùn)算的符號(hào)來(lái)表示所研究的對(duì)象二維圖像：文字、指紋、地圖、照片等一維波形：腦電圖、心電圖、季節(jié)震動(dòng)波形等物理參量和邏輯值：體溫、化驗(yàn)數(shù)據(jù)、參量正常與否的描述預(yù)處理單元：去噪聲，提取有用信息，并對(duì)輸入測(cè)量?jī)x器或其它因素所造成的退化現(xiàn)象進(jìn)行復(fù)原模式識(shí)別系統(tǒng)組成單元特征提取和選擇：對(duì)原始數(shù)據(jù)進(jìn)行變換，得到最能反映分類本質(zhì)的特征測(cè)量空間：原始數(shù)據(jù)組成的空間特征空間：分類識(shí)別賴以進(jìn)行的空間模式表示：維數(shù)較高的測(cè)量空間-維數(shù)較低的特

13、征空間分類決策：在特征空間中用模式識(shí)別方法把被識(shí)別對(duì)象歸為某一類別基本做法：在樣本訓(xùn)練集基礎(chǔ)上確定某個(gè)判決規(guī)則，使得按這種規(guī)則對(duì)被識(shí)別對(duì)象進(jìn)行分類所造成的錯(cuò)誤識(shí)別率最小或引起的損失最小3.3 統(tǒng)計(jì)模式識(shí)別數(shù)據(jù)聚類判別函數(shù)概率模型方法神經(jīng)網(wǎng)絡(luò)模糊模式識(shí)別數(shù)據(jù)聚類依據(jù)“物以類聚”的觀點(diǎn)對(duì)一批沒(méi)有標(biāo)出類別的模式樣本集，按照樣本之間的相似程度分類，相似的歸為一類，不相似的歸為另一類，這種分類稱為聚類分析，也稱為無(wú)監(jiān)督分類。聚類要考慮的兩個(gè)問(wèn)題：怎樣度量樣本之間的相似性？距離的計(jì)算如何衡量對(duì)樣本集的一種劃分的好壞？度量準(zhǔn)則判別函數(shù)概率分類法在現(xiàn)實(shí)世界中，許多客觀現(xiàn)象的發(fā)生具有不確定性。只有在大量重復(fù)的觀

14、察下，其結(jié)果才能呈現(xiàn)出某種規(guī)律性，即對(duì)它們觀察到的特征具有統(tǒng)計(jì)特性。特征值不再是一個(gè)確定的向量，而是一個(gè)隨機(jī)向量。此時(shí)，只能利用模式集的統(tǒng)計(jì)特性來(lái)分類，以使分類器發(fā)生錯(cuò)誤的概率最小。貝葉斯判別原則兩類模式集的分類目的：要確定x是屬于1類還是2類，要看x是來(lái)自于1類的概率大還是來(lái)自2類的概率大。最小錯(cuò)誤分類準(zhǔn)則貝葉斯最小風(fēng)險(xiǎn)判別例子對(duì)一大批人進(jìn)行癌癥普查，患癌者以1類代表，正常人以2類代表。設(shè)被試驗(yàn)的人中患有癌癥的概率為0.005，即P(1)=0.005，則P(2)=1-0.005=0.995現(xiàn)任意抽取一人，要判斷他是否患有癌癥。顯然，因?yàn)镻(2) P(1)，只能說(shuō)是正常的可能性大。如要進(jìn)行判斷

15、，只能通過(guò)化驗(yàn)來(lái)實(shí)現(xiàn)。設(shè)有一種診斷癌癥的試驗(yàn)，其結(jié)果為“陽(yáng)性”和“陰性”兩種反應(yīng)。若用這種試驗(yàn)來(lái)對(duì)一個(gè)病人進(jìn)行診斷，提供的化驗(yàn)結(jié)果以模式x代表，這里x為一維特征，且只有x=“陽(yáng)”和x=“陰”兩種結(jié)果。假設(shè)根據(jù)臨床記錄，發(fā)現(xiàn)這種方法有以下統(tǒng)計(jì)結(jié)果患有癌癥的人試驗(yàn)反應(yīng)為陽(yáng)性的概率=0.95，即p(x=陽(yáng)| 1)=0.95患有癌癥的人試驗(yàn)反應(yīng)為陰性的概率=0.05，即p(x=陰| 1)=0.05正常人試驗(yàn)反應(yīng)為陽(yáng)性的概率=0.01，即p(x=陽(yáng)| 2)=0.01正常人試驗(yàn)反應(yīng)為陰性的概率=0.99，即p(x=陰| 2)=0.99若被化驗(yàn)的人具有陽(yáng)性反應(yīng)，他患癌癥的概率為多少，即求P(1 | x=陽(yáng))

16、=？這里P(1) 是根據(jù)以往的統(tǒng)計(jì)資料得到的，為患癌癥的先驗(yàn)概率。現(xiàn)在經(jīng)過(guò)化驗(yàn)，要求出P(1 | x=陽(yáng))，即經(jīng)過(guò)化驗(yàn)后為陽(yáng)性反應(yīng)的人中患癌癥的概率，稱為后驗(yàn)概率。貝葉斯最小風(fēng)險(xiǎn)判別當(dāng)考慮到對(duì)于某一類的錯(cuò)誤判決要比對(duì)另一類的判決更為關(guān)鍵時(shí)，就需要把最小錯(cuò)誤概率的貝葉斯判別做一些修正，采用條件平均風(fēng)險(xiǎn)rj(x)。M類分類問(wèn)題的條件平均風(fēng)險(xiǎn)rj(x)對(duì)M類問(wèn)題，如果觀察樣本被判定屬于j類 ，則條件平均風(fēng)險(xiǎn)為：Lij稱為將本應(yīng)屬于i類的模式判別成屬于j類的是非代價(jià)。 各種分布情況下的參數(shù)估計(jì)與分類模型問(wèn)題：正態(tài)分布指數(shù)分布瑞利分布泊松分布麥克斯威爾伯努利分布 .任務(wù)：特征提取任務(wù)：測(cè)量學(xué)參考高度測(cè)試

17、結(jié)果任務(wù)：測(cè)量學(xué) 已經(jīng)廣泛應(yīng)用于刑事偵測(cè)領(lǐng)域，Justice 產(chǎn)品2d3 （牛津的Zissermans group）任務(wù)：圖像分割 Canny, K-means, LevelSet, NCut, GraphCut, DDMCMC 最古老的視覺(jué)問(wèn)題之一任務(wù)：圖像修復(fù)（Inpainting） 簡(jiǎn)單的圖像恢復(fù)考慮透視畸變的圖像恢復(fù)任務(wù)：圖像視頻增強(qiáng)原始視頻增強(qiáng)后的視頻Rain Component任務(wù)： 3D建模 基于相機(jī)參數(shù)和對(duì)應(yīng)點(diǎn)，利用Triangulation可以提供3D模型任務(wù)：相機(jī)參數(shù)校準(zhǔn)任務(wù)：群體運(yùn)動(dòng)分析任務(wù)：生物統(tǒng)計(jì)任務(wù)：自動(dòng)導(dǎo)航UCF美國(guó)軍方無(wú)人駕駛車(chē)輛挑戰(zhàn) 挑戰(zhàn)一：人工交互CannyMean ShiftDDMCMC邊緣檢測(cè)SnakesImage Matting挑戰(zhàn)二：光照條件挑戰(zhàn)三：各種天氣情況FogMistNayar and Narasimhan,99Narasimhan and Nayar,00,01,02,03RainSnow挑戰(zhàn)四：高精度挑戰(zhàn)五：姿態(tài)萬(wàn)千挑戰(zhàn)六：表情各異挑戰(zhàn)七：畸變 Van Gool,