第五章-計(jì)算機(jī)視覺

計(jì)算機(jī)視覺

計(jì)算機(jī)視覺是從圖像或視頻中提出符號(hào)或數(shù)值信息，分析計(jì)算該信息以進(jìn)行目標(biāo)的識(shí)別、檢測和跟蹤等。更形象地說，計(jì)算機(jī)視覺就是讓計(jì)算機(jī)像人類一樣能看到并理解圖像。

計(jì)算機(jī)視覺（ComputerVision，CV）是一門涉及圖像處理、圖像分析、模式識(shí)別和人工智能等多種技術(shù)的新興交叉學(xué)科，具有快速、實(shí)時(shí)、經(jīng)濟(jì)、一致、客觀、無損等特點(diǎn)。

計(jì)算機(jī)視覺是研究如何讓機(jī)器“看”的科學(xué)，其可以模擬、擴(kuò)展和延伸人類智能，從而幫助人類解決大規(guī)模的復(fù)雜問題。因此，計(jì)算機(jī)視覺是人工智能主要應(yīng)用領(lǐng)域之一。

計(jì)算機(jī)視覺技術(shù)的基本原理是利用圖像傳感器獲得目標(biāo)對(duì)象的圖像信號(hào)，然后傳輸給專用的圖像處理系統(tǒng)，將像素分布、顏色、亮度等圖像信息轉(zhuǎn)換成數(shù)字信號(hào)，并對(duì)這些信號(hào)進(jìn)行多種運(yùn)算與處理，提取出目標(biāo)的特征信息進(jìn)行分析和理解，最終實(shí)現(xiàn)對(duì)目標(biāo)的識(shí)別、檢測和控制等。1966年，人工智能學(xué)家明斯基在給學(xué)生布置的作業(yè)中，要求學(xué)生通過編寫一個(gè)程序讓計(jì)算機(jī)描述它通過攝像頭看到了什么，這被認(rèn)為是計(jì)算機(jī)視覺最早的任務(wù)描述。20世紀(jì)70～80年代，隨著現(xiàn)代電子計(jì)算機(jī)的出現(xiàn)，計(jì)算機(jī)視覺技術(shù)也初步萌芽。MIT的人工智能實(shí)驗(yàn)室院首次開設(shè)計(jì)算機(jī)視覺課程計(jì)算機(jī)視覺的發(fā)展歷史20世紀(jì)90年代，計(jì)算機(jī)視覺技術(shù)取得了更大的進(jìn)步，開始廣泛應(yīng)用于工業(yè)領(lǐng)域。進(jìn)入21世紀(jì)，得益于互聯(lián)網(wǎng)的興起和數(shù)碼相機(jī)的出現(xiàn)帶來的海量數(shù)據(jù)，以及機(jī)器學(xué)習(xí)方法被廣泛應(yīng)用，計(jì)算機(jī)視覺發(fā)展迅速。2010年以后，借助于深度學(xué)習(xí)的力量，計(jì)算機(jī)視覺技術(shù)得到了爆發(fā)增長和產(chǎn)業(yè)化發(fā)展。通過深度神經(jīng)網(wǎng)絡(luò)，各類視覺相關(guān)任務(wù)的識(shí)別精度都得到了大幅提升。

計(jì)算機(jī)視覺在采集圖像、分析圖像、處理圖像的過程中，其靈敏度、精確度、快速性都是人類視覺所無法比擬的，它克服了人類視覺的局限性。計(jì)算機(jī)視覺系統(tǒng)的獨(dú)特性質(zhì)，使它在各個(gè)領(lǐng)域的應(yīng)用中顯示出強(qiáng)大生命力。計(jì)算機(jī)視覺的應(yīng)用及面臨的挑戰(zhàn)

目前，在醫(yī)學(xué)上采用的圖像處理技術(shù)大致包括壓縮、存儲(chǔ)、傳輸和自動(dòng)/輔助分類判讀，此外還可用于醫(yī)生的輔助訓(xùn)練。與計(jì)算機(jī)視覺相關(guān)的工作包括分類、判讀和快速三維結(jié)構(gòu)的重建等方面。2．公共安全領(lǐng)域的應(yīng)用

公共安全領(lǐng)域是計(jì)算機(jī)視覺技術(shù)的重要應(yīng)用場景，尤其是人臉識(shí)別技術(shù)，作為構(gòu)建立體化、現(xiàn)代化社會(huì)治安防控體系的重要抓手和技術(shù)突破點(diǎn)，在當(dāng)前的安防領(lǐng)域中具有重要應(yīng)用價(jià)值。3．在無人機(jī)與自動(dòng)駕駛領(lǐng)域的應(yīng)用

無人機(jī)與自動(dòng)駕駛行業(yè)的興起，讓計(jì)算機(jī)視覺在這些領(lǐng)域的應(yīng)用成為近年來的研究熱點(diǎn)。以無人機(jī)為例，簡單至航拍，復(fù)雜至救援救災(zāi)和空中加油等應(yīng)用，都需要高精度的視覺信號(hào)以保障決策與行動(dòng)的可靠性。在無人機(jī)的核心導(dǎo)航系統(tǒng)中，很重要的一個(gè)子系統(tǒng)就是視覺系統(tǒng)4．工業(yè)領(lǐng)域的應(yīng)用

計(jì)算機(jī)視覺在工業(yè)領(lǐng)域也有著極為重要的應(yīng)用。在工業(yè)領(lǐng)域，計(jì)算機(jī)視覺是工業(yè)機(jī)器人領(lǐng)域的關(guān)鍵技術(shù)，配合機(jī)械裝置能夠?qū)崿F(xiàn)產(chǎn)品外觀檢測、質(zhì)量檢測、產(chǎn)品分類、部件裝配等功能。5．其他領(lǐng)域的應(yīng)用

計(jì)算機(jī)視覺的應(yīng)用非常廣泛，除了上文提到的多個(gè)重要的領(lǐng)域之外，在其他產(chǎn)業(yè)（如農(nóng)業(yè)、服務(wù)業(yè)）都有著大量的應(yīng)用實(shí)踐，為人類生活提供了越來越多的便利。6．計(jì)算機(jī)視覺面臨的挑戰(zhàn)目前，計(jì)算機(jī)視覺技術(shù)的發(fā)展面臨的挑戰(zhàn)主要來自以下3個(gè)方面。（1）有標(biāo)注的圖像和視頻數(shù)據(jù)較少（2）計(jì)算機(jī)視覺技術(shù)的精度有待提高（3）計(jì)算機(jī)視覺技術(shù)的處理速度有待提高圖像分類

圖像分類是根據(jù)不同類別的目標(biāo)在圖像信息中所反映的不同特征，將它們區(qū)分開來的圖像處理方法。

圖像分類的任務(wù)就是輸入一個(gè)圖像，正確輸出該圖像所屬的類別。對(duì)于人類來說，判斷一個(gè)圖像的類別是件很容易的事，但是計(jì)算機(jī)并不能像人類那樣一下獲得圖像的語義信息。計(jì)算機(jī)能看到的只是一個(gè)個(gè)像素的數(shù)值，對(duì)于一個(gè)RGB圖像，假設(shè)其尺寸是32×32，那么計(jì)算機(jī)看到的就是一個(gè)3×32×32的矩陣，或者更正式地稱其為張量（可以簡單理解為高維的矩陣）。圖像分類就是尋找一個(gè)函數(shù)關(guān)系，這個(gè)函數(shù)關(guān)系能夠?qū)⑦@些像素的數(shù)值映射到一個(gè)具體的類別（類別可以用某個(gè)數(shù)值表示）。

假定一個(gè)可能的類別集categories={dog,cat,eagle}，向分類系統(tǒng)輸入一張圖片。圖像分類系統(tǒng)的目標(biāo)是根據(jù)輸入圖像，從類別集中分配一個(gè)類別，在此為dog類別。分類系統(tǒng)也可以根據(jù)概率給圖像分配多個(gè)標(biāo)簽，如dog:90%，cat:6%，eagle:4%。圖像分類算法

1．傳統(tǒng)圖像分類算法

完整建立圖像識(shí)別模型一般包括底層特征提取、特征編碼、空間約束、分類器分類等幾個(gè)階段。2．基于深度學(xué)習(xí)的圖像分類算法

基于深度學(xué)習(xí)的圖像分類算法的原理是輸入一個(gè)元素為像素值的數(shù)組，然后給它分配一個(gè)分類標(biāo)簽。CIFAR-10是一個(gè)非常流行的圖像分類數(shù)據(jù)集。這個(gè)數(shù)據(jù)集包含了60?000張32×32的小圖像，每張圖像都有10種分類標(biāo)簽中的一種，這60000張圖像被分為包含50?000張圖像的訓(xùn)練集和包含10?000張圖像的測試集。（1）VGG模型VGG模型與以往的模型相比，進(jìn)一步加寬和加深了網(wǎng)絡(luò)結(jié)構(gòu)。它的核心是5組卷積操作，每2組之間做最大池化的空間降維。（2）GoogLeNet模型GoogLeNet模型由多組Inception模塊組成。該模型的設(shè)計(jì)借鑒了NIN（NetworkinNetwork）的一些思想。（3）ResNet模型

殘差網(wǎng)絡(luò)（ResidualNetwork，ResNet）是用于圖像分類、圖像物體定位和圖像物體檢測的深度學(xué)習(xí)模型。目標(biāo)檢測

目標(biāo)檢測需要定位出圖像目標(biāo)的位置和相應(yīng)的類別。由于各類物體有不同的外觀、形狀、姿態(tài)，加上成像時(shí)光照、遮擋等因素的干擾，目標(biāo)檢測一直是計(jì)算機(jī)視覺領(lǐng)域最具有挑戰(zhàn)性的問題。

目標(biāo)檢測的任務(wù)是在圖像中找出所有感興趣的目標(biāo)（物體），并確定它們的位置和大小，是計(jì)算機(jī)視覺領(lǐng)域的核心問題之一。圖像分類任務(wù)關(guān)心整體，給出的是整張圖片的內(nèi)容描述；而目標(biāo)檢測則關(guān)注特定的物體目標(biāo)，要求同時(shí)獲得該目標(biāo)的類別信息和位置信息。

目標(biāo)檢測需要解決目標(biāo)可能出現(xiàn)在圖像的任何位置、目標(biāo)有各種不同的大小以及目標(biāo)可能有各種不同的形狀這3個(gè)核心問題目標(biāo)檢測框架模型1．R-CNNR-CNN采用的是選擇性搜索（SelectiveSearch）算法，使用聚類的方法對(duì)圖像進(jìn)行分組，得到多個(gè)候選框的層次組。2．SPP-NETSPP-NET是在R-CNN的基礎(chǔ)上提出的，由于R-CNN只能接受固定大小的輸入圖像，若對(duì)圖像進(jìn)行裁剪以符合要求，會(huì)導(dǎo)致圖片信息不完整；若對(duì)原始圖像進(jìn)行比例縮放又會(huì)導(dǎo)致圖像發(fā)生形變。在R-CNN中，需要輸入固定尺寸圖像的是第一個(gè)全連接層，而對(duì)卷積層的輸入并不做要求。3．FastR-CNN由于R-CNN在候選區(qū)域上進(jìn)行特征提取時(shí)存在大量重復(fù)性計(jì)算，為了解決這個(gè)問題，提出了FastR-CNN。FastR-CNN借鑒SPP-NET對(duì)R-CNN進(jìn)行了改進(jìn)，檢測性能獲得提升。4．FasterR-CNNSPP-NET和Fast-CNN都需要單獨(dú)生成候選區(qū)域，該步驟的計(jì)算量非常大，并且難以用GPU進(jìn)行加速。針對(duì)這個(gè)問題，在FastR-CNN的基礎(chǔ)上提出了FasterR-CNN，不再由原始圖片通過SelectiveSearch算法提取候選區(qū)域，而是先進(jìn)行特征提取，在特征層增加區(qū)域生成網(wǎng)絡(luò)區(qū)域提取候選框（RPN，RegionProposalNetwork），每個(gè)單元按照規(guī)則選擇不同尺度的9個(gè)錨盒，利用錨盒計(jì)算預(yù)測框的偏移量，從而進(jìn)行位置回歸。5．MaskR-CNNMaskR-CNN在FasterR-CNN中增加了并行的Mask分支，該分支是一個(gè)小全連接卷積網(wǎng)絡(luò)（FullyConvolutionalNetworksforSemanticSegmentation，F(xiàn)CN），對(duì)每個(gè)候選區(qū)域生成一個(gè)像素級(jí)別的二進(jìn)制掩碼，該掩碼的作用是對(duì)目標(biāo)區(qū)域空間布局進(jìn)行二進(jìn)制編碼。6．YOLOYOLO不同于以R-CNN為代表的兩步檢測算法，YOLO的網(wǎng)絡(luò)結(jié)構(gòu)更為簡單，而且在速度上比FasterR-CNN快10倍左右，可以滿足目標(biāo)檢測對(duì)于實(shí)時(shí)性的要求。7．YOLOv2YOLOv2對(duì)YOLO的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn)，首先加入了批量歸一化，而且在訓(xùn)練過程中采用高分辨率圖像，訓(xùn)練448×448像素的高分辨率分類網(wǎng)絡(luò)，然后利用該網(wǎng)絡(luò)訓(xùn)練檢測網(wǎng)絡(luò)。8．SSD因?yàn)閅OLO對(duì)小目標(biāo)檢測的準(zhǔn)確率不高，SSD是對(duì)YOLO進(jìn)行改進(jìn)的成果，它可以既保持檢測準(zhǔn)確率，又保證檢測的速度。圖像分割

圖像分割是圖像分析的第一步，是計(jì)算機(jī)視覺的基礎(chǔ)，是圖像理解的重要組成部分，同時(shí)也是圖像處理中最困難的問題之一。

圖像分割是利用圖像的灰度、顏色、紋理、形狀等特征，把圖像分成若干個(gè)互不重疊的區(qū)域，并使這些特征在同一區(qū)域內(nèi)呈現(xiàn)相似性，在不同的區(qū)域之間存在明顯的差異性。

圖像分割其實(shí)可以看成把圖像分成若干個(gè)無重疊的子區(qū)域的過程，即假設(shè)R是整個(gè)要分割的圖像區(qū)域，將此區(qū)域分成n個(gè)區(qū)域R1，R2，R3…Rn的過程就是圖像分割。圖像分割算法

1．基于閾值的圖像分割算法

閾值分割法具有易于操作、功能穩(wěn)定、計(jì)算簡單高效等優(yōu)點(diǎn)。閾值分割法的基本原理是根據(jù)圖像的整體或部分信息選擇閾值，依據(jù)灰度級(jí)別劃分圖像。2．基于邊緣檢測的圖像分割算法

邊緣檢測分割法的基本原理是通過檢測邊界來把圖像分割成不同的部分。在一幅圖像中，不同區(qū)域的邊緣通常是灰度值劇烈變化的地方，邊緣檢測分割法就是根據(jù)灰度突變來進(jìn)行圖像分割的。3．基于區(qū)域的圖像分割算法

區(qū)域分割法的基本原理是連通含有相似特點(diǎn)的像素點(diǎn)，最終組合成分割結(jié)果。區(qū)域分割法主要利用圖像局部空間信息，能夠很好地避免其他算法圖像分割空間小的缺陷。4．基于神經(jīng)網(wǎng)絡(luò)技術(shù)的圖像分割算法

神經(jīng)網(wǎng)絡(luò)分割法的基本原理是將樣本圖像數(shù)據(jù)用來訓(xùn)練多層感知機(jī)，得到?jīng)Q策函數(shù)，進(jìn)而用獲得的決策函數(shù)對(duì)圖像