Python圖像處理與機器視覺入門 課件匯 李欽 第11-23章 卷積與相關 - 視頻處理

圖像處理技術第十一章

卷積與相關前置知識：高數(shù)連續(xù)函數(shù)的積分

1-1卷積與相關前置知識：高數(shù)連續(xù)函數(shù)的積分≈離散求和（分成無限份）

1-1卷積與相關互相關：互相關是描述f(s)、g(t)在任意兩個不同時刻s，t的取值之間的相關程度連續(xù)函數(shù)（積分）離散函數(shù)（求和）

1-1卷積與相關自相關：f(s)=g(t)連續(xù)函數(shù)（積分）離散函數(shù)（求和）

1-1卷積與相關自相關就是函數(shù)和函數(shù)本身的相關性，即f(x)=g(t)，當函數(shù)中有周期性分量的時候，自相關函數(shù)的極大值能夠很好的體現(xiàn)這種周期性。

1-1卷積與相關互相關就是兩個函數(shù)之間的相關性，當兩個函數(shù)都具有相同周期分量的時候，它的極大值同樣能體現(xiàn)這種周期性的分量。

1-1卷積與相關（1）相關（2）卷積f(x)為原圖（原信號），g(x)為濾波器

1-1卷積與相關（1）相關（2）卷積f(x)為原圖（原信號），g(x)為濾波器

1-1卷積與相關卷積中，g(t)需要反轉反轉示例（沿著n軸對稱反轉）

1-1卷積與相關反轉示例

1-1卷積與相關反轉示例

1-1卷積與相關反轉示例

1-1卷積與相關一維卷積示例

1-1卷積與相關f(t)g(t)R(t)一維卷積示例

1-1卷積與相關f(t)g(t)R(t)一維卷積示例

1-1卷積與相關f(t)g(t)R(t)一維卷積示例

1-1卷積與相關f(t)g(t)R(t)一維卷積示例

1-1卷積與相關f(t)g(t)一維卷積示例

1-1卷積與相關f(t)g(t)重疊求和R(t)一維卷積示例

1-1卷積與相關f(t)g(t)重疊求和R(t)

1-1卷積與相關本課程中所有的圖像濾波操作統(tǒng)一使用：例：f(x)=[1237894567],x∈[0,9]

g(t)=[111],t∈[-1,1]f(x)為原圖(原信號)，g(x)為濾波器，R(x)就是輸出的目標圖像此時，f(x)是一維單通道圖像矩陣，

g(t)是濾波器（可視為已經(jīng)反轉）

1-1卷積與相關統(tǒng)一使用：例：f(x)=[1237894567],x∈[0,9]

g(t)=[111],t∈[-1,1]

x∈[0,9]，t∈[-1,1]x+t∈?

1-1卷積與相關統(tǒng)一使用：例：f(x)=[1237894567],x∈[0,9]

g(t)=[111],t∈[-1,1]

x∈[0,9]，t∈[-1,1]x+t∈[0-1,9+1]=[-1,10]

1-1卷積與相關統(tǒng)一使用：例：f(x)=[1237894567],x∈[0,9]

g(t)=[111],t∈[-1,1]

x∈[0,9]，t∈[-1,1]x+t∈[0-1,9+1]=[-1,10]f(x+t)=[?1237894567?],

x=-1x=10

1-1卷積與相關統(tǒng)一使用：例：f(x)=[1237894567],x∈[0,9]

g(t)=[111],t∈[-1,1]

x∈[0,9]，t∈[-1,1]x+t∈[0-1,9+1]=[-1,10]f(x+t)=[?1237894567?],插值，有哪些插值？

x=-1x=10

1-1卷積與相關統(tǒng)一使用：例：f(x)=[1237894567],x∈[0,9]

g(t)=[111],t∈[-1,1]

x∈[0,9]，t∈[-1,1]x+t∈[0-1,9+1]=[-1,10]f(x+t)=[112378945677],最近鄰插值

x=-1x=10

1-1卷積與相關統(tǒng)一使用：例：f(x)=[1237894567],x∈[0,9]

g(t)=[111],t∈[-1,1]x+t∈[0-1,9+1]=[-1,10]f(x+t)=[112378945677],最近鄰插值

R(0)=sum(f(0+t)g(t))t∈[-1,1]

=f(0-1)g(-1)+f(0+0)g(0)+?x=-1x=10

1-1卷積與相關統(tǒng)一使用：例：f(x)=[1237894567],x∈[0,9]

g(t)=[111],t∈[-1,1]x+t∈[0-1,9+1]=[-1,10]f(x+t)=[112378945677],最近鄰插值

R(0)=sum(f(0+t)g(t))t∈[-1,1]=f(0-1)g(-1)+f(0+0)g(0)+f(0+1)g(1)=1*1+1*1+2*1=4x=-1x=10

1-1卷積與相關統(tǒng)一使用：例：g(t)=[111],t∈[-1,1]x+t∈[0-1,9+1]=[-1,10]f(x+t)=[112378945677],最近鄰插值

R(1)=sum(f(1+t)g(t))t∈[-1,1]=f(1-1)g(-1)+f(1+0)g(0)+f(1+1)g(1)=?x=-1x=10

1-1卷積與相關統(tǒng)一使用：例：g(t)=[111],t∈[-1,1]x+t∈[0-1,9+1]=[-1,10]f(x+t)=[112378945677],最近鄰插值

R(1)=sum(f(1+t)g(t))t∈[-1,1]=f(1-1)g(-1)+f(1+0)g(0)+f(1+1)g(1)=1*1+2*1+3*1=6x=-1x=10

1-1卷積與相關統(tǒng)一使用：例：g(t)=[111],t∈[-1,1]x+t∈[0-1,9+1]=[-1,10]f(x+t)=[112378945677],最近鄰插值

R(2)=sum(f(2+t)g(t))t∈[-1,1]=f(?-1)g(-1)+f(?+0)g(0)+f(?+1)g(1)=?x=-1x=10

1-1卷積與相關統(tǒng)一使用：例：g(t)=[111],t∈[-1,1]x+t∈[0-1,9+1]=[-1,10]f(x+t)=[112378945677],最近鄰插值

R(3)=sum(f(3+t)g(t))t∈[-1,1]=f(?-1)g(-1)+f(?+0)g(0)+f(?+1)g(1)=?x=-1x=10

1-1卷積與相關統(tǒng)一使用：例：

1-1卷積與相關練習1：

1-1卷積與相關二維卷積示例（滑動乘積后求和）

1-1卷積與相關二維卷積示例（滑動乘積后求和）g(x)f(x)

1-1卷積與相關二維卷積示例（滑動乘積后求和）f(x)插0值

1-1卷積與相關二維卷積示例（滑動乘積后求和）f(x)*g(x)

0*1+0*1+0*(-1)+1*(-1)=-1

1-1卷積與相關二維卷積示例（滑動乘積后求和）f(x)*g(x)

0*1+0*1+1*(-1)+2*(-1)=-3

1-1卷積與相關二維卷積示例（滑動乘積后求和）f(x)*g(x)

0*1+1*1+0*(-1)+2*(-1)=-1

1-1卷積與相關二維卷積示例（滑動乘積后求和）f(x)*g(x)

1*1+2*1+1*(-1)+2*(-1)=0

1-1卷積與相關高通濾波：邊緣提取與增強低通濾波：邊緣平滑邊緣區(qū)域的灰度變換加大，也就是頻率較高。所以，對于高通濾波，邊緣部分將被保留，非邊緣部分將被過濾；對于低通濾波，邊緣區(qū)域將被平滑過渡

1-1卷積與相關降噪，去除高頻噪聲f(x)g(x)R(x)

1-1卷積與相關銳化，獲取高頻分量、獲取邊緣

1-1卷積與相關練習2二維卷積練習（滑動乘積后求和）f(x)=[11

22]g(x)=[-1-1

11]圖像處理技術、楊耿圖像處理技術第十二章

圖像降噪

1-2圖像降噪（1）經(jīng)典低通模型：平均濾波

1-2圖像降噪（2）高斯濾波（積分）一維高斯

1-2圖像降噪（2）高斯濾波

1-2圖像降噪（2）高斯濾波

1-2圖像降噪（2）高斯濾波生成一個sigma=1.8，濾波器窗口長度為3的高斯核。首先，建立局部直角坐標系，窗口為3的高斯核每個點的坐標如下。代入公式

1-2圖像降噪（2）高斯濾波生成一個sigma=1.8，濾波器窗口長度為3的高斯核。

1-2圖像降噪（2）高斯濾波生成一個sigma=1.8，濾波器窗口長度為3的高斯核。

1-2圖像降噪（2）高斯濾波生成一個sigma=1.8，濾波器窗口長度為3的高斯核。對m(i,j)做歸一化，將所有m(i,j)除以sum(m(i,j)),得到歸一化后的高斯核M(i,j)。

1-2圖像降噪（3）中值濾波練習6

1-2圖像降噪中值濾波對比平均濾波

1-2圖像降噪中值濾波對比平均濾波

1-2圖像降噪中值濾波對比平均濾波消除噪聲同時變模糊

1-2圖像降噪練習，編寫代碼，實現(xiàn)均值濾波、高斯濾波、中值濾波圖像處理技術、楊耿圖像處理技術第十三章

圖像銳化

1-3圖像銳化（1）導數(shù)（微分）

連續(xù)函數(shù)的導數(shù)

1-3圖像銳化（1）導數(shù)（微分）

連續(xù)函數(shù)的導數(shù)離散函數(shù)的導數(shù)f'(n)=f(n+1)-f(n)/(n+1)-nf'(x)=df(x)/dxf'(n)=df(n)/dn=?

1-3圖像銳化（1）導數(shù)（微分）

連續(xù)函數(shù)的導數(shù)離散函數(shù)的導數(shù)f'(n)=f(n+1)-f(n)/(n+1)-nf'(x)=df(x)/dxf'(n)=df(n)/dn=?

1-3圖像銳化（1）導數(shù)（微分）

連續(xù)函數(shù)的導數(shù)離散函數(shù)的導數(shù)f'(n)=f(n+1)-f(n)/(n+1)-nf'(x)=df(x)/dxf'(n)=df(n)/dn=?

1-3圖像銳化（1）導數(shù)（微分）

連續(xù)函數(shù)的導數(shù)離散函數(shù)的導數(shù)f'(n)=f(n+1)-f(n)/(n+1)-nf'(x)=df(x)/dxf'(n)=df(n)/dn=?

1-3圖像銳化（1）導數(shù)（微分）

連續(xù)函數(shù)的導數(shù)離散函數(shù)的導數(shù)f'(n)=f(n+1)-f(n)/(n+1)-nf'(x)=df(x)/dxf'(n)=df(n)/dn=?f''(n)=?

1-3圖像銳化（1）導數(shù)（微分）

1-3圖像銳化（1）導數(shù)（微分）練習7

1-3圖像銳化（2）經(jīng)典高通濾波模型

1-3圖像銳化（2）Sobel算子偏導數(shù)概念

1-3圖像銳化（2）Sobel算子描述了該方向的變化情況y方向，水平邊緣x方向，豎直邊緣該算子包含兩組3x3的矩陣，分別為橫向及縱向，將之與圖像作平面卷積，即可分別得出橫向及縱向的亮度差分近似值

1-3圖像銳化（2）Sobel算子原函數(shù)的一階導數(shù)在原函數(shù)平滑處取零值，在原函數(shù)的“邊緣”處取極值。所以，圖像邊緣增強可由圖像求導來實現(xiàn)。

1-3圖像銳化（2）Sobel算子原函數(shù)與高斯函數(shù)一階導數(shù)的卷積如下圖所示，可知，卷積的結果與求導非常相似，所以可以利用卷機操作來取代求導。

1-3圖像銳化（3）拉普拉斯算子二階偏導數(shù)

一階偏導數(shù)的導數(shù)—描述了一階偏導數(shù)在某方向變化情況

二階混合偏導數(shù)—描述了一階偏導數(shù)的兩個方向變化疊加

1-3圖像銳化（3）拉普拉斯算子原函數(shù)的二階導數(shù)在原函數(shù)平滑處取零值，在原函數(shù)的“邊緣”處取極值。所以，圖像邊緣增強也可由圖像求二階導數(shù)來實現(xiàn)。

1-3圖像銳化（3）拉普拉斯算子原函數(shù)與高斯函數(shù)二階導數(shù)的卷積如下圖所示，可知，卷積的結果與求導非常相似，所以可以利用卷機操作來取代求導。

1-3圖像銳化（3）拉普拉斯算子

1-3圖像銳化銳化算子比較

1-3圖像銳化練習，編寫代碼，實現(xiàn)Sobel和拉普拉斯濾波圖像處理技術與應用、楊耿圖像處理技術與應用第14章

頻率域圖像增強

1-1傅里葉變換

1-1傅里葉變換定理1：世界上一切信號，都可以分解為一系列正弦以及余弦信號的加權和。

1-1傅里葉變換定理1：世界上一切信號，都可以分解為一系列正弦以及余弦信號的加權和。

1-1傅里葉變換時域，空間域頻域

1-1傅里葉變換

1-1傅里葉變換定理1：世界上一切信號，都可以分解為一系列正弦以及余弦信號的加權和。

1-1傅里葉變換定理1：世界上一切信號，都可以分解為一系列正弦以及余弦信號的加權和。

1-1傅里葉變換定理1：世界上一切信號，都可以分解為一系列正弦以及余弦信號的加權和。

1-1傅里葉變換時域，空間域頻域定理1：世界上一切信號，都可以分解為一系列正弦以及余弦信號的加權和。

1-1傅里葉變換定理1：世界上一切信號，都可以分解為一系列正弦以及余弦信號的加權和。

1-1傅里葉變換定理1：世界上一切信號，都可以分解為一系列正弦以及余弦信號的加權和。

1-1傅里葉變換定理1：世界上一切信號，都可以分解為一系列正弦以及余弦信號的加權和。

1-1傅里葉變換圖像處理技術與應用、楊耿圖像處理技術與應用第五章

頻率域圖像增強

1-2離散余弦變換定理1簡化版：世界上一切信號，都可以分解為一系列余弦信號的加權和。

1-2離散余弦變換定理1簡化版：世界上一切信號，都可以分解為一系列余弦信號的加權和。

1-2離散余弦變換DC1DC2DC3DC1+2+3fx=0.9*cos(x)+0.8*cos(3*x)+0.9*cos(9*x);

1-2離散余弦變換時間域頻率域DC1DC2DC3f（x）=DC1+2+3C(u)

1-2離散余弦變換

1-2離散余弦變換練習1：編程實現(xiàn)下面的一維離散余弦變換，調(diào)整信號采樣率，觀察不同采樣率下的離散余弦變換。注意：采樣率過低，某些頻率無法分解，采樣率過高，計算耗時

1-2離散余弦變換

Ts

1-2離散余弦變換采樣定理采樣頻率fs=1/Ts=Ns/T（樣本/秒）

Ts

是采樣間隔，T是信號周期，Ns是采樣個數(shù)采樣率越高，則越能重構連續(xù)信號，為保證采樣后信號的頻譜形狀不失真，采樣頻率必須大于信號中最高頻率成分的2倍，這稱之為采樣定理這就是為什么采樣點數(shù)越多，越平滑的原因fx=0.9*cos(x)+0.8*cos(3*x)+0.9*cos(9*x);

1-2離散余弦變換f(x)中，最高頻率成分是cos9x，其周期為2pi/9秒，則采樣間隔需小于pi/9秒。

1-2離散余弦變換采樣周期Ts越大，采樣點數(shù)Ns越少，采樣頻率fs越低，則重構的信號會失真變形

1-2離散余弦變換離散余弦（DCT）變換實現(xiàn)圖像壓縮（去燥）:(1)設T=1，將小于T的C(u)值都置為零，則(2)對f(x)進行重建

1-2離散余弦變換離散余弦（DCT）變換實現(xiàn)圖像壓縮（去噪）設T=1，將小于T的C(u)值都置為零，則練習2：調(diào)整T值，觀察不同的壓縮率和誤差率

1-2離散余弦變換原始信號T=0，壓縮率0，誤差0T=1，壓縮率70%，誤差3.5

1-2離散余弦變換練習3：二維離散余弦（DCT2）變換實現(xiàn)圖像壓縮（去燥）:將一維DCT進行二維推廣調(diào)整壓縮率，觀察不同的壓縮效果圖像處理技術與應用、楊耿圖像處理技術與應用第16章

頻率域圖像增強

1-3小波變換

1-3小波變換

1-3小波變換

1-3小波變換（1）一維小波

1-3小波變換

1-3小波變換

1-3小波變換（2）二維小波

1-3小波變換（2）二維小波

1-3小波變換（2）二維小波

1-3小波變換（2）二維小波

1-3小波變換（2）二維小波

1-3小波變換練習：編程實現(xiàn)小波分解

1-3小波變換（2）Haar小波行小波變換b00=(a00+a01)/2(均值）b01=(a02+a03)/2

b02=(a00-a01)/2（差分）

b03=(a02-a03)/2a00b00a03b03

1-3小波變換（2）Haar小波

1-3小波變換（2）Haar小波練習2:對下面的圖像進行haar小波變換【4321579133465231】

1-3小波變換在圖像處理中，通過去除高頻信息，小波變換可用于圖像壓縮及去噪。練習3:編程實現(xiàn)小波壓縮

1-3小波變換小波變換也可用于圖像的邊緣提取，提取的過程如下：(1)將數(shù)字圖像利用小波變換分解為N層；(2)初始化：n=N;(3)將第n層的高頻細節(jié)HL、LH、HH相加并上采樣，得到第n層的高頻細節(jié)；(4)將第n-1層的高頻細節(jié)HL、LH、HH相加并與第n層的高頻細節(jié)相加，然后上采樣，得到第n-1層的高頻細節(jié)；(5)重復（3）-（4）直至n=1,則得到數(shù)字圖像的邊緣信息。練習4:編程實現(xiàn)小波邊緣提取圖像處理技術與應用圖像處理技術與應用第17章

圖像特征提取本章大綱1-1主元分析（PCA）1-2線性分辨分析（LDA）（1）降維：兩個向量如果緯度過高（1萬，100萬），則匹配誤差會增高、匹配速度會降低，需要對象量進行降維，即是說刪除一些對識別無用的維度，下圖展示了向量從2維降到1維的情況。

1-1主元分析（PCA）（1）降維：兩個向量如果緯度過高（1萬，100萬），則匹配誤差會增高、匹配速度會降低，需要對象量進行降維，即是說刪除一些對識別無用的維度，下圖展示了向量從3維降到2維的情況。

1-1主元分析（PCA）（1）降維：兩個向量如果緯度過高（1萬，100萬），則匹配誤差會增高、匹配速度會降低，需要對象量進行降維，即是說刪除一些對識別無用的維度，下圖展示了向量從2維降到1維的情況。

1-1主元分析（PCA）（2）PCA降維的步驟：

1-1主元分析（PCA）數(shù)據(jù)的類別：類別2該類別下的索引：類別2下的第一個數(shù)據(jù)（2）PCA降維的步驟：第1步：對識別目標進行向量表達。下面有4個2維向量，可以理解為4副兩個像素的圖像，也可理解為實際的值，例如4個人的身高和體重。

1-1主元分析（PCA）（2）PCA降維的步驟：第1步：對識別目標進行向量表達。

1-1主元分析（PCA）第2步：計算數(shù)據(jù)中心。

1-1主元分析（PCA）

1-1主元分析（PCA）第2步：計算數(shù)據(jù)中心。第3步：計算總體散度矩陣

1-1主元分析（PCA）第3步：計算總體散度矩陣

1-1主元分析（PCA）第4步：計算特征值與特征向量

1-1主元分析（PCA）第4步：計算特征值與特征向量

1-1主元分析（PCA）第4步：計算特征值與特征向量

1-1主元分析（PCA）第5步：特征向量重要性分析

1-1主元分析（PCA）第6步：投影

1-1主元分析（PCA）練習1，對下面4個向量進行PCA降維

1-1主元分析（PCA）圖像特征提取指的是從圖像中提取有用的數(shù)據(jù)或信息，得到圖像的“非圖像”的表示或描述，如數(shù)值、向量等。提取出來的這些“非圖像”的表示或描述就是特征。有了這些數(shù)值或向量形式的特征，我們就可以實現(xiàn)圖像的匹配，使得計算機具備圖像識別的功能。兩幅數(shù)字圖像進行匹配時，通常需要先轉換成向量的形式。向量可以理解為一個1維數(shù)組，該數(shù)組可由原始圖像簡單拼接構成，數(shù)組中元素的個數(shù)一般稱為向量的維度。例如，一個100×100像素的圖像可轉換為一個1萬維的向量。兩個向量如果緯度過高（1萬，100萬），則匹配誤差會增高、匹配速度會降低，需要對象量進行降維，即是說刪除一些對識別無用的維度，僅保留有效的特征

1-1主元分析（PCA）（1）降維：兩個向量如果緯度過高（1萬，100萬），則匹配誤差會增高、匹配速度會降低，需要對象量進行降維，即是說刪除一些對識別無用的維度，下圖展示了向量從2維降到1維的情況。

1-1主元分析（PCA）（1）降維：兩個向量如果緯度過高（1萬，100萬），則匹配誤差會增高、匹配速度會降低，需要對象量進行降維，即是說刪除一些對識別無用的維度，下圖展示了向量從3維降到2維的情況。

1-1主元分析（PCA）（1）降維：兩個向量如果緯度過高（1萬，100萬），則匹配誤差會增高、匹配速度會降低，需要對象量進行降維，即是說刪除一些對識別無用的維度，下圖展示了向量從2維降到1維的情況。

1-1主元分析（PCA）（2）PCA降維的步驟：

1-1主元分析（PCA）數(shù)據(jù)的類別：類別2該類別下的索引：類別2下的第一個數(shù)據(jù)（2）PCA降維的步驟：第1步：對識別目標進行向量表達。下面有4個2維向量，可以理解為4副兩個像素的圖像，也可理解為實際的值，例如4個人的身高和體重。

1-1主元分析（PCA）（2）PCA降維的步驟：第1步：對識別目標進行向量表達。

1-1主元分析（PCA）第2步：計算數(shù)據(jù)中心。

1-1主元分析（PCA）

1-1主元分析（PCA）第2步：計算數(shù)據(jù)中心。第3步：計算總體散度矩陣

1-1主元分析（PCA）第3步：計算總體散度矩陣

1-1主元分析（PCA）第4步：計算特征值與特征向量

1-1主元分析（PCA）第4步：計算特征值與特征向量

1-1主元分析（PCA）第4步：計算特征值與特征向量

1-1主元分析（PCA）第5步：特征向量重要性分析

1-1主元分析（PCA）第6步：投影

1-1主元分析（PCA）練習1，對下面4個向量進行PCA降維

1-1主元分析（PCA）（2）使用PCA進行人臉識別2.1讀取人臉圖像，轉換為向量；2.2使用人臉圖像對PCA模型進行訓練，得到特征向量（學習）計算特征值與特征向量分析特征值保存特征向量2.3讀取特征向量，進行投影，實現(xiàn)圖像降維（提取特征）2.4計算兩個投影后的向量間的距離，距離足夠小時，判定為同一個人的兩幅人臉圖像

1-1主元分析（PCA）練習2，使用PCA和SVM進行人臉識別

1-1主元分析（PCA）PCA的優(yōu)化目標為：投影后總體散度最大LDA的優(yōu)化目標為：投影后類內(nèi)散度最小且類間散度最大

1-2線性辨析分析（LDA）一元線性回歸-最小二乘法1一元線性回歸一元線性回歸-梯度下降

1一元線性回歸將b、W的求解轉換為求J的極小值。一元線性回歸-梯度下降從曲面中的任意一點開始，沿著梯度的反方向一步步的下降，直到下降到曲面的最低點。1一元線性回歸練習3：編碼實現(xiàn)一元梯度下降

1一元線性回歸多元線性回歸

2多元線性回歸邏輯回歸-神經(jīng)元

3神經(jīng)元神經(jīng)網(wǎng)絡-NN-回歸

4神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡-NN-分類

4神經(jīng)網(wǎng)絡深度學習-卷積神經(jīng)網(wǎng)絡：全連接網(wǎng)絡指的是輸入層的所有單元與隱藏層的所有單元相連。在圖像處理中，更常用的是卷積神經(jīng)網(wǎng)絡（ConvolutionalNeuralNetwork,CNN）。卷積神經(jīng)網(wǎng)絡在神經(jīng)網(wǎng)絡中加入了一個或多個卷積層，卷積層中有一個或多個濾波器，輸入數(shù)據(jù)和濾波器卷積后，卷積結果和隱藏層相連，從而有效利用了圖像的局部信息，并且對訓練參數(shù)做了大幅精簡，

5卷積神經(jīng)網(wǎng)絡6圖像特征提取與分類Resnet506圖像特征提取與分類練習4：使用卷積神經(jīng)網(wǎng)絡，實現(xiàn)圖像分類功能predictedresult:[[('n02115641','dingo',0.6255645),('n02110806','basenji',0.32402647),('n02109961','Eskimo_dog',0.017492699)]]圖像處理應用技術1圖像分割圖像分割是指將圖像中具有特殊意義的不同區(qū)域劃分開來，這些區(qū)域是互不交互的，每個區(qū)域滿足某種相似性準則。1-1基于直方圖分析的圖像分割本節(jié)介紹一種最簡單的圖像分割方法，基于直方圖分析的圖像分割，該方法實現(xiàn)步驟如下：(1)讀取原圖像；(2)將原圖像轉換為灰度圖像；(3)對灰度圖像進行直方圖均衡化；(4)計算均衡化后的直方圖，觀察該直方圖，取波谷處橫軸的坐標作為分割閾值(5)將灰度圖像中灰度值小于分割閾值的像素的灰度值置為0，將灰度圖像中灰度值大于分割閾值的像素的灰度值置為255，實現(xiàn)圖像的二值分割。1-1基于直方圖分析的圖像分割1-1基于直方圖分析的圖像分割練習1編寫代碼，實現(xiàn)基于直方圖的圖像分割請您編輯題干作答正常使用主觀題需2.0以上版本雨課堂主觀題10分1-2基于神經(jīng)網(wǎng)絡的圖像分割任務主要分為三種類型：(1)語義分割（semanticsegmentation）：對圖像中的每個像素點進行分類。(2)實例分割（instancesegmentation）：在圖像中對需要分割的目標進行實例區(qū)分，再對實例區(qū)域中的像素點進行分類。(3)全景分割（panopticsegmentation）：是語義分割和實例分割的結合，對圖像中的每個像素點（包括背景）進行分類的同時，還要給同類對象進行實例區(qū)分。1-2基于神經(jīng)網(wǎng)絡的圖像分割1-2基于神經(jīng)網(wǎng)絡的圖像分割根據(jù)不同的任務，近年來較為流行的應用場景有：(1)人像摳圖：人臉分割、人體分割、背景分割(2)醫(yī)學影像：血管分割、病灶分割、腫瘤分割(3)自動駕駛：行人分割、車輛分割、障礙物分割、車道線分割1-2基于神經(jīng)網(wǎng)絡的圖像分割DeepLap系列是語義分割領域非常著名的模型，該系列一共發(fā)表了4個模型：DeepLabV1（2015）、DeepLabV2（2017）、DeepLabV3（2017）、DeepLabV3plus（2018）。本節(jié)主要講解DeepLapV3plus的實現(xiàn)。DeepLabv3+通過encoder-decoder進行多尺度信息的融合，同時保留了原來的空洞卷積和ASSP層，其骨干網(wǎng)絡使用了Xception模型。1圖像分割7圖像分割練習2：使用卷積神經(jīng)網(wǎng)絡，實現(xiàn)圖像分割，包括語義分割、實例分割、全景分割請您編輯題干作答正常使用主觀題需2.0以上版本雨課堂主觀題10分圖像處理應用技術1圖像修復圖像修復(ImageInpainting)本質就是力求保持圖像的本來面目，以保真原則為前提，找出圖像降質的原因，描述其物理過程，提出數(shù)學模型，根據(jù)該模型重建或恢復被退化的圖像，是一個典型的逆問題(inverseproblems)。1-1研究領域一、降噪圖像降噪（ImageDenoising）是指減少數(shù)字圖像中噪聲的過程，有時候又稱為圖像去噪。噪聲是圖像干擾的重要原因。一幅圖像在實際應用中可能存在各種各樣的噪聲,這些噪聲可能在傳輸中產(chǎn)生,也可能在量化等處理中產(chǎn)生。根據(jù)噪聲和信號的關系可將其分為三種形式:(f(x,y)表示給定原始圖像,g(x,y)表示圖像信號,n(x,y)表示噪聲。)(1)加性噪聲,此類噪聲與輸入圖像信號無關,含噪圖像可表示為f(x,y)=g(x,y)+n(x,y),信道噪聲及光導攝像管的攝像機掃描圖像時產(chǎn)生的噪聲就屬這類噪聲;(2)乘性噪聲,此類噪聲與圖像信號有關,含噪圖像可表示為f(x,y)=g(x,y)+n(x,y)g(x,y),飛點掃描器掃描圖像時的噪聲,電視圖像中的相干噪聲,膠片中的顆粒噪聲就屬于此類噪聲。(3)量化噪聲,此類噪聲與輸入圖像信號無關,是量化過程存在量化誤差,再反映到接收端而產(chǎn)生。降噪，又稱為去噪，是一個經(jīng)典的圖像修復研究方向。其實在第5章時有講到圖像降噪，主要的手段是濾波算法，第6章也有講到降噪的相關實現(xiàn)，主要是非線性變換算法。1-1研究領域二、去模糊(deblurring)圖像去模糊方法主要包含盲去模糊(blinddeblurring)和非盲去模糊(non-blinddeblurring)，區(qū)別在于模糊核是否已知。傳統(tǒng)的圖像去模糊算法利用了多種先驗，如：全變差(totalvariation)、重尾梯度先驗(heavy-tailedgradientprior)等。隨著深度學習技術的迅猛發(fā)展，也提出了基于CNN、基于GAN和基于RNN的用于圖像去模糊的方法，比較著名的如DeblurGAN和DeblurGAN-v2等，而這些方法都專注于從模糊圖像中恢復清晰圖像本身，而忽略了圖像模糊這個源頭，因此并沒有對圖像模糊過程進行建模；同時由于數(shù)據(jù)集的稀缺，很多方法都采用了數(shù)據(jù)增強的方式來增加數(shù)據(jù)樣本，但是大多數(shù)情況下合成的模糊圖像與真實圖像相差甚遠。1-1研究領域三、去霧(dehazing)光在霧、霾等介質中傳播時，由于粒子的散射作用導致成像傳感器采集的圖像信息嚴重降質，在很大程度上限制了圖像的應用價值。圖像去霧（ImageDehazing）的目的是消除霧霾環(huán)境對圖像質量的影響，增加圖像的可視度，是圖像處理和計算機視覺領域共同關切的前沿課題，吸引了國內(nèi)外研究人員的廣泛關注。傳統(tǒng)的去霧方法主要是基于先驗知識的，主要有暗通道先驗（DarkChannelPrior，DCP）方法、最大對比度（MaximumContrast，MC）方法，顏色衰減先驗（ColorAttenuationPrior，CAP）方法，色度不一致方法。由于神經(jīng)網(wǎng)絡在檢測，識別等任務上的取得了很大的進展，所以研究人員開始嘗試用基于深度學習的方法取代傳統(tǒng)的圖像去霧方法。其方法主要可以分為兩種，一種是基于大氣退化模型，利用神經(jīng)網(wǎng)絡對模型中的參數(shù)進行估計，早期的方法大多數(shù)是基于這種思想的；另一種是利用輸入的有霧圖像，直接輸出得到去霧后的圖像。目前最新的去霧方法更傾向于后者。1-1研究領域四、超分辨率圖像超分辨率（ImageSuperResolution）是指由一幅低分辨率圖像或圖像序列恢復出高分辨率圖像。圖像超分辨率技術分為超分辨率復原和超分辨率重建。目前，圖像超分辨率研究可分為3個主要范疇：基于插值、基于重建和基于學習的方法。1-2基于深度學習的圖像修復基于深度學習的圖像修復技術旨在恢復殘缺圖像中損壞部分的像素特征，在許多計算機視覺應用領域中發(fā)揮關鍵作用，是當前深度學習領域的一大研究熱點。根據(jù)修復網(wǎng)絡結構進行分類，分為基于卷積自編碼網(wǎng)絡結構的圖像修復方法、基于生成式對抗網(wǎng)絡結構的圖像修復方法和基于循環(huán)神經(jīng)網(wǎng)絡的圖像修復方法。圖像處理應用技術1圖像形態(tài)學所謂形態(tài)學主要用來提取出描述圖像中形狀的分量，例如邊界，連通區(qū)域等等。通過形態(tài)學方法進一步處理圖像從而得到便于計數(shù)的圖像。2實驗步驟步驟1腐蝕操作 首先我們學習形態(tài)學中的腐蝕操作，顧名思義，是將二值圖中亮度高的部分也就是白色的部分向內(nèi)腐蝕。同樣的，類似之前學到的圖像濾波處理，形態(tài)學處理也需要一個核來表示腐蝕或者膨脹的大小。這里我們將使用一個手寫字母樣例圖片直觀感受。首先將其讀取進來并展示。(右上圖）同樣的，類似之前學到的圖像濾波處理，形態(tài)學處理也需要一個核來表示腐蝕或者膨脹的大小。這里我們將使用erode函數(shù)來完成，并制定kernel為5乘5的矩陣，可以看到腐蝕后的圖像被細化了。（右下圖）練習1實現(xiàn)腐蝕操作作答正常使用主觀題需2.0以上版本雨課堂主觀題10分2實驗步驟步驟2膨脹操作 膨脹與腐蝕操作相反，可以視為上面的逆操作。這里使用dilate函數(shù)來完成，具體用法和erode一樣，同樣需要一個核代表膨脹大小，這里我們繼續(xù)使用上述的5乘5的核?？梢钥吹叫碌呐蛎泩D像變粗大了。步驟3開操作 我們可以看到，單純的腐蝕和膨脹操作會使得圖像在原有的形狀的基礎上發(fā)生改變。但是往往我們需要在不改變圖像的基礎上除去一些噪聲或者填充孔洞，則需要結合這兩種操作。 首先為了去除圖像上的白噪聲，我們可以使用開操作，即先腐蝕再膨脹，可以將小的噪聲腐蝕掉且保留大區(qū)域的形狀骨架，再通過膨脹來還原。這里我們使用morphologyEx函數(shù)，并指定操作類型為MORPH_OPEN，計算核和之前保持一致。練習2實現(xiàn)膨脹操作作答正常使用主觀題需2.0以上版本雨課堂主觀題10分2實驗步驟步驟3開操作 我們可以看到，單純的腐蝕和膨脹操作會使得圖像在原有的形狀的基礎上發(fā)生改變。但是往往我們需要在不改變圖像的基礎上除去一些噪聲或者填充孔洞，則需要結合這兩種操作。 首先為了去除圖像上的白噪聲，我們可以使用開操作，即先腐蝕再膨脹，可以將小的噪聲腐蝕掉且保留大區(qū)域的形狀骨架，再通過膨脹來還原。這里我們使用morphologyEx函數(shù)，并指定操作類型為MORPH_OPEN，計算核和之前保持一致。練習3實現(xiàn)開操作作答正常使用主觀題需2.0以上版本雨課堂主觀題10分2實驗步驟步驟4閉操作 閉操作則相反，當圖像存在空隙，或者是黑噪點時，我們可以使用閉操作，即先膨脹再腐蝕，可以將形狀中的空洞填補。這里我們同樣使用morphologyEx函數(shù)，并指定操作類型為MORPH_CLOSE，計算核和之前保持一致。練習4實現(xiàn)閉操作作答正常使用主觀題需2.0以上版本雨課堂主觀題10分2紅細胞計數(shù)我們基本已經(jīng)學習處理紅細胞圖像的一系列方法，接下來我們需要將所有方法重新整合一邊，并展開學習圖像輪廓來了解計算機視覺如何對紅細胞進行最終計數(shù)的。本實驗主要是前面實驗的總結和整理。2紅細胞計數(shù)步驟1讀取紅細胞圖像 第一步我們需要將紅細胞讀取進來并轉化為灰度圖像。2紅細胞計數(shù)步驟2完成直方圖均衡 接下來我們通過直方圖均衡使得圖像前后景的閾值更加明顯。2紅細胞計數(shù)步驟3閾值化處理 接下來我們將通過閾值化處理將圖像二值化。2紅細胞計數(shù)步驟4輪廓空隙填充 我們在上一個實驗已經(jīng)知道形態(tài)學處理其實也可以完成空隙填充，但是在空隙較大且物體間距較小的情況下，閉操作帶來的空隙填充可能會大大破壞圖像的完整性，所以我們在形態(tài)學處理之前加上輪廓空隙填充。輪廓可以簡單地解釋為連接具有相同顏色或強度的所有連續(xù)點（沿邊界）的曲線。輪廓是用于形狀分析以及對象檢測和識別的有用工具。首先通過findContour來找到圖像輪廓，第二三個參數(shù)都是指定具體的方法，這里不作展開?？梢钥吹椒祷氐妮喞且粋€列表，包含158個輪廓，每個輪廓又是由一系列點組成的。但是這個數(shù)字并不是我們想要的結果，因為圖像中還有很多雜質，類似血小板之類的區(qū)域。2紅細胞計數(shù)步驟5形態(tài)學處理 接下來利用形態(tài)學操作除去雜質顆粒帶來的影響。步驟6利用圖像輪廓完成紅細胞計數(shù) 可以看到大部分雜質被剔除了，除了一些細胞排列太過緊密無法分離之外，整體上感覺細胞分布還是較為均勻的。這里繼續(xù)用到上一個實驗學習的findContours方法，可以直接通過圖像輪廓計數(shù)，輪廓的數(shù)量就是估計出來的紅細胞的個數(shù)。練習5實現(xiàn)紅細胞計數(shù)作答正常使用主觀題需2.0以上版本雨課堂主觀題10分圖像處理應用技術1增強現(xiàn)實增強現(xiàn)實技術是一種將虛擬信息融合到真實世界的技術，將計算機生成的文字、圖像、三維模型等虛擬信息模擬仿真后，應用到真實世界中，兩種信息相互補充，從而實現(xiàn)對真實世界的效果增強。增強現(xiàn)實通過定位或者識別的方式來確定此刻觀察者的位置和視角，從而獲取相機的姿勢估計，通俗一點來說就是確定觀察者的眼睛往哪個方向看。本項目主要關注基于標記的增強現(xiàn)實背后用到的技術，來簡單地實現(xiàn)在棋盤上的3D模型展示。2實驗1相機矯正增強現(xiàn)實通常需要使用到攝像頭或者相機，而往往由于相機的內(nèi)源因素，鏡頭對平面上不同區(qū)域的放大率不同導致拍攝的圖像會出現(xiàn)幾何畸變，而這種畸變成都會從畫面中央往畫面邊緣逐漸遞增。由于畸變主要源自鏡頭本身的物理因素，所以在使用攝像頭之前首先對其進行矯正是很有必要的。本實驗旨在了解相機矯正的過程，并提供同一攝像頭下的照片作為實驗素材，條件允許的話同學們也可以用其他攝像頭的數(shù)據(jù)完成實驗。2實驗1相機矯正步驟1讀取圖片 首先我們先讀取需要矯正的圖片，這里會用到Python自帶的glob模塊完成讀取一系列類似文件名的文件，同學們可以自行查看不同圖片。2實驗1相機矯正步驟2設置目標點 為了解決畸變模型，我們需要提供一些真實點以及其在圖片上的對應點以便求解。由于三維時間真實點包含x,y,z軸，但是我們可以默認所有棋盤上的真實點在一個平面上，只用考慮x,y軸的部分。通過mgrid來生成目標點。2實驗1相機矯正步驟3尋找圖像點 為了找到這些真實點對應的圖像上的左邊點，我們需要用到OpenCV中的findChessboardCorners函數(shù)，指定網(wǎng)格的大小，從而獲得一個成功與否的返回值以及對應的坐標點。由于需要對每一張圖片進行處理，且記錄是否存在合適的對應網(wǎng)格點，這里需要用到for循環(huán)。另外我們也可以使用drawChessboardCorners來查看這些點的具體位置信息。2實驗1相機矯正步驟4相機矯正矩陣 我們已經(jīng)獲取到足夠多的對應點信息，這里可以用calibrateCamera直接完成相機的矯正，輸入真實點坐標，圖像點的坐標以及源圖像的大小。返回值我們主要關注相機矩陣mtx以及失真系數(shù)dist。步驟5矯正圖像 當我們已經(jīng)獲取到相機的上述參數(shù)，便可以直接對該攝像頭下的畸變圖像進行矯正了，這里需要使用undistort函數(shù)來輸