卷積神經(jīng)網(wǎng)絡算法綜述

1、卷積神經(jīng)網(wǎng)絡算法綜述一、原理介紹1、數(shù)據(jù)集1根據(jù)使用場景自己制作數(shù)據(jù)集“使用網(wǎng)上開源的數(shù)據(jù)集2、前向傳播前向傳播核心是介紹如何通過輸入的X得到輸出的Y,前向傳播相對于反向傳播比較容易理解。a(2)+1h皿LaysrLj對于第2層第1個節(jié)點的輸岀戀有:oj=7彳)=7遊1甸+誠円+詭代+時)對于第弓層第1個節(jié)點的輸出鬭有：誦=artLaj+唸城+硒揖碎)占化的，假設1-1匡有m個神經(jīng)元応二百有:mal=(?汕=(?(ii_1+山3、損失函數(shù)損失函數(shù)是主要是用來衡量神經(jīng)網(wǎng)絡輸出的值Y和真實值丫之間的差距，常用的損失函數(shù)主要有交叉熵和均方誤差損失函數(shù)。：匸交叉熵損失函數(shù)loss=-ylogy+(1-

2、y)log(ly)“均方誤差損失函數(shù)loss=m工Z1(YfY)24、優(yōu)化方法優(yōu)化方法是一種能夠幫我們最小化或者最大化目標函數(shù)(損失函數(shù))的一類算法，通過神經(jīng)網(wǎng)絡輸出的值丫和真實值丫之間存在差距，優(yōu)化方法的主要目的是讓該差距如何盡可能的達到最小。例如一個線性模型(x)=Wx+b,根據(jù)輸入x我們能夠得到輸出產(chǎn)(x),并且可以計算出輸出值和實際值之間的差距(產(chǎn)(x)Y)2,優(yōu)化方法的最終目的是找出合適W和b,以使得上述的損失函數(shù)達到最小，損失函數(shù)的值越小,說明我們的模型越接近實際情形。目前優(yōu)化方法的核心思想是對損失函數(shù)進行一階優(yōu)化或者二階優(yōu)化。一階優(yōu)化是采用參數(shù)的梯度值來最大化或者最小化目標函數(shù)，

3、二階優(yōu)化是采用二階導數(shù)來進行優(yōu)化，在實際應用中二階導數(shù)計算量較大，一般很少使用。常用的優(yōu)化方法主要有：-批量梯度下降(BatchGradientDescent)批量梯度下降是最原始的方式，它在每次迭代時使用了所有的樣本來進行梯度的更新，訓練速度較慢，但是參數(shù)更新的時候考慮了所有的樣本，從而能夠更準確的朝向極值所在的方向，易于實現(xiàn)并行計算。隨機梯度下降法(StochasticGradientDescent)隨機梯度下降是每次迭代使用一個樣本來對參數(shù)進行更新，使得參數(shù)更新速度大大加快，但是準確度有所下降，可能會收斂到局部最優(yōu)，并且不易于并行實現(xiàn)。小批量梯度下降(MiniBatchGradientD

4、escent)小批量梯度下降綜合了上面兩種方法的特點，每次迭代使用batch_size個樣本進行來對參數(shù)進行更新，兼具了上面兩種方法的優(yōu)點，但是batch_size的選擇不當能夠帶來一些問題。Momentum動量法的主要思想是讓早期的梯度對當前梯度的影響越來越小，參數(shù)更新公式為：將該公式展開為如下：*一+(1-0)弘=呱+儼F-帕1滬f島+優(yōu)1_州(1-帕3tn可以看出離當前梯度越遠，其系數(shù)越小，相乘之后導致之前的梯度大大降低。RMSprop我們希望沿著收斂速度快的方向步長大一些，與其垂直方向步長小一點，即將梯度震蕩小的方向，增大其步長，震蕩大的方向降低其步長,所以RMSprop的迭代更新公式

5、為：JM二+卩_0)血21miC_d證AdamAdam算法是上述算法的結合，迭代更新公式為：rv=陽+(1-=5+(l-ft)dw2rj*i亠箭5、反向傳播反向傳播兩大核心就是計算誤差和運用鏈式法則更新參數(shù)。誤差計算方法上面已經(jīng)介紹，整個流程如下：輸入訓熱集對于釧氮集中的毎個樣本兒設詈輸入層(Inputlayer)對應的港活值川：甸向傳播：z1二Na=疚()計算輸宙層產(chǎn)主的錯誤：6LPQ打(尹)*反向傳播諸誤：&=(w+1)r5f+1)(J用梯1艮下降(gradientdeuat)T訓煉參數(shù)：川T皿_洛力，叫d#1廠6、常用技巧數(shù)據(jù)增強數(shù)據(jù)預處理BatchNormalization(BN)激活

6、函數(shù)正則化drop-outearly-stopping超參數(shù)的合理設定二、應用場景卷積神經(jīng)網(wǎng)絡算法在計算機視覺中得到了廣泛的應用，目前主要用于檢測、識別、分割、追蹤，在無人駕駛、醫(yī)療圖像、零售業(yè)等領域有廣泛的使用。三、相關算法隨著卷積神經(jīng)網(wǎng)絡的不斷發(fā)展，一大批基于卷積神經(jīng)網(wǎng)絡的算法應運而生，下面將分別胸檢測、識別、分割、追蹤四個方面介紹相應的成熟算法。1、檢測算法在檢測領域目前的算法主要分為兩個思路，即one-stage和two-stage。ne-stage速度較快，但精度略低；two-stage速度略慢，但精度較咼。one-stage的代表算法主要有丫0L0V1、YOLOV2、YOLOV3、

7、RetinaNet、SSD等。two-stage的代表算法主要有Fast-RCNN、Faster-RCNN、FPN等。anchor-free的代表算法主要有RefineNet、CornerNet、CenterNet等。輕量級神經(jīng)網(wǎng)絡的代表算法主要有MobileNet、ShuffleNet、SqueezeNet等。2、分類算法分類算法的基本思路主要有兩種，通過卷積神經(jīng)網(wǎng)絡進行特征提取，然后通過sigmoid和softmax進行二分類和多分類。通過卷積神經(jīng)網(wǎng)絡進行特征提取，提取出一維特征向量，然后通過計算特征向量之間的L1或者L2距離來判斷是否屬于一類。常見的特征提取網(wǎng)絡主要有LeNet、GoogleNet、AlexNet、VGG、ResNet等。3、分割算法分割算法是對每一個像素進行二分類的算法，主要分為語義分割和實例分割。語義分割是像素級別的，對圖像中的每個像素都劃分出對應的類別，即實現(xiàn)像素級別的分類；實例分割不但要進行像素級別的分類，還需在具體的類別基礎上區(qū)別開不同的實例。常見的分