計算機視覺應用開發(fā)課件：特征融合

特征融合特征融合的概念01任務特征融合的方法02任務學習目標認識什么是特征融合掌握常見的特征融合方法1特征融合的概念1特征融合的概念特征融合，即融合不同尺度（低層和高層）的特征。在很多工作中，融合不同尺度的特征是提高分割性能的一個重要手段。如何將低層特征和高層特征高效融合，取其長處，棄之糟泊，是改善分割模型的關鍵。特征融合是為了提高網(wǎng)絡對特征的表達能力，進而使得網(wǎng)絡可以得到更準確的分割結果。不同的特征融合方法有著不同的效果，如何尋求更有效的特征方法對網(wǎng)絡性能有著進一步的提升，是目前語義分割研究的一個熱點問題。2特征融合的方法2特征融合的方法按照融合與預測的先后順序，分為早融合（Earlyfusion）與晚融合（Latefusion）。早融合早融合（Earlyfusion）：就是在特征上進行融合，進行不同特征的連接，輸入到一個模型中進行訓練。先融合多層的特征，然后在融合后的特征上訓練預測器，只有在完全融合之后，才進行檢測。這類方法也被稱為skipconnection，即采用concat、add操作。這一思路的代表是Inside-OutsideNet(ION)和HyperNet。兩個經(jīng)典的特征融合的方法：（1）concat：系列特征融合，直接將兩個特征進行連接。兩個輸入特征x和y的維數(shù)若為p和q，輸出特征z的維數(shù)為p+q。（2）add：并行策略，將這兩個特征向量組合成復合向量，對于輸入特征x和y，z=x+iy，其中i是虛數(shù)單位。2特征融合的方法2特征融合的方法（1）concat是通道數(shù)的增加;（2）add是特征圖相加，通道數(shù)不變add是描述圖像的特征下的信息量增多了，但是描述圖像的維度本身并沒有增加，只是每一維下的信息量在增加，這顯然是對最終的圖像的分類是有益的。而concatenate是通道數(shù)的合并，也就是說描述圖像本身的特征數(shù)（通道數(shù)）增加了，而每一特征下的信息是沒有增加。concat每個通道對應著對應的卷積核。而add形式則將對應的特征圖相加，再進行下一步卷積操作，相當于加了一個先驗：對應通道的特征圖語義類似，從而對應的特征圖共享一個卷積核（對于兩路輸入來說，如果是通道數(shù)相同且后面帶卷積的話，add等價于concat之后對應通道共享同一個卷積核）。因此add可以認為是特殊的concat形式。但是add的計算量要比concat的計算量小得多。2特征融合的方法2.晚融合晚融合（Latefusion）：指的是在預測分數(shù)上進行融合，做法就是訓練多個模型，每個模型都會有一個預測分數(shù)，對所有模型的結果進行融合，得到最后的預測結果。通過結合不同層的檢測結果改進檢測性能，尚未完成最終融合之前，在部分融合的層上就開始檢測，會有多層的檢測，最終將多個檢測結果進行融合。FPN（FeaturePyramidNetwork）算法同時利用低層特征高分辨率和高層特征的高語義信息，通過融合這些不同層的特征達到預測的效果。并且預測是在每個融合后的特征層上單獨進行的，這和常規(guī)的特征融合方式不同。2特征融合的方法（1）自下而上：最左側為普通的卷積網(wǎng)絡，默認使用ResNet結構，用作提取語義信息。C1代表了ResNet的前幾個卷積與池化層，而C2至C5分別為不同的ResNet卷積組，這些卷積組包含了多個Bottleneck結構，組內(nèi)的特征圖大小相同，組間大小遞減。（2）自上而下：首先對C5進行1×1卷積降低通道數(shù)得到P5，然后依次進行上采樣得到P4、P3和P2，目的是得到與C4、C3與C2長寬相同的特征，以方便下一步進行逐元素相加。這里采用2倍最鄰近上采樣，即直接對臨近元素進行復制，而非線性插值。（3）橫向連接（LateralConnection）：目的是為了將上采樣后的高語義特征與淺層的定位細節(jié)特征進行融合。高語義特征經(jīng)過上采樣后，其長寬與對應的淺層特征相同，而通道數(shù)固定為256，因此需要對底層特征C2至C4進行1×1卷積使得其通道數(shù)變?yōu)?56，然后兩者進行逐元素相加得到P4、P3與P2。由于C1的特征圖尺寸較大且語義信息不足，因此沒有把C1放到橫向連接中。2特征融合的方法（4）卷積融合：在得到相加后的特征后，利用3×3卷積對生成的P2至P4再進行融合，目的是消除上采樣過程帶來的重疊效應，以生成最終的特征