注意力機(jī)制介紹

Attention機(jī)制1

什么是注意力機(jī)制?

注意力機(jī)制，本質(zhì)上說就是實現(xiàn)信息處理資源的高效分配。當(dāng)一個場景進(jìn)入人類視野時，往往會先關(guān)注場景中的一些重點，如動態(tài)的點或者突兀的顏色，剩下的靜態(tài)場景可能會被暫時性地忽略。例如當(dāng)我們一看到這張貓的圖片時，主要會將目光停留在貓的臉部，以及留意貓的軀干，而后面的草地則會被當(dāng)成背景忽略掉，也就是說我們在每一處空間位置上的注意力分布是不一樣的。1

什么是注意力機(jī)制?

通過這種方式，在需要重點關(guān)注的目標(biāo)區(qū)域，會投入更多的注意力資源，以獲取更多的細(xì)節(jié)信息，而抑制其它區(qū)域信息，這樣能夠利用有限的注意力資源從大量信息中快速獲取到高價值的信息，極大地提升了處理信息的效率。深度學(xué)習(xí)中的注意力機(jī)制（AttentionMechanism）能夠以高權(quán)重去聚焦重要信息，以低權(quán)重去忽略不相關(guān)的信息，并且還可以不斷調(diào)整權(quán)重，使得在不同的情況下也可以選取重要的信息，因此具有更高的可擴(kuò)展性和魯棒性。1

什么是注意力機(jī)制?

左圖是注意力機(jī)制基本的網(wǎng)絡(luò)架構(gòu)此外，它還能通過共享重要信息（即選定的重要信息）與其他人進(jìn)行信息交換，從而實現(xiàn)重要信息的傳遞。2

注意力機(jī)制的優(yōu)點??它關(guān)注相關(guān)的信息而忽略不相關(guān)的信息，不通過循環(huán)而直接建立輸入與輸出之間的依賴關(guān)系，并行化程度增強(qiáng)，運行速度有了很大提高。?它克服了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中的一些局限，如隨著輸入長度增加系統(tǒng)的性能下降、輸入順序不合理導(dǎo)致系統(tǒng)的計算效率低下、系統(tǒng)缺乏對特征的提取和強(qiáng)化等。但是注意力機(jī)制能夠很好地建模具有可變長度的序列數(shù)據(jù)，進(jìn)一步增強(qiáng)了其捕獲遠(yuǎn)程依賴信息的能力，減少層次深度的同時有效提高精度。3RESEARCHSIGNIFICANCE

注意力機(jī)制在圖像領(lǐng)域的應(yīng)用1）

1995年，注意力機(jī)制第一次在視覺領(lǐng)域中提出。注意力的作用就是將之前傳統(tǒng)的視覺搜索方法進(jìn)行優(yōu)化，可選擇地調(diào)整視覺對網(wǎng)絡(luò)的處理，減少了需要處理的樣本數(shù)據(jù)并且增加了樣本間的特征匹配。2）

視覺注意模型結(jié)構(gòu)比較簡單，能夠?qū)邮盏降男畔⑦M(jìn)行特征提取并且快速檢測出各種形狀和顏色，但是因為結(jié)構(gòu)的簡單，無法檢測到特征間的相關(guān)性，并且沒有任何循環(huán)機(jī)制，所以在整個視覺識別過程中，無法重現(xiàn)圖像輪廓，因此將注意力機(jī)制與具有循環(huán)機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）結(jié)合。

3RESEARCHSIGNIFICANCE

注意力機(jī)制在圖像領(lǐng)域的應(yīng)用3）

RNN下一時刻的輸出與前面多個時刻的輸入和自己當(dāng)前狀態(tài)有關(guān)，因此能夠保留特征間的相關(guān)性，但是由于每一步狀態(tài)的記錄也會導(dǎo)致誤差累積，從而有可能造成梯度爆炸；并且如果輸入過多的序列信息，梯度的傳遞性不是很高，也會出現(xiàn)梯度消失的現(xiàn)象。

3RESEARCHSIGNIFICANCE

注意力機(jī)制在圖像領(lǐng)域的應(yīng)用4）2014年，Google團(tuán)隊將RNN與Attention結(jié)合，利用注意力機(jī)制對圖片特定的區(qū)域進(jìn)行處理。將注意力機(jī)制與RNN結(jié)合，很好地解決了單純使用RNN在圖像處理中的局限，如處理繁瑣的特征信息往往會因為層數(shù)過深而梯度爆炸。注意力機(jī)制巧妙地提取圖像中的關(guān)鍵信息同時忽略無關(guān)信息，為數(shù)據(jù)處理提供了更多的便利，網(wǎng)絡(luò)層數(shù)也不會過深，梯度爆炸的問題也得到了很好的解決。

4RESEARCHSIGNIFICANCE

常用的注意力模型1）

編解碼框架

目前大多數(shù)的注意力模型附著在Encoder-Decoder框架下。給定輸入X，通過Encoder-Decoder框架生成目標(biāo)Y。其中Encoder就是對輸入X進(jìn)行編碼，通過非線性變換轉(zhuǎn)化為中間語義表示C；Decoder根據(jù)輸入X的語義表示C和之前已生成的歷史信息生成目標(biāo)信息。Encoder-Decoder框架是個通用框架，有很多的場景，在文本處理、圖像處理、語音識別等各領(lǐng)域經(jīng)常使用，Encoder、Decoder可使用各種模型組合，例如CNN/RNN/LSTM等。4RESEARCHSIGNIFICANCE

常用的注意力模型2）

編解碼框架

如何體現(xiàn)出注意力Encoder-Decoder框架將輸入X都編碼轉(zhuǎn)化為語義表示C，這樣就會導(dǎo)致所有輸入的處理權(quán)重都一樣，沒有體現(xiàn)出注意力。為了能體現(xiàn)注意力機(jī)制，將語義表示C進(jìn)行擴(kuò)展，用不同的C來表示不同注意力的集中程度，每個C的權(quán)重不一樣。5RESEARCHSIGNIFICANCE通道注意力和空間注意力1）

通道注意力、空間注意力目的是選擇細(xì)粒度的重要像素點，它們是pixel級。2）

這里的通道指的是特征通道。不同于RGB圖片的紅黃藍(lán)3通道。一張輸入H×W×C

的特征圖經(jīng)多個卷積核提取特征后，特征圖會有多個特征通道。

5RESEARCHSIGNIFICANCE通道注意力3）如圖這是對特征圖的不同特征通道提取的特征。

那么這里如何表示出注意力呢？比如1,2特征通道的圖像特征比較明顯,3，4特征通道的圖像特征不明顯，這里就需要對特征通道1,2賦予較大權(quán)重；特征通道3,4賦予較小權(quán)重。這樣既關(guān)注關(guān)鍵信息，又關(guān)注邊界信息。5RESEARCHSIGNIFICANCE空間注意力4）什么是圖像的空間？如圖我們從整