注意力機(jī)制介紹

Attention機(jī)制1

什么是注意力機(jī)制?

注意力機(jī)制，本質(zhì)上說(shuō)就是實(shí)現(xiàn)信息處理資源的高效分配。當(dāng)一個(gè)場(chǎng)景進(jìn)入人類(lèi)視野時(shí)，往往會(huì)先關(guān)注場(chǎng)景中的一些重點(diǎn)，如動(dòng)態(tài)的點(diǎn)或者突兀的顏色，剩下的靜態(tài)場(chǎng)景可能會(huì)被暫時(shí)性地忽略。例如當(dāng)我們一看到這張貓的圖片時(shí)，主要會(huì)將目光停留在貓的臉部，以及留意貓的軀干，而后面的草地則會(huì)被當(dāng)成背景忽略掉，也就是說(shuō)我們?cè)诿恳惶幙臻g位置上的注意力分布是不一樣的。1

什么是注意力機(jī)制?

通過(guò)這種方式，在需要重點(diǎn)關(guān)注的目標(biāo)區(qū)域，會(huì)投入更多的注意力資源，以獲取更多的細(xì)節(jié)信息，而抑制其它區(qū)域信息，這樣能夠利用有限的注意力資源從大量信息中快速獲取到高價(jià)值的信息，極大地提升了處理信息的效率。深度學(xué)習(xí)中的注意力機(jī)制（AttentionMechanism）能夠以高權(quán)重去聚焦重要信息，以低權(quán)重去忽略不相關(guān)的信息，并且還可以不斷調(diào)整權(quán)重，使得在不同的情況下也可以選取重要的信息，因此具有更高的可擴(kuò)展性和魯棒性。1

什么是注意力機(jī)制?

左圖是注意力機(jī)制基本的網(wǎng)絡(luò)架構(gòu)此外，它還能通過(guò)共享重要信息（即選定的重要信息）與其他人進(jìn)行信息交換，從而實(shí)現(xiàn)重要信息的傳遞。2

注意力機(jī)制的優(yōu)點(diǎn)??它關(guān)注相關(guān)的信息而忽略不相關(guān)的信息，不通過(guò)循環(huán)而直接建立輸入與輸出之間的依賴關(guān)系，并行化程度增強(qiáng)，運(yùn)行速度有了很大提高。?它克服了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中的一些局限，如隨著輸入長(zhǎng)度增加系統(tǒng)的性能下降、輸入順序不合理導(dǎo)致系統(tǒng)的計(jì)算效率低下、系統(tǒng)缺乏對(duì)特征的提取和強(qiáng)化等。但是注意力機(jī)制能夠很好地建模具有可變長(zhǎng)度的序列數(shù)據(jù)，進(jìn)一步增強(qiáng)了其捕獲遠(yuǎn)程依賴信息的能力，減少層次深度的同時(shí)有效提高精度。3RESEARCHSIGNIFICANCE

注意力機(jī)制在圖像領(lǐng)域的應(yīng)用1）

1995年，注意力機(jī)制第一次在視覺(jué)領(lǐng)域中提出。注意力的作用就是將之前傳統(tǒng)的視覺(jué)搜索方法進(jìn)行優(yōu)化，可選擇地調(diào)整視覺(jué)對(duì)網(wǎng)絡(luò)的處理，減少了需要處理的樣本數(shù)據(jù)并且增加了樣本間的特征匹配。2）

視覺(jué)注意模型結(jié)構(gòu)比較簡(jiǎn)單，能夠?qū)邮盏降男畔⑦M(jìn)行特征提取并且快速檢測(cè)出各種形狀和顏色，但是因?yàn)榻Y(jié)構(gòu)的簡(jiǎn)單，無(wú)法檢測(cè)到特征間的相關(guān)性，并且沒(méi)有任何循環(huán)機(jī)制，所以在整個(gè)視覺(jué)識(shí)別過(guò)程中，無(wú)法重現(xiàn)圖像輪廓，因此將注意力機(jī)制與具有循環(huán)機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）結(jié)合。

3RESEARCHSIGNIFICANCE

注意力機(jī)制在圖像領(lǐng)域的應(yīng)用3）

RNN下一時(shí)刻的輸出與前面多個(gè)時(shí)刻的輸入和自己當(dāng)前狀態(tài)有關(guān)，因此能夠保留特征間的相關(guān)性，但是由于每一步狀態(tài)的記錄也會(huì)導(dǎo)致誤差累積，從而有可能造成梯度爆炸；并且如果輸入過(guò)多的序列信息，梯度的傳遞性不是很高，也會(huì)出現(xiàn)梯度消失的現(xiàn)象。

3RESEARCHSIGNIFICANCE

注意力機(jī)制在圖像領(lǐng)域的應(yīng)用4）2014年，Google團(tuán)隊(duì)將RNN與Attention結(jié)合，利用注意力機(jī)制對(duì)圖片特定的區(qū)域進(jìn)行處理。將注意力機(jī)制與RNN結(jié)合，很好地解決了單純使用RNN在圖像處理中的局限，如處理繁瑣的特征信息往往會(huì)因?yàn)閷訑?shù)過(guò)深而梯度爆炸。注意力機(jī)制巧妙地提取圖像中的關(guān)鍵信息同時(shí)忽略無(wú)關(guān)信息，為數(shù)據(jù)處理提供了更多的便利，網(wǎng)絡(luò)層數(shù)也不會(huì)過(guò)深，梯度爆炸的問(wèn)題也得到了很好的解決。

4RESEARCHSIGNIFICANCE

常用的注意力模型1）

編解碼框架

目前大多數(shù)的注意力模型附著在Encoder-Decoder框架下。給定輸入X，通過(guò)Encoder-Decoder框架生成目標(biāo)Y。其中Encoder就是對(duì)輸入X進(jìn)行編碼，通過(guò)非線性變換轉(zhuǎn)化為中間語(yǔ)義表示C；Decoder根據(jù)輸入X的語(yǔ)義表示C和之前已生成的歷史信息生成目標(biāo)信息。Encoder-Decoder框架是個(gè)通用框架，有很多的場(chǎng)景，在文本處理、圖像處理、語(yǔ)音識(shí)別等各領(lǐng)域經(jīng)常使用，Encoder、Decoder可使用各種模型組合，例如CNN/RNN/LSTM等。4RESEARCHSIGNIFICANCE

常用的注意力模型2）

編解碼框架

如何體現(xiàn)出注意力Encoder-Decoder框架將輸入X都編碼轉(zhuǎn)化為語(yǔ)義表示C，這樣就會(huì)導(dǎo)致所有輸入的處理權(quán)重都一樣，沒(méi)有體現(xiàn)出注意力。為了能體現(xiàn)注意力機(jī)制，將語(yǔ)義表示C進(jìn)行擴(kuò)展，用不同的C來(lái)表示不同注意力的集中程度，每個(gè)C的權(quán)重不一樣。5RESEARCHSIGNIFICANCE通道注意力和空間注意力1）

通道注意力、空間注意力目的是選擇細(xì)粒度的重要像素點(diǎn)，它們是pixel級(jí)。2）

這里的通道指的是特征通道。不同于RGB圖片的紅黃藍(lán)3通道。一張輸入H×W×C

的特征圖經(jīng)多個(gè)卷積核提取特征后，特征圖會(huì)有多個(gè)特征通道。

5RESEARCHSIGNIFICANCE通道注意力3）如圖這是對(duì)特征圖的不同特征通道提取的特征。

那么這里如何表示出注意力呢？比如1,2特征通道的圖像特征比較明顯,3，4特征通道的圖像特征不明顯，這里就需要對(duì)特征通道1,2賦予較大權(quán)重；特征通道3,4賦予較小權(quán)重。這樣既關(guān)注關(guān)鍵信息，又關(guān)注邊界信息。5RESEARCHSIGNIFICANCE空間注意力4）什么是圖像的空間？如圖我們從整