2023年商品量化專題報告 Transformer結構和原理分析

2023年商品量化專題報告Transformer結構和原理分析一、引言在上篇報告中，我們討論了短期時序預測的方法，優(yōu)化后的預測模型在短期預測中取得較好的擬合效果。然而，在現(xiàn)實生活中，短期價格預測對策略幫助有限，需得對未來價格進行長周期預測才能更充分地對行情進行判斷。在上篇報告中介紹的RNN系列網(wǎng)絡使用的是遞歸結構，因此只能進行單向依次計算，限制了模型的并行能力。同時，RNN系列網(wǎng)絡存在長期依賴問題，隨著時間推移，RNN會忘記較長時間之前的信息，從而造成梯度消失和梯度爆炸現(xiàn)象。因此，RNN等網(wǎng)絡只能進行短期預測。近幾年越來越多的學者嘗試將Transformer運用在長序列預測中，Transformer自2017年被提出后在NLP和CV領域取得巨大的成功，是第一個完全依賴自注意力機制來捕捉輸入與輸出信息關系的傳導模型。自注意力機制保留該時刻信息與先前所有時刻信息的直接連接，能夠緩解梯度消失和梯度爆炸的問題，允許信息在更長的序列上傳播。同時，Transformer不是類似RNN的順序結構使用，具有更好的并行性，符合現(xiàn)有的GPU框架。然而，Transformer存在三大挑戰(zhàn)：二次時間復雜度、高內存使用量和encoderdecoder架構局限性，使其不能直接適用于長期時序預測問題。本文羅列了3個近兩年改良比較成功的模型，它們針對Transformer存在的問題提出了不同改進手段，分別為1）Informer模型，來自發(fā)表于AAAI21的一篇最佳論文《Informer：BeyondEfficientTransformerforLongSequenceTimeSeriesForecasting》，提出了ProbSparse自注意機制、自注意蒸餾操作和生成式解碼器這三大改進，極大地降低了模型的計算復雜性；2）Autoformer模型，由清華大學軟件學院機器學習實驗室在2021年提出，包含深度分解架構，和自相關機制兩大創(chuàng)新點，能有效提升了長序列模型的預測性能；3）FEDformer模型，由阿里達摩院在2022年提出，使用了低秩近似（low-rankapproximation）將計算復雜性降為線性，并進一步提升了模型的預測精度。本篇為本系列的第二篇，分為三大部分，第一部分將介紹Transformer模型的要點和結構原理；第二部分將介紹三個變形模型各自的結構原理；第三部分將利用Transformer和三個變形模型對期貨價格分別進行長序列預測并對比預測結果。二、Transformer的結構和原理Transformer模型和上篇報告中介紹的RNN系列模型差別較大，Transformer模型宏觀上使用了Encoder-Decoder框架，并且在Encoder(編碼器)和Decoder(解碼器)部分都使用了多頭注意力機制(Multi-HeadAttention),因此本部分先對注意力機制進行介紹，再對Transformer結構進行詳細介紹。（一）注意力機制注意力機制最早由Treisman和Gelade提出，是一種模擬人腦注意力機制的模型，其核心目標是通過計算注意力的概率分布來從眾多信息中突出某關鍵輸入信息對輸出的影響。目前大多數(shù)注意力機制均基于Encoder-Decoder框架，但需要注意的是注意力機制可以看作一種通用思想，本身是不依賴于特定框架的，而Encoder-Decoder框架可以看作是一種深度學習領域的研究模式，擁有廣泛的應用場景，在NLP領域中常用的Encoder-Decoder抽象框架。這個框架中共含有三個部分分別為：Encoder(編碼器)、Decoder(解碼器)和語義表示C。其中，Encoder把一個變長的輸入序列X(1,2,…,)，通過非線性變換轉化為一個中間的語義表示C：=(1,2,…,)；Decoder是根據(jù)輸入序列X的中間語義表示C和先前已經(jīng)生成的1,2,…,?1來預測并生成i時刻的輸出=(1,2,…,?1,),()和()均為非線性轉化函數(shù)。在這種傳統(tǒng)框架中，輸入信息被全部保存在語義表示C中，因此模型精度受輸入句子長度的影響嚴重，從而在模型中引入了注意力機制。和抽象的Encoder-Decoder框架相比，引入注意力機制后改變最大的部分在于語義表示C，原先針對不同輸出值的語義表示C都是一致的，現(xiàn)在語義表示C會根據(jù)輸出值對輸入值做相應的權重分配。在面對一個任務時，可以把輸入內容作為Source，生成目標作為Target，Source可以看成由多個對組成，而Target則由不同的Query組成，因此Attention機制的本質就是計算每一個Query在Source中所對應的值。1.自注意力機制(Self-Attention)梳理完Attention機制后，將目光轉向Transformer中使用的SelfAttention機制。和Attention機制相比Self-Attention機制最大的區(qū)別在于，Self-Attention機制中Target和Source是一致的，所以Self-Attention機制是Source內部元素之間或者Target內部元素之間發(fā)生的Attention機制。Self-Attention在計算過程中會直接將輸入信息中任意兩個信息直接聯(lián)系起來，所以能有效緩解RNN系列算法自帶的長期依賴問題。SelfAttention的計算流程，把Query、Key和Value分別裝入Q、K和V三個矩陣中，再將三個矩陣帶入以下公式中(公式2)就可以求得Value的權重，這種計算方法被稱為縮放點積注意力(ScaledDot-ProductAttention),其中，為Key的維度。（二）Transformer結構詳解Transformer模型的整體結構，由Input、Encoder、Decoder和Output四部分組成，我們根據(jù)模型處理流程進行一一理解。1.輸入編碼。輸入信息在進入Encoder和Decoder部分前會經(jīng)歷兩種編碼轉換，分別為Input/OutputEmbedding和PositionalEncoding。由于是運用在時序預測中，輸入信息大都為結構數(shù)據(jù)，因此在Embedding部分僅需對輸入信息進行維度轉換。PositionEncoding部分是利用輸入信息的位置進行編碼，因此可以提取出序列的順序特征，具體公式如下：(,2)=sin(100002)(公式4)(,2+1)=cos(100002)(公式5)然后，將兩種編碼轉換后的Tensor相加就可以帶入相應的Decoder和Encoder部分。2.Encoder部分。在Vaswani發(fā)表的論文中，Encoder部分共含有6層，前一層的輸出會作為輸入傳入下一層中，最后一層Encoder的輸出會輸入到Decoder中。每一層Encoder中都含有兩小層，分別為：一層Multi-HeadAttention和一層FeedForward，每一小層后都帶有一個Add&Norm層。首先來看一下Add&Norm層的作用，add是指殘差連接，將上一層網(wǎng)絡的輸入和輸出相加，即F(x)+x，相當于每層求導時都加上一個常數(shù)項1，能緩解梯度消失的問題；Norm是指歸一化，需要注意的是Transformer中使用的歸一化方式都是LayerNormalization，即在每一個樣本上計算均值和方差來進行歸一，公式如下：()=??√2++(公式6)然后是FeedForward層，由兩個線性變換和一個ReLU激活函數(shù)組成，公式如下：()=max(0,1+1)2+2(公式7)FFN層通過第一層線性變換，將每個位置的注意結果映射到一個較大維的特征空間，再利用ReLU激活函數(shù)進行過濾，最后通過再次線性變化將輸出結果恢復到原始維度。Multi-HeadAttention已在上文中進行介紹，此處就不詳說了。3.Decoder部分。Decoder部分和Encoder部分一樣，都含有6層，每層包含三小層，分別為：一層MaskedMulti-HeadAttention、一層Multi-HeadAttention和一層FeedForward，Decoder部分的FeedForward層和Encoder是一樣的，主要看一下MaskedMulti-HeadAttention層和Multi-HeadAttention層。MaskedMulti-HeadAttention層在self-attention機制上使用了Mask掩蓋，來防止Decoder依據(jù)未來信息進行預測。Multi-HeadAttention層和Encoder中的Multi-HeadAttention層相比，計算結構是一樣的，但輸入Q、K和V來源不同，Q是來源于Decoder中上一層的輸出，K和V來源于Encoder的輸出。4.輸出部分。輸出部分比較簡單，由一層線性轉換和一層SoftMax層組成，Decoder的輸出向量經(jīng)過線性轉換改變維度，再進行SoftMax計算就能得到最終的概率矩陣。三、Informer的結構和原理在引言中有提到Transformer模型的三大挑戰(zhàn)：二次時間復雜度、高內存使用量和Encoder-Decoder架構局限性,這三大挑戰(zhàn)使Transformer模型不能被直接運用在長序列預測中，需要對算法和結構進行調整，Informer模型就是改良較為成功的一種模型，Informer模型的結構，橘色、綠色和藍色標志標出來的部分都是Informer主要改變的地方。針對平方級的計算復雜度這一大挑戰(zhàn)，Informer提出了ProbSparseSelf-Attention機制，也就是橘色圈出的部分，通過篩選出重要的Query來降低計算復雜度?，F(xiàn)在,我們來看一下ProbSparseSelf-Attention機制的細節(jié)。Tsai在2019年提出，第i個Query的Attention公式可以從概率的角度改寫成如下公式8形式：(,,)=∑(,)∑(,?)?=(|)[](公式8)(|)=(,)∑(,?)?(公式9)(|)=1(公式10)其中，(|)也就是公式9，定義了一個概率的形式，即在給定第i個Query條件下key的分布。公式10是公式9的特殊形式，代表了均勻分布，若此Query分布接近均勻分布則說明此Query是“Lazy”的，反之說明Query是“Active”的?！癓azy”的Query對自注意力貢獻較少，因此通過篩去“Lazy”的Query來降低Transformer模型的計算復雜度。為了解決第二大挑戰(zhàn)高內存使用量的問題，Informer在Encoder的每層Multi-headProbSparseSelf-Attention層后都加入了一層自注意力蒸餾(Self-AttentionDistilling)的操作，來對上一層的輸出結果進行降維。Distilling的計算過程，先利用卷積層對輸入信息進行特征提取，再對提取后的信息進行一個ELU激活過濾，最后通過最大池化層進行降維，以此來增強特征信息的魯棒性。最后一大挑戰(zhàn)就是Encoder-Decoder結構自帶的局限性，Transformer模型中的Decoder部分采用的是step-by-step式的動態(tài)解碼，因此解碼速度很慢，Informer提出了GenerativeStyleDecoder。Informer將Starttoken技術擴展到生成式的方法中，不再像以往選擇一個額定的標志作為標記，而是從輸入序列中抽取一個相對更短的長序列作為輸入，因此可以一步得出同樣長度的輸出結果，具體計算流程見公式16。=(,0)∈?(+)×(公式16)以上就是Informer模型對Transformer模型提出的三大改造，其他部分還是保持了Transformer模型原本的設置。這三大改造將模型的時間復雜度從(2)降到(()),相關研究也證明Informer模型預測結果的擬合程度遠高于Transformer模型。四、Autoformer的結構和原理Informer通過使用稀疏形式的注意力機制來緩解二次復雜度的問題，雖然在解決復雜度的問題上起到了效果，但也引起了信息未充分利用的問題，因此Autoformer模型被提出，針對Transformer的瓶頸進行了新一輪改良，Autoformer模型主要含有兩大革新點：深度分解架構和自相關機制。深度分解架構是Autoformer模型的整體架構，包含三大部分：序列分解單元、自相關機制以及相應的Encoder-Decoder結構。以往的序列分解方法包括上篇報告中介紹的EMD分解都是先對過去序列進行分解，再分別進行預測，這樣會使預測結果受限于分解效果，且忽視未來各分解序列的相互作用。為了克服這個缺陷，Autoformer將序列分解融合到整體模型中，遵循傳統(tǒng)的分解手段將序列分解為季節(jié)項(Seasonal)和趨勢項(Trendcyclical)，從而實現(xiàn)漸進式分解。序列分解單元（SeriesDecompBlock）的具體分解計算流程，如公式所示：=(())(公式17)=?(公式18)，=()(公式19)。以上公式中代表了長度為L的輸入序列，和分別代表了經(jīng)均線分解后的季節(jié)項和趨勢項，公式19就是SeriesDecompBlock的綜合表達式。了解了分解手段后，來細看一下模型結構。首先是模型輸入，Encoder的輸入就是簡單的歷史序列??，為過去的時間長度；Decoder的輸入分為季節(jié)項(?(2+)×)和趨勢項(?(2+)×)兩部分,需要注意的是前2部分是由分解得到的，后面O長度部分分別由0和均值補齊。具體計算公式如下：，=(2:)(公式20)=(,0)(公式21)=(,)(公式22)。然后是Encoder和Decoder的結構，在Encoder部分中，通過層層分解，逐步消除趨勢項，只保留季節(jié)項，每一大層主要由一層自相關機制和一層Feedforward層組成。?,1，_=(?(??1)+??1)(公式23)?,2，_=((?,1)+?,1)(公式24)?=(??1)(公式25)若Encoder部分含有N大層，那第?層的輸出可以歸納寫成公式25的形式。在Decoder中，因為序列是被分為季節(jié)項和趨勢項兩部分分別解碼，所以采用雙路處理模式。在上層對季節(jié)項的解碼中，先通過自相關機制提取出未來季節(jié)波動中的時間依賴特性，再在自相關機制中融合Encoder部分提取出的歷史依賴關系，最后通過一層FeedForward層輸出結果。而下層對趨勢項的解碼則采用了加權法，將上分支每個子層的輸出進行加合。具體計算公式如下：?,1,?,1=((??1)+??1)(公式26)?,2,?,2=((?,1,)+?,1)(公式27)?,3,?,3=((?,2)+?,2)(公式28)?=??1+?,1?,1+?,2?,2+?,3?,3(公式29)?=?,3(公式30)假設Decoder部分共有M層，那模型最終的輸出結果為+。這樣的一個框架就是Autoformer模型的深度分解框架，剛剛有提到自相關機制。五、FEDformer的結構和原理FEDformer模型是在2022年由阿里達摩院提出的，之前提出的Transformer變形雖然都已經(jīng)在初始Transformer的基礎上實現(xiàn)了優(yōu)化，但仍難以捕捉時序的總體特征和分布，因此FEDformer提出了兩大革新：1.提出頻率增強分解的Transformer結構，融入季節(jié)趨勢分解手段，來更好地捕捉時序全局特性；2.在Transformer結構中提出了傅里葉增強模塊和小波增強模塊，來替代原本的自注意力機制。FEDformer的整體結構，主要包括四大子模塊：頻域增強模塊FEB(FrequencyEnhancedBlock)、分解模塊(MOEDecomp)、頻域增強注意力模塊FEA(FrequencyEnhancedAttention)和前向傳播模塊(FeedForward)。FEDformer的整體架構和Autoformer非常相似，但除了FeedForward塊，其他子模塊的具體設計均不一致。同時，在FEB和FEA模塊中都分別使用了離散傅里葉變換(DFT)和離散小波變換(DWT)兩種不同手段，從而存在兩種不同版本，因此我們分傅里葉增強結構和小波增強結構兩部分進行講解。（一）傅里葉增強結構一般信號在頻域上具有稀疏性，因此使用傅里葉變換將信號從時域轉換到頻域，在頻域中只需保留少部分點位，就能近似還原出時域信號。此結構使用了離散傅里葉變換(DFT),DFT的時間復雜度為(2),此結構通過隨機選擇一個傅里葉變換的子集極大地降低了輸入向量的長度從而降低了計算復雜度。我們先來看一下使用傅里葉變換的頻率增強模塊（FEB-f），該模塊在結構中的Encoder和Decoder部分均有涉及。輸入信息x先通過一次線性變化轉換成q，再對q進行傅里葉變換得到Q，在Q中隨機挑選出M個子序列，再將挑選出的子序列與R(一個隨機初始化的參數(shù)化內核)進行點乘得到Y，對Y進行填充（零的部分填充為?×）后再進行逆傅里葉變換就可以得出最終的模塊輸出。然后是使用傅里葉變換的頻率增強注意力模塊。首先，對由Queries、Keys和Values得出的矩陣q、k和v進行傅里葉變換，挑選出M個子序列就得出了相應的?、?和?，將?和?相乘并用激活函數(shù)進行過濾，此處激活函數(shù)可以使用SoftMax函數(shù)或者Tanh函數(shù)，對過濾后的值和?相乘并對結果進行填充（零的部分填充為?×），最后進行一次逆傅里葉變換就可以得到最終輸出結果。（二）小波變換增強結構小波變換是在傅里葉變換的基礎上發(fā)展而來的，傅里葉變化把信號從時域轉換到頻率能夠更好地捕捉全局信息，非常適合轉換平穩(wěn)序列。然而傅里葉變換只包含頻率分析，沒有時域分析，因此無法獲取各頻率出現(xiàn)的時間信息，無法捕捉局部特征，在面對突變和非平穩(wěn)信號時效果就很差，由此提出了小波變換的概念，小波變換能夠提供一個隨頻率改變的“時間-頻率”窗口，能考慮到時域和頻率兩方面，因此緩解了傅里葉變換的瓶頸。對于給定的()，n尺度下多小波系數(shù)可以被分別定義為=[?,??]=0?1,=[?,?]=0?1，其中?為分段多項式小波的標準正交基。FEB-w不同于FEB-f的遞歸機制，輸入信息會被循環(huán)分解成3個部分，獨立地進行運作。在小波分解部分中，使用了固定勒讓德小波分解基分解矩陣。承接的三個FEB-f模塊被分別用來處理產生的高頻部分、低頻部分和小波分解后遺留下來的部分。對于每一個周期L，它會產生一個處理過的高頻張量()，一個處理過的低頻張量()和原始低頻張量(+1)。這是一種階梯向下的方法，分解階段通過1/2因子對信號進行抽取，運行最多L個循環(huán)，其中<2()對于大小為M的給定輸入序列。通常，L被設置成一個固定參數(shù)，在不同分解周期L中，這三個FEB-f模塊是共享的。而在小波重建部分中，會同樣遞歸式的構建輸出張量。在每一個循環(huán)L中，我們合并分解部分得出()，()和(+1)生成()。在每一個循環(huán)中，信號張量的長度維度會被提高兩倍。FEA-w和FEB-w一樣都包含了分解和重構階段，F(xiàn)EA-w和FEB-w的重構階段是一致的，唯一的區(qū)別在于分解階段。使用相同的分解矩陣對q，k，v信號分別進行分解，同時，q，k，v也使用了相同的處理模塊。上文中提及的FEB-w模塊包含了三個用于信號處理的FEB-f模塊，此處的FEB-f模塊可以看作是一種自我注意力機制的替代，同時在FEA-w中使用了三個FEA-f模塊。此外，另加了一個FEA-f模塊來處理剩余最粗的q(L)，k(L)，v(L)信號。理解完FEB和FEA模塊后，我們來看一下另一個改變較大的模塊：分解模塊(MOEDecomp)。因為通常觀察到的復雜周期部分是與真實世界中的趨勢相融合的，所以憑借固定窗口的平均池化來提取趨勢會非常困難。本模型為克服這個問題，提出了混合專家分解模塊，它包含一組大小不同的平均過濾器來從輸入信號中提取多個趨勢成分和權重，并將它們組成最終趨勢。FEDformer的主要結構就是這些，它和Autoformer模型最大的區(qū)別點在于：Autoformer是將序列分解為多個時域子序列進行特征提取，而FEDformer是采用頻率變換將序列分解為多個頻域模態(tài)來提取特征，所有的頻率特征都是從整個序列中得出，因此具備更好的全局特性。本文接下來將在CU、IF和T三個品種的主力合約上測試Transformer、Informer、Autoformer和FEDformer四大類模型的預測效果。六、預測結果分析（一）數(shù)據(jù)選擇和處理本文選取滬銅期貨、滬深300股指期貨和十年期國債期貨主力合約為測試標的?？紤]到上市時間，滬銅期貨和滬深300股指期貨數(shù)據(jù)集選用的時間范圍均為2011年1月1日至2022年12月31日，每個合約共2917行數(shù)據(jù)，十年期國債期貨數(shù)據(jù)集選用時間為2015年3月20日至2022年12月31日，共1898行數(shù)據(jù)，將數(shù)據(jù)集劃分為訓練集、驗證集和測試集，其中切割比率為0.8:0.1:0.1。所有測試均使用日頻數(shù)據(jù)，選取各主力合約的開盤價、最高價、最低價、成交量和收盤價作為模型的輸入特征。（二）預測結果評價指標因為本次測試結果涉及多維，因此選用平均絕對誤差(MAE)和均方誤差(MSE)兩種誤差評價指標對模型預測性進行評估，兩種指標的計算公式如下：=1∑|(??)|(公式55)=1=1∑(??)2=1(公式56)其中，為真實值，?為預測值，?為真實值的平均值，m為序列長度。MSE和MAE用來衡量真實值和預測值間的偏差，值越小表明預測誤差越小。（三）模型參數(shù)設置為探究參數(shù)設置對測試結果的影響，分別使用了過去20/40/60個交易日的日頻數(shù)據(jù)對未來5/10/20/40/60個交易日的收盤價進行預測。參考相關論文，Encoder和Decoder部分網(wǎng)絡均設置為兩層，多頭機制部分多頭設置為8，Batch-size設置為32，迭代次數(shù)設置為20，并使用早停機制，當連續(xù)5次迭代輪次的損失值出現(xiàn)增加時停止訓練。因為是對時序預測精度進行判斷，因此選取均方誤差(MSE)作為損失函數(shù)，采用Adam作為優(yōu)化器進行訓練，超參數(shù)使用默認參數(shù)，所有預測結果為隨機訓練三次結果的均值。最后，本文是基于python語言環(huán)境，以PyTorch作為深度學習框架進行訓練和預測。（四）預測結果展示和分析首先，將輸入長度設置為20利用各個模型對CU、IF和T三個品種的主力合約收盤價分別進行預測。我們有以下幾點發(fā)現(xiàn)，第一：幾乎在所有情況下，F(xiàn)EDformer的預測精度都是顯著優(yōu)于其他三個模型的，當輸出長度較短時使用小波增強模塊的FEDformer模型的預測精度高于使用傅里葉增強模塊的FEDformer模型，反之亦然。因此，我們認為使用傅里葉變換將時序從時域轉換到頻域進行判斷能更好地消除噪音，捕捉時序的全局特征，提高模型預測擬合精度。同時，在對短序列進行預測時，通過小波增強模塊捕捉價格位置對時序變化的影響能再次強化模型的預測能力。第二：存在一次Transformer的預測精度優(yōu)于其他模型的情況。我們發(fā)現(xiàn)在預測較短長度的序列時，Transformer模型的預測結果經(jīng)常優(yōu)于Autoformer和Informer模型。此外，由于本次測試是隨機訓練三次，因此發(fā)現(xiàn)除FEDformer外其他三個模型的預測結果都非常不穩(wěn)定，三次預測的結果差別較大。因此，我們認為僅憑時域關系對價格進行預測存在極大偶然性，雖然可能出現(xiàn)某次預測精度較優(yōu)的情況，但預測能力不穩(wěn)定，普適性較差。同時，Transformer模型的計算復雜度雖然高，但在預測較短價格序列時，這一缺點并不明顯，并不會對預測精度造成過多負面影響。第三：預測精度會隨著預測序列長度逐步削弱，尤其在預測長度高于輸入長度后，精度會發(fā)生更明顯滑落，因此我們嘗試通過擴大輸入序列的長度來再次優(yōu)化模型的預測能力。經(jīng)過測試發(fā)現(xiàn)，預測結果并未與預期一致，輸入長度擴大后，不管是預測多久的序列，不同模型的預測精度都被削弱了。同時，除FEDformer外的三個模型在對短序列進行預測時，這種削弱影響會更為明顯。我們仔細考慮后得出以下可能性分析，首先價格序列中噪音成分通常較大，輸入序列越長噪音影響越大。其次，Auto