量化研究報(bào)告：深度學(xué)習(xí)期貨擇時(shí)模型優(yōu)化及應(yīng)用

要點(diǎn)要點(diǎn)深度學(xué)習(xí)近年的迅猛發(fā)展不斷為金融市場(chǎng)提供優(yōu)秀模型，相關(guān)模型也以其優(yōu)異的擬合多步預(yù)測(cè)?；陬A(yù)測(cè)結(jié)果我們應(yīng)用簡(jiǎn)單的交易邏輯進(jìn)行回測(cè)其中，螺紋鋼，Brent原油以及PTA表現(xiàn)相對(duì)較好，達(dá)到年化收益率30%以上。但后期交易算法需進(jìn)行額外優(yōu)化。本篇報(bào)告主要分為四大板塊:后原理。669號(hào)FRMticsfcom2).繼續(xù)上篇報(bào)告深度學(xué)習(xí)模型對(duì)限價(jià)訂單簿的擇時(shí)策略的優(yōu)化:優(yōu)化過(guò)后，Seq2Seqeragebidaskprice80%，同時(shí)對(duì)滯后多期價(jià)格預(yù)測(cè)均能起到較好的預(yù)測(cè)結(jié)果。4).基于上述模型所得到的預(yù)測(cè)結(jié)果，我們將預(yù)測(cè)得到的價(jià)格數(shù)據(jù)進(jìn)行簡(jiǎn)單的交易邏2/17 1 3/17、文本總結(jié)等。以經(jīng)典的機(jī)器翻譯過(guò)程為代表的場(chǎng)景關(guān)預(yù)測(cè)中，輸入為(Batchsize*Timeinterval*Dimension)維度的高維向的這組編碼轉(zhuǎn)化為對(duì)未來(lái)序列信息的預(yù)測(cè)。點(diǎn)的預(yù)測(cè)結(jié)果(漲跌或價(jià)格)，同時(shí)可以在預(yù)測(cè)時(shí)生成其來(lái)價(jià)格序列時(shí)也會(huì)用到前一時(shí)刻點(diǎn)所預(yù)測(cè)的價(jià)格數(shù)據(jù).即Pte=f(P1，ht?1)).4/17認(rèn)知注意力的技術(shù)。這種機(jī)制可以增強(qiáng)神經(jīng)網(wǎng)絡(luò)輸入數(shù)據(jù)中最重要的一小部分。深度學(xué)習(xí)中的注意力機(jī)制則是通過(guò)Q(Query:查詢)，KkeyVValue值)三個(gè)矩陣來(lái)實(shí)現(xiàn)，舉一個(gè)很簡(jiǎn)單的例子:類比推薦系統(tǒng)來(lái)說(shuō)，在零食推薦時(shí)，Q代表某個(gè)人對(duì)口味的喜好信息(比如籍貫、年齡、性求解K和Q在某個(gè)線性空間的相似度得出V中各個(gè)類別的數(shù)值(關(guān)注度)的大一定的潛在關(guān)系的，也就是說(shuō)通過(guò)某種變換，可以使當(dāng)編碼器(Encoder下同)，獲得輸入數(shù)據(jù)時(shí)，同時(shí)產(chǎn)生hidden-state以及算，具體入下圖右側(cè)，當(dāng)解碼器同時(shí)獲得之前，還獲得了額外的信息讓模型自行學(xué)習(xí)應(yīng)該關(guān)注過(guò)去多AttentionSeqSeq入方式5/17定加快，相較于消耗大量計(jì)算資源且不穩(wěn)定的MLP和CNN模型來(lái)說(shuō)，Seq2Seq練到50epochs左右呈現(xiàn)最佳收斂結(jié)果，且模型基本穩(wěn)定在80%左右的準(zhǔn)確率，因此可以在短期內(nèi)保證較ConfusionMatrix匯總/漲跌總體/漲跌79595703607167573064737887126834060646394768949917065780755627592796960217739838763236/17收斂速度上卻存在小幅下降的情況，模型訓(xùn)練集-驗(yàn)證集收斂情況上看:模型在模型準(zhǔn)確率有小幅下降。/漲跌803171967224713668586830.6184.6824.7205742174206402.780971027296.824074860.741271270.63027/17應(yīng)用的分水嶺神經(jīng)網(wǎng)絡(luò)架構(gòu)，但對(duì)之前的序列轉(zhuǎn)導(dǎo)研究進(jìn)行考察是非常有啟發(fā)源序列F={f0，f1…fi…fn}開(kāi)始，其中每個(gè)fi代表從源詞匯中抽取的一個(gè)單獨(dú)i據(jù)的時(shí)空特性以及我們的訴求(基于歷史信息對(duì)未來(lái)價(jià)格ormer8/17經(jīng)網(wǎng)絡(luò)，本部分將對(duì)不同組件進(jìn)行解釋。1)模型中的Attention根據(jù)論文所示:Attention(Q，K，V)=Softmax()V這里的si，j=1j=09/17eadAttentionMulti?ead(Q，K，V)=Concat(?ead1，…….?eadn)wo.?eadi(Q，K，V)=Attention(QwiQ，QwiK，QwiV)KAttention據(jù)。2)Add&NormFeedforward模塊在模型每個(gè)模塊輸出進(jìn)入其他模塊之前都要做Normalization.rd3)DecoderMasked-Attentionentionmask)7值將全部變?yōu)榱?因此可以有效來(lái)自序列當(dāng)天時(shí)點(diǎn)之后的信息.4)PositionalEmbedding置7Transformer所示.模型收斂速度較慢:鑒于模型引入2N個(gè)代sloss下降，準(zhǔn)確率也在逐步提升。根據(jù)AttentionisAllYouNeed一文列述Transformer與其他模型相比，雖然每一層的計(jì)算復(fù)雜度大致相同Transformer:(n2×d)，RNN:(n×k為核大小.由此可見(jiàn)相同空間復(fù)雜度的情況下Transformer的并行機(jī)制相對(duì)7后階數(shù)/漲跌06單簿數(shù)據(jù)的可得性較低以及數(shù)據(jù)體量較大的問(wèn)題，商品量化團(tuán)僅有行情數(shù)據(jù)(開(kāi)盤價(jià)，收盤價(jià)，最高價(jià)，最低價(jià))的期貨品種進(jìn)MAPTATA以及國(guó)際品種:Brent原油(BZ=F)，以及銅(HG=F)報(bào)告選取分析預(yù)測(cè)具體結(jié)果展示如下。(重要提示,鑒于每份,RB,Brent原油擬合表現(xiàn)較好原因部分來(lái)源于訓(xùn)練輪數(shù)超過(guò)77我們判斷預(yù)測(cè)的標(biāo)準(zhǔn)在預(yù)測(cè)值和真實(shí)值之間的相關(guān)性意義預(yù)測(cè)擬合實(shí)際的價(jià)格曲線。例如在2020-2022年能源市場(chǎng)極端行情下Transformer的趨勢(shì)性預(yù)測(cè)。(二)模型后續(xù)應(yīng)用可進(jìn)行資產(chǎn)配置的優(yōu)化以及相關(guān)風(fēng)險(xiǎn)預(yù)警。prediction_pricet+1>prediction_pricet則產(chǎn)生做多信號(hào)，并以第二日開(kāi)盤價(jià)做多,若prediction_pricet+1<prediction_pricet則產(chǎn)生做空信號(hào)以第二日開(kāi)盤價(jià)做空，多空手?jǐn)?shù)在1-3隨機(jī)選擇。本次回測(cè)置滑點(diǎn)成本。7豬除外)，能夠在簡(jiǎn)單的交易邏輯上產(chǎn)生正Transformer模型預(yù)測(cè)的準(zhǔn)確程度微產(chǎn)品回測(cè)結(jié)果匯總nnualizedReturn4%mDrawdownrRatioRatio7在第一篇報(bào)告結(jié)果展示經(jīng)過(guò)對(duì)基礎(chǔ)多層感知機(jī)模型的逐步優(yōu)化可以看出在限價(jià)訂單簿上單獨(dú)對(duì)空間和序列信息抽取都相較于單純的維度變換模型在預(yù)測(cè)準(zhǔn)確率的絕對(duì)值上都未達(dá)到理想效果，本篇報(bào)后是的模型可以自主學(xué)習(xí)和關(guān)注不定長(zhǎng)間隔之前的信息.由此在對(duì)訂單簿價(jià)格的步的表現(xiàn)。簿數(shù)據(jù)(實(shí)行CNN以及相Transformer測(cè)出的價(jià)格序列較為優(yōu)秀的擬合了行情數(shù)據(jù)其格的擬合程度超過(guò)90%?，F(xiàn)階段報(bào)告在特征提取以及神經(jīng)網(wǎng)絡(luò)模型的構(gòu)造上仍然存在明顯缺陷.后期上遷移學(xué)習(xí)。3)基于訂單簿的研究還需涉及對(duì)訂單簿交易模型的深入研究，后期團(tuán)隊(duì)將以及策略。4)適用性上，后期進(jìn)一步優(yōu)化的模型訓(xùn)練方式可以在交易信號(hào)生成以及標(biāo)需要深入研究。網(wǎng)絡(luò)，為市場(chǎng)參與者提供更多有用信息。7告的版權(quán)和/或其他相關(guān)知識(shí)產(chǎn)權(quán)。未經(jīng)中信期發(fā)表、商記及標(biāo)記均為中信期貨有限公司所有或經(jīng)合法授權(quán)被許可使用的商標(biāo)、服務(wù)標(biāo)記及商標(biāo)、區(qū)管轄范圍內(nèi)，本報(bào)告內(nèi)容或其適用與任何政府機(jī)構(gòu)、監(jiān)管機(jī)構(gòu)、自構(gòu)的法律、規(guī)則或規(guī)定內(nèi)容相抵觸，或者中信期貨有限公司未被授權(quán)在當(dāng)?shù)貏?wù)，那么本報(bào)告的內(nèi)容并不意圖提供給這些地區(qū)的個(gè)人或組織，任何個(gè)人或