AI模型如何一箭多雕：多任務(wù)學(xué)習(xí)

多任務(wù)學(xué)習(xí)多任務(wù)學(xué)習(xí)并不是新的機(jī)器學(xué)習(xí)技術(shù)。早在0年，uddrth和ergosen就提出在主任務(wù)外設(shè)置提示任務(wù)從而幫助神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)主任務(wù)7年Caruna在綜述中明確了多任務(wù)學(xué)習(xí)的概念，并分析其有效的原因。7年，uer在綜述中總結(jié)了多任務(wù)學(xué)習(xí)在深度學(xué)習(xí)領(lǐng)域的新進(jìn)展。多任務(wù)學(xué)習(xí)的概念和優(yōu)勢(shì)傳統(tǒng)單任務(wù)學(xué)習(xí)通常只優(yōu)化一個(gè)指標(biāo)，忽略其他相關(guān)任務(wù)的信息。多任務(wù)學(xué)習(xí)利用不同任務(wù)間的關(guān)聯(lián)性，共享信息表征，實(shí)現(xiàn)任務(wù)間的知識(shí)遷移，提高模型的泛化能力。多任務(wù)學(xué)習(xí)在自然語(yǔ)言處（Hashmoto等計(jì)算機(jī)視（bulnbi等和股票預(yù)測(cè)（a和a,22）等領(lǐng)域都獲得了成功。深度神經(jīng)網(wǎng)絡(luò)中實(shí)現(xiàn)多任務(wù)學(xué)習(xí)有兩種常用方式：硬參數(shù)共享和軟參數(shù)共享。硬參數(shù)共享由Carun（提在硬參數(shù)共享架構(gòu)，所有任務(wù)共享底部，不同任務(wù)擁有獨(dú)立的頂部層，通過(guò)共享隱藏層減少過(guò)擬合風(fēng)險(xiǎn)。軟參數(shù)共享中，每個(gè)任務(wù)都有自己的模型和參數(shù)，通過(guò)對(duì)不同模型參數(shù)間的距離進(jìn)行正則化，提高參數(shù)相似性。圖表：多任務(wù)學(xué)習(xí)的硬參數(shù)共享 圖表：多任務(wù)學(xué)習(xí)的軟參數(shù)共享： ：多任務(wù)學(xué)習(xí)從以下幾個(gè)方面提高原始模型的性首先通過(guò)知識(shí)遷移增強(qiáng)對(duì)特征的學(xué)習(xí)多個(gè)任務(wù)可以共享領(lǐng)域知識(shí)，提高模型泛化能力。其次，通過(guò)輔助任務(wù)對(duì)主任務(wù)進(jìn)行正則化，幫助主任務(wù)聚焦于真正重要的特征，減少無(wú)關(guān)信息干擾，降低過(guò)擬合風(fēng)險(xiǎn)。再次，多任務(wù)學(xué)習(xí)可以視作隱式的數(shù)據(jù)增強(qiáng)，能夠有效增加樣本數(shù)量，避免過(guò)擬合。多任務(wù)學(xué)習(xí)的損失加權(quán)方式多任務(wù)學(xué)習(xí)中各任務(wù)損失函數(shù)加權(quán)方式是決定模型表現(xiàn)的關(guān)鍵因素。我們梳理常用的加權(quán)方式如下。endal等（（ncertantyegh，W：利用各任務(wù)的不確定性作為權(quán)。以雙任務(wù)學(xué)習(xí)為例，損失函數(shù)中的1和2分別代表兩項(xiàng)任務(wù)的不確定性，?1??)和?2??)分別代表兩項(xiàng)任務(wù)的損失函數(shù)。任務(wù)的不確定性越大，其損失函數(shù)對(duì)模型更新的貢獻(xiàn)就越小。具體實(shí)現(xiàn)時(shí)，不確定性1和2設(shè)為可更新的參數(shù)，直接由神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。1 1???,1,2)=2??2?1??)+2??2?2??)+log1+log21 2Lu（（dnmceigtaeragW使得不同任務(wù)的學(xué)習(xí)速率盡量保持一致。WA回溯各任務(wù)過(guò)去2期損失函數(shù)值，若-1期相比于-2期升高，則給予該任務(wù)更高的權(quán)重，促進(jìn)該任務(wù)的學(xué)習(xí)。?????1)??????)=

??( ?? )?????1)∑????(

???? )?????1)=??????1)?? ??????2)Chennpati（（eometrcossstratgGLS將各任務(wù)損失函數(shù)值的幾何均值作為總損失。??? =∏? =∏??1Ln等（（rmegtoss，W：直接向不同任務(wù)施加總和為0的隨機(jī)權(quán)重。多任務(wù)學(xué)習(xí)近期研究進(jìn)展硬參數(shù)共享和軟參數(shù)共享是主流的參數(shù)共享機(jī)制近年來(lái)有學(xué)者提出新的多任務(wù)學(xué)習(xí)機(jī)制Msra等（）提出crss-sttch網(wǎng)絡(luò)（十字繡網(wǎng)絡(luò)，使用線性單元學(xué)習(xí)每個(gè)任務(wù)特異性表征的最優(yōu)組合，本質(zhì)是通過(guò)端到端方式使得網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)需要共享的特征。ag和Hospdaes（21）提出張量分解模型，將每層網(wǎng)絡(luò)參數(shù)分解為共享和任務(wù)特異性參數(shù)。Rudr等（）提出suice網(wǎng)絡(luò)（水閘網(wǎng)絡(luò)，糅合硬參數(shù)共享和crosssttch等技術(shù)，能夠?qū)W習(xí)哪些層和子空間應(yīng)該共享，以及網(wǎng)絡(luò)在哪些層學(xué)習(xí)了合適的輸入信息表征。如何學(xué)習(xí)任務(wù)間的關(guān)系也是多任務(wù)學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)a（提出多門專家混合模型（，使用門控機(jī)制捕捉任務(wù)間差異，隱式建模任務(wù)關(guān)系。注意力機(jī)制也被應(yīng)用于多任務(wù)學(xué)習(xí)Zho（使用注意力網(wǎng)絡(luò)靜態(tài)捕捉任務(wù)關(guān)a和a（）提出基于注意力的模型，根據(jù)任務(wù)關(guān)系實(shí)現(xiàn)自適應(yīng)和動(dòng)態(tài)知識(shí)遷移。圖表：roih網(wǎng)絡(luò) 圖表：多門專家混合模型：CrssstitchNetoksrMltitskeig， ：dligTskRlaisipsinltitskLaingithltiateituefEpts，a和a（將多任務(wù)學(xué)習(xí)應(yīng)用于股票預(yù)測(cè)問(wèn)題傳統(tǒng)股票預(yù)測(cè)中通常以單只股票收益率為預(yù)測(cè)目標(biāo)，這種預(yù)測(cè)稱為on-wse預(yù)測(cè)，此時(shí)樣本數(shù)量等于股票數(shù)量與交易日數(shù)量的乘積，由于樣本量較大學(xué)習(xí)相對(duì)容易。另一類預(yù)測(cè)任務(wù)中，會(huì)將單個(gè)交易日全體股票收益率排序?yàn)轭A(yù)測(cè)目標(biāo)，這種預(yù)測(cè)稱為st-wse預(yù)測(cè)，此時(shí)樣本數(shù)量等于交易日數(shù)量由于樣本量較小學(xué)習(xí)相對(duì)困難a和an提出的多任務(wù)股票排序預(yù)測(cè)網(wǎng)絡(luò)中以s-se預(yù)測(cè)為主任務(wù)pn-se預(yù)測(cè)為輔助任務(wù)引入注意力層學(xué)習(xí)任務(wù)間關(guān)系實(shí)現(xiàn)動(dòng)態(tài)知識(shí)遷移。圖表：多任務(wù)學(xué)習(xí)應(yīng)用于股票排序問(wèn)題：StckRakingithltiTaskring，方法本研究在現(xiàn)有周頻中證0指增模型基礎(chǔ)上，引入多任務(wù)學(xué)習(xí)機(jī)制，測(cè)試改進(jìn)效果。主要測(cè)試模型如下其中stl代表單任務(wù)學(xué)mtl代表多任務(wù)學(xué)4和6代表網(wǎng)絡(luò)隱單元損失函數(shù)加權(quán)選取ucertanty兩種方法。

u和dnmceghtaverag（dwa）圖表：主要測(cè)試模型測(cè)試模型學(xué)習(xí)方式隱單元數(shù)多任務(wù)學(xué)習(xí)損失函數(shù)加權(quán)方法l4單任務(wù)-ml_w_4多任務(wù)ctintyweitml_wa64多任務(wù)dnmicigtveael56單任務(wù)-ml_w_56多任務(wù)ctintyweitml_wa26多任務(wù)dnmicigtveae基線模型為全連接神經(jīng)網(wǎng)絡(luò)特征為2個(gè)常規(guī)的基本面和量?jī)r(jià)因子標(biāo)簽為未來(lái)0或個(gè)交易日收益率在截面上的排序，損失函數(shù)為加權(quán)m，以截面?zhèn)€股收益率排序進(jìn)行衰加權(quán)交叉驗(yàn)證方法為單次驗(yàn)證以226個(gè)交易日為訓(xùn)練集2個(gè)交易日為驗(yàn)證集，22*0.5個(gè)交易日為測(cè)試集相當(dāng)于約半年滾動(dòng)訓(xùn)練一次交叉驗(yàn)證配合早停僅用于確定模型的迭代次數(shù)，其余超參數(shù)均為固定值。模型訓(xùn)練環(huán)節(jié)多任務(wù)學(xué)習(xí)采用傳統(tǒng)的硬參數(shù)共享方式同時(shí)設(shè)置單任務(wù)學(xué)習(xí)對(duì)照組MP網(wǎng)絡(luò)結(jié)構(gòu)如下圖，前兩層為任務(wù)共享層，第三層為任務(wù)特異層。單任務(wù)學(xué)習(xí)和多任務(wù)學(xué)習(xí)均給出兩組收益預(yù)測(cè)分別對(duì)應(yīng)未來(lái)0或0個(gè)交易日收益率組合優(yōu)化環(huán)節(jié)采用()10日預(yù)測(cè)、()20日預(yù)測(cè)、(0日預(yù)測(cè)和0日預(yù)測(cè)集（等權(quán)均值分別構(gòu)建中證0指數(shù)增強(qiáng)組合。每個(gè)模型將對(duì)應(yīng)三條回測(cè)凈值。圖表：網(wǎng)絡(luò)結(jié)（以隱單元數(shù)6為例）：模型構(gòu)建方法、選股因子如下列圖表。具體細(xì)節(jié)可參考華泰金工研報(bào)《人工智能：圖經(jīng)網(wǎng)絡(luò)選股的進(jìn)階之路（-0-《人工智能九坤agle量化大賽有哪些啟示（3--3。相比過(guò)往研報(bào)中的模型，我們進(jìn)行三處改進(jìn)：全連接神經(jīng)網(wǎng)絡(luò)的隱單元數(shù)從4擴(kuò)充到。全連接神經(jīng)網(wǎng)絡(luò)的激活函數(shù)由gmod改為更常用的ekReU并刪去批標(biāo)準(zhǔn)化層。隨機(jī)數(shù)種子點(diǎn)由1組改為5組求預(yù)測(cè)值均值。圖表：選股模型構(gòu)建方法步驟參數(shù)參數(shù)值構(gòu)建股票池股票池全A股；剔除上市未滿3個(gè)交易日個(gè)股，剔除ST、*ST、退市整理期個(gè)股；每個(gè)季末截面期，在未停牌個(gè)股中，篩選過(guò)去1年日均成交額和日均總市值均名前%個(gè)股構(gòu)建數(shù)據(jù)集特標(biāo)T日2個(gè)基本面和量?jī)r(jià)因子T+11日相對(duì)于T+1日收盤價(jià)收益率T+1日相對(duì)于T+1日收盤價(jià)收益率因子預(yù)處理特征5倍AD縮尾；zscoe標(biāo)準(zhǔn)化；缺失值填為；不做中性化標(biāo)簽剔除缺失值；截面排序數(shù)標(biāo)準(zhǔn)化訓(xùn)練流程測(cè)試集完整區(qū)間訓(xùn)練、驗(yàn)證、測(cè)試集劃分特殊處理100~22348訓(xùn)練集5*6個(gè)交易日，驗(yàn)證集2*2個(gè)交易日，測(cè)試集6個(gè)交易日；如第1期訓(xùn)練集229~0805，驗(yàn)證集202~0031，測(cè)試集100~2171；第2期訓(xùn)練集002~2066，驗(yàn)證集200~0171，測(cè)試集101~2213剔除訓(xùn)練集、驗(yàn)證集最后0或0個(gè)交易日樣本，防止信息泄露設(shè)置模型網(wǎng)絡(luò)結(jié)構(gòu)全連接神經(jīng)網(wǎng)絡(luò)隱單元數(shù)損失函數(shù)tch學(xué)習(xí)率優(yōu)化器早停次數(shù)隨機(jī)數(shù)種子點(diǎn)4或56加權(quán)ms（根據(jù)收益率衰減加權(quán)）每個(gè)交易日的全體股票視作一個(gè).015組求均值構(gòu)建組合基準(zhǔn)中證0指數(shù)優(yōu)化目標(biāo)最大化預(yù)期收益組合倉(cāng)位1個(gè)股權(quán)重下限0個(gè)股偏離權(quán)重約束%,%]行業(yè)偏離權(quán)重約束%,%]風(fēng)格偏離標(biāo)準(zhǔn)差約風(fēng)格因子調(diào)倉(cāng)周期單次調(diào)倉(cāng)單邊換手率上限%,%]對(duì)數(shù)流通市值（預(yù)處理：5倍AD縮尾，scoe標(biāo)準(zhǔn)化）每5個(gè)交易日成分股權(quán)重約束無(wú)回測(cè)單邊費(fèi)交易價(jià)特殊處.02vwap停牌不買入賣出一字板漲停不買入一字板跌停不賣出其余可交易股票重新分配權(quán)重圖表：選股模型使用的2個(gè)因子類別 名稱 計(jì)算方式估值lf_tmcfptmd12市凈率市盈率TT)凈經(jīng)營(yíng)性現(xiàn)金流TT)近2日股息率預(yù)期cnpsgcno_gcnpg一致預(yù)期EPS(F1)近3日增長(zhǎng)率一致預(yù)期ROEFY近3日增長(zhǎng)一致預(yù)期歸母凈利潤(rùn)(F1近3日增長(zhǎng)率反轉(zhuǎn)tdtmep_trtunm近5日區(qū)間收益率近1日區(qū)間收益率近3日收益率以換手率指數(shù)衰減加權(quán)波動(dòng)率st_mvst_mivfffcto_m收益率近1日標(biāo)準(zhǔn)差成交量近1日標(biāo)準(zhǔn)差殘差收益率（收益率對(duì)萬(wàn)得全A、市值、BP因子收益率回歸）近1日標(biāo)準(zhǔn)差換手率trmsttr_mias_tu_m換手率近1日均值換手率近1日標(biāo)準(zhǔn)差換手率近1日均值近4日均值日間技術(shù)st_t1dstvl_0dsttr_0dcrrt_closecrrt_pncrrt_ighcrrtlowcrrt_vapcrrt_vlcrrt_tuncrvl_clsecrvl_oencrvl_ihcrvl_lowcrvl_vwap收益率近0日標(biāo)準(zhǔn)差成交量近0日標(biāo)準(zhǔn)差換手率近0日標(biāo)準(zhǔn)差收益率和收盤價(jià)近0日相關(guān)系數(shù)收益率和開(kāi)盤價(jià)近0日相關(guān)系數(shù)收益率和最高價(jià)近0日相關(guān)系數(shù)收益率和最低價(jià)近0日相關(guān)系數(shù)收益率和均價(jià)近0日相關(guān)系數(shù)收益率和成交量近0日相關(guān)系數(shù)收益率和換手率近0日相關(guān)系數(shù)成交量和收盤價(jià)近0日相關(guān)系數(shù)成交量和開(kāi)盤價(jià)近0日相關(guān)系數(shù)成交量和最高價(jià)近0日相關(guān)系數(shù)成交量和最低價(jià)近0日相關(guān)系數(shù)成交量和均價(jià)近0日相關(guān)系數(shù)日內(nèi)技術(shù)loihvwapclosekmidklenkmid2kpk2klowklo2ksftksf2lo/ihvwa/closeclosoe/pniglo/pnclosoe/ihlow)ig-et(p,clos)/onig-et(p,clos)/(ighlow)lesspn,cls)low/oenlesspn,cls)low/(iglow)*clos-ighlow/en*clos-ighlow/iglo)資料來(lái)源：朝陽(yáng)永續(xù)，結(jié)果本研究主要測(cè)試模型因子評(píng)價(jià)指標(biāo)及回測(cè)績(jī)效如下列圖表。核心結(jié)論如下：多任務(wù)學(xué)習(xí)的加權(quán)RakIC均值和信息比率均優(yōu)于單任務(wù)學(xué)習(xí)。模型規(guī)模擴(kuò)大，多任務(wù)相比單任務(wù)學(xué)習(xí)的優(yōu)勢(shì)隨之?dāng)U大。從子任務(wù)預(yù)測(cè)值集成模型上看，多任務(wù)相比單任務(wù)學(xué)習(xí)的優(yōu)勢(shì)在時(shí)序上較穩(wěn)定。圖表：主要測(cè)試模型合成因子評(píng)價(jià)指標(biāo)回測(cè)期4至）C均RanIC

加權(quán)

加權(quán)RaIC

加權(quán) 加權(quán)op組精Btm組精op組年化Btm組年化多空對(duì)沖年化

基準(zhǔn)收值 值 均

均值ICIR

ICIRRanICIR 確

確率 收益

收益

收益率 益率0日預(yù)測(cè)l4.%.%.%.%.88.03.74.91.%.%.%0.%.%.%ml_w_4.%.%.%.%.87.03.73.91.%.%.%0.%.%.%ml_wa64.%.%.%.%.87.03.73.90.%.%.%0.%.%.%l56.%.%.%.%.89.03.75.91.%.%.%1.%.%.%ml_w_56.%.%.%.%.90.05.76.93.%.%.%1.%.%.%ml_wa26.%.%.%.%.90.05.76.93.%.%.%1.%.%.%0日預(yù)測(cè)l4.%.%.%.%.4.%.%.%0.%.%.%ml_w_4.%.%.%.%.82.00.67.87.%.%.%0.%.%.%ml_wa64.%.%.%.%.82.00.67.87.%.%.%0.%.%.%l56.%.%.%.%.6.%.%.%0.%.%.%ml_w_56.%.%.%.%.84.01.69.89.%.%.%1.%.%.%ml_wa26.%.%.%.%.84.01.69.89.%.%.%1.%.%.%0日預(yù)測(cè)與0日預(yù)測(cè)集成l4.%.%.%.%.84.01.69.87.%.%.%0.%.%.%ml_w_4.%.%.%.%.85.02.70.89.%.%.%0.%.%.%ml_wa64.%.%.%.%.85.02.70.89.%.%.%0.%.%.%l56.%.%.%.%.86.01.72.88.%.%.%1.%.%.%ml_w_56.%.%.%.%.87.04.73.91.%.%.%1.%.%.%ml_wa26.%.%.%.%.87.03.72.91.%.%.%1.%.%.%資料來(lái)源：朝陽(yáng)永續(xù)，圖表：全部測(cè)試模型回測(cè)績(jī)效（回測(cè)期4至，基準(zhǔn)中證0指數(shù)）年化收益

年化波動(dòng)夏普

最大回Camr比年化超額收益年化跟蹤誤信息比超額收益最大

超額收益Camr相對(duì)基準(zhǔn)月勝年化雙邊換手率 率 率 撤

率 差 率 0日預(yù)測(cè)

比率 率 率l4ml_w_4ml_wa64l56ml_w_56ml_wa26l4ml_w_4ml_wa64l56ml_w_56ml_wa26

.%.% .66.% .2.%.3.25.52.%.%.%.%.%.8%.45.2%.3%.3%.6%.3%.4%.%.%.%.%.%.%.%.% .66.% .36.%.% .73.% .41.%.% .71.% .38.%.% .72.% .2.6%.%.2%.1%.7%.6%.1%.56.1%.1%.0%.3%.0%.0%.%.%.%.%.%.%.%.% .70.% .38.%.% .70.% .38.%.% .71.% .39.%.% .75.% .42.%.% .73.% .41

.8.520日預(yù)測(cè).9.640日預(yù)測(cè)與0日預(yù)測(cè)集成

.% .7.% .7.% .5.% .4.% .6.% .3.% .1.% .5.% .1.% .6.% .3.% .9l4.%.%.73.%.40.%.1%.74.1%.86.% .3ml_w_4.%.%.70.%.39.%.2%.58.%.58.% .2ml_wa64.%.%.69.%.37.%.2%.52.%.36.% .0l56.%.%.72.%.40.%.3%.60.%.64.% .2ml_w_56.%.%.72.%.39.%.2%.67.9%.87.% .6ml_wa26.%.%.75.%.41.%.2%.77.6%.01.% .4資料來(lái)源：朝陽(yáng)永續(xù)，多任務(wù)學(xué)習(xí)在因子測(cè)試和組合回測(cè)上均優(yōu)于單任務(wù)學(xué)習(xí)首先考察隱單元數(shù)為6時(shí)，各模型合成因子測(cè)試和指增組合回測(cè)表現(xiàn)，觀察可知：多任務(wù)學(xué)習(xí)mt_u_256和mtdw_256的加權(quán)RankIC均值和信息比率均優(yōu)于單任務(wù)學(xué)習(xí)st。多任務(wù)學(xué)習(xí)的優(yōu)勢(shì)既分別體現(xiàn)在0日預(yù)測(cè)和0日預(yù)測(cè)兩個(gè)子任務(wù)上，又體現(xiàn)在兩預(yù)測(cè)值集成上。w和da兩類多任務(wù)學(xué)習(xí)加權(quán)方式表現(xiàn)接近。對(duì)比不同預(yù)測(cè)任務(wù)，加權(quán)akIC均值：集成0日預(yù)測(cè)≈0日預(yù)測(cè)；信息比率：集成≈0日預(yù)測(cè)10日預(yù)測(cè)。總體而言，集成多任務(wù)預(yù)測(cè)結(jié)果或能帶來(lái)穩(wěn)定提升。stl_56加權(quán)RkC均值mtluw_26 mtldwa_56圖表：stl_56加權(quán)RkC均值mtluw_26 mtldwa_56.%

.9

ssl_56mluw26mldw_56.%

.8.%

.7.6.%

.5.%

日預(yù)測(cè)

日預(yù)測(cè)

日預(yù)測(cè)與日預(yù)集成

.4

日預(yù)測(cè)

日預(yù)測(cè)

日預(yù)測(cè)與日預(yù)測(cè)成：朝陽(yáng)永續(xù)， ， ：朝陽(yáng)永續(xù)， ，模型規(guī)模擴(kuò)大，多任務(wù)相比單任務(wù)學(xué)習(xí)的優(yōu)勢(shì)隨之?dāng)U大對(duì)比隱單元數(shù)為4和6時(shí)各模型表現(xiàn)。從合成因子測(cè)試加權(quán)RankIC均值看：隱單元數(shù)6整體優(yōu)于隱單元數(shù)，表明擴(kuò)大參數(shù)規(guī)?；蚰芴嵘Ｐ托阅堋ｋ[單元數(shù)為4時(shí)多任務(wù)學(xué)習(xí)加權(quán)RankIC均值同樣優(yōu)于單任務(wù)學(xué)習(xí)但隱單元數(shù)的多任務(wù)學(xué)習(xí)，表現(xiàn)也僅僅和隱單元數(shù)6的單任務(wù)學(xué)習(xí)接近。圖表：測(cè)試模型加權(quán)nIC均值（隱元數(shù)為4或）.%

加權(quán)RakC均值stl_4 mtluw_64 mtldwa_4 stl_56 mtluw_26 mtldwa_56.%.%.%.%.%

日預(yù)

日預(yù)測(cè)

日預(yù)測(cè)與日預(yù)測(cè)集成：朝陽(yáng)永續(xù)， ，從指增組合回測(cè)信息比率看：隱單元數(shù)為4時(shí)，多任務(wù)學(xué)習(xí)相比單任務(wù)學(xué)習(xí)沒(méi)有顯著優(yōu)勢(shì)，尤其是0日預(yù)測(cè)與日預(yù)測(cè)集成時(shí)，單任務(wù)學(xué)習(xí)st4反而優(yōu)于兩類多任務(wù)學(xué)習(xí)模型。隨著模型規(guī)模擴(kuò)大多任務(wù)學(xué)習(xí)相比單任務(wù)學(xué)習(xí)的優(yōu)勢(shì)體現(xiàn)更為充分直觀地看參數(shù)量較少時(shí)，模型擬合能力有限，各類任務(wù)可能“顧此失彼。多任務(wù)相互兼容或需以相對(duì)大的網(wǎng)絡(luò)規(guī)模為前提。圖表：測(cè)試模型信息比率（隱單元數(shù)為4或）.9

信息比率stl_4 mtluw_64 mtldwa_4 stl_56 mtluw_26 mtldwa_.5.4.3

日預(yù)

0日預(yù)測(cè)

日預(yù)測(cè)與日預(yù)測(cè)集成：朝陽(yáng)永續(xù)， ，多任務(wù)相比單任務(wù)學(xué)習(xí)優(yōu)勢(shì)的時(shí)間分布：集成模型較穩(wěn)定多任務(wù)學(xué)習(xí)相比單任務(wù)學(xué)習(xí)的優(yōu)勢(shì)在時(shí)序上是否穩(wěn)定？以隱單元數(shù)6為例，統(tǒng)計(jì)這兩任務(wù)累計(jì)加權(quán)RakC值之差，如下圖所示，結(jié)果表明：0日預(yù)測(cè)多任務(wù)學(xué)習(xí)的優(yōu)勢(shì)僅集中體現(xiàn)在0年下半年至3年3月區(qū)間其余時(shí)間兩類任務(wù)表現(xiàn)接近。0日預(yù)測(cè)多任務(wù)學(xué)習(xí)的優(yōu)勢(shì)僅集中體現(xiàn)在1年至5年上半年區(qū)間其余時(shí)間兩類任務(wù)表現(xiàn)接近。0日預(yù)測(cè)與0日預(yù)測(cè)集成：融合0日預(yù)測(cè)和0日預(yù)測(cè)的特點(diǎn)，多任務(wù)學(xué)習(xí)的優(yōu)勢(shì)在時(shí)序上分布更均勻，僅在21年下半年、9年下半年、0年上半年出現(xiàn)連續(xù)且幅度較大的回撤，其余時(shí)間多任務(wù)學(xué)習(xí)整體優(yōu)于單任務(wù)學(xué)習(xí)。圖表：多任務(wù)與單任務(wù)學(xué)習(xí)累計(jì)加權(quán)IC均值差（0日預(yù)測(cè)） 圖表：多任務(wù)與單任務(wù)學(xué)習(xí)累計(jì)加權(quán)IC均值差（0日預(yù)測(cè)）3累計(jì)加權(quán)Ra累計(jì)加權(quán)RakC均值之差101)01010-4

mtlmtluw_26-stl26mtldwa_56-sl_56

7累計(jì)加權(quán)Ra累計(jì)加權(quán)RakC均值之差54321001010-4

mtlmtluw26-stl26mtldwa_56-sl_56020-4030-4040-405020-4030-4040-4050-4060-4070-4080-4090-4000-4010-4020-4030-4020-4030-4040-4050-4060-4070-4080-4090-4000-4010-4020-4030-4圖表：多任務(wù)與單任務(wù)學(xué)習(xí)累計(jì)加權(quán)IC均值差（0日預(yù)測(cè)與0日預(yù)測(cè)集成）日預(yù)測(cè)與日預(yù)測(cè)集成 mtluw_26-stl26mtldwa_56-sl_564累計(jì)加權(quán)Ra累計(jì)加權(quán)RakC均值之差21001010-4010-4020-4020-4030-4030-4040-4040-4050-4050-4060-4060-4070-4070-4080-4080-4090-4090-4000-4000-4010-4010-4020-4020-4030-4：朝陽(yáng)永續(xù)， W類似地，統(tǒng)計(jì)這兩類任務(wù)累計(jì)超額收益之差，如下圖所示。從0日預(yù)測(cè)、0日預(yù)測(cè)和成的超額收益看，多任務(wù)學(xué)習(xí)相比單任務(wù)學(xué)習(xí)的優(yōu)勢(shì)在時(shí)序上并不穩(wěn)定。多任務(wù)學(xué)習(xí)在加權(quán)RankIC上體現(xiàn)出的改進(jìn)效果，經(jīng)過(guò)組合優(yōu)化后，很難完全體現(xiàn)在超額凈值上。圖表：多任務(wù)與單任務(wù)學(xué)習(xí)累計(jì)超額收差（0日預(yù)測(cè)） 圖表：多任務(wù)與單任務(wù)學(xué)習(xí)累計(jì)超額收差（0日預(yù)測(cè)）

mtlmtluw_26-stl26mtldwa_56-sl_56

0%

日預(yù)測(cè)累計(jì)超額收益之累計(jì)超額收益之差1%2%3%01010-4

0%mtluw_2mtluw_26-stl26mtldwa_56-sl_56累計(jì)超額收益之差 14020-4030-4040-4050-4060-4070-4080-4090-4000-4010-4020-4030-4020-4030-4040-4050-40020-4030-4040-4050-4060-4070-4080-4090-4000-4010-4020-4030-4：朝陽(yáng)永續(xù)， ，

注：回測(cè)期0-14至0-428，基準(zhǔn)為中證50指數(shù)：朝陽(yáng)永續(xù)， ，圖表：多任務(wù)與單任務(wù)學(xué)習(xí)累計(jì)超額收差（0日預(yù)測(cè)與0日預(yù)測(cè)集成） ml mluw26-sl26mldw_56-sl_560%0%0%累計(jì)超額收益之累計(jì)超額收益之差0%1%2%01010-4010-4020-4020-4030-4030-4040-4040-4050-4050-4060-4060-4070-4070-4080-4080-4090-4090-4000-4000-4010-4010-4020-4020-4030-4注：回測(cè)期0-14至0-428，基準(zhǔn)為中證50指數(shù)：朝陽(yáng)永續(xù)， W繼續(xù)擴(kuò)大規(guī)模：合成因子ankIC提升，指增組合信息比率下滑當(dāng)隱單元數(shù)從4擴(kuò)大至6時(shí)我們觀察到合成因子加權(quán)RakIC和指增組合信息比率均有提升。繼續(xù)將隱單元數(shù)擴(kuò)大至4，合成因子測(cè)試和指增組合回測(cè)結(jié)果如下圖所示：隱單元數(shù)為4時(shí)，合成因子加權(quán)RankC均值顯著提升，并且多任務(wù)學(xué)習(xí)mt__124和mtda_124優(yōu)于單任務(wù)學(xué)習(xí)st。但與此同時(shí)，指增組合信息比率下降，且多任務(wù)相比單任務(wù)學(xué)習(xí)的優(yōu)勢(shì)大幅削弱。單純從I因子合成這步看()擴(kuò)大模型規(guī)模和(引入多任務(wù)學(xué)習(xí)仍有改進(jìn)效果但這兩項(xiàng)改進(jìn)無(wú)法體現(xiàn)在指增組合優(yōu)化上。這也印證了我們?cè)凇度斯ぶ悄埽壕爬gle量化大賽有哪些啟示（--3）提到的因子合成和組合優(yōu)化錯(cuò)配問(wèn)題，本文仍無(wú)法解決。圖表：測(cè)試模型加權(quán)nIC均值（隱元數(shù)為、6或）0.3%0.2%0.1%0.0%.%.%.%.%.%.%.%

加權(quán)RakC均值stl_4 mtluw_64 mtldwa_4 stl_56 mtluw_26mmtldw_56stl_04mtluw_124mtldwa_04日預(yù)測(cè) 日預(yù)測(cè) 日預(yù)測(cè)與日預(yù)測(cè)集成：朝陽(yáng)永續(xù)， ，圖表：測(cè)試模型信息比率（隱單元數(shù)為、6或）信息比率stl_4 mtluw_64 mtldwa_4 stl_56 mtluw_26mlmldw_56sl_04mluw124mldw_0.

日預(yù)

日預(yù)測(cè)

日預(yù)測(cè)與日預(yù)測(cè)集成：朝陽(yáng)永續(xù)， ，預(yù)測(cè)值相關(guān)性分析：多任務(wù)學(xué)習(xí)內(nèi)部相關(guān)性更高以隱單元數(shù)為6為例，統(tǒng)計(jì)各模型預(yù)測(cè)值相關(guān)性，方法為逐日計(jì)算相關(guān)系數(shù)矩陣，再日期求均值，如下表所示：各模性內(nèi)部相關(guān)性較高，相關(guān)系數(shù)均在5以上。觀察每組模型內(nèi)部，0日預(yù)測(cè)與0日預(yù)測(cè)相關(guān)性，單任務(wù)學(xué)習(xí)st6為0.954，多任務(wù)學(xué)習(xí)mt_w_26和m_dwa_256均為。多任務(wù)學(xué)習(xí)內(nèi)部相關(guān)性更高。未來(lái)0日收益率包含于未來(lái)0日收益率，理論上兩者預(yù)測(cè)值相關(guān)性應(yīng)較高。多任務(wù)學(xué)中，0日預(yù)測(cè)和0日預(yù)測(cè)兩個(gè)子任務(wù)協(xié)同訓(xùn)練，因此相關(guān)性較單任務(wù)學(xué)習(xí)更高。圖表：測(cè)試模型預(yù)測(cè)值相關(guān)性（隱單元為）l56 ml_w_56 ml_wa260日預(yù)測(cè)0日預(yù)測(cè)集成0日預(yù)測(cè)0日預(yù)測(cè)集成0日預(yù)測(cè)0日預(yù)測(cè) 集成l560日預(yù)測(cè)6.98.970日預(yù)測(cè).97.94集成.96.902ml_w_560日預(yù)測(cè).97.96.90.97.930日預(yù)測(cè).0.95集成.3.90ml_wa260日預(yù)測(cè).0.97.931.97.930日預(yù)測(cè).7.00.95.971.95集成.3.95.00.93.951資料來(lái)源：朝陽(yáng)永續(xù)，總結(jié)本研究介紹多目標(biāo)學(xué)習(xí)基本概念，并將多目標(biāo)學(xué)習(xí)應(yīng)用于量化選股場(chǎng)景。采用基礎(chǔ)的硬參數(shù)共享機(jī)制，訓(xùn)練全連接神經(jīng)網(wǎng)絡(luò)同時(shí)預(yù)測(cè)未來(lái)0日和0日收益率排序，兩項(xiàng)任務(wù)的失函數(shù)采用ucertantyweigt或dnamceghtaerae方式加權(quán)結(jié)果表明多任務(wù)學(xué)習(xí)的合成因子測(cè)試和指增組合回測(cè)指標(biāo)均優(yōu)于單任務(wù)學(xué)習(xí)；模型規(guī)模擴(kuò)大，多任務(wù)學(xué)習(xí)的優(yōu)勢(shì)隨之?dāng)U大從子任務(wù)預(yù)測(cè)集成模型看多任務(wù)相比單任務(wù)學(xué)習(xí)的優(yōu)勢(shì)在時(shí)序上較穩(wěn)定傳統(tǒng)I預(yù)測(cè)問(wèn)題對(duì)模型的定位是“專才”每個(gè)模型對(duì)應(yīng)唯一預(yù)測(cè)目標(biāo)執(zhí)行某項(xiàng)特定功能，這種學(xué)習(xí)機(jī)制稱為單任務(wù)學(xué)習(xí)然而無(wú)論人類還是“通才”更符合人們對(duì)智能的期待。例如我們面對(duì)人臉可以同時(shí)識(shí)別性別和年齡，大語(yǔ)言模型既可以對(duì)話又可以寫(xiě)代碼。多任務(wù)學(xué)習(xí)正是為訓(xùn)練通才這一目標(biāo)提出的學(xué)習(xí)機(jī)制，每個(gè)模型對(duì)應(yīng)多個(gè)預(yù)測(cè)目標(biāo)，同時(shí)學(xué)習(xí)多項(xiàng)任務(wù)。多任務(wù)學(xué)習(xí)機(jī)制符合直觀理解，如識(shí)別性別和年齡的任務(wù)，可能基于相近的臉部特征，可使用相同網(wǎng)絡(luò)參數(shù)；學(xué)習(xí)英語(yǔ)的同時(shí)學(xué)習(xí)德語(yǔ)，由于歸屬相同語(yǔ)系，可能“觸類旁通，學(xué)習(xí)效率更高。多任務(wù)學(xué)習(xí)利用任務(wù)間關(guān)聯(lián)性，共享信息表征，實(shí)現(xiàn)知識(shí)遷移，提高泛化能力。有兩種常用架構(gòu)：(1硬參數(shù)共享，各任務(wù)底部層共享，頂部層獨(dú)立；(2)軟參數(shù)共享，各任務(wù)有獨(dú)立的模型和參數(shù)，通過(guò)正則化提高參數(shù)相似性。多任務(wù)學(xué)習(xí)有效的原因：(1)知識(shí)遷移增強(qiáng)特征學(xué)習(xí)；(2)輔助任務(wù)對(duì)主任務(wù)進(jìn)行正則化，幫助主任務(wù)聚焦于真正重要的特征，減少無(wú)關(guān)信息干擾；(3)可視作隱式的數(shù)據(jù)增強(qiáng)，有效增加樣本數(shù)量，避免過(guò)擬合。各任務(wù)損失加權(quán)方式是決定模型表現(xiàn)的關(guān)鍵因素，常用方法如、dw、gs、rw等。在現(xiàn)有周頻中證0指增模型基礎(chǔ)上，引入多任務(wù)學(xué)習(xí)機(jī)制，測(cè)試改進(jìn)效果?；€模型為P網(wǎng)絡(luò)，特征為常規(guī)的基本面和量?jī)r(jià)因子。多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)前兩層為任務(wù)共享層，第三層為任務(wù)特異層，采用傳統(tǒng)的硬參數(shù)共享，使用w或da方式進(jìn)行損失函數(shù)加權(quán)，同時(shí)設(shè)置單任務(wù)學(xué)習(xí)對(duì)照組。單任務(wù)學(xué)習(xí)和多任務(wù)學(xué)習(xí)均給出兩組收益預(yù)測(cè)，分別對(duì)應(yīng)未來(lái)或0個(gè)交易日收益率。組合優(yōu)化采用(1)10日預(yù)測(cè)、2)20日預(yù)測(cè)、(3)10日預(yù)測(cè)和0日預(yù)測(cè)等權(quán)集成，分別構(gòu)建中證0指數(shù)增強(qiáng)組合。測(cè)試結(jié)果表明：隱單元數(shù)為6時(shí)，多任務(wù)學(xué)習(xí)的加權(quán)RankIC均值和信息比率均優(yōu)于任務(wù)學(xué)習(xí)，優(yōu)勢(shì)既分別體現(xiàn)在0日預(yù)測(cè)和0日預(yù)測(cè)兩個(gè)子任務(wù)上，又體現(xiàn)在兩者預(yù)測(cè)值集成上，集成多任務(wù)預(yù)測(cè)值整體優(yōu)于單獨(dú)使用子任務(wù)預(yù)測(cè)值。對(duì)比不同隱單元數(shù)的模型表現(xiàn)，隨著模型規(guī)模擴(kuò)大，多任務(wù)相比單任務(wù)學(xué)習(xí)的優(yōu)勢(shì)體現(xiàn)更充分，多任務(wù)相互兼容或需以相對(duì)大的網(wǎng)絡(luò)規(guī)模為前提。多任務(wù)學(xué)習(xí)中，0日和0日收益率預(yù)測(cè)兩個(gè)子任務(wù)協(xié)同訓(xùn)練，兩者相關(guān)性較單任務(wù)學(xué)習(xí)更高。本研究存在以下未盡之處(1)任務(wù)設(shè)置以預(yù)測(cè)不同區(qū)間收益率作為子任務(wù)其他如分類回歸收益率夏普比率等任務(wù)有待測(cè)試(2加權(quán)方式以w和da作為損失函數(shù)加權(quán)方式，其他如gs、rw等加權(quán)方式有待測(cè)試；(3)學(xué)習(xí)機(jī)制：以硬參數(shù)共享作為學(xué)習(xí)機(jī)制，其他如軟參數(shù)共享、注意力等機(jī)制有待探索；(4)本研究發(fā)現(xiàn)隱單元數(shù)擴(kuò)大至4且采用多任務(wù)學(xué)習(xí)時(shí)合成因子RakIC大幅提升但指增組合表現(xiàn)下滑如何解決因子合成和組合優(yōu)化錯(cuò)配問(wèn)題有待探索。參考文獻(xiàn)bdulnb,.H.,Wag,.,L,J.,&Jia,K.(215).Mti-taskCNNmoelforatrbutepredcton.IEEErasactonsonMutmea,1(1),199–159Caruna,R..(199).Muttaskernng.achneLernng,28(1),1-Chennpat,.,stu,G.,ogma,.,&Rawasheh,...(201).Mutnt+:mut-stremfetureaggregtionandgemetrcossstratgyformut-taskernn.IE.Hashmot,.,Xong,C.,suruoka,.,&oche,R.(21).Ajontmany-taskmoe:GrownganeralnetorkfrmutpeNLPtasks.rXvpreprintarXi:161.058.enda,.,Ga,.,&Cpola,R..(217).Muti-askLarnngUsingUncertantytoWghLssesforceeGemetryadematcs.arX,1.10/CVR.208.0071.Ln,.,Feiang,..,Zhng,.,&sag,I.(202).ReasonalefectenssofRandomWegtn:ALitmusestforMti-akLarnng.rasactosonMchneLarnngReserch.Lu,.,Jons,.,&Davso,.J..(208).End--endmuti-taskerningwthatenton.M,J.,Zhao,Z.,,X.,Chen,J.,Hong,L.,&Ch,.H.(218).Moeingtaskreatoshpsinmuti-taskerningwithmut-gatemxture-f-exprts.Inroceedinsfthe2thCMIGDDntrnationalcoferenceonknededscovery&datamnng(p.130–139).ACM.M,.,&a,.(202b).Adptveanddnamcknwlegetransfernmuttaskerningwthatentionntworks.In.a,.h,&M.uba(ds.),Commucatosncmpteradnformatonscece:vo.124,Dat