機(jī)器學(xué)習(xí)在投資中的應(yīng)用學(xué)習(xí)教案

1、會計學(xué)1機(jī)器機(jī)器(j q)學(xué)習(xí)在投資中的應(yīng)用學(xué)習(xí)在投資中的應(yīng)用第一頁，共18頁。機(jī)器學(xué)習(xí)的應(yīng)用(yngyng)場景01物理世界傳感器3D建模機(jī)器(j q)學(xué)習(xí) 高性能計算(j sun)理解決策感知智能硬件機(jī)器人自動駕駛探索發(fā)現(xiàn)3D打印搜索廣告證券互聯(lián)網(wǎng)索引知識人人機(jī)交互第1頁/共17頁第二頁，共18頁。機(jī)器學(xué)習(xí)(xux)的演進(jìn)過程是問題驅(qū)動、循環(huán)上升的01Linear / Non-Linear RegressionPerceptionLogistic RegNB ClassifierNearestNeighborsDecisionTreeNeural Network 1900s 1960s 1

2、980s - 1990s 1990s - Now 高 計算量需求計算量需求 低SVMRandomForestCNN / RNNDeep Learning垃圾郵件識別垃圾郵件識別(shbi)信用卡審批信用卡審批二分二分/多分問題多分問題推薦系統(tǒng)推薦系統(tǒng)用戶分類用戶分類醫(yī)學(xué)醫(yī)學(xué)(yxu)輔助判斷輔助判斷相對復(fù)雜的分類問題相對復(fù)雜的分類問題語音語音/人臉人臉/圖像識別圖像識別用戶畫像用戶畫像/衣食住行衣食住行高度復(fù)雜的決策問題高度復(fù)雜的決策問題第2頁/共17頁第三頁，共18頁。機(jī)器(j q)學(xué)習(xí)在金融領(lǐng)域的應(yīng)用已覆蓋風(fēng)控、智能理財和投資01風(fēng)險風(fēng)險(fngxin)控制：信貸風(fēng)險控制：信貸風(fēng)險(fng

3、xin)、欺詐風(fēng)險、欺詐風(fēng)險(fngxin)、運(yùn)營風(fēng)險、運(yùn)營風(fēng)險(fngxin)數(shù)據(jù)維度和量級的提升，使得機(jī)器學(xué)習(xí)能更精準(zhǔn)的識別風(fēng)險數(shù)據(jù)維度和量級的提升，使得機(jī)器學(xué)習(xí)能更精準(zhǔn)的識別風(fēng)險(fngxin)智能化理財服務(wù)：智能投顧、個性化資產(chǎn)配置建議智能化理財服務(wù)：智能投顧、個性化資產(chǎn)配置建議用戶行為數(shù)據(jù)的不斷豐富，使更了解客戶需求的智能理財服務(wù)成為可能用戶行為數(shù)據(jù)的不斷豐富，使更了解客戶需求的智能理財服務(wù)成為可能量化投資：自動交易策略、新量化因子的挖掘、多因子模型的改進(jìn)量化投資：自動交易策略、新量化因子的挖掘、多因子模型的改進(jìn)量化投資領(lǐng)域是機(jī)器學(xué)習(xí)技術(shù)一個非常天然的應(yīng)用場景量化投資領(lǐng)域是機(jī)器學(xué)習(xí)技

4、術(shù)一個非常天然的應(yīng)用場景第3頁/共17頁第四頁，共18頁。量化投資是機(jī)器學(xué)習(xí)的天然應(yīng)用(yngyng)場景01存在隱含(yn hn)模式無法簡單(jindn)表達(dá)有足夠數(shù)據(jù)存在系統(tǒng)性影響股價走勢的關(guān)鍵因素?zé)o法表達(dá)或遍歷所有的投資模式有多種時間維度多個市場的歷史數(shù)據(jù)機(jī)器學(xué)習(xí)的先決條件證券投資的現(xiàn)實(shí)問題第4頁/共17頁第五頁，共18頁。百度互聯(lián)網(wǎng)證券部應(yīng)運(yùn)而生，成為專注(zhunzh)于證券業(yè)務(wù)的科技團(tuán)隊(duì)026百度首個投資類垂直領(lǐng)域?qū)I(yè)團(tuán)隊(duì)ToC產(chǎn)品：百度股市通機(jī)構(gòu)產(chǎn)品：大數(shù)據(jù)、策略合作2015年，百度互聯(lián)網(wǎng)證券事業(yè)部成立，專注(zhunzh)于證券業(yè)務(wù)。同時組建金融工程組和數(shù)據(jù)挖掘組，深挖百度大

5、數(shù)據(jù)的投資價值第5頁/共17頁第六頁，共18頁。我們從基礎(chǔ)數(shù)據(jù)、投資因子和量化模型三個方面(fngmin)著手研究02基礎(chǔ)數(shù)據(jù)非結(jié)構(gòu)化+結(jié)構(gòu)化數(shù)據(jù) 搜索數(shù)據(jù)（query、流量、點(diǎn)擊、session） 全網(wǎng)網(wǎng)頁數(shù)據(jù)/財經(jīng)新聞 UGC數(shù)據(jù)（股吧、雪球） 交易所數(shù)據(jù) 公告及券商研究報告 其它結(jié)構(gòu)化數(shù)據(jù)/數(shù)據(jù)庫股票知識圖譜投資因子對個股股價有影響的關(guān)鍵信息結(jié)構(gòu)化存儲 例如，公司產(chǎn)品、股東、行業(yè)上下游等相關(guān)信息生成獨(dú)有因子，并對傳統(tǒng)因子進(jìn)行增強(qiáng) 獨(dú)有情緒、關(guān)注度因子 獨(dú)有各類預(yù)期因子（重組、并購、分紅等） 機(jī)器增強(qiáng)的波動、成長、動量、財務(wù)因子等數(shù)據(jù)挖掘量化模型策略實(shí)驗(yàn)基于機(jī)器學(xué)習(xí)的因子綜合和參數(shù)調(diào)整更智

6、能的組合配權(quán)方式及專門針對大數(shù)據(jù)的評估體系完全使用機(jī)器學(xué)習(xí)模型定義投資問題策略效果回測自動化、流程化、模塊化策略輸出多因子選股CTA擇時機(jī)器學(xué)習(xí)模型策略第6頁/共17頁第七頁，共18頁。隨著非結(jié)構(gòu)化數(shù)據(jù)增加及可獲取難度的提高，機(jī)器處理的優(yōu)勢(yush)日漸顯現(xiàn)02特點(diǎn)：容易獲取、分析舉例：交易數(shù)據(jù)、財務(wù)數(shù)據(jù)特點(diǎn)：獲取成本高、技術(shù)(jsh)門檻高舉例：1. 公司公告、調(diào)研報告、券商研報：文本挖掘與語義分析技術(shù)(jsh) 2. 社交、熱點(diǎn)、新聞、事件：大數(shù)據(jù)搜集技術(shù)(jsh)、非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化 3. 搜索日志、網(wǎng)絡(luò)輿情：大數(shù)據(jù)處理技術(shù)(jsh)、輿情分析技術(shù)(jsh)消費(fèi)數(shù)據(jù)、供應(yīng)鏈交互、物聯(lián)網(wǎng)

7、數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)(shj)非結(jié)構(gòu)化數(shù)據(jù)多維數(shù)據(jù)第7頁/共17頁第八頁，共18頁。利用機(jī)器學(xué)習(xí)(xux)方法，可將數(shù)據(jù)加工為獨(dú)特的投資因子02基于個股/行業(yè)(hngy)/板塊/熱點(diǎn)概念搜索量的關(guān)注度因子聚類算法：利用股票相近屬性進(jìn)行熱點(diǎn)概念聚類基于財經(jīng)新聞、券商研報語義分析的輿情因子NLP技術(shù)：語義分析，關(guān)鍵信息抽取和正負(fù)向情感判斷基于機(jī)器學(xué)習(xí)技術(shù)提煉的經(jīng)典量化投資因子Boosting技術(shù)：聚合高相似度的同類因子，提升因子貢獻(xiàn)第8頁/共17頁第九頁，共18頁。百度大數(shù)據(jù)因子(ynz)與傳統(tǒng)金融因子(ynz)相關(guān)性非常低02NetProfiNetProfitYOYtYOYNetAsseNetAsse

8、tYOYtYOYNetCashNetCashFlowOpeFlowOperYOYrYOYROEYOYROEYOYROEROEDividenDividendRatioTdRatioTotalotallogTotallogTotalMarketVaMarketVal llogFreeMlogFreeMarketValarketValTLToTATLToTA PETTMPETTMPEPEPBPBCurrenCurrentRatiotRatioYOYYOYCashFlowCashFlowOperPerVOperPerValuealueF1F1F2F2F3F3F4F4F5F5F6F6F7F7F8F8Ne

9、tProfitYOYNetProfitYOY 0.38 0.10 0.88 0.45 0.06 0.15 0.10 -0.02 0.04 0.02 0.19 0.07 -0.05 -0.02 0.04 -0.01 -0.02 0.01 -0.02 0.07 0.02 NetAssetYOYNetAssetYOY -0.02 0.20 0.57 0.23 0.31 0.17 -0.05 -0.01 -0.10 0.22 0.28 -0.04 -0.08 0.06 -0.01 -0.06 0.02 -0.04 0.00 0.01 NetCashFlowOperYOYNetCashFlowOperY

10、OY 0.11 0.07 0.03 0.03 0.03 0.00 -0.02 0.00 -0.02 -0.05 0.04 0.00 0.01 0.00 0.00 0.00 -0.01 0.02 -0.01 ROEYOYROEYOY 0.39 0.06 0.11 0.10 0.00 0.07 0.03 0.11 -0.01 -0.03 0.00 0.05 -0.01 -0.01 0.01 -0.03 0.07 0.00 ROEROE 0.46 0.39 0.26 -0.10 -0.15 -0.27 0.16 0.09 0.03 -0.13 0.06 -0.01 -0.12 0.02 -0.08

11、0.02 -0.03 DividendRatioTotalDividendRatioTotal0.27 0.19 -0.14 -0.20 -0.36 -0.32 0.05 0.20 -0.15 0.00 -0.01 -0.15 0.01 -0.15 -0.04 -0.12 logTotalMarketVallogTotalMarketVal0.84 0.16 -0.13 -0.16 0.01 0.03 0.10 0.14 0.56 0.00 0.17 0.01 -0.23 0.02 -0.04 logFreeMarketVallogFreeMarketVal0.31 -0.16 -0.15 -

12、0.10 0.06 0.23 0.26 0.63 0.01 0.27 0.01 -0.26 0.00 -0.10 TLToTATLToTA -0.23 -0.16 -0.15 0.00 0.57 0.23 0.31 0.01 0.22 -0.01 -0.07 -0.03 -0.10 PETTMPETTM 0.68 0.30 -0.03 -0.30 -0.05 -0.11 0.00 -0.07 0.01 0.12 0.08 0.15 PEPE0.35 -0.04 -0.30 0.01 -0.08 0.00 -0.01 0.01 0.13 0.09 0.15 PBPB 0.01 -0.52 0.0

13、0 -0.03 0.00 0.01 0.00 0.15 0.12 0.24 CurrentRatioYOYCurrentRatioYOY0.06 0.04 0.07 0.00 0.04 0.00 -0.01 -0.02 -0.04 CashFlowOperPerValueCashFlowOperPerValue0.10 0.18 0.00 0.07 -0.01 -0.14 -0.09 -0.18 F1F1 0.47 0.35 0.58 0.07 -0.05 0.06 0.00 F2F20.05 0.50 0.13 -0.25 0.06 0.12 F3F30.10 0.23 0.08 0.10

14、0.04 F4F40.05 -0.08 0.02 0.04 F5F50.31 0.38 0.27 F6F60.26 0.39 F7F70.25 F8F8數(shù)據(jù)(shj)來源：港澳數(shù)據(jù)(shj)，百度大數(shù)據(jù)(shj) 2010 - 2015第9頁/共17頁第十頁，共18頁。實(shí)踐：與投資相關(guān)(xinggun)的機(jī)器學(xué)習(xí)問題之整體脈絡(luò)03機(jī)器(j q)學(xué)習(xí)有監(jiān)督(jind)學(xué)習(xí)無監(jiān)督學(xué)習(xí)聚類密度估計回歸問題分類問題模型選擇Feature選擇過擬合明天指數(shù)點(diǎn)位是多少？明天某支個股是上漲還是下跌？未來配置哪些股票？明天是該做多還是做空？多因子選股CTA擇時未來個股收益率多少？第10頁/共17頁第十一頁，共

15、18頁。實(shí)踐(shjin)： CTA策略樣例03預(yù)測模型：隨機(jī)森林 輸入特征：基于量價信息初步處理得到的Feature未疊加交易模型、倉位管理、止損等額外( wi)條件200025003000350040004500500055006000-5.0%15.0%35.0%55.0%75.0%95.0%115.0%135.0%基于隨機(jī)森林的基于隨機(jī)森林的CTA策略策略收益率收益率滬深滬深300指數(shù)指數(shù)年化收益率年化收益率最大回撤最大回撤樣本內(nèi)勝率樣本內(nèi)勝率樣本外勝率樣本外勝率波動率調(diào)整后樣本內(nèi)外盈利能力比波動率調(diào)整后樣本內(nèi)外盈利能力比98%15%52.4%51.9%1.27數(shù)據(jù)來源(liyun)：

16、中金所數(shù)據(jù) 2015 - 2016第11頁/共17頁第十二頁，共18頁。實(shí)踐(shjin)： 多因子選股策略樣例03輸入特征：百度大數(shù)據(jù)因子（搜索(su su)、輿情、機(jī)器提升指標(biāo)等）組合構(gòu)建方法：中證800成份股，月度換倉，100支股票，行業(yè)中性配置年化收益率年化收益率超額收益夏普比率超額收益夏普比率月勝率月勝率月度換手率月度換手率31%1.155%43%數(shù)據(jù)來源(liyun)：港澳數(shù)據(jù)、百度大數(shù)據(jù) 2011 - 2015第12頁/共17頁第十三頁，共18頁。機(jī)器學(xué)習(xí)與投資(tu z)模型的融合是科學(xué)，更是藝術(shù)03面臨的問題：現(xiàn)有數(shù)據(jù)的同質(zhì)化，有效性下降金融數(shù)據(jù)的樣本數(shù)量限制了模型的選擇空間

17、模型復(fù)雜度與泛化能力的Trade-off解決思路簡單(jindn)為美：如無必要，勿增實(shí)體（ Occams Razor ）魔鬼在細(xì)節(jié)：問題定義、Feature Engineering、Sampling Bias、etc.機(jī)器學(xué)習(xí)方法優(yōu)化已有因子，超越人的認(rèn)知Data, More Data !第13頁/共17頁第十四頁，共18頁。展望(zhnwng)：AlphaGo能否用于投資？04圍棋是相對封閉的系統(tǒng)博弈時優(yōu)化的目標(biāo)單一明確完全(wnqun)公開信息下的博弈VS金融市場開放，影響市場變量眾多是一種非完全公開信息下的博弈歷史數(shù)據(jù)無法(wf)覆蓋未來各種的變化圍棋博弈投資交易第14頁/共17頁第十五頁，共18頁。展望(zhnwng)：守望更深刻的變革04人工智能已在數(shù)據(jù)與知識層面超越人類，未來(wili)