計算機論文：基于深度強化學習的量化投資策略計算機研究

計算機論文：基于深度強化學習的量化投資策略計算機研究agent與環(huán)境交互進行學習的方式使agent具備完全自主學習解決任務的能力，基于深度強化學習構(gòu)建的量化投資策略可以隨時根據(jù)金融市場的變化第一章緒論研究工作的背景與意義數(shù)據(jù)是最寶貴的財富。歷史行情、金融交易、投資理財、風險控制、量化投資運用數(shù)學、計算機技術(shù)制定策略，能夠有效利用金融數(shù)據(jù)。強化學習實現(xiàn)“感知—認知—自主決策—自我學習”的循環(huán)，呈現(xiàn)出自我學習的特征。量化投資作為高度數(shù)據(jù)化、數(shù)學化、程序化的行業(yè)，是強化學習很好的應用場景。金融行業(yè)需要便捷、有效、精確的量化投資豐富投資工具。隨著大數(shù)據(jù)、人工智能的蓬勃發(fā)展，量化投資具對將強化學習應用于金融領(lǐng)域具有參考價值。量化投資運用計算機對交易市場的數(shù)據(jù)進行處理并在適當時機發(fā)出期貨、股票等，目前我國可被交易的金融產(chǎn)品也比較豐富。.......................國內(nèi)外研究歷史與現(xiàn)狀I(lǐng)rwin[4]（1986）等學者編寫自動化交易程序在期貨市場進行自動化交易，對期貨市場的交易產(chǎn)生了一定變革作用。Neftci[5]（1991）等學者在道瓊斯工業(yè)指數(shù)預測的研究中編寫程序?qū)r格均線產(chǎn)生的交易信號進行篩選，提高了收益穩(wěn)定性。Ritter[6]（1992）等學者在量化投資中引入行為金融學理論，他們發(fā)現(xiàn)：在過去一段時間表現(xiàn)不好的股票在接下來的時間很有可能上漲。買入收益率最低的股票并且持倉一個月后再平倉。Jegadeesh[7]（1993）等人在對投資收益進行研究時發(fā)現(xiàn)，過去收益高的資產(chǎn)，并且持倉時間要超過反轉(zhuǎn)策略的持倉時間。Moody[8]RRLRRL(SharpRRLQ-learning的策略。Kimk[9]（2003）等學者將SVM運用于金融時間序列預測中，在研究中將基于SVM的策略與基于神經(jīng)網(wǎng)絡的策略進行對比，實驗結(jié)果顯示基于SVM的策略收益率更穩(wěn)定。J.W.Lee[10]（2004）基于Q-Learning提出Q-trader股票交易系統(tǒng)，Q-trader通過Q-Learning矩陣和每個周期的利潤決定持有股票的時間，完成股票買入、賣出。Khan[11]（2008）等學者將遺傳算法融入基于神經(jīng)網(wǎng)絡的量化投夠提高準確率。.......................第二章量化投資和深度強化學習量化投資有效市場假說有效市場假說[38](EfficientMarketHypothesis，EMH)是傳統(tǒng)金融理論的基礎(chǔ)認為金融市場是健全和有效的傳統(tǒng)金融理論圍繞產(chǎn)定價和投資組合對個體的投資行為進行研究在20世紀80年代的金融研究領(lǐng)域占據(jù)主導地位。 20 世紀初，法國數(shù)學家 LouisBachelier應用統(tǒng)計分析方法分析證券收益率，從隨機過程角度對布朗運動以及股價變化的隨機性進行研究發(fā)現(xiàn)市場在信息方面的有性，有效市場假說開始萌芽1970年，EugeneFama在總結(jié)前人的理論和實證的基礎(chǔ)上正式提出有效市場假說。有效市場假說認為金融市場是健全和有效的，資產(chǎn)的價格完全（一技術(shù)分析方法無效，投資者使用基本分析方法有可能獲得超額收益。（二）（三）..........................強化學習環(huán)境構(gòu)建強化學習算法分類標準之一是agent能否完全訪問（或?qū)W習）MDP過程中的狀態(tài)轉(zhuǎn)移函數(shù)和獎勵函數(shù)。使用模型的算法為基于模型學習l，沒有基于模型的算法為免模型學習（-e。有模型學習最大的優(yōu)勢在于agent。基于模型的任務中使用基于模型的算法，那么agent必須完全從軌跡中學習探索出來的模型和真實模型之間存在誤差，而這種誤差會導致agent在學習到的終的結(jié)果也可能達不到預期的效果。在算法交易問題中，不存在環(huán)境的真實模型，若agent想學由于市場預測可行性很低（甚至不可預測，因此，本文使用無模型............................第三章基于深度強化學習的量化投資策略設計 20問題定義 19強化學習環(huán)境構(gòu)建 20第四章基于深度強化學習的量化投資策略改進 31動作塑造 31優(yōu)勢塑造 31第五章基于深度強化學習的量化投資策略實證.............................44算法改進驗證 44裁剪PPO改進驗證 46動作塑造改進驗證 47第五章基于深度強化學習的量化投資策略實證5.1 算法改進驗證本文中策略的訓練、回測在外匯市場進行，外匯交易市場是最具價格上升（下降）時，做多（做空）獲利。...........................第六章全文總結(jié)與展望6.1 全文總結(jié)本文以深度強化學習為基礎(chǔ)對量化投資策略進行了研究。金融活agentagent本文主要完成了以下工作：針對策略輸出動作的有效性與持倉狀態(tài)有關(guān)的問題提出動作agent輸策略獲利能力。針對將策略獲得的收益分配給不同交易動作的難題提出了優(yōu)通過實驗驗證