《強(qiáng)化學(xué)習(xí)理論與應(yīng)用》深度強(qiáng)化學(xué)習(xí)概述

目錄12023/11/5

課程要求1強(qiáng)化學(xué)習(xí)實(shí)例

引言

強(qiáng)化學(xué)習(xí)方法分類強(qiáng)化學(xué)習(xí)概念常用的實(shí)驗(yàn)環(huán)境著名學(xué)者234567對(duì)數(shù)學(xué)理論基礎(chǔ)的要求。

強(qiáng)化學(xué)習(xí)以積分學(xué)、線性代數(shù)、統(tǒng)計(jì)學(xué)、最優(yōu)化理論等數(shù)學(xué)理論為基礎(chǔ)，并不斷吸納生物、機(jī)械、物理等方面的學(xué)科知識(shí)。對(duì)計(jì)算機(jī)專業(yè)的要求。

強(qiáng)化學(xué)習(xí)課程的核心是培養(yǎng)學(xué)生分析問題和解決問題的能力；

即要兼顧理論知識(shí)（包括理論推導(dǎo)證明），同時(shí)培養(yǎng)學(xué)生實(shí)際編程能力（包括大數(shù)據(jù)的處理和模型算法的編寫）。具有將數(shù)學(xué)和計(jì)算機(jī)專業(yè)的內(nèi)容緊密地結(jié)合在一起的能力

。

1.課程要求（1）教學(xué)要求：理論教學(xué)與實(shí)踐教學(xué)緊密相連；組織教學(xué)內(nèi)容，合理分配實(shí)驗(yàn)環(huán)節(jié)，激發(fā)學(xué)生的學(xué)習(xí)興趣；加強(qiáng)學(xué)生實(shí)踐動(dòng)手能力的培養(yǎng)，達(dá)到知識(shí)傳授和能力培養(yǎng)的有效結(jié)合。1.課程要求（2）教學(xué)方法要求：強(qiáng)化學(xué)習(xí)很多算法理論性強(qiáng)、抽象、不易理解，單純采用文字?jǐn)⑹龊凸酵茖?dǎo)的教學(xué)手段，教學(xué)效果并不好。在理論教學(xué)中，可以結(jié)合實(shí)例講解，注重理論聯(lián)系實(shí)際；在強(qiáng)化學(xué)習(xí)教學(xué)中，以“掃地機(jī)器人”應(yīng)用貫穿整個(gè)教學(xué)過程；通過實(shí)例，知道算法的應(yīng)用場(chǎng)景和方法，學(xué)習(xí)興趣和效率自然提高。1.課程要求（3）實(shí)驗(yàn)要求：根據(jù)理論教學(xué)內(nèi)容，結(jié)合學(xué)生的實(shí)際情況，按照由淺入深的原則安排實(shí)驗(yàn)；驗(yàn)證性實(shí)驗(yàn)，要求學(xué)生通過實(shí)現(xiàn)相關(guān)算法，驗(yàn)證教材實(shí)例的正確性。這對(duì)理解算法、掌握算法的技巧非常有益；綜合性實(shí)驗(yàn)，運(yùn)用圖像處理、可視化編程、深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等知識(shí)，解決實(shí)際問題；實(shí)驗(yàn)的難度由易到難，層層深入，有利于學(xué)生動(dòng)手能力的培養(yǎng)。1.課程要求（4）教學(xué)內(nèi)容研究生（54+36）：

（1）環(huán)境搭建及編程（4課時(shí)）；

（2）基于表格的DP、MC、TD方法

（10課時(shí)）；

（3）模型學(xué)習(xí)（10課時(shí)）；

（4）深度學(xué)習(xí)及PyTorch（10課時(shí)）；

（5）策略梯度（6課時(shí)）；

（6）深度強(qiáng)化學(xué)習(xí)算法（DQN、DDPG、A3C等）（14課時(shí)）。1.課程要求（5）理論：實(shí)驗(yàn)=6：4理論包括：

平時(shí)作業(yè)+考試（小論文）實(shí)驗(yàn)包括：本學(xué)期4個(gè)編程題目，每個(gè)題目10分。

Gym平臺(tái)；

Python+Pytorch實(shí)現(xiàn)；

JupyterNotebook編寫實(shí)驗(yàn)報(bào)告。1.課程要求（6）目錄82023/11/5

課程要求1強(qiáng)化學(xué)習(xí)實(shí)例

引言

強(qiáng)化學(xué)習(xí)方法分類強(qiáng)化學(xué)習(xí)概念常用的實(shí)驗(yàn)環(huán)境著名學(xué)者234567目前機(jī)器學(xué)習(xí)領(lǐng)域中較熱門的兩個(gè)分支

深度學(xué)習(xí)（DeepLearning，DL）

強(qiáng)化學(xué)習(xí)（ReinforcementLearning，RL）深度學(xué)習(xí)的基本思想：通過堆疊多層的網(wǎng)絡(luò)結(jié)構(gòu)和非線性變換，組合低層特征以實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)的分級(jí)表達(dá)。強(qiáng)化學(xué)習(xí)并沒有提供直接的監(jiān)督信號(hào)來指導(dǎo)智能體（agent）的行為。2.引言（1）在強(qiáng)化學(xué)習(xí)中，agent是通過試錯(cuò)的機(jī)制與環(huán)境進(jìn)行不斷的交互，以最大化從環(huán)境中獲得的累計(jì)獎(jiǎng)賞。深度強(qiáng)化學(xué)習(xí)（DeepReinforcementLearning，DRL）將具有感知能力的深度學(xué)習(xí)和具有決策能力的強(qiáng)化學(xué)習(xí)相結(jié)合，初步形成從輸入原始數(shù)據(jù)到輸出動(dòng)作控制的完整智能系統(tǒng)。2.引言（2）深度強(qiáng)化學(xué)習(xí)是一種端對(duì)端（end-to-end）的感知與控制系統(tǒng)，具有很強(qiáng)的通用性。2.引言（3）其學(xué)習(xí)過程可以描述為：

（1）在每個(gè)時(shí)刻，agent與環(huán)境交互得到一個(gè)高維度的觀察，并利用深度學(xué)習(xí)方法來感知觀察，以得到抽象、具體的狀態(tài)特征表示；

（2）基于預(yù)期回報(bào)來評(píng)價(jià)各動(dòng)作的價(jià)值函數(shù)，并通過某種策略將當(dāng)前狀態(tài)映射為相應(yīng)的動(dòng)作；

（3）環(huán)境對(duì)此動(dòng)作做出反應(yīng)，并得到下一個(gè)觀察。通過不斷循環(huán)以上過程，最終可以得到實(shí)現(xiàn)目標(biāo)的最優(yōu)策略。2.引言（4）2.引言（5）LucianBusoniuRobertBabuskaBartDeSchutterDamienErnstCRCPress2.引言（6）目錄152023/11/5

課程要求1強(qiáng)化學(xué)習(xí)實(shí)例

引言

強(qiáng)化學(xué)習(xí)方法分類強(qiáng)化學(xué)習(xí)概念常用的實(shí)驗(yàn)環(huán)境著名學(xué)者2345673.強(qiáng)化學(xué)習(xí)實(shí)例（1）任務(wù):

清潔機(jī)器人：收集易拉罐，充電。

機(jī)器人采取怎樣的行動(dòng)，才能達(dá)到預(yù)期的目標(biāo)。充電樁易拉罐機(jī)器人任務(wù)（1）：清潔機(jī)器人問題3.強(qiáng)化學(xué)習(xí)實(shí)例（2）任務(wù)（2）：笨鳥先飛訓(xùn)練前訓(xùn)練后（100萬步）3.強(qiáng)化學(xué)習(xí)實(shí)例（3）任務(wù)（3）：AlphaGo&AlphaGoZeroAlphaGo：DL、RL、MCTreeAlphaGoZero：DRLAlphaGo’sgamewithLeeSedolandKeJie目錄192023/11/5

課程要求1強(qiáng)化學(xué)習(xí)實(shí)例

引言

強(qiáng)化學(xué)習(xí)方法分類強(qiáng)化學(xué)習(xí)概念常用的實(shí)驗(yàn)環(huán)境著名學(xué)者2345674.強(qiáng)化學(xué)習(xí)概念（1）所謂強(qiáng)化學(xué)習(xí)，是指從環(huán)境狀態(tài)到行為映射的學(xué)習(xí)，以使系統(tǒng)行為從環(huán)境中獲得的累積獎(jiǎng)賞（reward）最大。在強(qiáng)化學(xué)習(xí)中，算法來把外界環(huán)境轉(zhuǎn)化為最大化獎(jiǎng)勵(lì)量的方式做動(dòng)作，算法并沒有告訴Agent要做什么或者采取哪個(gè)動(dòng)作。Agent的動(dòng)作的影響不只是立即得到的獎(jiǎng)勵(lì)，而且還影響接下來的動(dòng)作和最終的累積獎(jiǎng)賞。4.強(qiáng)化學(xué)習(xí)概念（2）1954年，Minsky：提出強(qiáng)化學(xué)習(xí)的概念和術(shù)語。1956年，Bellman：MDP的動(dòng)態(tài)規(guī)劃方法。1977年，Werbos：自適應(yīng)動(dòng)態(tài)規(guī)劃算法。1988年，Sutton：時(shí)序差分算法。1992年，Watkins：Q-Learning算法。1994年，Rummery：Sarsa算法。2006年，Kocsis：置信上界樹算法。2009年，Kewis：反饋控制自適應(yīng)動(dòng)態(tài)規(guī)劃算法。2014年，Silver：確定性策略梯度算法。2015年，Googledeepmind：DQN算法。4.強(qiáng)化學(xué)習(xí)概念（3）強(qiáng)化學(xué)習(xí)是智能體（Agent）以“試錯(cuò)”的方式進(jìn)行學(xué)習(xí)，通過與環(huán)境進(jìn)行交互獲得獎(jiǎng)勵(lì)指導(dǎo)行為，目標(biāo)是使智能體獲得最大的累積獎(jiǎng)賞（回報(bào)）。機(jī)器學(xué)習(xí)可以分為三類，分別是：監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)與機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)機(jī)器學(xué)習(xí)4.強(qiáng)化學(xué)習(xí)概念（4）強(qiáng)化學(xué)習(xí)與其他機(jī)器學(xué)習(xí)不同：沒有教師信號(hào)，也沒有l(wèi)abel，只有reward；反饋有延時(shí)，不是立即返回；數(shù)據(jù)是序列化的，數(shù)據(jù)與數(shù)據(jù)之間是有關(guān)聯(lián)的，而不是i.i.d的；Agent執(zhí)行的動(dòng)作會(huì)影響之后的數(shù)據(jù)。4.強(qiáng)化學(xué)習(xí)概念（5）強(qiáng)化學(xué)習(xí)的模型圖：4.強(qiáng)化學(xué)習(xí)概念（6）強(qiáng)化學(xué)習(xí)的關(guān)鍵要素：強(qiáng)化學(xué)習(xí)的關(guān)鍵要素有：環(huán)境、獎(jiǎng)賞、動(dòng)作和狀態(tài)。有了這些要素，就可以建立一個(gè)強(qiáng)化學(xué)習(xí)模型；強(qiáng)化學(xué)習(xí)解決的問題是：針對(duì)一個(gè)具體問題，得到一個(gè)最優(yōu)策略，使得在該策略下獲得的長(zhǎng)期回報(bào)最大；策略：在系列狀態(tài)下，采取的動(dòng)作或動(dòng)作概率。4.強(qiáng)化學(xué)習(xí)概念（7）Agent與環(huán)境的交互：交互過程更準(zhǔn)確地表述：每一步：Agent根據(jù)策略選擇一個(gè)動(dòng)作執(zhí)行，然后感知下一步狀態(tài)和立即獎(jiǎng)賞，通過經(jīng)驗(yàn)再修改自己的策略；Agent的目標(biāo)：找到最優(yōu)策略，最大化長(zhǎng)期回報(bào)。注意：在狀態(tài)Si時(shí)，執(zhí)行Ai動(dòng)作，然后獲得Ri+1立即獎(jiǎng)賞，到達(dá)Si+1狀態(tài)。4.強(qiáng)化學(xué)習(xí)概念（8）狀態(tài)與策略：狀態(tài)（state）：

就是指當(dāng)前agent所處的狀態(tài)。策略（policy）：就是指agent在特定狀態(tài)下的動(dòng)作依據(jù)，是從state到action的映射。確定策略：某一狀態(tài)下的確定動(dòng)作；隨機(jī)策略：以概率來描述，即某一狀態(tài)下執(zhí)行這一動(dòng)作的概率。4.強(qiáng)化學(xué)習(xí)概念（9）動(dòng)作與獎(jiǎng)賞：動(dòng)作（action）：來自于動(dòng)作空間，每個(gè)狀態(tài)通過采取動(dòng)作進(jìn)行狀態(tài)轉(zhuǎn)移；

執(zhí)行動(dòng)作的目的是達(dá)到最大化期望獎(jiǎng)賞，直到最終算法收斂，所得到的策略就是一系列action的序列數(shù)據(jù)。獎(jiǎng)賞（reward）：獎(jiǎng)賞通常被記作Rt，表示第t個(gè)時(shí)間步的返回獎(jiǎng)勵(lì)值。所有強(qiáng)化學(xué)習(xí)都是基于獎(jiǎng)賞假設(shè)的。獎(jiǎng)賞通常為一個(gè)標(biāo)量。注意：回報(bào)（return）是獎(jiǎng)賞（reward）的累積。4.強(qiáng)化學(xué)習(xí)概念（10）策略的種類：行為策略（）：用來指導(dǎo)個(gè)體產(chǎn)生與環(huán)境進(jìn)行實(shí)際交互行為的策略；

實(shí)際采樣的策略。目標(biāo)策略（）：用來評(píng)價(jià)狀態(tài)或行為價(jià)值的策略（或待優(yōu)化的策略）。4.強(qiáng)化學(xué)習(xí)概念（11）預(yù)測(cè)與控制：預(yù)測(cè)：給定某個(gè)策略，估計(jì)該策略下，每個(gè)狀態(tài)或狀態(tài)動(dòng)作對(duì)的價(jià)值。控制：找到一個(gè)最優(yōu)的策略。在RL算法中，通常都是迭代地進(jìn)行先預(yù)測(cè)，再控制的過程，直到收斂。目錄312023/11/5

課程要求1強(qiáng)化學(xué)習(xí)實(shí)例

引言

強(qiáng)化學(xué)習(xí)方法分類強(qiáng)化學(xué)習(xí)概念常用的實(shí)驗(yàn)環(huán)境著名學(xué)者2345675.強(qiáng)化學(xué)習(xí)方法分類（1）環(huán)境模型：理解環(huán)境或感知環(huán)境更新方式：回合更新或單步更新求解方式：基于價(jià)值或基于策略策略使用：同策略或異策略5.強(qiáng)化學(xué)習(xí)方法分類（2）環(huán)境模型：理解環(huán)境或感知環(huán)境Model-based:

先理解真實(shí)世界是怎樣的，并通過實(shí)驗(yàn)，建立一個(gè)模型來模擬現(xiàn)實(shí)世界的反應(yīng)，通過想象來預(yù)判斷下來將要發(fā)生的所有情況，并且通過計(jì)算來選擇下一步采取的策略。整個(gè)過程只需要計(jì)算即可，而不需要實(shí)際去“經(jīng)歷”。例如：DPModel-free:不依賴環(huán)境，不嘗試去理解環(huán)境，Agent會(huì)根據(jù)現(xiàn)實(shí)環(huán)境的反饋采取下一步的動(dòng)作，一步一步等待真實(shí)世界的反饋，再根據(jù)反饋采取下一步的動(dòng)作。需要實(shí)際去“經(jīng)歷”。例如：Q-learning,Sarsa,策略梯度5.強(qiáng)化學(xué)習(xí)方法分類（3）更新方式：回合更新或單步更新MC-更新:

在情節(jié)式任務(wù)中，一個(gè)情節(jié)完成后才進(jìn)行更新。即episodebyepisode。例如：REINFORCE,MCTD-更新:在情節(jié)式任務(wù)或連續(xù)任務(wù)中，不需要等到情節(jié)結(jié)束，而是每一步都在更新。即stepbystep。例如：Q-learning,Sarsa,策略梯度5.強(qiáng)化學(xué)習(xí)方法分類（4）求解方式：基于價(jià)值或基于策略Value-based:

目標(biāo)是找到狀態(tài)或狀態(tài)動(dòng)作對(duì)的價(jià)值，通過價(jià)值來選擇動(dòng)作，這類方法對(duì)連續(xù)動(dòng)作不適用。例如：Q-learning,SarsaPolicy-based:目標(biāo)是找到最優(yōu)策略，通過感知分析所處的環(huán)境，直接輸出下一步要采取的各種動(dòng)作的概率，然后根據(jù)概率采取動(dòng)作。這類方法對(duì)連續(xù)動(dòng)作適用。例如：策略梯度，AC5.強(qiáng)化學(xué)習(xí)方法分類（5）策略使用：同策略或異策略on-policy:

目標(biāo)策略和行為策略相同。例如：

Sarsa,Sarsa(),TRPOoff-policy:目標(biāo)策略和行為策略不同。例如：Q-learning,DQN,確定策略梯度兩者的區(qū)別：更新Q值時(shí)是使用既定策略還是新的策略。5.強(qiáng)化學(xué)習(xí)方法分類（6）異策略的特點(diǎn)可以從人類給出的示教樣本或其他智能體給出的引導(dǎo)樣本中學(xué)習(xí)；可以重用由舊策略生成的經(jīng)驗(yàn)；可以在使用一個(gè)探索性策略的同時(shí)，學(xué)習(xí)一個(gè)確定性策略；可以用一個(gè)策略進(jìn)行采樣，然后同時(shí)學(xué)習(xí)多個(gè)策略。5.強(qiáng)化學(xué)習(xí)學(xué)習(xí)線路圖（7）目錄392023/11/5

課程要求1強(qiáng)化學(xué)習(xí)實(shí)例

引言

強(qiáng)化學(xué)習(xí)方法分類強(qiáng)化學(xué)習(xí)概念常用的實(shí)驗(yàn)環(huán)境著名學(xué)者2345676.常用的實(shí)驗(yàn)環(huán)境與其他機(jī)器學(xué)習(xí)方向一樣，強(qiáng)化學(xué)習(xí)也有一些經(jīng)典的實(shí)驗(yàn)場(chǎng)景，如Mountain-Car，Cart-Pole等；由于近年來深度強(qiáng)化學(xué)習(xí)（DRL）的興起，各種新的更復(fù)雜的實(shí)驗(yàn)場(chǎng)景也在不斷涌現(xiàn)，出現(xiàn)一系列優(yōu)秀的平臺(tái)。常見的強(qiáng)化學(xué)習(xí)實(shí)驗(yàn)平臺(tái)：OpenAIGym,OpenAIBaselinesMuJoCo,rllab,TORCS,PySC2目錄412023/11/5

課程要求1強(qiáng)化學(xué)習(xí)實(shí)例

引言

強(qiáng)化學(xué)習(xí)方法分類強(qiáng)化學(xué)習(xí)概念常用的實(shí)驗(yàn)環(huán)境著名學(xué)者2345677.著名學(xué)者（1）RichardS.Sutton現(xiàn)代強(qiáng)化學(xué)習(xí)理論的創(chuàng)始人之一。貢獻(xiàn)：

時(shí)序差分學(xué)習(xí)

策略梯度方法

Dyna架構(gòu)《ReinforcementLearning:AnIntroduction》個(gè)人主頁：

7.著名學(xué)者（2）吳恩達(dá)是國(guó)際上人工智能和機(jī)器學(xué)習(xí)領(lǐng)域最權(quán)威的學(xué)者之一。在線教育平臺(tái)Coursera的聯(lián)合創(chuàng)始人。在DL和RL兩個(gè)領(lǐng)域都有突出貢獻(xiàn)。2014年，加入百度，負(fù)責(zé)BaiduBrain計(jì)劃。7.著名學(xué)者（3）DavidSilver