強(qiáng)化學(xué)習(xí) 課件 第1、2章 強(qiáng)化學(xué)習(xí)概述、Bandit問題

第一章強(qiáng)化學(xué)習(xí)概述目錄馬爾可夫決策過程（MDP）MDP的分類強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)的應(yīng)用有監(jiān)督學(xué)習(xí)（supervised

learning）數(shù)據(jù)集中的樣本帶有標(biāo)簽，有明確目標(biāo)回歸和分類無監(jiān)督學(xué)習(xí)（unsupervised

learning）數(shù)據(jù)集中的樣本沒有標(biāo)簽聚類、降維、概率密度估計、生成模型構(gòu)建強(qiáng)化學(xué)習(xí)（reinforcementlearning）序列決策的過程，通過過程模擬和觀察來不斷學(xué)習(xí)，提高決策能力例如：AlphaGo機(jī)器學(xué)習(xí)的分類強(qiáng)化學(xué)習(xí)的元素

智能體環(huán)境時間序列

馬爾可夫過程

馬爾可夫過程

若用馬爾可夫過程來描述一個人上學(xué)的經(jīng)歷：如果一個人就讀于重點中學(xué)，那么他考上重點大學(xué)的概率也比較大如果擁有重點大學(xué)的學(xué)歷，那么找到一份好工作的概率也比較大馬爾可夫過程馬爾可夫決策過程在讀于普通中學(xué)的前提下：如果很努力學(xué)習(xí)，則考取重點大學(xué)的概率就會相對變高如果沉迷于打游戲、不花心思到學(xué)習(xí)上，那么考取重點大學(xué)的概率就會變得很低站在自身的角度來看待求學(xué)的經(jīng)歷，考取重點大學(xué)的概率并不只是“客觀的規(guī)律”決定的，也有“主觀能動性”的成分馬爾可夫決策過程馬爾可夫決策過程（MarkovDecisionProcess,MDP）還需要定義動作與獎勵若將獎勵定義為求學(xué)經(jīng)歷中獲得的“幸福感”：在中學(xué)采取“努力學(xué)習(xí)”的動作，可能因為玩的時間更少，而只有較低的“幸福感”，但這幫助我們考上了更好的大學(xué)，這個更好的狀態(tài)有助于未來獲得更多的“幸福感”要在“先苦后甜”與“及時行樂”中進(jìn)行取舍，選擇正確的動作方式，以獲得最幸福的人生狀態(tài)動作下一個狀態(tài)MDP的定義

目標(biāo)：最大化效用

終止?fàn)顟B(tài)

馬爾可夫過程與MDP的對比馬爾可夫過程客觀規(guī)律宏觀性質(zhì)例如遍歷定理（研究的是某個微粒在無窮長的時間內(nèi)是否“肯定”會經(jīng)歷某個狀態(tài)，或無窮次經(jīng)歷某個狀態(tài)）、強(qiáng)遍歷定理（不同狀態(tài)之間的概率分布是否“肯定”會收斂于一個穩(wěn)定的分布）MDP具體的問題主觀操作求解如何對一個具體的問題采取措施，使得獲得的效果最好工程中很多實際問題適合被定義為MDP而非馬爾可夫過程MDP的分類MDP的分類方式根據(jù)狀態(tài)與動作是否連續(xù)進(jìn)行分類根據(jù)環(huán)境是否已知進(jìn)行分類根據(jù)環(huán)境的隨機(jī)性或確定性進(jìn)行分類根據(jù)環(huán)境的時齊性進(jìn)行分類根據(jù)時間的連續(xù)性進(jìn)行分類根據(jù)MDP是否退化進(jìn)行分類動作連續(xù)與離散的MDP動作是連續(xù)變量，則策略的求解類似于機(jī)器學(xué)習(xí)訓(xùn)練回歸模型的過程動作是離散變量，則策略的求解類似于機(jī)器學(xué)習(xí)訓(xùn)練分類模型的過程Refer:https://jacklee.work狀態(tài)與動作離散的MDP

狀態(tài)是連續(xù)或是離散也很重要，決定了模型的形式：象棋的動作與狀態(tài)數(shù)量有限，且離散（不存在中間狀態(tài)）狀態(tài)：棋盤的局勢，各棋子的位置動作：下一步落子的方式獎勵：吃掉對方棋子的價值，如兵1分、馬4分等只將勝利設(shè)為得到獎勵，中間吃子不算目標(biāo)：尋找最佳走棋策略，以獲得最大效用

狀態(tài)連續(xù)、動作離散的MDP例如“黃金礦工”游戲中：狀態(tài)連續(xù)：黃金、石頭、鉆石、炸藥桶的位置動作離散：放炸彈、下鉤、等待狀態(tài)與動作連續(xù)的MDP

自動駕駛可以定義為一個狀態(tài)和動作都是連續(xù)的問題：狀態(tài)連續(xù)：傳感器捕捉到的當(dāng)前路況圖像動作連續(xù)：操作方向盤、踩油門、剎車等動作，方向盤轉(zhuǎn)動的角度與加速度都是連續(xù)的環(huán)境已知的MDP（model-base）

環(huán)境已知的MDP:最優(yōu)控制

列夫·龐特里亞金理查德·貝爾曼完成最優(yōu)控制理論的開創(chuàng)性工作環(huán)境未知的MDP（model-free）

確定性環(huán)境的MDP例如一個簡單的MDP：對于一個MDP，當(dāng)其S、A、P、R

都確定之后，應(yīng)該有一個最佳策略，是一個“狀態(tài)→動作”形式的映射，它到底是一個什么樣的映射呢？狀態(tài)：圓所處的位置動作：圓左移或者右移獎勵：到達(dá)五角星獲得的獎勵確定性環(huán)境的MDP最佳策略很簡單，即一直向右移動環(huán)境是“確定”的，即在給定狀態(tài)采取給定動作，下一步的狀態(tài)與獎勵是完全確定的此時MDP的最佳策略對應(yīng)的動作是常量?。ú挥酶鶕?jù)狀態(tài)確定）狀態(tài)：圓所處的位置動作：圓左移或者右移獎勵：到達(dá)五角星獲得的獎勵隨機(jī)性環(huán)境的MDP

MDP的時齊性

MDP的時齊性

時齊與否在于對“時間”性質(zhì)的定義：時齊MDP中的“時間”是一種“相對的”度量標(biāo)尺，例如“一年”、“一個回合”非時齊MDP中的“時間”是“絕對的”歷史度量，例如“公元2018年”或者“第100個回合”非時齊性環(huán)境：房價的“水漲船高”

時齊性對策略的影響

時齊性對策略的影響當(dāng)環(huán)境為確定、時齊時，則策略為“動作=常量”當(dāng)環(huán)境為隨機(jī)、時齊時，則策略為“狀態(tài)→動作”形式當(dāng)環(huán)境為確定、非時齊時，則策略為“時間→動作”形式當(dāng)環(huán)境為隨機(jī)、非時齊時，則策略為“時間、策略→動作”形式狀態(tài)：圓所處的位置動作：圓左移或者右移獎勵：到達(dá)五角星獲得的獎勵效用與終止?fàn)顟B(tài)對于時齊性的影響

時齊MDP的分類

時間的連續(xù)性

連續(xù)時間的MDP

退化的MDP

多臂老虎機(jī)問題（Multi-ArmedBandit）

多臂老虎機(jī)問題是退化的MDP

上下文老虎機(jī)（ContextualBandit）

多臂老虎機(jī)上下文老虎機(jī)一般強(qiáng)化學(xué)習(xí)問題策略的形式當(dāng)環(huán)境為確定、時齊時，則策略為“動作=常量”當(dāng)環(huán)境為隨機(jī)、時齊時，則策略為“狀態(tài)→動作”形式當(dāng)環(huán)境為確定、非時齊時，則策略為“時間→動作”形式當(dāng)環(huán)境為隨機(jī)、非時齊時，則策略為“時間、策略→動作”形式模型的形式當(dāng)動作是連續(xù)變量時，可以將策略定義為線性模型或神經(jīng)網(wǎng)絡(luò)模型等回歸模型而當(dāng)動作是分類變量時，則可以將策略定義為神經(jīng)網(wǎng)絡(luò)、表格或其它分類模型狀態(tài)、動作（非時齊情況下還是時間）決定了模型的輸入輸出思考

強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)解決的問題對于生產(chǎn)、生活、辦公等領(lǐng)域的實際問題，例如游戲AI或機(jī)器人控制，一般會被轉(zhuǎn)化為一個環(huán)境未知非退化MDP求解環(huán)境未知非退化MDP非常困難：需要擁有環(huán)境，并與環(huán)境交互產(chǎn)生大量的數(shù)據(jù)利用這些數(shù)據(jù)去尋找一個能夠最大化效用的策略強(qiáng)化學(xué)習(xí)：擁有環(huán)境假定擁有環(huán)境，可以自主地選擇與環(huán)境交互的方式，從環(huán)境中產(chǎn)生“需要的數(shù)據(jù)”例如MAB問題中可以自由選擇操控桿的老虎機(jī)可以不斷從環(huán)境中獲取數(shù)據(jù)，以訓(xùn)練Agent使其取得更大的效用以象棋為例

模仿學(xué)習(xí)

模仿學(xué)習(xí)

改進(jìn)的方法：與人類專家進(jìn)行交互

DAgger

(DatasetAggregation)

模仿學(xué)習(xí)的局限模仿學(xué)習(xí)僅僅“擁有數(shù)據(jù)”，不能自由產(chǎn)生數(shù)據(jù)要在多步的MDP中找出一個比較好的策略，如果不能自由產(chǎn)生數(shù)據(jù)，是難以實現(xiàn)的強(qiáng)化學(xué)習(xí)則能夠從環(huán)境中產(chǎn)生我們需要的數(shù)據(jù)，并針對性地學(xué)習(xí)Exploration-ExploitationDilemma如何產(chǎn)生數(shù)據(jù)的一個重要原則是Exploration-ExploitationDilemma，它的原則是要讓產(chǎn)生的數(shù)據(jù)盡量接近當(dāng)前認(rèn)為的最佳策略，但同時又不能太過接近，而要保證分布足夠?qū)挕?shù)據(jù)具有足夠的多樣性為了簡單起見，會首先在退化的MDP（MAB問題）中討論它，然后再擴(kuò)展到非退化MDP的情況中從數(shù)據(jù)中學(xué)習(xí)最佳策略

強(qiáng)化學(xué)習(xí)的難點強(qiáng)化學(xué)習(xí)問題的難點（環(huán)境未知、非退化）環(huán)境未知的難點（MAB）非退化的難點（最優(yōu)控制）強(qiáng)化學(xué)習(xí)：通向強(qiáng)人工智能的重要途徑弱人工智能：不需要具有人類完整的認(rèn)知能力，甚至是完全不具有人類所擁有的感官認(rèn)知能力，只要設(shè)計得看起來像有智慧就可以了強(qiáng)人工智能：具備執(zhí)行一般智能行為的能力，通常把人工智能和意識、感性、知識、自覺等人類的特征互相連接強(qiáng)化學(xué)習(xí)更接近現(xiàn)實中生命體的學(xué)習(xí)方式，更加“智能”有的研究者認(rèn)為，“強(qiáng)化學(xué)習(xí)是通向強(qiáng)人工智能的重要路徑”本體論在古典時代，哲學(xué)家們更加關(guān)注的是世界的本質(zhì)畢達(dá)哥拉斯的“萬物皆數(shù)”，德謨克利特的“原子論”，柏拉圖的“理念論”都是對于世界的不同認(rèn)識方式，都在追求能夠“更加正確”地認(rèn)識世界這些以尋求世界本質(zhì)為目的的理論均被稱作“本體論”本體論：有監(jiān)督學(xué)習(xí)的思維方式有監(jiān)督學(xué)習(xí)思維方式與“本體論”相同，目標(biāo)是尋找客觀的規(guī)律，“學(xué)習(xí)知識”或者“認(rèn)識世界”學(xué)習(xí)方法：通過擬合現(xiàn)實中產(chǎn)生的數(shù)據(jù)，對誤差進(jìn)行優(yōu)化誤差小意味著“正確”，誤差大意味“錯誤”，當(dāng)達(dá)到了百分之百的正確率的時候，“預(yù)測誤差”就降低為0，意味著已經(jīng)“完全正確”而沒有可以再提升的地方認(rèn)識論在近代，哲學(xué)經(jīng)歷了重要的“從本體論向認(rèn)識論”的轉(zhuǎn)向其代表是康德對于“本體”與“現(xiàn)象”的劃分，通俗的說就是“真實世界”和“我看到的世界”是兩個不同的東西，在此基礎(chǔ)上，康德認(rèn)為“真實世界”是不重要的，“我看到的世界”才是值得關(guān)注的重點德國哲學(xué)家叔本華繼承以及進(jìn)一步發(fā)展了康德的理論，他將“我看到的世界”稱之為“表象”，而將人的本能稱作“意志”，并且認(rèn)為“表象”是“意志”外化出來的簡而言之，他認(rèn)為人對于世界的認(rèn)識是被人的目的所支配的，或者說，“我怎么認(rèn)識世界”是受到“我的目標(biāo)是什么”所支配的目的支配我們對于世界的認(rèn)識如果把人的“目的”、“目標(biāo)”或“追求”，也就是叔本華所說的“意志”定義為“最大化效用”，那么人應(yīng)該是時刻在“追求最大化效用”的動機(jī)支配下的，所有的能力都是為了滿足這個動機(jī)的手段“正確認(rèn)識世界”其實也是一種能力，本質(zhì)上也是“追求最大化效用”。在某些具體的場景中的應(yīng)用，如果追求不同，認(rèn)識到的世界也會不同認(rèn)識論：強(qiáng)化學(xué)習(xí)的思維方式總的來說，強(qiáng)化學(xué)習(xí)的過程就像是在“最大化效用”的目標(biāo)支配下去探索環(huán)境，選擇環(huán)境中對自己有用的知識加以學(xué)習(xí)，這個過程更加強(qiáng)調(diào)人的“主觀能動性”在認(rèn)識世界、改造世界中起到的重要作用強(qiáng)化學(xué)習(xí)比起有監(jiān)督學(xué)習(xí)或無監(jiān)督學(xué)習(xí)更加接近一個生命體的學(xué)習(xí)過程、更加具有智能性、更加接近“強(qiáng)人工智能”強(qiáng)化學(xué)習(xí)的應(yīng)用軌跡追蹤強(qiáng)化學(xué)習(xí)在高維控制問題（諸如機(jī)器人等）中的應(yīng)用已經(jīng)是學(xué)術(shù)界和工業(yè)界共同的研究課題2017年，伯克利發(fā)布的強(qiáng)化學(xué)習(xí)方法可以讓機(jī)器人17分鐘就學(xué)會軌跡跟蹤汽車制造機(jī)器人通過深度強(qiáng)化學(xué)習(xí)可以記住對象并獲得知識，并訓(xùn)練自己快速而精確地完成這項工作特斯拉超級工廠的四大制造環(huán)節(jié)：沖壓生產(chǎn)線、車身中心、烤漆中心和組裝中心有超過150名機(jī)器人參與工作，整個工廠幾乎都是機(jī)器人自動駕駛自動駕駛的人工智能包含了感知、決策和控制三個方面強(qiáng)化學(xué)習(xí)可以解決駕駛過程中的決策問題Wayve公司的自動駕駛汽車無需3D地圖也無需規(guī)則，讓汽車從零開始在二十分鐘內(nèi)學(xué)會如何自動駕駛提升ICU搶救效率血液化驗指標(biāo)可以提供搶救病人的關(guān)鍵信息，但過于頻繁的化驗有加重病情的危險，也會增加治療的費用來自普林斯頓大學(xué)的一個研究團(tuán)隊設(shè)計了一個機(jī)器學(xué)習(xí)系統(tǒng)，可以在減少化驗頻率的同時優(yōu)化關(guān)鍵治療的開展時間強(qiáng)化學(xué)習(xí)算法在這個機(jī)器學(xué)習(xí)系統(tǒng)中發(fā)揮了關(guān)鍵性的作用Refer:

Pixabay改進(jìn)惡性腦瘤放化療2018年，來自MITMediaLab的研究人員開發(fā)出了一個新型人工智能模型，將強(qiáng)化學(xué)習(xí)應(yīng)用到現(xiàn)有的給藥方案上，反復(fù)調(diào)整膠質(zhì)母細(xì)胞瘤患者化療和放療的藥物劑量，在縮小腫瘤的同時找到盡可能最小的給藥劑量和頻率，最終發(fā)現(xiàn)最佳治療方案，改善患者生活質(zhì)量Refer：/cancer/article/6797圖像修復(fù)圖像修復(fù)是指恢復(fù)圖像損失的部分并基于背景信息將它們重建的技術(shù)CVPR2018上商湯科技發(fā)表了一篇論文《CraftingaToolchainforImageRestorationbyDeepReinforcementLearning》，提出了基于深度強(qiáng)化學(xué)習(xí)的RL-Restore算法，解決具有復(fù)雜混合失真的圖像復(fù)原問題Refer：/TextTranslation/1564強(qiáng)化推薦在靜態(tài)場景之下，用戶的行為特征在與系統(tǒng)的交互過程中保持穩(wěn)定不變一類有代表性的工作是基于上下文多臂老虎機(jī)的推薦系統(tǒng)，它的發(fā)展為克服推薦場景中的冷啟動問題提供了行之有效的解決方案AlphaGo2016年，谷歌的AlphaGo利用CNN模型戰(zhàn)勝李世乭，首次在圍棋項目中戰(zhàn)勝人類頂尖棋手AlphaGo的完全自我博弈加強(qiáng)版AlphaZero——一個從零開始自學(xué)國際象棋、將棋和圍棋的系統(tǒng)，它最終在這三個領(lǐng)域都打敗了世界最頂尖的程序：4小時就打敗了國際象棋的最強(qiáng)程序Stockfish！2小時就打敗了日本將棋的最強(qiáng)程序Elmo！8小時就打敗了與李世乭對戰(zhàn)的AlphaGov18！AlphaStar2018年1月25日，谷歌旗下DeepMind開發(fā)的人工智能(AI)程序AlphaStar完成《星際爭霸2》的首秀首選通過上百萬份玩家天梯錄像自我學(xué)習(xí)，然后進(jìn)入互相訓(xùn)練賽模式進(jìn)行學(xué)習(xí)2018年12月，AlphaStar先后擊敗了DeepMind公司里的最強(qiáng)玩家DaniYogatama以及職業(yè)玩家TLO和MaNa第二章Bandit問題

目錄

Bandit問題多臂老虎機(jī)問題（Multi-ArmedBandit，MAB）

多臂老虎機(jī)問題是退化的MDP

多臂老虎機(jī)問題（Multi-ArmedBandit）

如何使累積獎勵最大？滿足伯努利分布：只取0（吐出硬幣）或1（未吐出硬幣）簡單策略

搖臂編號10.720.530.240.150.8最佳操作是選擇第5個搖臂期望獎勵估計表簡單策略的缺點

貪心策略（greedy）

搖臂編號10.720.530.240.150.8搖臂編號10.720.530.240.150.82期望獎勵估計表進(jìn)行第1次游戲選擇5號搖臂進(jìn)行操作，得到1枚硬幣

期望獎勵估計表貪心策略的缺點總是選擇當(dāng)前概率最大的搖臂進(jìn)行操作，而真正中獎概率高的搖臂可能是那些當(dāng)前估計概率低的搖臂！在有限游戲次數(shù)下，是堅持在當(dāng)前中獎概率高的搖臂下操作（利用），還是嘗試別的搖臂（探索）呢？如何在探索和利用之間進(jìn)行平衡，稱為探索利用困境(exploration-exploitationdilemma)探索與利用平衡生活中的探索與利用去經(jīng)常光顧的咖啡館喝咖啡（利用）嘗試去其它咖啡館，或許會喝到更喜歡的咖啡（探索）在MAB問題基礎(chǔ)上增加狀態(tài)的ContextualBandit問題經(jīng)常被用于廣告推薦Agent不斷選擇商品推送給顧客，并通過反饋判斷其喜歡什么商品只有通過不斷試驗，才能逐步了解顧客，推送準(zhǔn)確的商品但這個過程中，如果推送了顧客不喜歡的產(chǎn)品，必然會造成經(jīng)濟(jì)損失Refer:/news/201704/c9wvaAoGb39f8OBt.html生活中的探索與利用臨床試驗利用：試驗期間盡可能有效地治療患者探索：通過研究確定最佳治療方法在線廣告利用：堅持至今效果最好的廣告探索：目標(biāo)是使用點擊率收集有關(guān)廣告效果的信息生活中的探索與利用探索利用困境強(qiáng)化學(xué)習(xí)中，經(jīng)常會考慮另外一種設(shè)定，即先將Agent在特定的環(huán)境上訓(xùn)練好，然后再考察它的效果例如要訓(xùn)練一個玩游戲的Agent，可以先用它在電腦上訓(xùn)練很多輪，然后再看它能達(dá)到何種性能唯一目標(biāo)是在訓(xùn)練完畢之后它能拿出足夠好的表現(xiàn)而其在訓(xùn)練中的表現(xiàn)是完全不重要的！這樣的話，還需不需要exploitation？有監(jiān)督學(xué)習(xí)與強(qiáng)化學(xué)習(xí)的區(qū)別有監(jiān)督學(xué)習(xí)中，訓(xùn)練與測試必須嚴(yán)格分開，而評價算法的標(biāo)準(zhǔn)必須是測試誤差而非訓(xùn)練誤差強(qiáng)化學(xué)習(xí)中，直接針對未知環(huán)境學(xué)習(xí)最佳策略，訓(xùn)練與測試都是在同一個環(huán)境進(jìn)行，訓(xùn)練誤差與測試誤差不必嚴(yán)格分開需要結(jié)合現(xiàn)實中的具體情況，去定義問題是“邊訓(xùn)練邊測試”還是“先訓(xùn)練后測試”算法的成本任何的算法都要考慮成本在“先訓(xùn)練后測試”的情形下，所考慮的成本主要是用到了多少數(shù)據(jù)例如在訓(xùn)練玩游戲的Agent時，訓(xùn)練的成本是它訓(xùn)練的輪數(shù)，而不是訓(xùn)練時它的表現(xiàn)在“邊訓(xùn)練邊測試”的情形下，所考慮的成本不只是數(shù)據(jù)的成本，也和數(shù)據(jù)的內(nèi)容有關(guān)例如在多臂老虎機(jī)問題中，訓(xùn)練的主要成本是損失的金幣玩多臂老虎機(jī)的時候，究竟是否需要考慮贏輸金幣的多少？關(guān)鍵要確定目標(biāo)！重新定義MAB問題

重新定義MAB問題在前50次模擬中，得出如下估計結(jié)果：接下來還應(yīng)該認(rèn)為各個搖臂都有相同可能是最佳搖臂嗎應(yīng)該認(rèn)為第1、2、5號搖臂更有可能是最佳搖臂搖臂編號實驗次數(shù)10.71020.51030.21040.11050.810將接下來50次試驗的機(jī)會平均分配給第1、2、5號搖臂，得到如下結(jié)果：上述結(jié)果可以認(rèn)為，第1和第5兩個搖臂更可能是最佳搖臂重新定義MAB問題搖臂編號實驗次數(shù)10.762720.582630.21040.11050.7827重新定義MAB問題將最后50次試驗機(jī)會平均分配給第1和第5號搖臂，得到如下結(jié)果：根據(jù)右表的結(jié)果可以認(rèn)為，

第5號搖臂更可能是最佳搖臂！搖臂編號實驗次數(shù)10.755220.582630.21040.11050.7952

利用的意義

反映了exploitation的基本思想利用的意義

探索與利用

探索和利用

探索率的選擇如果將其設(shè)計得太高（即更傾向于“探索”）會導(dǎo)致較