機(jī)器學(xué)習(xí) 課件 第11章 強(qiáng)化學(xué)習(xí)

第11章強(qiáng)化學(xué)習(xí)《機(jī)器學(xué)習(xí)》胡曉強(qiáng)化學(xué)習(xí)與監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)在強(qiáng)化學(xué)習(xí)中，沒有可學(xué)習(xí)的（標(biāo)注）數(shù)據(jù)；在一個不斷變化的狀態(tài)空間，解決一個決策鏈問題。有一個明確目標(biāo)，通過嘗試達(dá)到目的。而規(guī)劃學(xué)習(xí)則是通過計算達(dá)到目的監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)訓(xùn)練樣本智能體與環(huán)境交互軌跡和累積獎勵優(yōu)化目標(biāo)期望總回報學(xué)習(xí)準(zhǔn)則期望風(fēng)險最小最大似然估計最大似然估計最小重構(gòu)錯誤策略評估策略改進(jìn)11.1強(qiáng)化學(xué)習(xí)概述11.1.1基本概念

強(qiáng)化學(xué)習(xí)涉及到一個過程、兩個主體(智能體和環(huán)境)，三個要素(狀態(tài)、動作和獎勵)

智能體（Agent）可感知外界環(huán)境的狀態(tài)(State)和接受反饋獎勵(Reward)，并具備學(xué)習(xí)能力(learning)和決策功能(policy)的實(shí)體環(huán)境（Environment）智能體從外部感知的所有事物和信息，稱為環(huán)境，用狀態(tài)描述11.1強(qiáng)化學(xué)習(xí)概述11.1.1基本概念

強(qiáng)化學(xué)習(xí)涉及到一個過程、兩個主體(智能體和環(huán)境)，三個要素(狀態(tài)、動作和獎勵)

動作（Action）對智能體能執(zhí)行行為的描述，其描述值可以是離散的或連續(xù)的

狀態(tài)轉(zhuǎn)移概率轉(zhuǎn)移模型

11.1強(qiáng)化學(xué)習(xí)概述11.1.2策略評估和策略控制

11.1強(qiáng)化學(xué)習(xí)概述11.1.2策略評估和策略控制價值函數(shù)(ValueFunction)智能體從某狀態(tài)(也可從初始狀態(tài))到終點(diǎn)狀態(tài)的一段行為軌跡稱為一幕(Episode)。

11.1強(qiáng)化學(xué)習(xí)概述

11.1強(qiáng)化學(xué)習(xí)概述

11.1強(qiáng)化學(xué)習(xí)概述

定義最優(yōu)狀態(tài)價值函數(shù)為

11.1強(qiáng)化學(xué)習(xí)概述策略評估

這是迭代策略評估(iterativepolicyevaluation)的基本公式11.1強(qiáng)化學(xué)習(xí)概述

策略控制

11.1強(qiáng)化學(xué)習(xí)概述11.1.3強(qiáng)化學(xué)習(xí)分類按模型分基于模型(Model-Based)和無模型(Model-Free)按策略分同軌策略(on-policy)和離軌策略(off-policy)兩類價值學(xué)習(xí)和策略學(xué)習(xí)11.2表格強(qiáng)化學(xué)習(xí)

11.2.1蒙特卡洛蒙特卡洛(MonteCarlo)基本思想：用大量隨機(jī)試驗(yàn)估計未知量

首次訪問(firstvisit)每次訪問(everyvisit)11.2.2動態(tài)規(guī)劃(DynamicProgramming)廣義策略迭代(GeneralizedPolicyIteration,GPI)。

11.2.3時序差分

例11.2設(shè)從學(xué)生宿舍到教室上課經(jīng)過表11.3中所示6個狀態(tài)，預(yù)計到達(dá)教室總時間等于經(jīng)過時間加上剩余時間。

11.2.3時序差分

11.3深度強(qiáng)化學(xué)習(xí)

11.3深度強(qiáng)化學(xué)習(xí)