1強(qiáng)化學(xué)習(xí)介紹詳解

強(qiáng)化學(xué)習(xí)介紹簡(jiǎn)介一種能夠讓機(jī)器解決科學(xué)或經(jīng)濟(jì)方面學(xué)習(xí)問(wèn)題的設(shè)計(jì)方案，并通過(guò)數(shù)學(xué)分析或計(jì)算實(shí)驗(yàn)來(lái)評(píng)估的方法稱為強(qiáng)化學(xué)習(xí)。從交互中進(jìn)行，以目標(biāo)為導(dǎo)向。強(qiáng)化學(xué)習(xí)介紹學(xué)習(xí)者不被告知采取哪個(gè)動(dòng)作，而是通過(guò)嘗試來(lái)發(fā)現(xiàn)獲得最大獎(jiǎng)賞的動(dòng)作。agent必須嘗試各種動(dòng)作，并且漸漸趨近于那些表現(xiàn)最好的動(dòng)作，以達(dá)到目標(biāo)。強(qiáng)化學(xué)習(xí)介紹監(jiān)督學(xué)習(xí)是從樣例中學(xué)習(xí)，樣例是由富有知識(shí)的外部監(jiān)督者提供的。這是一種重要的學(xué)習(xí)方法，但是它不能單獨(dú)地用于交互學(xué)習(xí)。強(qiáng)化學(xué)習(xí)沒(méi)有外部指導(dǎo)者，是在交互中，從自身經(jīng)驗(yàn)中學(xué)習(xí)。強(qiáng)化學(xué)習(xí)挑戰(zhàn)學(xué)習(xí)者必須嘗試各種動(dòng)作，并且漸漸趨近于那些表現(xiàn)最好的動(dòng)作，以達(dá)到目標(biāo)。嘗試各種動(dòng)作即為試錯(cuò)，也稱為探索趨近于好的動(dòng)作即為強(qiáng)化，也稱為利用探索與利用之間的平衡，是強(qiáng)化學(xué)習(xí)的一個(gè)挑戰(zhàn)。探索多了，有可能找到差的動(dòng)作，探索少了，有可能錯(cuò)過(guò)好的動(dòng)作?？傮w趨勢(shì)：探索變少，利用變多監(jiān)督學(xué)習(xí)中根本就不存在探索和利用的平衡問(wèn)題，樣例學(xué)習(xí)階段之后，就只有利用了。例子一個(gè)機(jī)器人決定：1、進(jìn)入一個(gè)新房間去尋找更多垃圾，2、尋找一條回去充電的路。它根據(jù)以前找到充電器的快慢和難易程度來(lái)作決定。這是以前與環(huán)境交互得到的經(jīng)驗(yàn)強(qiáng)化學(xué)習(xí)關(guān)鍵特征強(qiáng)化學(xué)習(xí)明確整個(gè)問(wèn)題時(shí)一個(gè)以目標(biāo)為導(dǎo)向的agent與不確定環(huán)境交互問(wèn)題例子五子棋：棋手通過(guò)數(shù)學(xué)公式計(jì)算，發(fā)現(xiàn)位置1比位置2價(jià)值大，這是強(qiáng)化學(xué)習(xí)嗎？這不叫強(qiáng)化學(xué)習(xí)，叫規(guī)劃如果通過(guò)幾次嘗試，走位置1比走位置2贏棋的可能大，得出經(jīng)驗(yàn)，則為強(qiáng)化學(xué)習(xí)例子小牛羚在出生后幾分鐘內(nèi)掙扎著站起來(lái)。半小時(shí)后，每小時(shí)能跑幾十公里例子一個(gè)進(jìn)行石油提煉操作的攪拌控制器。該控制器逐步優(yōu)化產(chǎn)量/成本/質(zhì)量之間的平衡而不是嚴(yán)格按照工程師的最初設(shè)置來(lái)攪拌。例子走到電梯門口，發(fā)現(xiàn)等電梯的人很多選擇：1等電梯；2走下去根據(jù)經(jīng)驗(yàn)來(lái)選擇，是強(qiáng)化學(xué)習(xí)例子家長(zhǎng)一直采用嚴(yán)厲的方法對(duì)待子女，從不嘗試平和的方式對(duì)待子女?；蛟S錯(cuò)過(guò)了采取更好動(dòng)作的機(jī)會(huì)（如平和的教育方式）。例子這些例子中，隨時(shí)間推移，學(xué)習(xí)者利用它獲得的經(jīng)驗(yàn)不斷提高自己的性能。簡(jiǎn)言之，強(qiáng)化學(xué)習(xí)就是試出來(lái)的經(jīng)驗(yàn)。自主學(xué)習(xí)分析一下動(dòng)物自主學(xué)習(xí)的特點(diǎn)：

1、試錯(cuò)：嘗試不同的做法（動(dòng)作）

2、強(qiáng)化：有好處多做，沒(méi)有好處少做

3、目標(biāo)：是動(dòng)物努力的方向，目標(biāo)導(dǎo)向動(dòng)物（學(xué)習(xí)者）必須嘗試各種動(dòng)作，并且漸漸趨近于那些表現(xiàn)最好的動(dòng)作，以達(dá)到目標(biāo)。相關(guān)定義為便于研究，定義幾個(gè)概念

agent（學(xué)習(xí)的主體，如小貓、小狗、人、機(jī)器人、控制程序等）agent以目標(biāo)為導(dǎo)向，與不確定的環(huán)境之間進(jìn)行交互，在交互過(guò)程中強(qiáng)化好的動(dòng)作，獲得經(jīng)驗(yàn)。agent特點(diǎn)

1、能感知環(huán)境的狀態(tài)

2、選擇動(dòng)作（可能會(huì)影響環(huán)境的狀態(tài)）

3、有一個(gè)目標(biāo)（與環(huán)境狀態(tài)有關(guān)的）相關(guān)定義agent的目標(biāo)導(dǎo)向與許多其他學(xué)習(xí)方法相比，其他方法只考慮了子任務(wù)，而沒(méi)有解決怎樣可以把這些子任務(wù)整合到一個(gè)更大的框架中。而強(qiáng)化學(xué)習(xí)是以最終目標(biāo)為導(dǎo)向的，可以把不同的子任務(wù)整合到一個(gè)大框架中。強(qiáng)化學(xué)習(xí)的基本要素策略獎(jiǎng)賞函數(shù)值函數(shù)環(huán)境模型強(qiáng)化學(xué)習(xí)的基本要素策略定義了agent在給定時(shí)間內(nèi)的行為方式，一個(gè)策略就是從環(huán)境感知的狀態(tài)到在這些狀態(tài)中可采用動(dòng)作的一個(gè)映射?？赡苁且粋€(gè)查找表，也可能是一個(gè)函數(shù)強(qiáng)化學(xué)習(xí)的基本要素獎(jiǎng)賞函數(shù)是強(qiáng)化學(xué)習(xí)問(wèn)題中的目標(biāo)，它把環(huán)境中感知到的狀態(tài)映射為單獨(dú)的一個(gè)獎(jiǎng)賞獎(jiǎng)賞函數(shù)可以是改變策略的基礎(chǔ)。強(qiáng)化學(xué)習(xí)的基本要素值函數(shù)：一個(gè)狀態(tài)的值一個(gè)agent從那個(gè)狀態(tài)開(kāi)始到將來(lái)預(yù)期的累積的獎(jiǎng)賞和。在決策和評(píng)價(jià)決策中考慮最多的是值。強(qiáng)化學(xué)習(xí)的基本要素環(huán)境模型模擬了環(huán)境的行為，即給定一個(gè)狀態(tài)和動(dòng)作，模型可以預(yù)測(cè)必定導(dǎo)致下一個(gè)狀態(tài)和下一個(gè)獎(jiǎng)賞。模型一般用于規(guī)劃。規(guī)劃是算出來(lái)的，強(qiáng)化學(xué)習(xí)是試出來(lái)的。將模型和規(guī)劃結(jié)合到強(qiáng)化學(xué)習(xí)是一個(gè)新進(jìn)展，也是我們學(xué)習(xí)研究的重要內(nèi)容。強(qiáng)化學(xué)習(xí)介紹本書(shū)中所有強(qiáng)化學(xué)習(xí)方法圍繞估計(jì)值來(lái)組織，但這不是解決強(qiáng)化學(xué)習(xí)問(wèn)題所必須的。直接在策略空間中搜索而不利用值函數(shù)的方法稱為進(jìn)化方法。適合用在策略空間比較小或者策略空間被構(gòu)造地很好地情況下。例子：Tic－Tac－Toe初始1→0.52→0.53→0.54→0.5

。。。

39→0.5當(dāng)前1→0.52→0.53→0.5S4→0.5

。。。100→1S’

。。。

39→0.5不斷對(duì)弈，不斷更新估計(jì)例子：Tic－Tac－Toe

更新貪心走棋之前的狀態(tài)s：例子：Tic－Tac－Toe

強(qiáng)化學(xué)習(xí)關(guān)鍵特征學(xué)習(xí)時(shí)與環(huán)境交互（本例中與對(duì)手交互）有一個(gè)清晰的目標(biāo)強(qiáng)化學(xué)習(xí)歷史主要有兩條線路一條線路關(guān)注試錯(cuò)學(xué)習(xí)，以動(dòng)物心理學(xué)為起點(diǎn)。（貫穿人工智能早期）另一條線路關(guān)注最優(yōu)控制問(wèn)題以及使用值函數(shù)和動(dòng)態(tài)規(guī)劃的解決方案。強(qiáng)化學(xué)習(xí)歷史最優(yōu)控制描述的問(wèn)題是如何設(shè)計(jì)一個(gè)控制器來(lái)隨時(shí)間而最小化動(dòng)態(tài)系統(tǒng)的行為計(jì)量一個(gè)解決這個(gè)問(wèn)題的方法是使用動(dòng)態(tài)系統(tǒng)中狀態(tài)和值函數(shù)的概念來(lái)定義一個(gè)函數(shù)方程，即貝爾曼方程