機(jī)器學(xué)習(xí) 課件全套 胡曉 第1-11章 基礎(chǔ)知識(shí)、表征學(xué)習(xí)- 強(qiáng)化學(xué)習(xí)

第1章基礎(chǔ)知識(shí)《論語·述而》：三人行，必有我?guī)熝?。擇其善者而從之，其不善者而改之?.1什么是機(jī)器學(xué)習(xí)

學(xué)習(xí)算法

1.1什么是機(jī)器學(xué)習(xí)

屬性(Attribute)，也成為特征。構(gòu)成的向量為特征向量或?qū)傩韵蛄?/p>

屬性值都是隨機(jī)的，通常假設(shè)樣本集獲得屬性向量是獨(dú)立同分布

標(biāo)簽(label)

1.2機(jī)器學(xué)習(xí)分類

分類回歸

1.3模型評估

學(xué)習(xí)算法

2.準(zhǔn)確率和錯(cuò)誤率

三角形區(qū)

三角形區(qū)

4.均方差和峰值信噪比

1.4優(yōu)化

學(xué)習(xí)算法

通過訓(xùn)練樣本，獲得模型參數(shù)的過程稱為參數(shù)學(xué)習(xí)

1.損失函數(shù)

2.目標(biāo)函數(shù)

3.最小二乘法

《機(jī)器學(xué)習(xí)》學(xué)習(xí)時(shí)長與考試成績的關(guān)系學(xué)習(xí)天數(shù)1012015818考試成績8210989365904.梯度下降法

4.梯度下降法

每次迭代，從訓(xùn)練集中隨機(jī)抽取一小部分樣本計(jì)算目標(biāo)函數(shù)，計(jì)算梯度、更新參數(shù)。5.梯度修正梯度修正動(dòng)量法Nesterov加速梯度法

目標(biāo)函數(shù)曲面沿不同方向變化快慢不一致。在隨機(jī)(小批量)梯度下降法中，如果每次選取樣本數(shù)量比較少，迭代步長則具有隨機(jī)性。如果梯度方向處于急變區(qū)，則變化快；如果處于平坦區(qū)，則變化慢，導(dǎo)致?lián)p失函數(shù)以振蕩方式下降。此外，一旦進(jìn)入損失函數(shù)的局部最小點(diǎn)或鞍點(diǎn)，也可能難以跳出。動(dòng)量法為解決或緩解上述問題提供可能：通過使用最近一段時(shí)間內(nèi)的平均梯度來代替當(dāng)前的隨機(jī)梯度。動(dòng)量法

動(dòng)量法Nesterov加速梯度法，NAG

5.學(xué)習(xí)率調(diào)整學(xué)習(xí)率調(diào)整學(xué)習(xí)率衰減，學(xué)習(xí)率退火Adagrad算法Adadelta算法Adam算法

Adagrad算法是由JohnDuchi等人提出的一種自適應(yīng)學(xué)習(xí)率的梯度下降法：對不同的參數(shù)采用不同學(xué)習(xí)率，低頻出現(xiàn)參數(shù)采用大學(xué)習(xí)率，高頻出現(xiàn)參數(shù)采用小學(xué)習(xí)率。

5.學(xué)習(xí)率調(diào)整學(xué)習(xí)率調(diào)整學(xué)習(xí)率衰減，學(xué)習(xí)率退火Adagrad算法Adadelta算法Adam算法

由MatthewD.Zeiler提出的旨在解決Adagrad學(xué)習(xí)率不斷下降問題的一種改進(jìn)算法，該算法僅計(jì)算在近期梯度值的累積和

5.學(xué)習(xí)率調(diào)整學(xué)習(xí)率調(diào)整學(xué)習(xí)率衰減，學(xué)習(xí)率退火Adagrad算法Adadelta算法Adam算法

DiederikP.Kingma等人提出適應(yīng)性動(dòng)量估計(jì)法(AdaptiveMomentEstimation)

謝謝！第2章表征學(xué)習(xí)主講：胡曉2.1表征學(xué)習(xí)的目的

2.2數(shù)據(jù)預(yù)處理

2.3.2學(xué)習(xí)模型

混合散布矩陣

2.4.2類可判別測度

在樣本表征值的空間分布，類內(nèi)距離越小和類間距離越大，越有利于實(shí)現(xiàn)模式分類。

目標(biāo)函數(shù)

多維縮放的目標(biāo)是，

2.6流形學(xué)習(xí)(ManifoldLearning)

2.6流形學(xué)習(xí)(ManifoldLearning)2.6.2等度量映射

2.6流形學(xué)習(xí)(ManifoldLearning)

(1)構(gòu)建鄰接圖2.6.2等度量映射2.6流形學(xué)習(xí)(ManifoldLearning)(1)構(gòu)建鄰接圖(2)任意兩點(diǎn)間最短測地距離重構(gòu)不相似度矩陣

2.6流形學(xué)習(xí)(ManifoldLearning)

2.6.3局部線性嵌入2.6流形學(xué)習(xí)(ManifoldLearning)

由GeoffreyHinton等人于2002年提出，基本思路：首先，在高維空間構(gòu)建一個(gè)反映樣本點(diǎn)間相對位置(相似度)的概率分布；然后，通過學(xué)習(xí)，調(diào)整低維空間樣本分布，致使低維空間樣本相對位置的概率分布能擬合高維空間樣本相對位置的概率分布?；倦S機(jī)近鄰嵌入

理論上要求條件概率相等

2.8稀疏表征2.8.1壓縮感知

又稱為壓縮采樣(CompressingSampling)，顧名思義，是用少于奈奎斯特定理(Nyquist)要求的最低采樣頻率對信號進(jìn)行采樣，達(dá)到“壓縮”觀測數(shù)據(jù)的目的。

2.8稀疏表征

(SparseRepresentations)2.8.1壓縮感知

2.8稀疏表征

一般化，我們將這兩情況合并成，

感知矩陣(SensingMatrices)

2.8稀疏表征

2.8稀疏表征

2.8稀疏表征

謝謝！第3章貝葉斯分類器主講胡曉目錄3.1基本概念3.2決策準(zhǔn)則3.3高斯混合模型3.4未知概率密度函數(shù)估計(jì)3.5樸素貝葉斯3.6拉普拉斯平滑3.1基本概念

3.1基本概念

3.1基本概念

根據(jù)貝葉斯準(zhǔn)則和全概率公式3.2貝葉斯決策準(zhǔn)則

3.2貝葉斯決策準(zhǔn)則

3.3高斯混合模型

高斯混合模型，其凸性組合形式為

3.4未知概率密度函數(shù)估計(jì)

對數(shù)似然函數(shù)

最大化自然函數(shù)轉(zhuǎn)化為最小化代價(jià)函數(shù)

3.4未知概率密度函數(shù)估計(jì)

3.4未知概率密度函數(shù)估計(jì)

每次迭代有兩步：

3.5樸素貝葉斯

樸素貝葉斯(Na?veBayes)采用屬性條件獨(dú)立性假設(shè)減少需估計(jì)的參數(shù)數(shù)量：

3.6拉普拉斯平滑

謝謝！第4章最近鄰分類器《機(jī)器學(xué)習(xí)》胡曉4.1最近鄰規(guī)則

4.2加權(quán)最近鄰分類器

4.2加權(quán)最近鄰分類器

4.3加速策略

4.3加速策略

4.3加速策略

謝謝！第5章線性模型《機(jī)器學(xué)習(xí)》胡曉目錄5.1二類線性模型5.2Lasso回歸5.3邏輯回歸5.4支持向量機(jī)5.5多類線性分類器5.6類不平衡問題5.1二類線性模型

二分類超平面的數(shù)學(xué)表達(dá)式

5.1二類線性模型

5.1線性回歸

5.2Lasso回歸

嶺回歸(Ridgeregression)的目標(biāo)函數(shù)

5.1線性回歸

5.3邏輯回歸

取對數(shù)調(diào)整成目標(biāo)函數(shù)

平均梯度為5.4支持向量機(jī)

5.4支持向量機(jī)

5.4支持向量機(jī)

5.5多類線性模型5.5.1基本策略“一對一”“一對余”“多對多”

5.5.2Softmax回歸

5.6類不平衡問題類別不均衡(class-imbalance)，有些場合也稱為長尾問題(Long-tail)，指分類任務(wù)中不同類別樣本的比例相差懸殊，如有2000個(gè)樣本的樣本集中僅有20個(gè)正樣本，其余全是負(fù)樣本。閾值移動(dòng)數(shù)據(jù)再平衡過采樣：SMOTE(syntheticminorityoversamplingtechnique)算法欠采樣：EasyEnsemble和balanceCascade謝謝！第6章非線性模型《機(jī)器學(xué)習(xí)》胡曉目錄6.1分段線性判別6.2二次判別分析6.3核方法6.1分段線性判別如圖所示，我們可以用兩條線性分界線(兩條黑色直線)完成線性不可分的分類問題。此策略分成兩步：子類劃分和合并同類。子類劃分，將某些類別劃分成可與其它類線性可分的子類。合并同類即將分類后相同類合并成一類。6.2二次判別分析

因此，實(shí)際上采用參數(shù)估計(jì)獲得二次判別函數(shù)。6.2二次判別分析

6.3核方法核方法基本思路：不增加模型參數(shù)，將訓(xùn)練樣本屬性向量從低維空間非線性映射到高維空間，然后在高維空間學(xué)習(xí)線性模型。6.3核方法

6.3核方法

6.3核方法

6.3核方法6.3.2核函數(shù)

6.3核方法

1、線性核函數(shù)

3、雙正切核函數(shù)

5、指數(shù)核函數(shù)

6、拉普拉斯核函數(shù)

6.3核方法

6.3核方法

謝謝！第7章集成學(xué)習(xí)《機(jī)器學(xué)習(xí)》胡曉目錄7.1集成學(xué)習(xí)理論依據(jù)7.2集成學(xué)習(xí)機(jī)制7.3決策樹7.4隨機(jī)森林7.5自適應(yīng)助推7.1集成學(xué)習(xí)理論依據(jù)

7.2集成學(xué)習(xí)機(jī)制裝袋法(Bagging)

：每次被選取的樣本賦予相同權(quán)重，所有模型有相同投票權(quán)；采用某種組合策略確定最終結(jié)果。助推法(Boosting)采用級聯(lián)方式，前級基學(xué)習(xí)指導(dǎo)后級基學(xué)習(xí)，后級基學(xué)習(xí)重視前級的錯(cuò)分樣本，并給予錯(cuò)分樣本

7.3決策樹

在樹形結(jié)構(gòu)圖中，只有輸出沒有輸入的節(jié)點(diǎn)稱為是根結(jié)點(diǎn)，位于樹的頂端；既有輸入又有輸出的結(jié)點(diǎn)稱為中間結(jié)點(diǎn)；只有輸入沒有輸出的結(jié)點(diǎn)稱為葉結(jié)點(diǎn)，葉結(jié)點(diǎn)代表了對樣本數(shù)據(jù)的決策類別，即決策結(jié)果。7.3決策樹7.3.2ID3和C4.5第3代迭代二叉樹(IterativeDichotomiser3,ID3)C4.5算法與ID3整體結(jié)構(gòu)基本一樣，都采用自頂向下的貪婪搜索遍歷所有可能的決策樹空間；不同的是：在劃分分支選擇最優(yōu)屬性時(shí)，ID3選擇信息增益最高的屬性，而C4.5采用信息增益比最高的屬性。

信息增益比，

7.3決策樹7.3.2ID3和C4.5

7.3決策樹

7.3決策樹7.3.3分類回歸樹

從表7.1中有放回的隨機(jī)抽取15個(gè)樣本構(gòu)成數(shù)據(jù)集

7.3決策樹

7.3決策樹7.3.4剪枝理想情況下，所有樣本都能被決策樹精確預(yù)測，即生成決策樹葉結(jié)點(diǎn)都有確定類型。但實(shí)際上決策樹可能存在過多結(jié)點(diǎn)，導(dǎo)致過度擬合。常見原因：樣本中存在噪聲和樣本不具代表性。因此，實(shí)際中常常進(jìn)行枝葉裁剪。預(yù)剪枝后剪枝7.4隨機(jī)森林隨機(jī)森林是(RadomForest)裝袋學(xué)習(xí)機(jī)制的一種進(jìn)階。在隨機(jī)森林中，每個(gè)基映射函數(shù)都是一棵決策樹，然后將多棵決策樹集成一個(gè)強(qiáng)映射函數(shù)，可實(shí)現(xiàn)分類也可實(shí)現(xiàn)回歸。

7.5自適應(yīng)助推

7.5自適應(yīng)助推

謝謝！第8章聚類《機(jī)器學(xué)習(xí)》胡曉8.1聚類基本理論

8.1聚類基本理論

相似性測度在聚類算法，樣本間相似度通常需要采用兩個(gè)樣本之間的“距離測度(DistanceMetric,DM)”進(jìn)行衡量。

常見距離：歐氏距離、曼哈頓距離、閔可夫斯基距離、值差異值測度8.1聚類基本理論類簇中心類簇中心，又稱為簇質(zhì)心，定義為簇內(nèi)樣本分布中心，如圖8.1中每簇的中心點(diǎn)。然而，不同聚類算法定義各有差別，簡單分為兩種：K均值聚類簇中心

基于密度的類簇中心AlexRodriguez和AlessandroLaio在Science期刊文章中提出：類簇中心周圍都是密度比其低的點(diǎn)，同時(shí)這些點(diǎn)距離該簇中心的距離相比于其他聚類中心最近。8.1聚類基本理論聚類算法評價(jià)指標(biāo)

純度(Purity)將每個(gè)簇內(nèi)頻數(shù)最高的樣本類別作為正確的類簇，聚類熵

8.1聚類基本理論聚類算法評價(jià)指標(biāo)同質(zhì)性也叫均一性，一個(gè)類簇中僅有一個(gè)類別的樣本，均一性最高同質(zhì)性(Homogeneity)

相當(dāng)于精確率，即被聚類的類簇中正確分類的樣本數(shù)占該類簇中的樣本數(shù)的比例,

8.1聚類基本理論聚類算法評價(jià)指標(biāo)完整性(Completeness)同類別的樣本被歸類到同一聚類簇中，則滿足完整性。相當(dāng)于召回率，即每個(gè)聚類中正確分類的樣本數(shù)占該類別樣本的數(shù)量，

8.1聚類基本理論聚類算法評價(jià)指標(biāo)蘭德指數(shù)和調(diào)整蘭德指數(shù)

8.2K均值聚類

8.3層次聚類層次聚類(hierarchicalclustering)是基于簇間的相似度的樹形聚類算法。一般有兩種劃分策略：自底向上的凝聚策略和自頂向下的分拆策略。凝聚策略

分拆策略

初始時(shí)將每個(gè)樣本點(diǎn)當(dāng)做一個(gè)類簇，然后依據(jù)相似度準(zhǔn)則合并相似度最大的類簇，直到達(dá)到終止條件。

8.4密度聚類

密度聚類(Density-BasedSpatialClustering)是一種基于密度的聚類算法。8.4密度聚類2、密度聚類基本過程8.4密度聚類

8.4.2高斯混合聚類謝謝！第9章概率圖模型《機(jī)器學(xué)習(xí)》胡曉目錄9.1聯(lián)合概率9.2概率有向圖9.3概率圖向圖9.4因子圖與和積算法9.1聯(lián)合概率

9.2概率有向圖

9.2概率有向圖

9.2概率有向圖

9.2概率有向圖定理9.1：父結(jié)點(diǎn)給定下，該結(jié)點(diǎn)與其所有非后代結(jié)點(diǎn)(non-descendants)條件獨(dú)立。

9.2概率有向圖

貝葉斯網(wǎng)絡(luò)表示通常由領(lǐng)域?qū)＜腋鶕?jù)研究對象先驗(yàn)知識(shí)進(jìn)行建立模貝葉斯網(wǎng)絡(luò)圖。一般分為三個(gè)步驟：確定變量集和變量域設(shè)計(jì)結(jié)點(diǎn)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)定義變量之間的依賴關(guān)系參數(shù)學(xué)習(xí)表示聯(lián)合概率分布(包括局部概率分布或局部密度函數(shù))。

9.2概率有向圖

(2)依據(jù)變量之間的依賴關(guān)系設(shè)計(jì)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

(3)

采用概率理論進(jìn)行參數(shù)學(xué)習(xí)

9.2概率有向圖

(3)

采用概率理論進(jìn)行參數(shù)學(xué)習(xí)

假設(shè)根據(jù)訓(xùn)練數(shù)據(jù)已經(jīng)獲得，

概率分布形式

9.2概率有向圖

變量消除法9.2概率有向圖

9.2概率有向圖

9.2概率有向圖

9.2概率有向圖

9.2概率有向圖

9.2概率有向圖

9.3概率無向圖

9.3概率無向圖

9.3概率無向圖

9.3概率無向圖

9.3概率無向圖

9.3概率無向圖

9.3概率無向圖

轉(zhuǎn)移特征函數(shù)狀態(tài)特征函數(shù)

9.4因子圖與和積算法

9.4因子圖與和積算法

9.4因子圖與和積算法

9.4因子圖與和積算法

9.4因子圖與和積算法

(2)變量結(jié)點(diǎn)則演化為邊緣

9.4因子圖與和積算法

如果

先求和再乘積謝謝！第10章人工神經(jīng)網(wǎng)絡(luò)《機(jī)器學(xué)習(xí)》胡曉10.1神經(jīng)元及基本模型

神經(jīng)元(Neuron)是人腦神經(jīng)系統(tǒng)的基本單元，負(fù)責(zé)接收和傳遞神經(jīng)信號

通過突觸(Synapse)與下一層神經(jīng)元的樹突連接起來，從而構(gòu)成基本神經(jīng)通路。美國心理學(xué)家FrankRosenblatt提出的感知機(jī)模擬了神經(jīng)元的細(xì)胞膜電位累加和激活過程，建立了神經(jīng)元的基本模型：線性變換和激活。

10.1神經(jīng)元及基本模型

10.2激活函數(shù)

10.2激活函數(shù)

校正線性單元泄露校正線性單元指數(shù)線性單元軟加函數(shù)softplus

10.2激活函數(shù)Swish激活函數(shù)2017年，GoogleBrain研究人員經(jīng)過大規(guī)模搜索發(fā)現(xiàn)一種在許多任務(wù)上比ReLU性能更好的非線性激活函數(shù)，稱為Swish，

10.3感知機(jī)感知機(jī)是1957年FrankRosenblatt在MP模型基礎(chǔ)之上建立一個(gè)線性分類器。僅有一個(gè)神經(jīng)元，并用符號函數(shù)作為激活函數(shù)，感知機(jī)學(xué)習(xí)算法是一種錯(cuò)誤驅(qū)動(dòng)學(xué)習(xí)算法感知機(jī)的異或難題

10.4前饋神經(jīng)網(wǎng)絡(luò)10.4.1前饋神經(jīng)網(wǎng)絡(luò)模型前饋神經(jīng)網(wǎng)絡(luò)的輸入層和輸出層之間有多個(gè)隱含層，各神經(jīng)元分屬于不同層。相鄰兩層神經(jīng)元采用全連接，即每個(gè)神經(jīng)元與相鄰層的所有神經(jīng)元相連接。每層神經(jīng)元可以接收前一層神經(jīng)元信號，并形成新信號，然后輸出到下一層。整個(gè)神經(jīng)網(wǎng)絡(luò)沒有反饋，信號從輸入層向輸出層單向傳播。

10.4前饋神經(jīng)網(wǎng)絡(luò)單個(gè)神經(jīng)元與前一層神經(jīng)元的信息傳遞關(guān)系當(dāng)前層所有神經(jīng)元與前一層神經(jīng)元的信息傳遞

10.4前饋神經(jīng)網(wǎng)絡(luò)

10.4前饋神經(jīng)網(wǎng)絡(luò)

10.4前饋神經(jīng)網(wǎng)絡(luò)10.4.3反向傳播算法

結(jié)合梯度下降法可以訓(xùn)練神經(jīng)網(wǎng)絡(luò)參數(shù)10.5卷積神經(jīng)網(wǎng)絡(luò)

互相關(guān)和卷積

10.5卷積神經(jīng)網(wǎng)絡(luò)卷積層之所以稱該層為卷積層，因?yàn)檫@一層的基本操作是卷積，即一張或一組特征圖與濾波器核卷積。在神經(jīng)網(wǎng)絡(luò)中，把濾波器核在輸入特征圖覆蓋區(qū)域稱為感受野(ReceptiveField)，10.5.2卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)圖像卷積層中線性變換用矩陣表示為，

池化層在池化層主要完成特征圖的不重疊下采樣。池化函數(shù)主要有平局池化、最大池化、隨機(jī)池化和全局平均池化。10.5卷積神經(jīng)網(wǎng)絡(luò)10.5卷積神經(jīng)網(wǎng)絡(luò)10.5卷積神經(jīng)網(wǎng)絡(luò)10.5.3卷積神經(jīng)網(wǎng)絡(luò)殘差反向傳播解決如何把殘差往前級傳送。

10.6簡單卷積神經(jīng)網(wǎng)絡(luò)10.6.1LeNet-51998年，LeCun等人提出LeNet-5是經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)。雖然LeNet簡單，但模塊齊全。20世紀(jì)90年代被美國很多銀行使用，用來識(shí)別支票上面手寫數(shù)字。網(wǎng)絡(luò)架構(gòu)由輸入層、3個(gè)卷積層、2個(gè)池化層、1個(gè)全連接層和輸出層組成。其中，每個(gè)卷積層包括卷積和激活2個(gè)子層組成。10.6簡單卷積神經(jīng)網(wǎng)絡(luò)10.6.2AlexNet

10.6簡單卷積神經(jīng)網(wǎng)絡(luò)10.6.3VGG2014年，由牛津大學(xué)視覺幾何組(VisualGeometryGroup)提出VGGNet在ILSVRC中獲得了定位任務(wù)第1名和分類任務(wù)第2名，設(shè)計(jì)了A、A-LRN、B、C、D和E共6種網(wǎng)絡(luò)結(jié)構(gòu)，其中D和E分別是著名的VGG16和VGG19：(1)VGG16包含

13個(gè)卷積層和3個(gè)全連接層共16個(gè)隱藏層；(2)VGG19包含16個(gè)卷積層個(gè)3個(gè)全連接層共19個(gè)隱藏層。10.6簡單卷積神經(jīng)網(wǎng)絡(luò)10.6.4Inception2014年至2016年，Google團(tuán)隊(duì)發(fā)表了多篇關(guān)于Inception的經(jīng)典論文詳細(xì)介紹了Inception演進(jìn)版本[15-18]：Inception-V1、-V2、-V3、-V4和Inception-ResNet等，10.6簡單卷積神經(jīng)網(wǎng)絡(luò)10.6.5ResNet由微軟實(shí)驗(yàn)室的KaimingHe等人于2015年提出的殘差網(wǎng)絡(luò)(ResidualNetwork,ResNet)，較好地解決了上述問題，并斬獲了當(dāng)年ImageNet競賽中分類任務(wù)第一名。此后，在分類、檢測、分割等任務(wù)大規(guī)模使用殘差網(wǎng)絡(luò)(ResNet50/ResNet101)作為網(wǎng)絡(luò)骨架。謝謝！第11章強(qiáng)化學(xué)習(xí)《機(jī)器學(xué)習(xí)》胡曉強(qiáng)化學(xué)習(xí)與監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)在強(qiáng)化學(xué)習(xí)中，沒有可學(xué)習(xí)的（標(biāo)注）數(shù)據(jù)；在一個(gè)不斷變化的狀態(tài)空間，解決一個(gè)決策鏈問題。有一個(gè)明確目標(biāo)，通過嘗試達(dá)到目的。而規(guī)劃學(xué)習(xí)則是通過計(jì)算達(dá)到目的監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)訓(xùn)練樣本智能體與環(huán)境交互軌跡和累積獎(jiǎng)勵(lì)優(yōu)化目標(biāo)期望總回報(bào)學(xué)習(xí)準(zhǔn)則期望風(fēng)險(xiǎn)最小最大似然估計(jì)最大似然估計(jì)最小重構(gòu)錯(cuò)誤策略評估策略改進(jìn)11.1強(qiáng)化學(xué)習(xí)概述11.1.1基本概念

強(qiáng)化學(xué)習(xí)涉及到一個(gè)過程、兩個(gè)主體(智能體和環(huán)境)，三個(gè)要素(狀態(tài)、動(dòng)作和獎(jiǎng)勵(lì))

智能體（Agent）可感知外界環(huán)境的狀態(tài)(State)和接受反饋獎(jiǎng)勵(lì)(Reward)，并具備學(xué)習(xí)能力(learning)和決策功能(policy)的實(shí)體環(huán)境（Environment）智能體從外部感知的所有事物和信息，稱為環(huán)境，用狀態(tài)描述11.1強(qiáng)化