機(jī)器學(xué)習(xí) 課件 第1、2章 基礎(chǔ)知識(shí)、表征學(xué)習(xí)

第1章基礎(chǔ)知識(shí)《論語(yǔ)·述而》：三人行，必有我?guī)熝?。擇其善者而從之，其不善者而改之?.1什么是機(jī)器學(xué)習(xí)

學(xué)習(xí)算法

1.1什么是機(jī)器學(xué)習(xí)

屬性(Attribute)，也成為特征。構(gòu)成的向量為特征向量或?qū)傩韵蛄?/p>

屬性值都是隨機(jī)的，通常假設(shè)樣本集獲得屬性向量是獨(dú)立同分布

標(biāo)簽(label)

1.2機(jī)器學(xué)習(xí)分類(lèi)

分類(lèi)回歸

1.3模型評(píng)估

學(xué)習(xí)算法

2.準(zhǔn)確率和錯(cuò)誤率

三角形區(qū)

三角形區(qū)

4.均方差和峰值信噪比

1.4優(yōu)化

學(xué)習(xí)算法

通過(guò)訓(xùn)練樣本，獲得模型參數(shù)的過(guò)程稱(chēng)為參數(shù)學(xué)習(xí)

1.損失函數(shù)

2.目標(biāo)函數(shù)

3.最小二乘法

《機(jī)器學(xué)習(xí)》學(xué)習(xí)時(shí)長(zhǎng)與考試成績(jī)的關(guān)系學(xué)習(xí)天數(shù)1012015818考試成績(jī)8210989365904.梯度下降法

4.梯度下降法

每次迭代，從訓(xùn)練集中隨機(jī)抽取一小部分樣本計(jì)算目標(biāo)函數(shù)，計(jì)算梯度、更新參數(shù)。5.梯度修正梯度修正動(dòng)量法Nesterov加速梯度法

目標(biāo)函數(shù)曲面沿不同方向變化快慢不一致。在隨機(jī)(小批量)梯度下降法中，如果每次選取樣本數(shù)量比較少，迭代步長(zhǎng)則具有隨機(jī)性。如果梯度方向處于急變區(qū)，則變化快；如果處于平坦區(qū)，則變化慢，導(dǎo)致?lián)p失函數(shù)以振蕩方式下降。此外，一旦進(jìn)入損失函數(shù)的局部最小點(diǎn)或鞍點(diǎn)，也可能難以跳出。動(dòng)量法為解決或緩解上述問(wèn)題提供可能：通過(guò)使用最近一段時(shí)間內(nèi)的平均梯度來(lái)代替當(dāng)前的隨機(jī)梯度。動(dòng)量法

動(dòng)量法Nesterov加速梯度法，NAG

5.學(xué)習(xí)率調(diào)整學(xué)習(xí)率調(diào)整學(xué)習(xí)率衰減，學(xué)習(xí)率退火Adagrad算法Adadelta算法Adam算法

Adagrad算法是由JohnDuchi等人提出的一種自適應(yīng)學(xué)習(xí)率的梯度下降法：對(duì)不同的參數(shù)采用不同學(xué)習(xí)率，低頻出現(xiàn)參數(shù)采用大學(xué)習(xí)率，高頻出現(xiàn)參數(shù)采用小學(xué)習(xí)率。

5.學(xué)習(xí)率調(diào)整學(xué)習(xí)率調(diào)整學(xué)習(xí)率衰減，學(xué)習(xí)率退火Adagrad算法Adadelta算法Adam算法

由MatthewD.Zeiler提出的旨在解決Adagrad學(xué)習(xí)率不斷下降問(wèn)題的一種改進(jìn)算法，該算法僅計(jì)算在近期梯度值的累積和

5.學(xué)習(xí)率調(diào)整學(xué)習(xí)率調(diào)整學(xué)習(xí)率衰減，學(xué)習(xí)率退火Adagrad算法Adadelta算法Adam算法

DiederikP.Kingma等人提出適應(yīng)性動(dòng)量估計(jì)法(AdaptiveMomentEstimation)

謝謝！第2章表征學(xué)習(xí)主講：胡曉2.1表征學(xué)習(xí)的目的

2.2數(shù)據(jù)預(yù)處理

2.3.2學(xué)習(xí)模型

混合散布矩陣

2.4.2類(lèi)可判別測(cè)度

在樣本表征值的空間分布，類(lèi)內(nèi)距離越小和類(lèi)間距離越大，越有利于實(shí)現(xiàn)模式分類(lèi)。

目標(biāo)函數(shù)

多維縮放的目標(biāo)是，

2.6流形學(xué)習(xí)(ManifoldLearning)

2.6流形學(xué)習(xí)(ManifoldLearning)2.6.2等度量映射

2.6流形學(xué)習(xí)(ManifoldLearning)

(1)構(gòu)建鄰接圖2.6.2等度量映射2.6流形學(xué)習(xí)(ManifoldLearning)(1)構(gòu)建鄰接圖(2)任意兩點(diǎn)間最短測(cè)地距離重構(gòu)不相似度矩陣

2.6流形學(xué)習(xí)(ManifoldLearning)

2.6.3局部線(xiàn)性嵌入2.6流形學(xué)習(xí)(ManifoldLearning)

由GeoffreyHinton等人于2002年提出，基本思路：首先，在高維空間構(gòu)建一個(gè)反映樣本點(diǎn)間相對(duì)位置(相似度)的概率分布；然后，通過(guò)學(xué)習(xí)，調(diào)整低維空間樣本分布，致使低維空間樣本相對(duì)位置的概率分布能擬合高維空間樣本相對(duì)位置的概率分布?；倦S機(jī)近鄰嵌入

理論上要求條件概率相等

2.8稀疏表征2.8.1壓縮感知

又稱(chēng)為壓縮采樣(CompressingSampling)，顧名思義，是用少于奈奎斯特定理(Nyquist)要求的最低采樣頻率對(duì)信號(hào)進(jìn)行采樣，達(dá)到“壓縮”觀測(cè)數(shù)據(jù)的目的。

2.8稀疏表征

(SparseRepresentations)2.8.1壓縮感知

2.8稀疏表征