深度學(xué)習(xí)-課件-第八章-自編碼器

8.1欠完備自編碼器概述第八章自編碼器8.2正則自編碼器8.3隨機(jī)自編碼器of4618.4深度自編碼器8.5變分自編碼器概述第八章自編碼器of462自動編碼器就是一種盡可能復(fù)現(xiàn)輸入信號的神經(jīng)網(wǎng)絡(luò)；自動編碼器必須捕捉可以代表輸入數(shù)據(jù)的最重要的因素；類似PCA，找到可以代表原信息的主要成分。Input：數(shù)據(jù)的輸入；Encoder：編碼器；Code：輸入的一個表示；Decoder：解碼器；Reconstruction:input的重建；Error:重建數(shù)據(jù)和input的誤差。什么是自編碼器？概述第八章自編碼器of463什么是自編碼器？

自編碼器是一種用來實現(xiàn)數(shù)據(jù)編碼和解碼的神經(jīng)網(wǎng)絡(luò)，通過編碼器對輸入進(jìn)行編碼，通過解碼器還原輸入。x

f

h=f(x)

gr=g(h)

輸入隱含層構(gòu)成的編碼函數(shù)編碼隱含層構(gòu)成的解碼函數(shù)解碼編碼器解碼器概述第八章自編碼器of464什么是自編碼器？

自編碼設(shè)法學(xué)習(xí)到一個函數(shù)，使得：即：概述第八章自編碼器of4651很強的數(shù)據(jù)相關(guān)性，即自編碼器只能編碼與訓(xùn)練數(shù)據(jù)類似的數(shù)據(jù)。2自編碼器是有損編碼，通過解碼器解碼無法準(zhǔn)確還原原始編碼。3自編碼器是一種自我監(jiān)督學(xué)習(xí)算法，其輸入即是網(wǎng)絡(luò)的監(jiān)督信息，因此在編碼設(shè)計和訓(xùn)練過程中，要盡量避免簡單的恒等映射。自編碼器的三個特性主要分類深度自編碼器變分自編碼器欠完備自編碼器隨機(jī)自編碼器第八章自編碼器of466概述正則自編碼器8.1欠完備自編碼器

概述第八章自編碼器8.2正則自編碼器8.3隨機(jī)自編碼器of4678.4深度自編碼器8.5變分自編碼器第八章自編碼器of4688.1欠完備自編碼器定義：限制自編碼器的編碼

h的維度比輸入x

的小編碼器：可看作數(shù)據(jù)降維或數(shù)據(jù)壓縮解碼器：數(shù)據(jù)還原和數(shù)據(jù)解壓特例：解碼器執(zhí)行線性變換，損失函數(shù)設(shè)定為均方誤差，則編碼器相當(dāng)于PCA

編碼解碼欠完備自編碼器的訓(xùn)練將強制自編碼器捕捉數(shù)據(jù)空間最顯著的特征。第八章自編碼器of4698.1欠完備自編碼器欠完備自編碼器與PCA比較自編碼器能夠?qū)W習(xí)數(shù)據(jù)的非線性分布，而PCA只能學(xué)習(xí)線性分布。第八章自編碼器of46108.1欠完備自編碼器編碼器降維8.1欠完備自編碼器

概述第八章自編碼器8.2正則自編碼器8.3隨機(jī)自編碼器of46118.4深度自編碼器8.5變分自編碼器第八章自編碼器of46128.2正則自編碼器自編碼器會簡單的將輸入映射為輸出，無法學(xué)習(xí)任何與數(shù)據(jù)分布有關(guān)的信息自編碼器中隱藏層輸出的維度大于等于輸入x的維度不對自編碼器的參數(shù)做任何約束正則自編碼器：給損失函數(shù)添加適當(dāng)?shù)恼齽t項，避免簡單的恒等映射。第八章自編碼器of46138.2正則自編碼器1.稀疏自編碼器自動編碼器中當(dāng)隱層節(jié)點數(shù)過少，隱層節(jié)點則需要對原始輸入進(jìn)行壓縮，當(dāng)輸入為隨機(jī)高斯序列的時候，對原始輸入提取特征則會變得困難。如果隱藏層節(jié)點數(shù)量很大，甚至比輸入層節(jié)點數(shù)量還要多時，我們?nèi)匀豢梢允褂米跃幋a算法，但是這時需要加入稀疏性限制。這就是稀疏自編碼器。核心思想：將隱層進(jìn)行約束，使其變得稀疏。第八章自編碼器of46148.2正則自編碼器

在正則自編碼器中，給損失函數(shù)添加稀疏正則項，起到約束模型參數(shù)稀疏性的作用。損失函數(shù)構(gòu)造方式自碼器的解碼損失稀疏正則項

稀疏自編碼器通過特征空間轉(zhuǎn)化的方式，來學(xué)習(xí)訓(xùn)練數(shù)據(jù)集的數(shù)據(jù)分布與統(tǒng)計特征。第八章自編碼器of46158.2正則自編碼器

是一個稀疏參數(shù)，一般取接近于0的值，比如0.05；也就是說，每個隱藏單元j的平均激活值接近于0.05。第八章自編碼器of46168.2正則自編碼器

即：第八章自編碼器of46178.2正則自編碼器如何對偏離其中，KL散度公式：的程度進(jìn)行懲罰？左圖中，當(dāng)時，KL散度值達(dá)到最小，其值為0。當(dāng)趨于0或1時，KL散度值趨于無窮大。因此，為了使以上懲罰項最小，必須使得：第八章自編碼器of46188.2正則自編碼器因此，全局損失函數(shù)為：其中：第八章自編碼器of46198.2正則自編碼器

在逆向算法更新權(quán)值時，假設(shè)有一共m個訓(xùn)練樣本。對于第一項稱為平均平方和誤差，第二項為調(diào)整項。第二項是為了減少權(quán)值的量級以及防止過度擬合。為了使J(w,b)這個包含W和b的函數(shù)最小化（誤差最?。?，我們使用梯度下降法來進(jìn)行求解。第八章自編碼器of46208.2正則自編碼器對于每一次迭代其中第八章自編碼器of46218.2正則自編碼器定義：

為第L層的第i個節(jié)點對最終輸出值的殘差貢獻(xiàn)值，稱之為殘差。計算方法：1.計算前向過程中的節(jié)點激活量2.計算最終層的殘差,此時為輸出。第八章自編碼器of46228.2正則自編碼器3.根據(jù)上面的算式，讓這個式子可以這么理解，對比最終層的節(jié)點誤差，當(dāng)括弧里的算子實際上是逆向算法，是最終層的殘差與權(quán)重的乘積和即上圖中的這個節(jié)點產(chǎn)生的總殘差.第八章自編碼器of46238.2正則自編碼器4.通過梯度下降法，求得第八章自編碼器of46248.2正則自編碼器最終層的殘差）第八章自編碼器of46258.2正則自編碼器第八章自編碼器of46268.2正則自編碼器為什么能稀疏？1、減小編碼后隱藏層神經(jīng)元個數(shù)。比如，后一層比前一層神經(jīng)元個數(shù)少。

如果激活函數(shù)不使用sigmoid函數(shù)，而

使用線性函數(shù)，就是PCA模型。2、隱藏層的任何一個神經(jīng)元不應(yīng)該總是高度激活

。通過設(shè)置的值充分小，一般接近于0，比如0.01等。為使KL散度盡可能小，則：從而使得類似于右圖中的神經(jīng)元激活值較小，處于抑制狀態(tài)。小第八章自編碼器of46278.2正則自編碼器2.去噪自編碼器

將訓(xùn)練數(shù)據(jù)添加噪聲后作為自編碼器的輸入，原始數(shù)據(jù)作為監(jiān)督信息，則自編碼器起到的作用就是數(shù)據(jù)去噪。優(yōu)點：魯棒性更好

第八章自編碼器of46288.2正則自編碼器

去噪自編碼器結(jié)構(gòu)損失函數(shù)：第八章自編碼器of46298.2正則自編碼器流形學(xué)習(xí)觀點重建干凈的數(shù)據(jù)DAE用于從破損的：破損處理，灰色的圈代表等概率的破損：圖中的紅十字，分布在低維流形附近。DAE訓(xùn)練最小化均方誤差：學(xué)習(xí)一個向量場（綠色的箭頭）向量場用于估計一個梯度場第八章自編碼器of46308.2正則自編碼器學(xué)習(xí)一個向量場用于估計梯度場這個屬性在以下前提條件下已被證明(AlainandBengio,2012,2013)用于估計梯度場

x是連續(xù)值，損壞（添加噪聲）和重建分布都服從高斯分布均方誤差：破損處理服從以下分布：更準(zhǔn)確地說，是一個相容估計，即：第八章自編碼器of46318.2正則自編碼器1、圖中每個箭頭長度正比于：重建值減去自編碼的輸入矢量；

2、方向：根據(jù)隱含估計的概率分布指向更高的概率值；3、注意：估計密度函數(shù)的頂峰（數(shù)據(jù)流形上）和低谷（局部最?。┫蛄繄鰹榱阒?。第八章自編碼器of46328.2正則自編碼器將梯度場變成一個生成模型編碼-解碼對的應(yīng)用可以給我們生成一個大概的結(jié)構(gòu)，如果我們考慮蒙特卡羅馬爾科夫鏈算法(MCMC)，兩方面需要注意：1、從低概率結(jié)構(gòu)轉(zhuǎn)移到高概率結(jié)構(gòu)2、加入隨機(jī)性，使得鏈可到處轉(zhuǎn)移（不至于在一些概率或模型的頂峰被困住，陷入局部最優(yōu)？），并且有機(jī)會遍歷整個空間，使得概率等于潛在模型的概率從概念上的理解，我們在做編碼解碼操作時，需要加入噪聲，但加入多少？怎么加合適呢？（Buthowmuchandhow?）第八章自編碼器具體實現(xiàn)方案of46338.2正則編碼器

添加噪聲

第八章自編碼器of46348.2正則編碼器3.壓縮自編碼器（ContrativeAutoencoder）普通自編碼：壓縮自編碼：其中，雅克比矩陣：WhenSigmoid，8.1欠完備自編碼器

概述第八章自編碼器8.2正則自編碼器8.3隨機(jī)自編碼器of46358.4深度自編碼器8.5變分自編碼器第八章自編碼器of46368.3隨機(jī)自編碼器

隨機(jī)自編碼器結(jié)構(gòu)

隨機(jī)自編碼器

8.1欠完備自編碼器

概述第八章自編碼器8.2正則自編碼器8.3隨機(jī)自編碼器of46378.4深度自編碼器8.5變分自編碼器第八章自編碼器of46388.4深度自編碼器

深度自編碼器（DeepAutoencoder，DAE）深度自編碼器結(jié)構(gòu)圖輸入層和輸出層維度相同

第八章自編碼器of46398.4深度自編碼器DAE輸入層和輸出層的維度相同，是一種結(jié)構(gòu)特殊的網(wǎng)絡(luò)。編碼器和解碼器是由多個受約束的波爾茲曼（RBM，RestrictedBoltzmannMachine）構(gòu)成，也可以由自編碼器堆疊構(gòu)成，或卷積網(wǎng)絡(luò)等其他神經(jīng)網(wǎng)絡(luò)構(gòu)成。8.1欠完備自編碼器

概述第八章自編碼器8.2正則自編碼器8.3隨機(jī)自編碼器of46408.4深度自編碼器8.5變分自編碼器第八章自編碼器of46418.5變分自編碼器將原始數(shù)據(jù)轉(zhuǎn)換到符合指定概率分布（如常見的均勻分布、高斯分布等）數(shù)據(jù)的模型。變分自編碼器

第八章自編碼器of46428.5變分自編碼器

不同：對于訓(xùn)練集的數(shù)據(jù)分布，GAN是未知的；而在訓(xùn)練VAE時，必須提前指定生成的數(shù)據(jù)的分布模型VAE與GAN的對比第八章自編碼器of46438.5變分自編碼器

由于直接優(yōu)化上述目標(biāo)很困難