深度學(xué)習(xí)-課件-第八章-自編碼器

8.1欠完備自編碼器概述第八章自編碼器8.2正則自編碼器8.3隨機(jī)自編碼器of4618.4深度自編碼器8.5變分自編碼器概述第八章自編碼器of462自動(dòng)編碼器就是一種盡可能復(fù)現(xiàn)輸入信號(hào)的神經(jīng)網(wǎng)絡(luò)；自動(dòng)編碼器必須捕捉可以代表輸入數(shù)據(jù)的最重要的因素；類似PCA，找到可以代表原信息的主要成分。Input：數(shù)據(jù)的輸入；Encoder：編碼器；Code：輸入的一個(gè)表示；Decoder：解碼器；Reconstruction:input的重建；Error:重建數(shù)據(jù)和input的誤差。什么是自編碼器？概述第八章自編碼器of463什么是自編碼器？

自編碼器是一種用來實(shí)現(xiàn)數(shù)據(jù)編碼和解碼的神經(jīng)網(wǎng)絡(luò)，通過編碼器對(duì)輸入進(jìn)行編碼，通過解碼器還原輸入。x

f

h=f(x)

gr=g(h)

輸入隱含層構(gòu)成的編碼函數(shù)編碼隱含層構(gòu)成的解碼函數(shù)解碼編碼器解碼器概述第八章自編碼器of464什么是自編碼器？

自編碼設(shè)法學(xué)習(xí)到一個(gè)函數(shù)，使得：即：概述第八章自編碼器of4651很強(qiáng)的數(shù)據(jù)相關(guān)性，即自編碼器只能編碼與訓(xùn)練數(shù)據(jù)類似的數(shù)據(jù)。2自編碼器是有損編碼，通過解碼器解碼無法準(zhǔn)確還原原始編碼。3自編碼器是一種自我監(jiān)督學(xué)習(xí)算法，其輸入即是網(wǎng)絡(luò)的監(jiān)督信息，因此在編碼設(shè)計(jì)和訓(xùn)練過程中，要盡量避免簡(jiǎn)單的恒等映射。自編碼器的三個(gè)特性主要分類深度自編碼器變分自編碼器欠完備自編碼器隨機(jī)自編碼器第八章自編碼器of466概述正則自編碼器8.1欠完備自編碼器

概述第八章自編碼器8.2正則自編碼器8.3隨機(jī)自編碼器of4678.4深度自編碼器8.5變分自編碼器第八章自編碼器of4688.1欠完備自編碼器定義：限制自編碼器的編碼

h的維度比輸入x

的小編碼器：可看作數(shù)據(jù)降維或數(shù)據(jù)壓縮解碼器：數(shù)據(jù)還原和數(shù)據(jù)解壓特例：解碼器執(zhí)行線性變換，損失函數(shù)設(shè)定為均方誤差，則編碼器相當(dāng)于PCA

編碼解碼欠完備自編碼器的訓(xùn)練將強(qiáng)制自編碼器捕捉數(shù)據(jù)空間最顯著的特征。第八章自編碼器of4698.1欠完備自編碼器欠完備自編碼器與PCA比較自編碼器能夠?qū)W習(xí)數(shù)據(jù)的非線性分布，而PCA只能學(xué)習(xí)線性分布。第八章自編碼器of46108.1欠完備自編碼器編碼器降維8.1欠完備自編碼器

概述第八章自編碼器8.2正則自編碼器8.3隨機(jī)自編碼器of46118.4深度自編碼器8.5變分自編碼器第八章自編碼器of46128.2正則自編碼器自編碼器會(huì)簡(jiǎn)單的將輸入映射為輸出，無法學(xué)習(xí)任何與數(shù)據(jù)分布有關(guān)的信息自編碼器中隱藏層輸出的維度大于等于輸入x的維度不對(duì)自編碼器的參數(shù)做任何約束正則自編碼器：給損失函數(shù)添加適當(dāng)?shù)恼齽t項(xiàng)，避免簡(jiǎn)單的恒等映射。第八章自編碼器of46138.2正則自編碼器1.稀疏自編碼器自動(dòng)編碼器中當(dāng)隱層節(jié)點(diǎn)數(shù)過少，隱層節(jié)點(diǎn)則需要對(duì)原始輸入進(jìn)行壓縮，當(dāng)輸入為隨機(jī)高斯序列的時(shí)候，對(duì)原始輸入提取特征則會(huì)變得困難。如果隱藏層節(jié)點(diǎn)數(shù)量很大，甚至比輸入層節(jié)點(diǎn)數(shù)量還要多時(shí)，我們?nèi)匀豢梢允褂米跃幋a算法，但是這時(shí)需要加入稀疏性限制。這就是稀疏自編碼器。核心思想：將隱層進(jìn)行約束，使其變得稀疏。第八章自編碼器of46148.2正則自編碼器

在正則自編碼器中，給損失函數(shù)添加稀疏正則項(xiàng)，起到約束模型參數(shù)稀疏性的作用。損失函數(shù)構(gòu)造方式自碼器的解碼損失稀疏正則項(xiàng)

稀疏自編碼器通過特征空間轉(zhuǎn)化的方式，來學(xué)習(xí)訓(xùn)練數(shù)據(jù)集的數(shù)據(jù)分布與統(tǒng)計(jì)特征。第八章自編碼器of46158.2正則自編碼器

是一個(gè)稀疏參數(shù)，一般取接近于0的值，比如0.05；也就是說，每個(gè)隱藏單元j的平均激活值接近于0.05。第八章自編碼器of46168.2正則自編碼器

即：第八章自編碼器of46178.2正則自編碼器如何對(duì)偏離其中，KL散度公式：的程度進(jìn)行懲罰？左圖中，當(dāng)時(shí)，KL散度值達(dá)到最小，其值為0。當(dāng)趨于0或1時(shí)，KL散度值趨于無窮大。因此，為了使以上懲罰項(xiàng)最小，必須使得：第八章自編碼器of46188.2正則自編碼器因此，全局損失函數(shù)為：其中：第八章自編碼器of46198.2正則自編碼器

在逆向算法更新權(quán)值時(shí)，假設(shè)有一共m個(gè)訓(xùn)練樣本。對(duì)于第一項(xiàng)稱為平均平方和誤差，第二項(xiàng)為調(diào)整項(xiàng)。第二項(xiàng)是為了減少權(quán)值的量級(jí)以及防止過度擬合。為了使J(w,b)這個(gè)包含W和b的函數(shù)最小化（誤差最?。覀兪褂锰荻认陆捣▉磉M(jìn)行求解。第八章自編碼器of46208.2正則自編碼器對(duì)于每一次迭代其中第八章自編碼器of46218.2正則自編碼器定義：

為第L層的第i個(gè)節(jié)點(diǎn)對(duì)最終輸出值的殘差貢獻(xiàn)值，稱之為殘差。計(jì)算方法：1.計(jì)算前向過程中的節(jié)點(diǎn)激活量2.計(jì)算最終層的殘差,此時(shí)為輸出。第八章自編碼器of46228.2正則自編碼器3.根據(jù)上面的算式，讓這個(gè)式子可以這么理解，對(duì)比最終層的節(jié)點(diǎn)誤差，當(dāng)括弧里的算子實(shí)際上是逆向算法，是最終層的殘差與權(quán)重的乘積和即上圖中的這個(gè)節(jié)點(diǎn)產(chǎn)生的總殘差.第八章自編碼器of46238.2正則自編碼器4.通過梯度下降法，求得第八章自編碼器of46248.2正則自編碼器最終層的殘差）第八章自編碼器of46258.2正則自編碼器第八章自編碼器of46268.2正則自編碼器為什么能稀疏？1、減小編碼后隱藏層神經(jīng)元個(gè)數(shù)。比如，后一層比前一層神經(jīng)元個(gè)數(shù)少。

如果激活函數(shù)不使用sigmoid函數(shù)，而

使用線性函數(shù)，就是PCA模型。2、隱藏層的任何一個(gè)神經(jīng)元不應(yīng)該總是高度激活

。通過設(shè)置的值充分小，一般接近于0，比如0.01等。為使KL散度盡可能小，則：從而使得類似于右圖中的神經(jīng)元激活值較小，處于抑制狀態(tài)。小第八章自編碼器of46278.2正則自編碼器2.去噪自編碼器

將訓(xùn)練數(shù)據(jù)添加噪聲后作為自編碼器的輸入，原始數(shù)據(jù)作為監(jiān)督信息，則自編碼器起到的作用就是數(shù)據(jù)去噪。優(yōu)點(diǎn)：魯棒性更好

第八章自編碼器of46288.2正則自編碼器

去噪自編碼器結(jié)構(gòu)損失函數(shù)：第八章自編碼器of46298.2正則自編碼器流形學(xué)習(xí)觀點(diǎn)重建干凈的數(shù)據(jù)DAE用于從破損的：破損處理，灰色的圈代表等概率的破損：圖中的紅十字，分布在低維流形附近。DAE訓(xùn)練最小化均方誤差：學(xué)習(xí)一個(gè)向量場(chǎng)（綠色的箭頭）向量場(chǎng)用于估計(jì)一個(gè)梯度場(chǎng)第八章自編碼器of46308.2正則自編碼器學(xué)習(xí)一個(gè)向量場(chǎng)用于估計(jì)梯度場(chǎng)這個(gè)屬性在以下前提條件下已被證明(AlainandBengio,2012,2013)用于估計(jì)梯度場(chǎng)

x是連續(xù)值，損壞（添加噪聲）和重建分布都服從高斯分布均方誤差：破損處理服從以下分布：更準(zhǔn)確地說，是一個(gè)相容估計(jì)，即：第八章自編碼器of46318.2正則自編碼器1、圖中每個(gè)箭頭長(zhǎng)度正比于：重建值減去自編碼的輸入矢量；

2、方向：根據(jù)隱含估計(jì)的概率分布指向更高的概率值；3、注意：估計(jì)密度函數(shù)的頂峰（數(shù)據(jù)流形上）和低谷（局部最?。┫蛄繄?chǎng)為零值。第八章自編碼器of46328.2正則自編碼器將梯度場(chǎng)變成一個(gè)生成模型編碼-解碼對(duì)的應(yīng)用可以給我們生成一個(gè)大概的結(jié)構(gòu)，如果我們考慮蒙特卡羅馬爾科夫鏈算法(MCMC)，兩方面需要注意：1、從低概率結(jié)構(gòu)轉(zhuǎn)移到高概率結(jié)構(gòu)2、加入隨機(jī)性，使得鏈可到處轉(zhuǎn)移（不至于在一些概率或模型的頂峰被困住，陷入局部最優(yōu)？），并且有機(jī)會(huì)遍歷整個(gè)空間，使得概率等于潛在模型的概率從概念上的理解，我們?cè)谧鼍幋a解碼操作時(shí)，需要加入噪聲，但加入多少？怎么加合適呢？（Buthowmuchandhow?）第八章自編碼器具體實(shí)現(xiàn)方案of46338.2正則編碼器

添加噪聲

第八章自編碼器of46348.2正則編碼器3.壓縮自編碼器（ContrativeAutoencoder）普通自編碼：壓縮自編碼：其中，雅克比矩陣：WhenSigmoid，8.1欠完備自編碼器

概述第八章自編碼器8.2正則自編碼器8.3隨機(jī)自編碼器of46358.4深度自編碼器8.5變分自編碼器第八章自編碼器of46368.3隨機(jī)自編碼器

隨機(jī)自編碼器結(jié)構(gòu)

隨機(jī)自編碼器

8.1欠完備自編碼器

概述第八章自編碼器8.2正則自編碼器8.3隨機(jī)自編碼器of46378.4深度自編碼器8.5變分自編碼器第八章自編碼器of46388.4深度自編碼器

深度自編碼器（DeepAutoencoder，DAE）深度自編碼器結(jié)構(gòu)圖輸入層和輸出層維度相同

第八章自編碼器of46398.4深度自編碼器DAE輸入層和輸出層的維度相同，是一種結(jié)構(gòu)特殊的網(wǎng)絡(luò)。編碼器和解碼器是由多個(gè)受約束的波爾茲曼（RBM，RestrictedBoltzmannMachine）構(gòu)成，也可以由自編碼器堆疊構(gòu)成，或卷積網(wǎng)絡(luò)等其他神經(jīng)網(wǎng)絡(luò)構(gòu)成。8.1欠完備自編碼器

概述第八章自編碼器8.2正則自編碼器8.3隨機(jī)自編碼器of46408.4深度自編碼器8.5變分自編碼器第八章自編碼器of46418.5變分自編碼器將原始數(shù)據(jù)轉(zhuǎn)換到符合指定概率分布（如常見的均勻分布、高斯分布等）數(shù)據(jù)的模型。變分自編碼器

第八章自編碼器of46428.5變分自編碼器

不同：對(duì)于訓(xùn)練集的數(shù)據(jù)分布，GAN是未知的；而在訓(xùn)練VAE時(shí)，必須提前指定生成的數(shù)據(jù)的分布模型VAE與GAN的對(duì)比第八章自編碼器of46438.5變分自編碼器

由于直接優(yōu)化上述目標(biāo)很困難