深度學(xué)習(xí)的常用模型和方法

深度學(xué)習(xí)的常用模型和方法2016年9月18日12021/6/27

深度學(xué)習(xí)的背景1目錄

深度學(xué)習(xí)常用模型和方法2

總結(jié)與展望3

自動(dòng)編碼器1

稀疏編碼2

卷積神經(jīng)網(wǎng)絡(luò)3

RNN與LSTM422021/6/27

深度學(xué)習(xí)的背景1實(shí)際生活中，人們?yōu)榱私鉀Q一個(gè)問(wèn)題，如對(duì)象的分類(lèi)（文檔、圖像等），首先必須做的事情是如何來(lái)表達(dá)一個(gè)對(duì)象，即必須抽取一些特征來(lái)表示一個(gè)對(duì)象。如文本的處理中，常常用詞集合來(lái)表示一個(gè)文檔，或把文檔表示在向量空間中（稱(chēng)為VSM模型），然后才能提出不同的分類(lèi)算法來(lái)進(jìn)行分類(lèi)；又如在圖像處理中，我們可以用像素集合來(lái)表示一個(gè)圖像，后來(lái)人們提出了新的特征表示，如SIFT，這種特征在很多圖像處理的應(yīng)用中表現(xiàn)非常良好，特征選取得好壞對(duì)最終結(jié)果的影響非常巨大。因此，選取什么特征對(duì)于解決一個(gè)實(shí)際問(wèn)題非常的重要。然而，手工地選取特征是一件非常費(fèi)力、啟發(fā)式的方法，能不能選取好很大程度上靠經(jīng)驗(yàn)和運(yùn)氣。自動(dòng)地學(xué)習(xí)特征的方法，統(tǒng)稱(chēng)為DeepLearning。32021/6/27AutoEncoder自動(dòng)編碼器2.1

深度學(xué)習(xí)中最簡(jiǎn)單的一種方法是利用人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)。如果給定一個(gè)神經(jīng)網(wǎng)絡(luò)，我們假設(shè)其輸入和輸出相同，然后調(diào)整其每層參數(shù)，得到每一層的權(quán)重，自然，就得到了輸入的幾種不同表示，這些表示就是特征（feature）。

自動(dòng)編碼器是一種盡可能復(fù)現(xiàn)輸入信號(hào)的神經(jīng)網(wǎng)絡(luò)。其大致過(guò)程如下：1，給定無(wú)標(biāo)簽數(shù)據(jù)，用非監(jiān)督學(xué)習(xí)學(xué)習(xí)特征42021/6/27AutoEncoder自動(dòng)編碼器2.1此時(shí)的誤差可由重構(gòu)后與原輸入相比得到。

經(jīng)過(guò)最小化重構(gòu)誤差之后，可以認(rèn)為code此時(shí)就是input的一種良好的表達(dá)。52021/6/27AutoEncoder自動(dòng)編碼器2.1

2，通過(guò)編碼器產(chǎn)生特征，逐層訓(xùn)練

將第一層輸出的code作為第二層的輸入信號(hào)，同樣最小化重構(gòu)誤差，就得到了第二層的參數(shù)和第二層輸出的code。其他層用同樣的方法炮制，每一層均能得到輸入的一種表達(dá)，直到產(chǎn)生到需要的層數(shù)。

62021/6/27AutoEncoder自動(dòng)編碼器2.1

3，有監(jiān)督的微調(diào)

最后，為了可以實(shí)現(xiàn)分類(lèi)，一般可以在A(yíng)utoEncoder的最頂層添加一個(gè)分類(lèi)器，然后通過(guò)標(biāo)準(zhǔn)的多層神經(jīng)網(wǎng)絡(luò)的監(jiān)督訓(xùn)練方法去訓(xùn)練。

在這里，可以通過(guò)有標(biāo)簽樣本僅調(diào)整分類(lèi)器，也可以對(duì)整個(gè)系統(tǒng)進(jìn)行微調(diào)（數(shù)據(jù)多）。72021/6/27AutoEncoder自動(dòng)編碼器2.1在研究中可以發(fā)現(xiàn)，如果在原有的特征中加入這些自動(dòng)學(xué)習(xí)得到的特征可以大大提高精確度，甚至在分類(lèi)問(wèn)題中比目前最好的分類(lèi)算法效果還要好。兩個(gè)變體稀疏自動(dòng)編碼器降噪自動(dòng)編碼器稀疏自動(dòng)編碼器：限制每次得到的表達(dá)code盡量稀疏。

降噪自動(dòng)編碼器：訓(xùn)練數(shù)據(jù)加入噪聲，迫使編碼器更具有魯棒性。82021/6/27SparseCoding稀疏編碼2.2稀疏編碼是一種無(wú)監(jiān)督學(xué)習(xí)方法，它用來(lái)尋找一組“超完備”基向量來(lái)更有效地表示樣本數(shù)據(jù)。其目的是將輸入的樣本集X分解為多個(gè)基元的線(xiàn)性組合，然后這些基前面的系數(shù)表示的是輸入樣本的特征。O=a1*Φ1+a2*Φ2+….+an*Φn，Φi是基，ai是系數(shù)。那么可以得出一個(gè)優(yōu)化問(wèn)題： MIN|I–O|，其中，I為輸入，O為輸出

通過(guò)求解這個(gè)最優(yōu)化式子，可以求得Φi和ai，也就能得出輸入的特征表示。

如果我們加上稀疏規(guī)則限制，得到：MIN|I–O|+λ（|a1|+|a2|+…+|ai|）

這種方法就是稀疏編碼。92021/6/27SparseCoding稀疏編碼2.2稀疏編碼分為兩個(gè)部分：

（1）Training階段:

目標(biāo)：給定一系列的樣本圖片[x1,x2,…]，我們需要學(xué)習(xí)得到一組基[Φ1,Φ2,…]。

訓(xùn)練過(guò)程是一個(gè)重復(fù)迭代的過(guò)程，不斷交替更改a和Φ使得下面這個(gè)目標(biāo)函數(shù)最小。

（2）Coding階段:

給定一個(gè)新的圖片x，求a矩陣的值，使得上面的目標(biāo)函數(shù)取得最小值。102021/6/27SparseCoding稀疏編碼2.2112021/6/27

卷積神經(jīng)網(wǎng)絡(luò)（CNN）2.3卷積神經(jīng)網(wǎng)絡(luò)是一種特殊的深層的神經(jīng)網(wǎng)絡(luò)模型，它的特殊性體現(xiàn)在兩個(gè)方面，一方面它的神經(jīng)元間的連接是非全連接的，另一方面同一層中某些神經(jīng)元之間的連接的權(quán)重是共享的（即相同的）。它的非全連接和權(quán)值共享的網(wǎng)絡(luò)結(jié)構(gòu)使之更類(lèi)似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。卷積網(wǎng)絡(luò)是為識(shí)別二維形狀而特殊設(shè)計(jì)的一個(gè)多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、比例縮放、傾斜或者共他形式的變形具有高度不變性。122021/6/27

卷積神經(jīng)網(wǎng)絡(luò)（CNN）2.3卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與特點(diǎn)：BP神經(jīng)網(wǎng)絡(luò)132021/6/27

卷積神經(jīng)網(wǎng)絡(luò)（CNN）2.3LeNet-5文字識(shí)別系統(tǒng)142021/6/27

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）與LSTM2.4人類(lèi)并不是每時(shí)每刻都從一片空白的大腦開(kāi)始他們的思考，人總是基于自己已經(jīng)擁有的對(duì)先前詞的理解來(lái)推斷當(dāng)前詞的真實(shí)含義。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)沒(méi)有考慮到時(shí)間因素，也就是其并不能記憶之前存儲(chǔ)的內(nèi)容。而RNN解決了這個(gè)問(wèn)題，RNN是包含循環(huán)的網(wǎng)絡(luò)，允許信息的持久化。循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)如下所示：152021/6/27

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）與LSTM2.4RNN被廣泛的應(yīng)用在語(yǔ)音識(shí)別、語(yǔ)言建模、翻譯等方面。而這些應(yīng)用的關(guān)鍵就是LSTM的使用。長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM）是一種特殊的RNN模型，其特點(diǎn)是可以學(xué)習(xí)長(zhǎng)期依賴(lài)的信息。LSTM可以自動(dòng)記憶長(zhǎng)期的信息而不需要特意花費(fèi)很大的代價(jià)。標(biāo)準(zhǔn)RNN結(jié)構(gòu)162021/6/27

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）與LSTM2.4LSTM的結(jié)構(gòu)根據(jù)上個(gè)輸出和當(dāng)前的輸入決定是否拋棄之前的狀態(tài)內(nèi)容172021/6/2