深度學(xué)習(xí)的常用模型和方法

深度學(xué)習(xí)的常用模型和方法2016年9月18日12021/6/27

深度學(xué)習(xí)的背景1目錄

深度學(xué)習(xí)常用模型和方法2

總結(jié)與展望3

自動編碼器1

稀疏編碼2

卷積神經(jīng)網(wǎng)絡(luò)3

RNN與LSTM422021/6/27

深度學(xué)習(xí)的背景1實(shí)際生活中，人們?yōu)榱私鉀Q一個問題，如對象的分類（文檔、圖像等），首先必須做的事情是如何來表達(dá)一個對象，即必須抽取一些特征來表示一個對象。如文本的處理中，常常用詞集合來表示一個文檔，或把文檔表示在向量空間中（稱為VSM模型），然后才能提出不同的分類算法來進(jìn)行分類；又如在圖像處理中，我們可以用像素集合來表示一個圖像，后來人們提出了新的特征表示，如SIFT，這種特征在很多圖像處理的應(yīng)用中表現(xiàn)非常良好，特征選取得好壞對最終結(jié)果的影響非常巨大。因此，選取什么特征對于解決一個實(shí)際問題非常的重要。然而，手工地選取特征是一件非常費(fèi)力、啟發(fā)式的方法，能不能選取好很大程度上靠經(jīng)驗(yàn)和運(yùn)氣。自動地學(xué)習(xí)特征的方法，統(tǒng)稱為DeepLearning。32021/6/27AutoEncoder自動編碼器2.1

深度學(xué)習(xí)中最簡單的一種方法是利用人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)。如果給定一個神經(jīng)網(wǎng)絡(luò)，我們假設(shè)其輸入和輸出相同，然后調(diào)整其每層參數(shù)，得到每一層的權(quán)重，自然，就得到了輸入的幾種不同表示，這些表示就是特征（feature）。

自動編碼器是一種盡可能復(fù)現(xiàn)輸入信號的神經(jīng)網(wǎng)絡(luò)。其大致過程如下：1，給定無標(biāo)簽數(shù)據(jù)，用非監(jiān)督學(xué)習(xí)學(xué)習(xí)特征42021/6/27AutoEncoder自動編碼器2.1此時的誤差可由重構(gòu)后與原輸入相比得到。

經(jīng)過最小化重構(gòu)誤差之后，可以認(rèn)為code此時就是input的一種良好的表達(dá)。52021/6/27AutoEncoder自動編碼器2.1

2，通過編碼器產(chǎn)生特征，逐層訓(xùn)練

將第一層輸出的code作為第二層的輸入信號，同樣最小化重構(gòu)誤差，就得到了第二層的參數(shù)和第二層輸出的code。其他層用同樣的方法炮制，每一層均能得到輸入的一種表達(dá)，直到產(chǎn)生到需要的層數(shù)。

62021/6/27AutoEncoder自動編碼器2.1

3，有監(jiān)督的微調(diào)

最后，為了可以實(shí)現(xiàn)分類，一般可以在AutoEncoder的最頂層添加一個分類器，然后通過標(biāo)準(zhǔn)的多層神經(jīng)網(wǎng)絡(luò)的監(jiān)督訓(xùn)練方法去訓(xùn)練。

在這里，可以通過有標(biāo)簽樣本僅調(diào)整分類器，也可以對整個系統(tǒng)進(jìn)行微調(diào)（數(shù)據(jù)多）。72021/6/27AutoEncoder自動編碼器2.1在研究中可以發(fā)現(xiàn)，如果在原有的特征中加入這些自動學(xué)習(xí)得到的特征可以大大提高精確度，甚至在分類問題中比目前最好的分類算法效果還要好。兩個變體稀疏自動編碼器降噪自動編碼器稀疏自動編碼器：限制每次得到的表達(dá)code盡量稀疏。

降噪自動編碼器：訓(xùn)練數(shù)據(jù)加入噪聲，迫使編碼器更具有魯棒性。82021/6/27SparseCoding稀疏編碼2.2稀疏編碼是一種無監(jiān)督學(xué)習(xí)方法，它用來尋找一組“超完備”基向量來更有效地表示樣本數(shù)據(jù)。其目的是將輸入的樣本集X分解為多個基元的線性組合，然后這些基前面的系數(shù)表示的是輸入樣本的特征。O=a1*Φ1+a2*Φ2+….+an*Φn，Φi是基，ai是系數(shù)。那么可以得出一個優(yōu)化問題： MIN|I–O|，其中，I為輸入，O為輸出

通過求解這個最優(yōu)化式子，可以求得Φi和ai，也就能得出輸入的特征表示。

如果我們加上稀疏規(guī)則限制，得到：MIN|I–O|+λ（|a1|+|a2|+…+|ai|）

這種方法就是稀疏編碼。92021/6/27SparseCoding稀疏編碼2.2稀疏編碼分為兩個部分：

（1）Training階段:

目標(biāo)：給定一系列的樣本圖片[x1,x2,…]，我們需要學(xué)習(xí)得到一組基[Φ1,Φ2,…]。

訓(xùn)練過程是一個重復(fù)迭代的過程，不斷交替更改a和Φ使得下面這個目標(biāo)函數(shù)最小。

（2）Coding階段:

給定一個新的圖片x，求a矩陣的值，使得上面的目標(biāo)函數(shù)取得最小值。102021/6/27SparseCoding稀疏編碼2.2112021/6/27

卷積神經(jīng)網(wǎng)絡(luò)（CNN）2.3卷積神經(jīng)網(wǎng)絡(luò)是一種特殊的深層的神經(jīng)網(wǎng)絡(luò)模型，它的特殊性體現(xiàn)在兩個方面，一方面它的神經(jīng)元間的連接是非全連接的，另一方面同一層中某些神經(jīng)元之間的連接的權(quán)重是共享的（即相同的）。它的非全連接和權(quán)值共享的網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。卷積網(wǎng)絡(luò)是為識別二維形狀而特殊設(shè)計的一個多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對平移、比例縮放、傾斜或者共他形式的變形具有高度不變性。122021/6/27

卷積神經(jīng)網(wǎng)絡(luò)（CNN）2.3卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與特點(diǎn)：BP神經(jīng)網(wǎng)絡(luò)132021/6/27

卷積神經(jīng)網(wǎng)絡(luò)（CNN）2.3LeNet-5文字識別系統(tǒng)142021/6/27

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）與LSTM2.4人類并不是每時每刻都從一片空白的大腦開始他們的思考，人總是基于自己已經(jīng)擁有的對先前詞的理解來推斷當(dāng)前詞的真實(shí)含義。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)沒有考慮到時間因素，也就是其并不能記憶之前存儲的內(nèi)容。而RNN解決了這個問題，RNN是包含循環(huán)的網(wǎng)絡(luò)，允許信息的持久化。循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)如下所示：152021/6/27

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）與LSTM2.4RNN被廣泛的應(yīng)用在語音識別、語言建模、翻譯等方面。而這些應(yīng)用的關(guān)鍵就是LSTM的使用。長短時記憶網(wǎng)絡(luò)（LSTM）是一種特殊的RNN模型，其特點(diǎn)是可以學(xué)習(xí)長期依賴的信息。LSTM可以自動記憶長期的信息而不需要特意花費(fèi)很大的代價。標(biāo)準(zhǔn)RNN結(jié)構(gòu)162021/6/27

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）與LSTM2.4LSTM的結(jié)構(gòu)根據(jù)上個輸出和當(dāng)前的輸入決定是否拋棄之前的狀態(tài)內(nèi)容172021/6/2