dmc之神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)報(bào)告材料

1、DMC-deep learning機(jī)器學(xué)習(xí)的兩次浪潮 淺層學(xué)習(xí)20世紀(jì)80年代末，BP算法1）【局部最小】在層次比較少（小于等于3）的情況下效果并不比其它方法更優(yōu)；2）【監(jiān)督學(xué)習(xí)】樣本需要帶標(biāo)簽，有局限性；3）【梯度彌散】在神經(jīng)網(wǎng)絡(luò)為多層時(shí)訓(xùn)練速度比較慢。20世紀(jì)90年代，SVM、LR、Boosting廣告點(diǎn)擊率CTR（谷歌Adwords、百度的鳳巢）垃圾郵件過濾系統(tǒng)基于內(nèi)容的推薦系統(tǒng)2006年，多倫多大學(xué)教授Hinton等在science上發(fā)表了一篇文章 (Reducing the dimensionality of data with neural networks)?！灸Ｐ徒Y(jié)構(gòu)】多隱層的

2、人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，對數(shù)據(jù)有更本質(zhì)的刻畫?！居?xùn)練算法】深層結(jié)構(gòu)可通過“逐層預(yù)訓(xùn)練”（layer-wise pre-training）來調(diào)整參數(shù)。應(yīng)用2011，DNN技術(shù)降低語音識(shí)別錯(cuò)誤率20%30%2012，DNN技術(shù)在IamgeNet評測上將錯(cuò)誤率從26%降低到15%。2012，DNN被應(yīng)用于制藥某預(yù)測問題，獲得世界最好成績。機(jī)器學(xué)習(xí)的兩次浪潮 深度學(xué)習(xí)深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)含有多隱層的人工神經(jīng)網(wǎng)絡(luò)就是一種深度學(xué)習(xí)結(jié)構(gòu)包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)只有相鄰層節(jié)點(diǎn)之間有連接，同一層以及跨層節(jié)點(diǎn)之間相互無連接每一層可以看作是一個(gè)logistic regression模型

3、DBN深度信念神經(jīng)網(wǎng)絡(luò)、CNN卷積神經(jīng)網(wǎng)絡(luò)、堆棧式自動(dòng)編碼器（Stacked Auto-encoders）CNN（卷積神經(jīng)網(wǎng)絡(luò)）卷積層局部感受野權(quán)值共享采樣層減少卷積操作獲得的特征數(shù)量降低對噪聲的敏感，增強(qiáng)魯棒性連接層計(jì)算網(wǎng)絡(luò)輸出結(jié)果，實(shí)現(xiàn)分類操作使用BP8輸入32*32C1：特征圖像628*28C3：特征圖像1610*10S2：特征圖像614*14S4：特征圖像165*5C5：120F6：84輸出：10卷積采樣卷積采樣全連接卷積RBFDBN（Deep Belief Net）結(jié)構(gòu)有向圖模型，多層簡單學(xué)習(xí)模型組合而成的復(fù)合模型Hinton于2006年證明了DBN的相鄰兩層網(wǎng)絡(luò)與一個(gè)RBM的等價(jià)性

4、DBN為生成模型，而非判別模型RBM（限制玻爾茲曼機(jī)） 結(jié)構(gòu)一種通過輸入數(shù)據(jù)集學(xué)習(xí)概率分布的隨機(jī)神經(jīng)網(wǎng)絡(luò)二部圖結(jié)構(gòu)（層內(nèi)無連接、層間全連接）所有節(jié)點(diǎn)為0、1，全概率為Boltzmann分布已知可視節(jié)點(diǎn)的情況下，所有隱層節(jié)點(diǎn)條件獨(dú)立已知隱層節(jié)點(diǎn)的情況下，所有可視節(jié)點(diǎn)條件獨(dú)立隱層可見層RBM 訓(xùn)練能量函數(shù)定義一個(gè)可視節(jié)點(diǎn)和隱藏節(jié)點(diǎn)的聯(lián)合概率有了聯(lián)合概率，則邊緣概率和條件概率也很容易得到RBM 訓(xùn)練無監(jiān)督學(xué)習(xí)-擬合數(shù)據(jù)目標(biāo)函數(shù)其中一個(gè)樣本對權(quán)重W求導(dǎo)得同理可對偏置項(xiàng)求導(dǎo)條件分布已知聯(lián)合分布不知道，由采樣方法求近似（CD-K算法是Hinton采用的）Gibbs采樣VS對比散度（Contrastive

5、Divergence，CD）Gibbs采樣應(yīng)用CMCM技術(shù)，是一種隨機(jī)游走算法分兩步：生成一個(gè)馬爾可夫鏈用生成的馬爾可夫鏈做蒙特卡洛仿模擬基于對比散度的快速學(xué)習(xí)算法Hinton提出的分三步：由可見單元狀態(tài)計(jì)算得隱層單元的二值狀態(tài)在隱層單元確定后得到可見單元的一個(gè)重構(gòu)根據(jù)重構(gòu)誤差來更新參數(shù)CD-K算法編碼過程（一個(gè)m維樣本 一個(gè)n維特征）解碼過程（一個(gè)n維特征 一個(gè)m維樣本 ）CD-K算法參數(shù)優(yōu)化：DBN（Deep Belief Net） 訓(xùn)練1）使用自下向上非監(jiān)督學(xué)習(xí) - 特征提取 Feature learning從底層開始，一層一層的往頂層訓(xùn)練使用無監(jiān)督的貪婪逐層訓(xùn)練的方法來初始化DBN的權(quán)值在每層優(yōu)化的過程中采用的是CD算法2）自頂向下的監(jiān)督學(xué)習(xí)- 網(wǎng)絡(luò)微調(diào) fine-tune通過帶標(biāo)簽的數(shù)據(jù)去訓(xùn)練基于第一步得到的各層參數(shù)，采用BP算法對網(wǎng)絡(luò)進(jìn)行微調(diào)誤差自頂向下傳播DBN（Deep Belief Net） 訓(xùn)練深度學(xué)習(xí)summary深度學(xué)習(xí)的實(shí)質(zhì)海量訓(xùn)練數(shù)據(jù)構(gòu)建多隱層模型（強(qiáng)調(diào)模型結(jié)構(gòu)的深度）特征學(xué)習(xí) 提升分類或預(yù)測精度（突出特征學(xué)習(xí)的重要性）得以發(fā)展的條件大數(shù)據(jù)工業(yè)發(fā)展C