深度學(xué)習(xí)讀書筆記

1、深度學(xué)習(xí)讀書筆記【篇一：深度學(xué)習(xí)文字識(shí)別論文綜述】深度學(xué)習(xí)文字識(shí)別論文綜述 深度學(xué)習(xí)文字識(shí)別論文綜述 深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的 一個(gè)新的領(lǐng)域，其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng) 絡(luò)，它模仿人腦的機(jī)制來解釋數(shù)據(jù)，例如圖像，聲音和文本。深度 學(xué)習(xí)是無監(jiān)督學(xué)習(xí)的一種，深度學(xué)習(xí)采用了神經(jīng)網(wǎng)絡(luò)的分層結(jié)構(gòu)， 系統(tǒng)包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)，只有相 鄰的節(jié)點(diǎn)之間有連接，同一層以及跨層節(jié)點(diǎn)之間相互無連接。深度 學(xué)習(xí)通過建立類似于人腦的分層模型結(jié)構(gòu)，對(duì)輸入數(shù)據(jù)逐級(jí)提取從 底層到高層的特征，從而能很好地建立從底層信號(hào)到高層語義的映 射關(guān)系。近年來，谷歌、微軟、百度等擁有大數(shù)據(jù)的高科

2、技公司相 繼投入大量資源進(jìn)行深度學(xué)習(xí)技術(shù)研發(fā)，在語音、圖像、自然語言、 在線廣告等領(lǐng)域取得顯著進(jìn)展。從對(duì)實(shí)際應(yīng)用的貢獻(xiàn)來說，深度學(xué) 習(xí)可能是機(jī)器學(xué)習(xí)領(lǐng)域最近這十年來最成功的研究方向。深度學(xué)習(xí) 模型不僅大幅提高了圖像識(shí)別的精度，同時(shí)也避免了需要消耗大量 的時(shí)間進(jìn)行人工特征提取的工作，使得在線運(yùn)算效率大大提升。深度學(xué)習(xí)用于文字定位論文 thai text localization in natural scene images using convolutional neural network主要采用cnn的方法進(jìn)行自然場(chǎng)景 中的文本分類，并根據(jù)泰字的特點(diǎn)進(jìn)行分類后的后處理，得到更加 精確的定位

3、效果。如圖1所示為cnn網(wǎng)絡(luò)模型，cnn網(wǎng)絡(luò)由一個(gè)輸 入層，兩個(gè)卷積層和兩個(gè)下采樣層以及一個(gè)全連接層組成，輸出為 一個(gè)二分類向量，即文本和非文本。圖1 cnn網(wǎng)絡(luò)模型該文主要思路為將圖像切塊后進(jìn)行訓(xùn)練，采用人工標(biāo)注樣本的方法， 使得網(wǎng)絡(luò)具有識(shí)別文本和非文本的能力。由于樣本數(shù)量較少，文中i=i采用了根據(jù)已有字體生成訓(xùn)練數(shù)據(jù)集的方法，包括對(duì)字體隨機(jī)添加 背景、調(diào)整字體風(fēng)格以及應(yīng)用濾波器。如圖2為生成的泰字樣本， 文中在標(biāo)簽的過程中將半個(gè)字或者整個(gè)字都標(biāo)記為文本，增加了網(wǎng) 絡(luò)對(duì)文字的識(shí)別率。圖2訓(xùn)練樣本集在使用生成好的網(wǎng)絡(luò)進(jìn)行文字定位的過程中，論文采用的編組方法 結(jié)合了泰字的特點(diǎn)，如圖3為對(duì)圖像文字

4、的初步定位，其中被標(biāo)記 的區(qū)域被網(wǎng)絡(luò)識(shí)別為文字。圖3圖像文字的初步定位論文后期對(duì)標(biāo)記的矩形小框區(qū)域進(jìn)行了整合，結(jié)合了泰字本身的特 點(diǎn)，如圖圖4所示為原始圖像文字，圖5為對(duì)識(shí)別結(jié)果進(jìn)行的后處 理，其中a,b,c將文字分為上、中、下三個(gè)部分。文中指出泰字一般 的最高不超過中心線b的50%，采用這個(gè)規(guī)律進(jìn)行了文字編組，得 到如圖6的編組結(jié)果，其中白色區(qū)域?yàn)榫幗M結(jié)果。圖4原始文本圖像圖5后處理結(jié)果圖6編組結(jié)果=J最同時(shí)論文也考慮了泰字的其他特點(diǎn)，如中心線與上邊界和下邊界的 夾角不超過45度，根據(jù)這個(gè)規(guī)律又對(duì)編組結(jié)果進(jìn)行調(diào)整。如圖7所 示，當(dāng)超過夾角限制是進(jìn)行了微調(diào)。如圖8與圖9為論文的最終定 位結(jié)果。

5、圖7泰字編組調(diào)整圖8定位結(jié)果圖9定位結(jié)果論文 reading numbers in natural scene images with convolutional neuralnetworks 結(jié)合隱馬爾可夫模型(hidden markov model，hmm)和 深度學(xué)習(xí)方法來實(shí)現(xiàn)對(duì)自然場(chǎng)景中的數(shù)字進(jìn)行定位和識(shí)別。首先采 用cnn方法對(duì)原始的數(shù)字圖像進(jìn)行特征提取，將提取的結(jié)果輸入至 hmm模型進(jìn)而得到數(shù)字的識(shí)別結(jié)果。如圖10為論文提出的識(shí)別方法模型。圖10文字識(shí)別模型論文為了實(shí)現(xiàn)直接在原始的圖像上進(jìn)行識(shí)別，采用了動(dòng)態(tài)窗口滑動(dòng) 的方法，提取一系列的圖像塊。如圖11為論文采用的cnn結(jié)構(gòu)，包 括

6、4個(gè)卷積層，其中3個(gè)卷積層都有相鄰的下采樣層，每個(gè)卷積層 都包含一個(gè)本地歸一化，共2個(gè)全連接層。網(wǎng)絡(luò)的訓(xùn)練首先通過滑 動(dòng)窗口提取圖像的骨架，然后采用主成分分析pca方法進(jìn)行降維， 然后將得到的主要特征作為gmm-hmm模型的輸入，采用viterbi 譯碼對(duì)gmm-hmm的輸出進(jìn)行處理，最后采用cnn對(duì)生成的數(shù)據(jù)進(jìn) 行訓(xùn)練，數(shù)據(jù)的標(biāo)簽自動(dòng)生成不需要人工參與。圖11cnn網(wǎng)絡(luò)結(jié)構(gòu)模型論文首先采用cnn對(duì)數(shù)字進(jìn)行分類，其中分類數(shù)為11即數(shù)字 0,1,2,3,4,5,6,7,8,9，以及標(biāo)簽10代表非數(shù)字，論文采用hmm 模型對(duì)分類的【篇二：深度學(xué)習(xí)的9篇標(biāo)志性論文】a fast learning a

7、lgorithm for deep belief nets (2006)-首次提出 layerwise greedy pretraining 的方法，開創(chuàng)U deep learning 方向。layerwise pretraining 的 restricted boltzmann machine (rbm)堆疊起來構(gòu)成 deep belief network (dbn)，其中訓(xùn)練最高層的rbm時(shí)加入了 label。之后對(duì)整個(gè)dbn進(jìn)行fine-tuning。在mnist數(shù)據(jù)集上測(cè)試沒有嚴(yán)重過擬合，得到了比neural network (nn)更低的 test error。reducing th

8、e dimensionality of data with neural networks (2006)-提出deep autoencoder，作為數(shù)據(jù)降維方法發(fā)在science上。autoencoder是一類通過最小化函數(shù)集對(duì)訓(xùn)練集數(shù)據(jù)的重構(gòu)誤差，自適應(yīng)地編解碼訓(xùn)練數(shù)據(jù)的算法。deep autoencoder模型用 contrastive divergence (cd)算法逐層訓(xùn)練重構(gòu)輸入數(shù)據(jù) 的rbm， 堆疊在一起fine-tuning最小化重構(gòu)誤差。作為非線性降維方法在圖像和文本降維實(shí)驗(yàn)中明顯優(yōu)于傳統(tǒng)方法。learning deep architectures for ai (2009)

9、-bengio 關(guān)于 deep learning 的 tutorial，從研究背景到 rbm 和 cd再到數(shù)種deep learning算法都有詳細(xì)介紹。還有豐富的 reference。于是也有個(gè)缺點(diǎn)就是太長了。a practical guide to training restricted boltzmann machines (2010)-如果想要自己實(shí)現(xiàn)deep learning算法，這篇是不得不看的。我 曾經(jīng)試過自己寫但是效果很不好，后來看到它才知道算法實(shí)現(xiàn)中還 有很多重要的細(xì)節(jié)。對(duì)照網(wǎng)上的代碼看也能更好地理解代碼。greedy layer-wise training of deep

10、networks (2007)-對(duì)dbn的一些擴(kuò)展，比如應(yīng)用于實(shí)值輸入等。根據(jù)實(shí)驗(yàn)提出了對(duì) deep learning 的 performance 的一種解釋。why does unsupervised pre-training help deep learning?(2010)-總結(jié)了對(duì)deep learning的pretraining作用的兩種解釋： regularization和help optimizationo設(shè)計(jì)實(shí)驗(yàn)驗(yàn)證兩種因素的作 用。autoencoders, unsupervised learning, and deep architectures (2011)-從理論角度對(duì)

11、不同的autoencoders作了統(tǒng)一分析的嘗試。on the quantitative analysis of deep belief networks (2008)-用 annealed importance sampling (ais)給出一種估計(jì) rbm 的 partition function的方法，從而能夠估算p(x)以及比較不同的dbn。 training restricted boltzmann machines using approximations to the likelihood gradient (2008)-提出用 persistent contrastive d

12、ivergence (pcd)算法逼近 maximum likelihood estimation的目標(biāo)，從而可以得到更好的 generative model。傳統(tǒng)cd算法并不是以最大化p(x)為目標(biāo)的，另 有paper證明cd算法不對(duì)應(yīng)任何優(yōu)化目標(biāo)函數(shù)【篇三：慕課讀書筆記】讀書筆記在認(rèn)真研讀了慕課與高效課堂兩本書后，我內(nèi)心引發(fā)深深 地思考。深度學(xué)習(xí)的靈魂是讓孩子成為學(xué)習(xí)的主人，不能以教師的 教代替學(xué)生的學(xué)，充分尊重學(xué)生，因材施教，注意每個(gè)孩子的個(gè)性 化教育，而不是如工業(yè)產(chǎn)品一樣用統(tǒng)一的尺度去衡量孩子，旨在推 進(jìn)孩子的自主學(xué)習(xí)。身為教師的我們，習(xí)慣于用成人的思維去看待孩子，殊不知這完全 違背了

13、教育發(fā)展的規(guī)律，因?yàn)槲覀兒雎粤撕⒆觽兊捏w驗(yàn)。學(xué)生的學(xué) 習(xí)發(fā)生在學(xué)生身上，只有我們的教和孩子的經(jīng)歷架起一道橋梁，孩 子們方才猛然醒悟，否則無論我們多么費(fèi)盡心力講解，都是無效的。 一個(gè)班級(jí)了 50個(gè)孩子，他們擁有自己獨(dú)特的學(xué)習(xí)過程，這個(gè)過程是 他們自己進(jìn)行知識(shí)創(chuàng)造的過程，我們需要根據(jù)他們的實(shí)際情況進(jìn)行 引導(dǎo)。如同學(xué)習(xí)開車，教練認(rèn)為簡(jiǎn)簡(jiǎn)單單的倒庫動(dòng)作，對(duì)于許多許 多學(xué)員來說理解多有不同。只有在實(shí)踐中反復(fù)操作，才能真正領(lǐng)悟?qū)W習(xí)亦是如此，任何試圖減少孩子出錯(cuò)的想法和做法都是錯(cuò)誤的， 孩子們只有在自己的動(dòng)手學(xué)習(xí)、動(dòng)腦思考過程中，方才可以生成屬 于自己的東西，這個(gè)東西才能轉(zhuǎn)化為知識(shí)。教師的工作是引領(lǐng)孩子 自動(dòng)地主動(dòng)地學(xué)習(xí)，這才叫深度學(xué)習(xí)。道德課堂要求我們要做一個(gè)有道德的教師，其主旨就在于充分尊重學(xué)生，按照教育的自然規(guī)律 引導(dǎo) 孩子學(xué)習(xí)人的行為準(zhǔn)則。教育的作用在于喚醒，而不是強(qiáng)加于人。教育是基于人的行為，只有充分點(diǎn)燃孩子內(nèi)心向上的火花，孩子才 會(huì)有更為大的突破與提升。我們生活在一個(gè)日新月異的時(shí)代，信息技術(shù)的發(fā)展使得知識(shí)更新閃 電進(jìn)行。孩子們的學(xué)習(xí)資源不再是一本教科書而已，他們可以熟練 的通過互聯(lián)網(wǎng)獲取更為廣闊的學(xué)習(xí)資源。過去的教材是學(xué)生的世界， 而今天世界是學(xué)生的教材。微課、慕課和翻轉(zhuǎn)課堂在最近幾年幾乎 已經(jīng)