深度學(xué)習(xí)讀書筆記

深度學(xué)習(xí)讀書筆記深度學(xué)習(xí)讀書筆記深度學(xué)習(xí)讀書筆記資料僅供參考文件編號：2022年4月深度學(xué)習(xí)讀書筆記版本號：A修改號：1頁次：1.0審核：批準(zhǔn):發(fā)布日期：深度學(xué)習(xí)讀書筆記【篇一：深度學(xué)習(xí)文字識別論文綜述】深度學(xué)習(xí)文字識別論文綜述深度學(xué)習(xí)文字識別論文綜述深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，其動機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來解釋數(shù)據(jù)，例如圖像，聲音和文本。深度學(xué)習(xí)是無監(jiān)督學(xué)習(xí)的一種，深度學(xué)習(xí)采用了神經(jīng)網(wǎng)絡(luò)的分層結(jié)構(gòu)，系統(tǒng)包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)，只有相鄰的節(jié)點(diǎn)之間有連接，同一層以及跨層節(jié)點(diǎn)之間相互無連接。深度學(xué)習(xí)通過建立類似于人腦的分層模型結(jié)構(gòu)，對輸入數(shù)據(jù)逐級提取從底層到高層的特征，從而能很好地建立從底層信號到高層語義的映射關(guān)系。近年來，谷歌、微軟、百度等擁有大數(shù)據(jù)的高科技公司相繼投入大量資源進(jìn)行深度學(xué)習(xí)技術(shù)研發(fā)，在語音、圖像、自然語言、在線廣告等領(lǐng)域取得顯著進(jìn)展。從對實(shí)際應(yīng)用的貢獻(xiàn)來說，深度學(xué)習(xí)可能是機(jī)器學(xué)習(xí)領(lǐng)域最近這十年來最成功的研究方向。深度學(xué)習(xí)模型不僅大幅提高了圖像識別的精度，同時(shí)也避免了需要消耗大量的時(shí)間進(jìn)行人工特征提取的工作，使得在線運(yùn)算效率大大提升。深度學(xué)習(xí)用于文字定位論文thaitextlocalizationinnaturalsceneimagesusingconvolutionalneuralnetwork主要采用cnn的方法進(jìn)行自然場景中的文本分類，并根據(jù)泰字的特點(diǎn)進(jìn)行分類后的后處理，得到更加精確的定位效果。如圖1所示為cnn網(wǎng)絡(luò)模型，cnn網(wǎng)絡(luò)由一個(gè)輸入層，兩個(gè)卷積層和兩個(gè)下采樣層以及一個(gè)全連接層組成，輸出為一個(gè)二分類向量，即文本和非文本。圖1cnn網(wǎng)絡(luò)模型該文主要思路為將圖像切塊后進(jìn)行訓(xùn)練，采用人工標(biāo)注樣本的方法，使得網(wǎng)絡(luò)具有識別文本和非文本的能力。由于樣本數(shù)量較少，文中采用了根據(jù)已有字體生成訓(xùn)練數(shù)據(jù)集的方法，包括對字體隨機(jī)添加背景、調(diào)整字體風(fēng)格以及應(yīng)用濾波器。如圖2為生成的泰字樣本，文中在標(biāo)簽的過程中將半個(gè)字或者整個(gè)字都標(biāo)記為文本，增加了網(wǎng)絡(luò)對文字的識別率。圖2訓(xùn)練樣本集在使用生成好的網(wǎng)絡(luò)進(jìn)行文字定位的過程中，論文采用的編組方法結(jié)合了泰字的特點(diǎn)，如圖3為對圖像文字的初步定位，其中被標(biāo)記的區(qū)域被網(wǎng)絡(luò)識別為文字。圖3圖像文字的初步定位論文后期對標(biāo)記的矩形小框區(qū)域進(jìn)行了整合，結(jié)合了泰字本身的特點(diǎn)，如圖圖4所示為原始圖像文字，圖5為對識別結(jié)果進(jìn)行的后處理，其中a,b,c將文字分為上、中、下三個(gè)部分。文中指出泰字一般的最高不超過中心線b的50%，采用這個(gè)規(guī)律進(jìn)行了文字編組，得到如圖6的編組結(jié)果，其中白色區(qū)域?yàn)榫幗M結(jié)果。圖4原始文本圖像圖5后處理結(jié)果圖6編組結(jié)果同時(shí)論文也考慮了泰字的其他特點(diǎn)，如中心線與上邊界和下邊界的夾角不超過45度，根據(jù)這個(gè)規(guī)律又對編組結(jié)果進(jìn)行調(diào)整。如圖7所示，當(dāng)超過夾角限制是進(jìn)行了微調(diào)。如圖8與圖9為論文的最終定位結(jié)果。圖7泰字編組調(diào)整圖8定位結(jié)果圖9定位結(jié)果論文readingnumbersinnaturalsceneimageswithconvolutionalneuralnetworks結(jié)合隱馬爾可夫模型(hiddenmarkovmodel，hmm)和深度學(xué)習(xí)方法來實(shí)現(xiàn)對自然場景中的數(shù)字進(jìn)行定位和識別。首先采用cnn方法對原始的數(shù)字圖像進(jìn)行特征提取，將提取的結(jié)果輸入至hmm模型進(jìn)而得到數(shù)字的識別結(jié)果。如圖10為論文提出的識別方法模型。圖10文字識別模型論文為了實(shí)現(xiàn)直接在原始的圖像上進(jìn)行識別，采用了動態(tài)窗口滑動的方法，提取一系列的圖像塊。如圖11為論文采用的cnn結(jié)構(gòu)，包括4個(gè)卷積層，其中3個(gè)卷積層都有相鄰的下采樣層，每個(gè)卷積層都包含一個(gè)本地歸一化，共2個(gè)全連接層。網(wǎng)絡(luò)的訓(xùn)練首先通過滑動窗口提取圖像的骨架，然后采用主成分分析pca方法進(jìn)行降維，然后將得到的主要特征作為gmm-hmm模型的輸入，采用viterbi譯碼對gmm-hmm的輸出進(jìn)行處理，最后采用cnn對生成的數(shù)據(jù)進(jìn)行訓(xùn)練，數(shù)據(jù)的標(biāo)簽自動生成不需要人工參與。圖11cnn網(wǎng)絡(luò)結(jié)構(gòu)模型論文首先采用cnn對數(shù)字進(jìn)行分類，其中分類數(shù)為11即數(shù)字0,1,2,3,4,5,6,7,8,9，以及標(biāo)簽10代表非數(shù)字，論文采用hmm模型對分類的【篇二：深度學(xué)習(xí)的9篇標(biāo)志性論文】afastlearningalgorithmfordeepbeliefnets(2006)-首次提出layerwisegreedypretraining的方法，開創(chuàng)deeplearning方向。layerwisepretraining的restrictedboltzmannmachine(rbm)堆疊起來構(gòu)成deepbeliefnetwork(dbn)，其中訓(xùn)練最高層的rbm時(shí)加入了label。之后對整個(gè)dbn進(jìn)行fine-tuning。在mnist數(shù)據(jù)集上測試沒有嚴(yán)重過擬合，得到了比neuralnetwork(nn)更低的testerror。reducingthedimensionalityofdatawithneuralnetworks(2006)-提出deepautoencoder，作為數(shù)據(jù)降維方法發(fā)在science上。autoencoder是一類通過最小化函數(shù)集對訓(xùn)練集數(shù)據(jù)的重構(gòu)誤差，自適應(yīng)地編解碼訓(xùn)練數(shù)據(jù)的算法。deepautoencoder模型用contrastivedivergence(cd)算法逐層訓(xùn)練重構(gòu)輸入數(shù)據(jù)的rbm，堆疊在一起fine-tuning最小化重構(gòu)誤差。作為非線性降維方法在圖像和文本降維實(shí)驗(yàn)中明顯優(yōu)于傳統(tǒng)方法。learningdeeparchitecturesforai(2009)-bengio關(guān)于deeplearning的tutorial，從研究背景到rbm和cd再到數(shù)種deeplearning算法都有詳細(xì)介紹。還有豐富的reference。于是也有個(gè)缺點(diǎn)就是太長了。apracticalguidetotrainingrestrictedboltzmannmachines(2010)-如果想要自己實(shí)現(xiàn)deeplearning算法，這篇是不得不看的。我曾經(jīng)試過自己寫但是效果很不好，后來看到它才知道算法實(shí)現(xiàn)中還有很多重要的細(xì)節(jié)。對照網(wǎng)上的代碼看也能更好地理解代碼。greedylayer-wisetrainingofdeepnetworks(2007)-對dbn的一些擴(kuò)展，比如應(yīng)用于實(shí)值輸入等。根據(jù)實(shí)驗(yàn)提出了對deeplearning的performance的一種解釋。whydoesunsupervisedpre-traininghelpdeeplearning(2010)-總結(jié)了對deeplearning的pretraining作用的兩種解釋：regularization和helpoptimization。設(shè)計(jì)實(shí)驗(yàn)驗(yàn)證兩種因素的作用。autoencoders,unsupervisedlearning,anddeeparchitectures(2011)-從理論角度對不同的autoencoders作了統(tǒng)一分析的嘗試。onthequantitativeanalysisofdeepbeliefnetworks(2008)-用annealedimportancesampling(ais)給出一種估計(jì)rbm的partitionfunction的方法，從而能夠估算p(x)以及比較不同的dbn。trainingrestrictedboltzmannmachinesusingapproximationstothelikelihoodgradient(2008)-提出用persistentcontrastivedivergence(pcd)算法逼近maximumlikelihoodestimation的目標(biāo)，從而可以得到更好的generativemodel。傳統(tǒng)cd算法并不是以最大化p(x)為目標(biāo)的，另有paper證明cd算法不對應(yīng)任何優(yōu)化目標(biāo)函數(shù)【篇三：慕課讀書筆記】讀書筆記在認(rèn)真研讀了《慕課》與《高效課堂》兩本書后，我內(nèi)心引發(fā)深深地思考。深度學(xué)習(xí)的靈魂是讓孩子成為學(xué)習(xí)的主人，不能以教師的教代替學(xué)生的學(xué)，充分尊重學(xué)生，因材施教，注意每個(gè)孩子的個(gè)性化教育，而不是如工業(yè)產(chǎn)品一樣用統(tǒng)一的尺度去衡量孩子，旨在推進(jìn)孩子的自主學(xué)習(xí)。身為教師的我們，習(xí)慣于用成人的思維去看待孩子，殊不知這完全違背了教育發(fā)展的規(guī)律，因?yàn)槲覀兒雎粤撕⒆觽兊捏w驗(yàn)。學(xué)生的學(xué)習(xí)發(fā)生在學(xué)生身上，只有我們的教和孩子的經(jīng)歷架起一道橋梁，孩子們方才猛然醒悟，否則無論我們多么費(fèi)盡心力講解，都是無效的。一個(gè)班級了50個(gè)孩子，他們擁有自己獨(dú)特的學(xué)習(xí)過程，這個(gè)過程是他們自己進(jìn)行知識創(chuàng)造的過程，我們需要根據(jù)他們的實(shí)際情況進(jìn)行引導(dǎo)。如同學(xué)習(xí)開車，教練認(rèn)為簡簡單單的倒庫動作，對于許多許多學(xué)員來說理解多有不同。只有在實(shí)踐中反復(fù)操作，才能真正領(lǐng)悟其中的精髓。學(xué)習(xí)亦是如此，任何試圖減少孩子出錯的想法和做法都是錯誤的，孩子們只有在自己的動手學(xué)習(xí)、動腦思考過程中，方才可以生成屬于自己的東西，這個(gè)東西才能轉(zhuǎn)化為知識。教師的工作是引領(lǐng)孩子自動地主動地學(xué)習(xí)，這才叫深度學(xué)習(xí)。道德課堂要求我們要做一個(gè)有道德的教師，其主旨就在于充分尊重學(xué)生，按照教育的自然規(guī)律引導(dǎo)孩子學(xué)習(xí)人的行為準(zhǔn)則。教育的作用在于喚醒，而不是強(qiáng)加于人。教育是基于人的行為，只有充分點(diǎn)燃孩子內(nèi)心向上的火花，孩子才會有更為大的突破與提升。我們生活在一個(gè)日新月異的時(shí)代，信息技術(shù)的發(fā)展使得知識更新閃電進(jìn)行。孩子們的學(xué)習(xí)資源不再是一本教科書而已，他們可以熟練的通過互聯(lián)網(wǎng)獲取更為廣闊的學(xué)習(xí)資源。過去的教材是學(xué)生的世界，而今天世界是學(xué)生的教材。微課、慕課和翻轉(zhuǎn)