深度學習讀書筆記

深度學習讀書筆記深度學習讀書筆記深度學習讀書筆記資料僅供參考文件編號：2022年4月深度學習讀書筆記版本號：A修改號：1頁次：1.0審核：批準:發(fā)布日期：深度學習讀書筆記【篇一：深度學習文字識別論文綜述】深度學習文字識別論文綜述深度學習文字識別論文綜述深度學習是機器學習研究中的一個新的領域，其動機在于建立、模擬人腦進行分析學習的神經(jīng)網(wǎng)絡，它模仿人腦的機制來解釋數(shù)據(jù)，例如圖像，聲音和文本。深度學習是無監(jiān)督學習的一種，深度學習采用了神經(jīng)網(wǎng)絡的分層結構，系統(tǒng)包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡，只有相鄰的節(jié)點之間有連接，同一層以及跨層節(jié)點之間相互無連接。深度學習通過建立類似于人腦的分層模型結構，對輸入數(shù)據(jù)逐級提取從底層到高層的特征，從而能很好地建立從底層信號到高層語義的映射關系。近年來，谷歌、微軟、百度等擁有大數(shù)據(jù)的高科技公司相繼投入大量資源進行深度學習技術研發(fā)，在語音、圖像、自然語言、在線廣告等領域取得顯著進展。從對實際應用的貢獻來說，深度學習可能是機器學習領域最近這十年來最成功的研究方向。深度學習模型不僅大幅提高了圖像識別的精度，同時也避免了需要消耗大量的時間進行人工特征提取的工作，使得在線運算效率大大提升。深度學習用于文字定位論文thaitextlocalizationinnaturalsceneimagesusingconvolutionalneuralnetwork主要采用cnn的方法進行自然場景中的文本分類，并根據(jù)泰字的特點進行分類后的后處理，得到更加精確的定位效果。如圖1所示為cnn網(wǎng)絡模型，cnn網(wǎng)絡由一個輸入層，兩個卷積層和兩個下采樣層以及一個全連接層組成，輸出為一個二分類向量，即文本和非文本。圖1cnn網(wǎng)絡模型該文主要思路為將圖像切塊后進行訓練，采用人工標注樣本的方法，使得網(wǎng)絡具有識別文本和非文本的能力。由于樣本數(shù)量較少，文中采用了根據(jù)已有字體生成訓練數(shù)據(jù)集的方法，包括對字體隨機添加背景、調(diào)整字體風格以及應用濾波器。如圖2為生成的泰字樣本，文中在標簽的過程中將半個字或者整個字都標記為文本，增加了網(wǎng)絡對文字的識別率。圖2訓練樣本集在使用生成好的網(wǎng)絡進行文字定位的過程中，論文采用的編組方法結合了泰字的特點，如圖3為對圖像文字的初步定位，其中被標記的區(qū)域被網(wǎng)絡識別為文字。圖3圖像文字的初步定位論文后期對標記的矩形小框區(qū)域進行了整合，結合了泰字本身的特點，如圖圖4所示為原始圖像文字，圖5為對識別結果進行的后處理，其中a,b,c將文字分為上、中、下三個部分。文中指出泰字一般的最高不超過中心線b的50%，采用這個規(guī)律進行了文字編組，得到如圖6的編組結果，其中白色區(qū)域為編組結果。圖4原始文本圖像圖5后處理結果圖6編組結果同時論文也考慮了泰字的其他特點，如中心線與上邊界和下邊界的夾角不超過45度，根據(jù)這個規(guī)律又對編組結果進行調(diào)整。如圖7所示，當超過夾角限制是進行了微調(diào)。如圖8與圖9為論文的最終定位結果。圖7泰字編組調(diào)整圖8定位結果圖9定位結果論文readingnumbersinnaturalsceneimageswithconvolutionalneuralnetworks結合隱馬爾可夫模型(hiddenmarkovmodel，hmm)和深度學習方法來實現(xiàn)對自然場景中的數(shù)字進行定位和識別。首先采用cnn方法對原始的數(shù)字圖像進行特征提取，將提取的結果輸入至hmm模型進而得到數(shù)字的識別結果。如圖10為論文提出的識別方法模型。圖10文字識別模型論文為了實現(xiàn)直接在原始的圖像上進行識別，采用了動態(tài)窗口滑動的方法，提取一系列的圖像塊。如圖11為論文采用的cnn結構，包括4個卷積層，其中3個卷積層都有相鄰的下采樣層，每個卷積層都包含一個本地歸一化，共2個全連接層。網(wǎng)絡的訓練首先通過滑動窗口提取圖像的骨架，然后采用主成分分析pca方法進行降維，然后將得到的主要特征作為gmm-hmm模型的輸入，采用viterbi譯碼對gmm-hmm的輸出進行處理，最后采用cnn對生成的數(shù)據(jù)進行訓練，數(shù)據(jù)的標簽自動生成不需要人工參與。圖11cnn網(wǎng)絡結構模型論文首先采用cnn對數(shù)字進行分類，其中分類數(shù)為11即數(shù)字0,1,2,3,4,5,6,7,8,9，以及標簽10代表非數(shù)字，論文采用hmm模型對分類的【篇二：深度學習的9篇標志性論文】afastlearningalgorithmfordeepbeliefnets(2006)-首次提出layerwisegreedypretraining的方法，開創(chuàng)deeplearning方向。layerwisepretraining的restrictedboltzmannmachine(rbm)堆疊起來構成deepbeliefnetwork(dbn)，其中訓練最高層的rbm時加入了label。之后對整個dbn進行fine-tuning。在mnist數(shù)據(jù)集上測試沒有嚴重過擬合，得到了比neuralnetwork(nn)更低的testerror。reducingthedimensionalityofdatawithneuralnetworks(2006)-提出deepautoencoder，作為數(shù)據(jù)降維方法發(fā)在science上。autoencoder是一類通過最小化函數(shù)集對訓練集數(shù)據(jù)的重構誤差，自適應地編解碼訓練數(shù)據(jù)的算法。deepautoencoder模型用contrastivedivergence(cd)算法逐層訓練重構輸入數(shù)據(jù)的rbm，堆疊在一起fine-tuning最小化重構誤差。作為非線性降維方法在圖像和文本降維實驗中明顯優(yōu)于傳統(tǒng)方法。learningdeeparchitecturesforai(2009)-bengio關于deeplearning的tutorial，從研究背景到rbm和cd再到數(shù)種deeplearning算法都有詳細介紹。還有豐富的reference。于是也有個缺點就是太長了。apracticalguidetotrainingrestrictedboltzmannmachines(2010)-如果想要自己實現(xiàn)deeplearning算法，這篇是不得不看的。我曾經(jīng)試過自己寫但是效果很不好，后來看到它才知道算法實現(xiàn)中還有很多重要的細節(jié)。對照網(wǎng)上的代碼看也能更好地理解代碼。greedylayer-wisetrainingofdeepnetworks(2007)-對dbn的一些擴展，比如應用于實值輸入等。根據(jù)實驗提出了對deeplearning的performance的一種解釋。whydoesunsupervisedpre-traininghelpdeeplearning(2010)-總結了對deeplearning的pretraining作用的兩種解釋：regularization和helpoptimization。設計實驗驗證兩種因素的作用。autoencoders,unsupervisedlearning,anddeeparchitectures(2011)-從理論角度對不同的autoencoders作了統(tǒng)一分析的嘗試。onthequantitativeanalysisofdeepbeliefnetworks(2008)-用annealedimportancesampling(ais)給出一種估計rbm的partitionfunction的方法，從而能夠估算p(x)以及比較不同的dbn。trainingrestrictedboltzmannmachinesusingapproximationstothelikelihoodgradient(2008)-提出用persistentcontrastivedivergence(pcd)算法逼近maximumlikelihoodestimation的目標，從而可以得到更好的generativemodel。傳統(tǒng)cd算法并不是以最大化p(x)為目標的，另有paper證明cd算法不對應任何優(yōu)化目標函數(shù)【篇三：慕課讀書筆記】讀書筆記在認真研讀了《慕課》與《高效課堂》兩本書后，我內(nèi)心引發(fā)深深地思考。深度學習的靈魂是讓孩子成為學習的主人，不能以教師的教代替學生的學，充分尊重學生，因材施教，注意每個孩子的個性化教育，而不是如工業(yè)產(chǎn)品一樣用統(tǒng)一的尺度去衡量孩子，旨在推進孩子的自主學習。身為教師的我們，習慣于用成人的思維去看待孩子，殊不知這完全違背了教育發(fā)展的規(guī)律，因為我們忽略了孩子們的體驗。學生的學習發(fā)生在學生身上，只有我們的教和孩子的經(jīng)歷架起一道橋梁，孩子們方才猛然醒悟，否則無論我們多么費盡心力講解，都是無效的。一個班級了50個孩子，他們擁有自己獨特的學習過程，這個過程是他們自己進行知識創(chuàng)造的過程，我們需要根據(jù)他們的實際情況進行引導。如同學習開車，教練認為簡簡單單的倒庫動作，對于許多許多學員來說理解多有不同。只有在實踐中反復操作，才能真正領悟其中的精髓。學習亦是如此，任何試圖減少孩子出錯的想法和做法都是錯誤的，孩子們只有在自己的動手學習、動腦思考過程中，方才可以生成屬于自己的東西，這個東西才能轉(zhuǎn)化為知識。教師的工作是引領孩子自動地主動地學習，這才叫深度學習。道德課堂要求我們要做一個有道德的教師，其主旨就在于充分尊重學生，按照教育的自然規(guī)律引導孩子學習人的行為準則。教育的作用在于喚醒，而不是強加于人。教育是基于人的行為，只有充分點燃孩子內(nèi)心向上的火花，孩子才會有更為大的突破與提升。我們生活在一個日新月異的時代，信息技術的發(fā)展使得知識更新閃電進行。孩子們的學習資源不再是一本教科書而已，他們可以熟練的通過互聯(lián)網(wǎng)獲取更為廣闊的學習資源。過去的教材是學生的世界，而今天世界是學生的教材。微課、慕課和翻轉(zhuǎn)