基于BP神經(jīng)網(wǎng)絡的手寫數(shù)字識別資料

基于BP神經(jīng)網(wǎng)絡的手寫數(shù)字識別資料第1頁/共19頁內(nèi)容1234背景介紹神經(jīng)網(wǎng)絡分類器設計實例講解小結第2頁/共19頁手寫數(shù)字識別是光學字符識別技術（OCR）的一個分支,研究如何利用計算機自動辨認手寫在紙張上的數(shù)字。手寫體數(shù)字的隨意性很大,字體大小、傾斜、筆畫的粗細等都會對識別結果造成影響。下面是一些樣例：研究背景第3頁/共19頁圖像標準化處理輸入：白底黑字的二值圖像

處理辦法：把圖像中每10*10的點進行劃分相加，進行相加成一個點,統(tǒng)計每個小區(qū)域中圖像象素所占百分比作為特征數(shù)據(jù)輸出：5*7=35個網(wǎng)格特征待測圖片標準化第4頁/共19頁

人工神經(jīng)網(wǎng)絡概況人工神經(jīng)網(wǎng)絡(ArtificialNeuralNetworks，ANN)：簡稱神經(jīng)網(wǎng)絡。模擬人腦神經(jīng)細胞的工作特點：與目前按串行安排程序指令的計算機結構截然不同。*單元間的廣泛連接；*并行分布式的信息存貯與處理；*自適應的學習能力等。第5頁/共19頁人工神經(jīng)元人工神經(jīng)元：生物神經(jīng)元的簡化模擬。人工神經(jīng)元間的互連：信息傳遞路徑軸突-突觸-樹突的簡化；連接的權值：兩個互連的神經(jīng)元之間相互作用的強弱。人工神經(jīng)元模型接收的信息(其它神經(jīng)元的輸出)

互連強度作比較的閾值n維輸入向量X

輸出激活函數(shù)第6頁/共19頁神經(jīng)元的動作：激活函數(shù)f：

閾值型S型分段線性型輸出值：設，點積形式：式中，第7頁/共19頁BP神經(jīng)網(wǎng)絡網(wǎng)絡拓撲結構：1、BP神經(jīng)網(wǎng)絡具有三層或三層以上的多層神經(jīng)網(wǎng)絡2、每一層都由若干個神經(jīng)元組成3、左右各層之間神經(jīng)元實現(xiàn)全連接，同層神經(jīng)元無連接第8頁/共19頁

神經(jīng)網(wǎng)絡之梯度下降法確定參數(shù)1、輸入向量X=[X1,X2,X3,...,Xn]2、輸出向量Y=[Y1,Y2,Y3,...,Yn]

希望輸出向量O=[O1,O2,O3,...,On]3、隱含層輸出向量B=[b1,b2,b3,...,bp]T4、輸入層到隱含層權值Wji=[wj1,wj2,...,wjt,...,wjn]5、隱含層到輸出層權值Vkj=[vk1,vk2,...,vkj...,vkp]第9頁/共19頁輸入模式順傳播：1、計算隱含層各神經(jīng)元的激活值

激活函數(shù)采用S型函數(shù)，即

2、隱含層j單元的輸出值

同理，可以求得輸出端的激活值和輸出值

神經(jīng)網(wǎng)絡之梯度下降法第10頁/共19頁3、計算輸出層第k個單元的激活值4、計算輸出層第k個單元的實際輸出值輸入模式順傳播：

神經(jīng)網(wǎng)絡之梯度下降法第11頁/共19頁輸出誤差的逆?zhèn)鞑ィ?、輸出層的校正誤差

2、隱含層各單元校正誤差3、連接權值以及校正量

神經(jīng)網(wǎng)絡之梯度下降法第12頁/共19頁循環(huán)記憶訓練：為了讓網(wǎng)絡的輸出誤差趨于極小值，一般需要進行數(shù)百次甚至上萬次循環(huán)記憶，不斷的反復循環(huán)上面介紹的步驟

神經(jīng)網(wǎng)絡之梯度下降法第13頁/共19頁實例詳解圖片庫mnist樣例:(0~9)500*(28*28)待測試圖片：第14頁/共19頁實例詳解1第15頁/共19頁實例詳解2第16頁/共19頁小結1、神經(jīng)網(wǎng)絡可以有效對手寫數(shù)字進行分類2、需要盡可能的