基于BP神經(jīng)網(wǎng)絡(luò)的手寫(xiě)數(shù)字識(shí)別研究人工智能

1、人工智能系別: 計(jì)算機(jī)系專業(yè): 計(jì)算機(jī)科學(xué)與技術(shù)班級(jí): 0701班姓名: 李玉茹學(xué)號(hào) : 2007151115指導(dǎo)老師：嚴(yán)武軍1 神經(jīng)網(wǎng)絡(luò).摘要.關(guān)鍵詞.1.引言2 BP 神經(jīng)網(wǎng)絡(luò).3基于BP神經(jīng)網(wǎng)絡(luò)的手寫(xiě)數(shù)字識(shí)別.3.1輸入向量與目標(biāo)向量.3.2BP神經(jīng)網(wǎng)絡(luò)的構(gòu)建.3. 3網(wǎng)絡(luò)的訓(xùn)練4 實(shí)驗(yàn)結(jié)果與分析.5結(jié)論基于BP神經(jīng)網(wǎng)絡(luò)的手寫(xiě)數(shù)字識(shí)別研究摘要：將BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于手寫(xiě)數(shù)字識(shí)別,通過(guò)實(shí)驗(yàn)證實(shí),該方法具有較高的識(shí)別率和可靠性.關(guān)鍵詞: BP神經(jīng)網(wǎng)絡(luò);模式識(shí)別;圖像處理;特征提取1.引言手寫(xiě)數(shù)字識(shí)別是光學(xué)字符識(shí)別技術(shù)的一個(gè)分支,研究如何利用電子計(jì)算機(jī)自動(dòng)辨認(rèn)人手寫(xiě)在紙張上的阿拉伯?dāng)?shù)字. 由于手

2、寫(xiě)體數(shù)字的隨意性很大,例如,字體的大小、傾斜、筆畫(huà)的粗細(xì)等等,都會(huì)對(duì)識(shí)別結(jié)果造成影響. 在過(guò)去的數(shù)十年中,研究者們提出了許多識(shí)別方法,取得了較大的成果. 手寫(xiě)數(shù)字識(shí)別技術(shù)的實(shí)用性很強(qiáng),例如在大規(guī)模數(shù)據(jù)統(tǒng)計(jì)(人口普查、例行年檢) 、財(cái)務(wù)、保險(xiǎn)、稅務(wù)、郵件分揀等應(yīng)用領(lǐng)域中都有廣闊的應(yīng)用前景. 手寫(xiě)數(shù)字識(shí)別一般通過(guò)基于結(jié)構(gòu)的識(shí)別法及模板匹配法來(lái)進(jìn)行處理,但識(shí)別率和可靠性都不高. 為了提高識(shí)別率,就必須尋求新的方法和途徑. 近年來(lái), BP神經(jīng)網(wǎng)絡(luò)技術(shù)取得了巨大發(fā)展,它是一種前饋反向型神經(jīng)網(wǎng)絡(luò),具有并行處理信息、自組織、自學(xué)習(xí)信息等優(yōu)點(diǎn),特別適用于模式識(shí)別領(lǐng)域. 本文基于BP神經(jīng)網(wǎng)絡(luò)原理對(duì)手寫(xiě)數(shù)字進(jìn)行識(shí)

3、別,通過(guò)對(duì)1000個(gè)手寫(xiě)數(shù)字的識(shí)別,證實(shí)本方法在手寫(xiě)數(shù)字識(shí)別方面的有效性.2BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的概念、原理和設(shè)計(jì)是受生物、特別是人腦神經(jīng)系統(tǒng)的啟發(fā)提出的. 神經(jīng)網(wǎng)絡(luò)由大量簡(jiǎn)單的處理單元來(lái)模擬真實(shí)人腦神經(jīng)網(wǎng)絡(luò)的機(jī)構(gòu)和功能以及若干基本特性,是一個(gè)高度復(fù)雜的非線性自適應(yīng)動(dòng)態(tài)處理系統(tǒng).BP網(wǎng)絡(luò)是1986年由Rinehart和McCelland為首的科學(xué)家小組提出,是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò),是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一. BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入- 輸出模式映射關(guān)系,而無(wú)需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程. 它的學(xué)習(xí)規(guī)則是使用最速下降法,通過(guò)反向傳播來(lái)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和

4、閾值,使網(wǎng)絡(luò)的誤差平方和最小. BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入( input) 、隱層( hide layer)和輸出層(output layer) ,如圖1所示.3基于BP神經(jīng)網(wǎng)絡(luò)的手寫(xiě)數(shù)字識(shí)別3. 1輸入向量與目標(biāo)向量首先對(duì)手寫(xiě)數(shù)字圖像進(jìn)行預(yù)處理,包括二值化、去噪、傾斜校正、歸一化和特征提取,生成BP神經(jīng)網(wǎng)絡(luò)的輸入向量Alphabet和目標(biāo)向量Tar2get. 其中Alphabet選取40 10的矩陣,第1列到第10列代表09的數(shù)字. Target為10 10的單位矩陣,每個(gè)數(shù)字在其所排順序位置輸出1,其他位置輸出0.3. 2BP神經(jīng)網(wǎng)絡(luò)的構(gòu)建BP算法由數(shù)據(jù)流的前向計(jì)算(正向傳播)和誤差

5、信號(hào)的反向傳播兩個(gè)過(guò)程構(gòu)成. 正向傳播時(shí),傳播方向?yàn)檩斎雽与[層輸出層,每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元. 若在輸出層得不到期望的輸出,則轉(zhuǎn)向誤差信號(hào)的反向傳播流程. 通過(guò)這兩個(gè)過(guò)程的交替進(jìn)行,在權(quán)向量空間執(zhí)行誤差函數(shù)梯度下降策略,動(dòng)態(tài)迭代搜索一組權(quán)向量,使網(wǎng)絡(luò)誤差函數(shù)達(dá)到最小值,從而完成信息提取和記憶過(guò)程.首先考慮正向傳播,設(shè)輸入層有n個(gè)節(jié)點(diǎn),隱層有p個(gè)節(jié)點(diǎn),輸出層有q個(gè)節(jié)點(diǎn). 輸入層與隱層之間的權(quán)值為vk i, 隱層與輸出層之間的權(quán)值為w jk. 隱層的傳遞函數(shù)為f1 ( x) ,輸出層的傳遞函數(shù)為f2 ( x) ,則隱層節(jié)點(diǎn)的輸出為輸出層節(jié)點(diǎn)的輸出為通過(guò)式(1) 和(2) 可得BP神經(jīng)網(wǎng)

6、絡(luò)完成n維到q維的映射. 其次考慮反向傳播. 在反向傳播中,需要對(duì)不理想的權(quán)值進(jìn)行調(diào)整, B P神經(jīng)網(wǎng)絡(luò)的核心要?jiǎng)?wù)即在于調(diào)權(quán). 定義誤差函數(shù), 設(shè)輸入P個(gè)學(xué)習(xí)樣本,用x1 , x2 , , xp 來(lái)表示. 第p個(gè)樣本輸入網(wǎng)絡(luò)得到輸出ypj ( j = 1, 2, , q) ,其誤差為式中為期望輸出. P個(gè)樣本的全局誤差為將式(3) 代入得輸出層權(quán)值的變化采用累計(jì)誤差BP算法調(diào)整wjk 使全局誤差E變小,即式(5) 中為學(xué)習(xí)率. 現(xiàn)定義誤差信號(hào)為將式(3) 代入可得第一項(xiàng)為第二項(xiàng)為輸出層傳遞函數(shù)f2 ( x) 的偏微分將式(7) 和(8) 代入可得誤差信號(hào)為則輸出層各神經(jīng)元權(quán)值wjk 調(diào)整公式將

7、式(9)代入可定義為在得到輸出層權(quán)值調(diào)整公式后, 需要定義隱層權(quán)值vk i 調(diào)整公式根據(jù)輸出層各神經(jīng)元權(quán)值wjk 調(diào)整公式推導(dǎo)過(guò)程,可得vk i 為3. 3網(wǎng)絡(luò)的訓(xùn)練神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程是識(shí)別字符的基礎(chǔ), 十分重要,直接關(guān)系到識(shí)別率的高低. 輸送訓(xùn)練樣本至B P神經(jīng)網(wǎng)絡(luò)訓(xùn)練, 在梯度方向上反復(fù)調(diào)整權(quán)值使網(wǎng)絡(luò)平方和誤差最小. 為使網(wǎng)絡(luò)對(duì)輸入向量有一定魯棒性,可先用無(wú)噪聲的樣本對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,直到其平方和誤差最小,再用含噪聲的樣本進(jìn)行訓(xùn)練,保證網(wǎng)絡(luò)對(duì)噪聲不敏感. 訓(xùn)練完畢, 把待識(shí)別數(shù)字送BP神經(jīng)網(wǎng)絡(luò)中進(jìn)行仿真測(cè)試.4 實(shí)驗(yàn)結(jié)果與分析權(quán)值初始化為( - 1, 1) 之間的隨機(jī)數(shù), 期望誤差為0. 0

8、1, 最大訓(xùn)練步數(shù)5000, 動(dòng)量因子為0.95,隱層和輸出層均采用“l(fā)ogsig”函數(shù), 手寫(xiě)數(shù)字的識(shí)別結(jié)果如圖2 ( a) ( e) 所示,以數(shù)字4為例給出處理過(guò)程對(duì)1000個(gè)手寫(xiě)數(shù)字(每個(gè)數(shù)字取100幅不同的圖像) 進(jìn)行識(shí)別,其識(shí)別結(jié)果如表1所示.5結(jié)論針對(duì)傳統(tǒng)的手寫(xiě)數(shù)字識(shí)別中識(shí)別率和可靠性不高的情況, 提出了將B P神經(jīng)網(wǎng)絡(luò)應(yīng)用于數(shù)字識(shí)別,并通過(guò)實(shí)驗(yàn),證實(shí)B P神經(jīng)網(wǎng)絡(luò)算法識(shí)別率較高,具備可行性.參考文獻(xiàn). 1 張猛等. 手寫(xiě)體數(shù)字識(shí)別中圖像預(yù)處理的研究 J . 微計(jì)算機(jī)信息, 2006 2 Pandya A S, Macy R B. 神經(jīng)網(wǎng)絡(luò)模式識(shí)別及其實(shí)現(xiàn)M .徐勇,荊濤譯. 北京:電子工業(yè)出版社, 1999. 3 朱小燕等. 手寫(xiě)體字符識(shí)別研究 J . 模式識(shí)別與人