BP神經(jīng)網(wǎng)絡分類器

1、BP神經(jīng)網(wǎng)絡分類器摘要 本文主要介紹了BP神經(jīng)網(wǎng)絡的分類器使用方法，結(jié)合USPS手寫數(shù)字集，對該數(shù)據(jù)集進行了訓練和分類，對結(jié)果做了分析。手寫體數(shù)字識別是模式識別中一個非常重要和活躍的研究領域，數(shù)字識別也不是一項孤立的技術，它所涉及的問題是模式識別的其他領域都無法回避的；應用上，作為一種信息處理手段，字符識別有廣闊的應用背景和巨大的市場需求。因此，對數(shù)字識別的研究具有理論和應用的雙重意義。語音識別分為說話人識別和語義識別，這里介紹說話人識別，說話人識別提取出特征參數(shù)之后，需要采用分類器對特征空間進行分類。人工神經(jīng)網(wǎng)絡識別方法是近年該研究領域的一種新方法，該方法具有一些傳統(tǒng)技術所沒有的優(yōu)點：良好的

2、容錯能力、分類能力強、并行處理和自學習能力，并且是離線訓練和在線識別的。這些優(yōu)點使它在手寫體字符的識別中能對大量數(shù)據(jù)進行快速實時處理，并達到良好的識別效果。 本文主要介紹了BP神經(jīng)網(wǎng)絡的分類器使用方法，結(jié)合USPS手寫數(shù)字集，語音識別一節(jié)他人論文。關鍵詞： USPS手寫數(shù)字，BP人工神經(jīng)網(wǎng)絡，語音識別1 人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡（Artificial Neural Networks，NN）是由大量的、簡單的處理單元（稱為神經(jīng)元）廣泛地互相連接而形成的復雜網(wǎng)絡系統(tǒng)，它反映了人腦功能的許多基本特征，是一個高度復雜的非線性動力學系統(tǒng)。神經(jīng)網(wǎng)絡具有大規(guī)模并行、分布式存儲和處理、自組織、自適應和自學習能

3、力，特別適合處理需要同時考慮許多因素和條件的、不精確和模糊的信息處理問題。神經(jīng)網(wǎng)絡的發(fā)展與神經(jīng)科學、數(shù)理科學、認知科學、計算機科學、人工智能、信息科學、控制論、機器人學、微電子學、心理學、微電子學、心理學、光計算、分子生物學等有關，是一門新興的邊緣交叉學科。神經(jīng)網(wǎng)絡具有非線性自適應的信息處理能力，克服了傳統(tǒng)人工智能方法對于直覺的缺陷，因而在神經(jīng)專家系統(tǒng)、模式識別、智能控制、組合優(yōu)化、預測等領域得到成功應用。神經(jīng)網(wǎng)絡與其他傳統(tǒng)方法相組合，將推動人工智能和信息處理技術不斷發(fā)展。近年來，神經(jīng)網(wǎng)絡在模擬人類認知的道路上更加深入發(fā)展，并與模糊系統(tǒng)、遺傳算法、進化機制等組合，形成計算智能，成為人工智能的一

4、個重要方向。1 人工神經(jīng)網(wǎng)絡的研究背景和意義人工神經(jīng)網(wǎng)絡是由具有適應性的簡單單元組成的廣泛并行互連的網(wǎng)絡，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應5。人工神經(jīng)網(wǎng)絡就是模擬人思維的一種方式，是一個非線性動力學系統(tǒng)，其特色在于信息的分布式存儲和并行協(xié)同處理。雖然單個神經(jīng)元的結(jié)構(gòu)極其簡單，功能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡系統(tǒng)所能實現(xiàn)的行為卻是極其豐富多彩的。近年來通過對人工神經(jīng)網(wǎng)絡的研究，可以看出神經(jīng)網(wǎng)絡的研究目的和意義有以下三點：（1）通過揭示物理平面與認知平面之間的映射，了解它們相互聯(lián)系和相互作用的機理，從而揭示思維的本質(zhì)，探索智能的本源。（2）爭取構(gòu)造出盡可能與人腦具有相似功

5、能的計算機，即神經(jīng)網(wǎng)絡計算機。（3）研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡，將在模式識別、組合優(yōu)化和決策判斷等方面取得傳統(tǒng)計算機所難以達到的效果。人工神經(jīng)網(wǎng)絡特有的非線性適應性信息處理能力，克服了傳統(tǒng)人工智能方法對于直覺，如模式、語音識別、非結(jié)構(gòu)化信息處理方面的缺陷，使之在神經(jīng)專家系統(tǒng)、模式識別、智能控制、組合優(yōu)化、預測等領域得到成功應用。人工神經(jīng)網(wǎng)絡與其它傳統(tǒng)方法相結(jié)合，將推動人工智能和信息處理技術不斷發(fā)展。近年來，人工神經(jīng)網(wǎng)絡正向模擬人類認知的道路上更加深入發(fā)展，與模糊系統(tǒng)、遺傳算法、進化機制等結(jié)合，形成計算智能，成為人工智能的一個重要方向，將在實際應用中得到發(fā)展。將信息幾何應用于人工神經(jīng)網(wǎng)絡的

6、研究，為人工神經(jīng)網(wǎng)絡的理論研究開辟了新的途徑。神經(jīng)計算機的研究發(fā)展很快，已有產(chǎn)品進入市場。光電結(jié)合的神經(jīng)計算機為人工神經(jīng)網(wǎng)絡的發(fā)展提供了良好條件。2 BP神經(jīng)網(wǎng)絡2.1 神經(jīng)元與網(wǎng)絡結(jié)構(gòu)人工神經(jīng)網(wǎng)絡（artificial neural network，ANN）是模仿生物神經(jīng)網(wǎng)絡功能的一種經(jīng)驗模型。生物神經(jīng)元受到傳入的刺激，其反應又從輸出端傳到相聯(lián)的其它神經(jīng)元，輸入和輸出之間的變換關系一般是非線性的。神經(jīng)網(wǎng)絡是由若干簡單（通常是自適應的）元件及其層次組織，以大規(guī)模并行連接方式構(gòu)造而成的網(wǎng)絡，按照生物神經(jīng)網(wǎng)絡類似的方式處理輸入的信息。模仿生物神經(jīng)網(wǎng)絡而建立的人工神經(jīng)網(wǎng)絡，對輸入信號有功能強大的反應

7、和處理能力。歸納一下生物神經(jīng)元傳遞信息的過程：生物神經(jīng)元是一個多輸入、單輸出單元。常用的人工神經(jīng)元模型可用圖2.2模擬。圖2.2 人工神經(jīng)元（感知器）示意圖當神經(jīng)元j有多個輸入xi(i=1，2,m)和單個輸出yj時，輸入和輸出的關系可表示為: (2.3)其中j為閾值，wij為從神經(jīng)元i到神經(jīng)元j的連接權重因子，f( )為傳遞函數(shù)，或稱激勵函數(shù)。2.1.2人工神經(jīng)網(wǎng)絡的構(gòu)成神經(jīng)元的模型確定之后，一個神經(jīng)網(wǎng)絡的特性及能力主要取決于網(wǎng)絡的拓撲結(jié)構(gòu)及學習方法。 2.2 BP神經(jīng)網(wǎng)絡定義2.2.1 BP神經(jīng)網(wǎng)絡模型及其基本原理BP神經(jīng)網(wǎng)絡是誤差反向傳播神經(jīng)網(wǎng)絡的簡稱，它由一個輸入層，一個或多個隱含層和一

8、個輸出層構(gòu)成，每一次由一定數(shù)量的的神經(jīng)元構(gòu)成。這些神經(jīng)元如同人的神經(jīng)細胞一樣是互相關聯(lián)的。其結(jié)構(gòu)如圖2.8所示： 圖2.8 BP神經(jīng)網(wǎng)絡模型生物神經(jīng)元信號的傳遞是通過突觸進行的一個復雜的電化學等過程, 在人工神經(jīng)網(wǎng)絡中是將其簡化模擬成一組數(shù)字信號通過一定的學習規(guī)則而不斷變動更新的過程，這組數(shù)字儲存在神經(jīng)元之間的連接權重。網(wǎng)絡的輸入層模擬的是神經(jīng)系統(tǒng)中的感覺神經(jīng)元，它接收輸入樣本信號。輸入信號經(jīng)輸入層輸入， 通過隱含層的復雜計算由輸出層輸出，輸出信號與期望輸出相比較，若有誤差，再將誤差信號反向由輸出層通過隱含層處理后向輸入層傳播。在這個過程中，誤差通過梯度下降算法，分攤給各層的所有單元，從而獲得

9、各單元的誤差信號，以此誤差信號為依據(jù)修正各單元權值，網(wǎng)絡權值因此被重新分布。此過程完成后， 輸入信號再次由輸入層輸入網(wǎng)絡，重復上述過程。這種信號正向傳播與誤差反向傳播的各層權值調(diào)整過程周而復始地進行著，直到網(wǎng)絡輸出的誤差減少到可以接受的程度，或進行到預先設定的學習次數(shù)為止。權值不斷調(diào)整的過程就是網(wǎng)絡的學習訓練過程。BP 神經(jīng)網(wǎng)絡的信息處理方式具有如下特點: 1）信息分布存儲。人腦存儲信息的特點是利用突觸效能的變化來調(diào)整存儲內(nèi)容， 即信息存儲在神經(jīng)元之間的連接強度的分布上， B P神經(jīng)網(wǎng)絡模擬人腦的這一特點，使信息以連接權值的形式分布于整個網(wǎng)絡。2) 信息并行處理。人腦神經(jīng)元之間傳遞脈沖信號的速

10、度遠低于馮·諾依曼計算機的工作速度，但是在很多問題上卻可以做出快速的判斷、決策和處理，這是由于人腦是一個大規(guī)模并行與串行組合的處理系統(tǒng)。BP神經(jīng)網(wǎng)絡的基本結(jié)構(gòu)模仿人腦，具有并行處理的特征，大大提高了網(wǎng)絡功能。3）具有容錯性。生物神經(jīng)系統(tǒng)部分不嚴重損傷并不影響整體功能，BP神經(jīng)網(wǎng)絡也具有這種特性，網(wǎng)絡的高度連接意味著少量的誤差可能不會產(chǎn)生嚴重的后果，部分神經(jīng)元的損傷不破壞整體，它可以自動修正誤差。這與現(xiàn)代計算機的脆弱性形成鮮明對比。4）具有自學習、自組織、自適應的能力。BP神經(jīng)網(wǎng)絡具有初步的自適應與自組織能力，在學習或訓練中改變突觸權值以適應環(huán)境，可以在使用過程中不斷學習完善自己的功能

11、，并且同一網(wǎng)絡因?qū)W習方式的不同可以具有不同的功能，它甚至具有創(chuàng)新能力，可以發(fā)展知識，以至超過設計者原有的知識水平。2.2.2 BP神經(jīng)網(wǎng)絡的主要功能目前，在人工神經(jīng)網(wǎng)絡的實際應用中。絕大部分的神經(jīng)網(wǎng)絡模型都采用BP神經(jīng)網(wǎng)絡及其變化形式。它也是前向網(wǎng)絡的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡的精華。BP網(wǎng)絡主要用于以下四方面3。（1） 函數(shù)逼近：用輸入向量和相應的輸出向量訓練一個網(wǎng)絡以逼近一個函數(shù)。（2） 模式識別：用一個待定的輸出向量將它與輸入向量聯(lián)系起來。（3） 分類：把輸入向量所定義的合適方式進行分類。（4） 數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便傳輸或存儲。2.2.3 BP網(wǎng)絡的優(yōu)點以及局限性BP神經(jīng)網(wǎng)絡

12、最主要的優(yōu)點是具有極強的非線性映射能力12。理論上，對于一個三層和三層以上的BP網(wǎng)絡，只要隱層神經(jīng)元數(shù)目足夠多，該網(wǎng)絡就能以任意精度逼近一個非線性函數(shù)。其次，BP神經(jīng)網(wǎng)絡具有對外界刺激和輸入信息進行聯(lián)想記憶的能力。這是因為它采用了分布并行的信息處理方式，對信息的提取必須采用聯(lián)想的方式，才能將相關神經(jīng)元全部調(diào)動起來。BP 神經(jīng)網(wǎng)絡通過預先存儲信息和學習機制進行自適應訓練，可以從不完整的信息和噪聲干擾中恢復原始的完整信息。這種能力使其在圖像復原、語言處理、模式識別等方面具有重要應用。再次，BP 神經(jīng)網(wǎng)絡對外界輸入樣本有很強的識別與分類能力。由于它具有強大的非線性處理能力，因此可以較好地進行非線性分

13、類, 解決了神經(jīng)網(wǎng)絡發(fā)展史上的非線性分類難題。另外， BP 神經(jīng)網(wǎng)絡具有優(yōu)化計算能力。BP神經(jīng)網(wǎng)絡本質(zhì)上是一個非線性優(yōu)化問題, 它可以在已知的約束條件下，尋找一組參數(shù)組合，使該組合確定的目標函數(shù)達到最小。不過，其優(yōu)化計算存在局部極小問題，必須通過改進完善。由于BP網(wǎng)絡訓練中穩(wěn)定性要求學習效率很小，所以梯度下降法使得訓練很慢。動量法因為學習率的提高通常比單純的梯度下降法要快一些，但在實際應用中還是速度不夠，這兩種方法通常只應用于遞增訓練。多層神經(jīng)網(wǎng)絡可以應用于線性系統(tǒng)和非線性系統(tǒng)中，對于任意函數(shù)模擬逼近。當然，感知器和線性神經(jīng)網(wǎng)絡能夠解決這類網(wǎng)絡問題。但是，雖然理論上是可行的，但實際上BP網(wǎng)絡并

14、不一定總能有解。對于非線性系統(tǒng)，選擇合適的學習率是一個重要的問題。在線性網(wǎng)絡中，學習率過大會導致訓練過程不穩(wěn)定。相反，學習率過小又會造成訓練時間過長。和線性網(wǎng)絡不同，對于非線性多層網(wǎng)絡很難選擇很好的學習率。對那些快速訓練算法，缺省參數(shù)值基本上都是最有效的設置。非線性網(wǎng)絡的誤差面比線性網(wǎng)絡的誤差面復雜得多，問題在于多層網(wǎng)絡中非線性傳遞函數(shù)有多個局部最優(yōu)解。尋優(yōu)的過程與初始點的選擇關系很大，初始點如果更靠近局部最優(yōu)點，而不是全局最優(yōu)點，就不會得到正確的結(jié)果，這也是多層網(wǎng)絡無法得到最優(yōu)解的一個原因。為了解決這個問題，在實際訓練過程中，應重復選取多個初始點進行訓練，以保證訓練結(jié)果的全局最優(yōu)性。 網(wǎng)絡隱

15、層神經(jīng)元的數(shù)目也對網(wǎng)絡有一定的影響。神經(jīng)元數(shù)目太少會造成網(wǎng)絡的不適性，而神經(jīng)元數(shù)目太多又會引起網(wǎng)絡的過適性。3 USPS手寫數(shù)字集3.1 USPS數(shù)據(jù)集介紹數(shù)據(jù)采用USPS美國郵政服務手寫數(shù)字識別庫，庫中均為16*16像素的灰度圖像的值，灰度值已被歸一化。庫中共有9298個手寫數(shù)字圖像，其中7291個用于訓練，2021 個用于測試。訓練時可將整幅圖像作為特征輸入，也可引入PCA等降維方法。在數(shù)據(jù)中traindata為特征，共256維，traintarg為對應的數(shù)字，一共10行，10行中值為1的那一行代表數(shù)字。比如第一列中，第七個值為1，則代表這個數(shù)為7，第十行表示0。測試集同理。 公司印章管理

16、制度一、目的 公司印章是公司對內(nèi)對外行使權力的標志，也是公司名稱的法律體現(xiàn)， 因此，必須對印章進行規(guī)范化、合理化的嚴格管理，以保證公司各項業(yè)務的正常運作，由公司指定專人負責管理。二、印章的種類1、 公章，是按照政府規(guī)定，由主管部門批準刻制的代表公司權力的印章。2、 專用章，為方便工作專門刻制的用于某種特定用途的印章，如：合同專用章、財務專用章、業(yè)務專用章、倉庫簽收章等。 3、手章(簽名章)，是以公司法人代表名字刻制的用于公務的印章。三、印章的管理規(guī)定1、 印章指定專人負責保管和使用，保管印章的地方(桌、柜等)要牢固加鎖，印章使用后要及時收存。2、 財務專用章由財務部負責保管，向銀行備案的印章，

17、應由財務部會計、總經(jīng)辦分別保管。 3、印章要注意保養(yǎng)，防止碰撞，還要及時清洗，以保持印跡清晰。4、一般情況下不得將印章攜出公司外使用，如確實因工作所需，則應由印章管理員攜帶印章到場蓋章或監(jiān)印。 5、印章管理人員離職或調(diào)任時，須履行印章交接手續(xù)。四、公章刻制印章需本公司法人代表批準，并由印章管理專責人負責辦理刻制并啟用并交由專人進行保管。 五、印章的使用1、 使用任何的印章，需由相應負責人審核簽字。為方便工 作，總經(jīng)理可授權印章管理專責人審核一般性事務用印。2、 用印前印章管理人員須認真審核，明確了解用印的內(nèi)容和目的，確 認符合用印的手續(xù)后，在用印登記簿上逐項登記，方可蓋章。 3、對需要留存的材料，蓋印后應留存一份立卷歸檔。 4、不得在空白憑證、便箋上蓋章。 5、上報有關部門的文件資料，未經(jīng)部門經(jīng)理、總經(jīng)理審簽，不得蓋章。 6、以公司名義行文，未經(jīng)總經(jīng)理簽發(fā)，不得蓋章。 7、按照合同會簽制度的規(guī)定，所有