人工神經(jīng)網(wǎng)絡(luò)概述及其在分類中的應(yīng)用舉例

人工神經(jīng)網(wǎng)絡(luò)概述及其在分類中的應(yīng)用舉例4/16人工神經(jīng)網(wǎng)絡(luò)概述及其在分類中的應(yīng)用舉例秦興德（周末班）學(xué)號(hào)：08200203人工神經(jīng)網(wǎng)絡(luò)(ARTIFICIALNEURALNETWORK，簡(jiǎn)稱ANN)是目前國際上一門發(fā)展迅速的前沿交叉學(xué)科。為了模擬大腦的基本特性，在現(xiàn)代神經(jīng)科學(xué)研究的基礎(chǔ)上，人們提出來人工神經(jīng)網(wǎng)絡(luò)的模型。人工神經(jīng)網(wǎng)絡(luò)是在對(duì)人腦組織結(jié)構(gòu)和運(yùn)行機(jī)智的認(rèn)識(shí)理解基礎(chǔ)之上模擬其結(jié)構(gòu)和智能行為的一種工程系統(tǒng)。神經(jīng)網(wǎng)絡(luò)在2個(gè)方面與人腦相似：(1)人工神經(jīng)網(wǎng)絡(luò)獲取的知識(shí)是從外界環(huán)境中學(xué)習(xí)得來的。(2)互連神經(jīng)元的連接強(qiáng)度，即突觸權(quán)值，用于存儲(chǔ)獲取的信息。他既是高度非線性動(dòng)力學(xué)系統(tǒng)，又是自適應(yīng)組織系統(tǒng)，可用來描述認(rèn)知、決策及控制的智能行為。神經(jīng)網(wǎng)絡(luò)理論是巨量信息并行處理和大規(guī)模并行計(jì)算的基礎(chǔ)。一人工神經(jīng)網(wǎng)絡(luò)的基本特征功能的。比如有人和你提起內(nèi)蒙古，你就會(huì)聯(lián)想起藍(lán)天、白云和大草原。用人工神經(jīng)網(wǎng)絡(luò)的反饋網(wǎng)絡(luò)就可以實(shí)現(xiàn)這種聯(lián)想。神經(jīng)網(wǎng)絡(luò)能接受和處理模擬的、混沌的、模糊的和隨機(jī)的信息。在處理自然語言理解、圖像模式識(shí)別、景物理解、不完整信息的處理、智能機(jī)器人控制等方面具有優(yōu)勢(shì)。5、具有自組織自學(xué)習(xí)能力：人工神經(jīng)網(wǎng)絡(luò)可以根據(jù)外界環(huán)境輸入信息，改變突觸連接強(qiáng)度，重新安排神經(jīng)元的相互關(guān)系，從而達(dá)到自適應(yīng)于環(huán)境變化的目的。6、軟件硬件的實(shí)現(xiàn)：人工神經(jīng)網(wǎng)絡(luò)不僅能夠通過軟件而且可借助軟件實(shí)現(xiàn)并行處理。近年來，一些超大規(guī)模集成電路的硬件實(shí)現(xiàn)已經(jīng)問世，而且可從市場(chǎng)上購到，這使得神經(jīng)網(wǎng)絡(luò)具有快速和大規(guī)模處理能力的實(shí)現(xiàn)網(wǎng)絡(luò)。許多軟件都有提供了人工神經(jīng)網(wǎng)絡(luò)的工具箱（或軟件包）如Matlab、Scilab、R、SAS等。二人工神經(jīng)網(wǎng)絡(luò)的基本數(shù)學(xué)模型神經(jīng)元是神經(jīng)網(wǎng)絡(luò)操作的基本信息處理單位（圖1）。神經(jīng)元模型的三要素為：(1)突觸或聯(lián)接，一般用，表爾神經(jīng)元和神經(jīng)元之間的聯(lián)接強(qiáng)度，常稱之為權(quán)值。(2)反映生物神經(jīng)元時(shí)空整合功能的輸入信號(hào)累加器。圖1一個(gè)人工神經(jīng)元（感知器）和一個(gè)生物神經(jīng)元示意圖(3)一個(gè)激活函數(shù)用于限制神經(jīng)元輸出（圖2），可以是階梯函數(shù)、線性或者是指數(shù)形式的函數(shù)（Sigmoid函數(shù)）等。圖3是神經(jīng)元的基本模型，圖4是多層人工神經(jīng)網(wǎng)絡(luò)模型的示意圖，其中為輸入信號(hào)，對(duì)應(yīng)于生物神經(jīng)元的樹突輸入，其他神經(jīng)元的軸突輸出；為神經(jīng)元的內(nèi)部狀態(tài)；為閥值；為神經(jīng)元和神經(jīng)元的連接權(quán)值，其正負(fù)分別表示興奮和抑制；為激活函數(shù)，也稱變換函數(shù)或傳遞函數(shù)；為輸出。這個(gè)模型可以描述為：圖3神經(jīng)元的基本模型圖4多層人工神經(jīng)網(wǎng)絡(luò)示意圖三幾種典型的人工神經(jīng)網(wǎng)絡(luò)模型反向傳播（BP）神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)是一種有監(jiān)督的前饋運(yùn)行的人工神經(jīng)網(wǎng)絡(luò)!它由輸入層/隱含層/輸出層以及各層之間的節(jié)點(diǎn)的連接權(quán)所組成，這個(gè)學(xué)習(xí)過程的算法由信息的正向傳播和誤差的反向傳播構(gòu)成。在正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層,每一層神經(jīng)元只影響下一層神經(jīng)元的輸出。如果不能在輸出層得到期望的輸出，則轉(zhuǎn)入反向傳播,運(yùn)用鏈數(shù)求導(dǎo)法則將連接權(quán)關(guān)于誤差函數(shù)的導(dǎo)數(shù)沿原來的連接通路返回,通過修改各層的權(quán)值使得誤差函數(shù)減小。Hopfield神經(jīng)網(wǎng)絡(luò)基本的Hopfield神經(jīng)網(wǎng)絡(luò)是一個(gè)由非線性元件構(gòu)成的全連接型單層反饋系統(tǒng)。網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元都將自己的輸出通過連接權(quán)傳送給所有其它神經(jīng)元，同時(shí)又都接收所有其它神經(jīng)元傳遞過來的信息。所以Hopfield神經(jīng)網(wǎng)絡(luò)是一個(gè)反饋型的網(wǎng)絡(luò)。其狀態(tài)變化可以用差分方程來表征。反饋型網(wǎng)絡(luò)的一個(gè)重要特點(diǎn)就是它具有穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)的時(shí)候，也就是它的能量函數(shù)達(dá)到最小的時(shí)候。能量函數(shù)表征網(wǎng)絡(luò)狀態(tài)的變化趨勢(shì)，并可以依據(jù)Hopfield工作運(yùn)行規(guī)則不斷進(jìn)行狀態(tài)變化，最終能夠達(dá)到的某個(gè)極小值的目標(biāo)函數(shù)。網(wǎng)絡(luò)收斂就是指能量函數(shù)達(dá)到極小值。如果把一個(gè)最優(yōu)化問題的目標(biāo)函數(shù)轉(zhuǎn)換成網(wǎng)絡(luò)的能量函數(shù)，把問題的變量對(duì)應(yīng)于網(wǎng)絡(luò)的狀態(tài)，那么Hopfield神經(jīng)網(wǎng)絡(luò)就能夠用于解決優(yōu)化組合問題。Hopfield工作時(shí)其各個(gè)神經(jīng)元的連接權(quán)值是固定的，更新的只是神經(jīng)元的輸出狀態(tài)。Hopfield神經(jīng)網(wǎng)絡(luò)的運(yùn)行規(guī)則為：首先從網(wǎng)絡(luò)中隨機(jī)選取一個(gè)神經(jīng)元進(jìn)行加權(quán)求和，計(jì)算的第時(shí)刻的輸出值。除以外的所有神經(jīng)元的輸出值保持不變，返回至第一步計(jì)算，直至網(wǎng)絡(luò)進(jìn)入穩(wěn)定狀態(tài)。Hopfield神經(jīng)網(wǎng)絡(luò)的能量函數(shù)是朝著梯度減小的方向變化，但它仍然存在一個(gè)問題，那就是一旦能量函數(shù)陷入到局部極小值，它將不能自動(dòng)跳出局部極小點(diǎn)而到達(dá)全局最小點(diǎn)，因而無法求得網(wǎng)絡(luò)最優(yōu)解，這可以通過模擬退火算法或遺傳算法得以解決。3、隨機(jī)型的神經(jīng)網(wǎng)絡(luò)為求解全局最優(yōu)解提供了有效的算法。模擬退火算法(SimulatedAnnealing)的思想最早是由Metropolis等人于1953年提出的。但把它用于組合優(yōu)化和VLSI設(shè)計(jì)卻是在1983年由S．Kirkpatrick等人和V．Cemy分別提出的。模擬退火算法將組合優(yōu)化問題與統(tǒng)計(jì)力學(xué)中的熱平衡問題類比，開辟了求解組合優(yōu)化問題的新途徑。Boltzmann機(jī)(BohzmannMa．chine)模型采用模擬退火算法，使網(wǎng)絡(luò)能夠擺脫能量局部極小的束縛，最終達(dá)到期望的能量全局最小狀態(tài)。但是這需要以花費(fèi)較長時(shí)間的代價(jià)來得到。為了改善Boltzmann機(jī)求解速度慢的不足，最后出來的Gaussion機(jī)模型不但具備HNN模型的快速收斂特性，而且具有Bohzmann的“爬山”能力。Gussion機(jī)模型采用模擬退火算法和銳化技術(shù)，使之能夠有效地求解優(yōu)化及滿足約束問題。自組織神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)在

接受外界輸入時(shí)，將會(huì)分成不同的區(qū)域，不同的區(qū)域?qū)Σ煌哪Ｊ骄哂胁煌捻憫?yīng)特征，即不同的神經(jīng)元以最佳方式響應(yīng)不同性質(zhì)的信號(hào)激勵(lì)，從而形成一種拓

撲意義上的有序圖。這種有序圖也稱之為特征圖，它實(shí)際上時(shí)一種非線性映射關(guān)

系，它將信號(hào)空間中各模式的拓?fù)潢P(guān)系幾乎不變地反映在這張圖上，即各神經(jīng)元

的輸出響應(yīng)上。由于這種映射是通過無監(jiān)督的自適應(yīng)過程完成的，所以也稱它為

自組織神經(jīng)網(wǎng)絡(luò)。

自組織神經(jīng)網(wǎng)絡(luò)是以神經(jīng)元自行組織以校正各種具體模式的概念為基礎(chǔ)的，能夠形成簇與簇之間的連續(xù)映射，起到矢量量化器的作用。在這種網(wǎng)絡(luò)中，輸出節(jié)點(diǎn)與其鄰域其它節(jié)點(diǎn)廣泛相連，并相互激勵(lì)。輸入節(jié)

點(diǎn)和輸出節(jié)點(diǎn)之間通過強(qiáng)度相連接。通過某種規(guī)則，不斷地調(diào)整，

使得在穩(wěn)定時(shí)，每一鄰域的所有節(jié)點(diǎn)對(duì)某種輸入具有類似的輸出，并且這聚類的

概率分布與輸入模式的概率分布相接近。

四人工神經(jīng)網(wǎng)絡(luò)發(fā)展方向人工神經(jīng)網(wǎng)絡(luò)模型的研究利用神經(jīng)生理與認(rèn)知科學(xué)研究人類思維以及智能機(jī)理和利用神經(jīng)基礎(chǔ)理論的研究成果，用數(shù)理方法探索功能更加完善、性能更加優(yōu)越的神經(jīng)網(wǎng)絡(luò)模型，深入研究網(wǎng)絡(luò)算法和性能。如：穩(wěn)定性、收斂性、容錯(cuò)性、魯棒性等；開發(fā)新的網(wǎng)絡(luò)數(shù)理理論，如：神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)、非線性神經(jīng)場(chǎng)等。人工神經(jīng)計(jì)算和進(jìn)化計(jì)算要把基于鏈接主義的神經(jīng)網(wǎng)絡(luò)理論、基于符號(hào)主義的人工智能專家系統(tǒng)理論和基于進(jìn)化論的人工生命這3大研究領(lǐng)域，自發(fā)而有機(jī)的結(jié)合起來。建立神經(jīng)計(jì)算和進(jìn)化計(jì)算的數(shù)學(xué)理論基礎(chǔ)。“并行分布處理(PDP)”具有自學(xué)習(xí)、自適應(yīng)和自組織的特點(diǎn)，這是一種提高計(jì)算性能的有效途徑，是神經(jīng)網(wǎng)絡(luò)迫切需要增強(qiáng)的主要功能，必須加以重視，同時(shí)，還應(yīng)尋找其他有效方法，建立具有計(jì)算復(fù)雜性、網(wǎng)絡(luò)容錯(cuò)性和堅(jiān)韌性的計(jì)算理論。進(jìn)一步研究調(diào)節(jié)多層感知器的算法，使建立的模型和學(xué)習(xí)算法成為適應(yīng)性神經(jīng)網(wǎng)絡(luò)的有力工具，構(gòu)建多層感知器與自組織特征圖級(jí)聯(lián)想的復(fù)合網(wǎng)絡(luò)，是增強(qiáng)網(wǎng)絡(luò)解決實(shí)際問題能力的一個(gè)有效途徑，重視鏈接的可編程性和通用性問題的研究，從而促進(jìn)智能科學(xué)的發(fā)展。神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和神經(jīng)元芯片的作用將不斷擴(kuò)大。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的研究是神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)以及成功地實(shí)現(xiàn)應(yīng)用的前提，又是優(yōu)越的物理前提，他體現(xiàn)了算法和結(jié)構(gòu)的統(tǒng)一是硬件和軟件的混合體，未來的研究主要是針對(duì)信息處理功能體，將系統(tǒng)、結(jié)構(gòu)、電路、器件和材料等方面的知識(shí)有機(jī)地結(jié)合起來，建構(gòu)有關(guān)的新概念和新技術(shù)，在硬件實(shí)現(xiàn)上，研究材料的結(jié)構(gòu)和組織，使他具有自然地進(jìn)行信息處理的能力。五人工神經(jīng)網(wǎng)絡(luò)應(yīng)用人工神經(jīng)網(wǎng)絡(luò)經(jīng)過多年的發(fā)展，應(yīng)用研究也取得了突破性進(jìn)展，范圍正在不斷擴(kuò)大，其應(yīng)用領(lǐng)域幾乎包括各個(gè)方面。半個(gè)世紀(jì)以來，這門學(xué)科的理論和技術(shù)基礎(chǔ)已達(dá)到了一定規(guī)模，就應(yīng)用的技術(shù)領(lǐng)域而言有計(jì)算機(jī)視覺，語言的識(shí)別、理解與合成，優(yōu)化計(jì)算，智能控制及復(fù)雜系統(tǒng)分析，模式識(shí)別，神經(jīng)計(jì)算機(jī)研制，知識(shí)推理專家系統(tǒng)與人工智能。涉及的學(xué)科有神經(jīng)生理學(xué)、認(rèn)識(shí)科學(xué)、數(shù)理科學(xué)、心理學(xué)、信息科學(xué)、計(jì)算機(jī)科學(xué)、微電子學(xué)、光學(xué)、動(dòng)力學(xué)、生物電子學(xué)等。美國、日本等國在神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)軟硬件實(shí)現(xiàn)的開發(fā)方面也取得了顯著的成績(jī)，并逐步形成產(chǎn)品。人工神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)挖掘中主要應(yīng)用于數(shù)據(jù)的分類和預(yù)測(cè)，在分類方法中，與傳統(tǒng)的統(tǒng)計(jì)方法相比，神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的學(xué)習(xí)能力，極大地提高了分類的精度和預(yù)測(cè)的準(zhǔn)測(cè)度。人工神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)、遺傳算法、隨機(jī)森林等其他先進(jìn)算法的結(jié)合，產(chǎn)生更為精確地算法，在R的galgo包（主要應(yīng)用于生物信息學(xué)）中已經(jīng)體現(xiàn)出來。六人工神經(jīng)網(wǎng)絡(luò)分類器應(yīng)用舉例人工神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)挖掘中常應(yīng)用于分類和預(yù)測(cè)，神經(jīng)網(wǎng)絡(luò)方法能夠明顯的提高分類精度。使用的數(shù)據(jù)是著名的鳶尾花（iris）數(shù)據(jù)，在R軟件中是自帶的數(shù)據(jù)集，也可以在從加州大學(xué)厄文分校（UCI）的機(jī)器學(xué)習(xí)庫中下載。鳶尾花數(shù)據(jù)集包含150種鳶尾花的信息，每50種取自三個(gè)鳶尾花種之一：Setosa、Versicolour和Virginica。每個(gè)花的特征用下面5種屬性描述：(1)萼片長度（Sepal.Length：厘米）。(2)萼片寬度（Sepal.Width：厘米）。(3)花瓣長度（Petal.Length：厘米）。(4)花瓣寬度（Petal.Width：厘米）。(5)類（Species：Setosa,Versicolour,Virginica）。花的萼片是花的外部結(jié)構(gòu)，保護(hù)花的更脆弱的部分（如花瓣）。在許多花中，萼片是綠的，只有花瓣是鮮艷多彩的，然而，對(duì)于鳶尾花，萼片也是鮮艷多彩的。R的nnet包中的nnet函數(shù)隱層只含一個(gè)感知器，激活函數(shù)有多種。在鳶尾花的分類中，激活函數(shù)使用的是線性函數(shù)，在隱層感知器的人工神經(jīng)元分別設(shè)size=1，2，3，4時(shí)，分類結(jié)果為：Size=1類別123總12203體20250精33022度分類精度0.8810.880.96Size=2，3，4類別123總12401體20250精31024度分類精度0.9610.960.9867而基于馬氏距離的層次聚類結(jié)果的聚類誤差矩陣為：hclus123總15000體204916精30134度分類精度10.980.680.7666667可以看出，使用神經(jīng)網(wǎng)絡(luò)分類器所得的結(jié)果的精度高達(dá)98.67%，而聚類分析的層次聚類方法所得到的結(jié)果得精度只有76.67%。證明分層神經(jīng)網(wǎng)絡(luò)分類算法可以顯著提高分類精度。附：R中神經(jīng)網(wǎng)絡(luò)計(jì)算程序，人工神經(jīng)網(wǎng)絡(luò)的包為nnet。#ir是只含有Sepal.Length、Sepal.Width、Petal.Length、Petal.Width的數(shù)據(jù)，用于分類ir<-iris[,1:4]#目標(biāo)集，010，100，001targets<-class.ind(c(rep("s",50),rep("c",50),rep("v",50)))#訓(xùn)練集，75個(gè)樣例，其余的為測(cè)試集samp<-c(sample(1:50,25),sample(51:100,25),sample(101:150,25))ir1<-nnet(ir[samp,],targets[samp,],size=1,rang=0.1,decay=5e-4,maxit=200)ir2<-nnet(ir[samp,],targets[samp,],size=2,rang=0.1,decay=5e-4,maxit=200)ir3<-nnet(ir[samp,],targets[samp,],size=3,rang=0.1,decay=5e-4,maxit=200)ir4<-nnet(ir[samp,],targets[samp,],size=4,rang=0.1,decay=5e-4,maxit=200)#分類誤差矩陣test.cl<-function(true,pred){true<-max.col(true)cres<-max.col(pred)a<-table(true,cre