計(jì)算機(jī)前沿研究之人工神經(jīng)網(wǎng)絡(luò)

計(jì)算機(jī)前沿研究之人工神經(jīng)網(wǎng)絡(luò)摘要：現(xiàn)代計(jì)算機(jī)有很強(qiáng)的計(jì)算和信息處理能力，但是它對(duì)于模式識(shí)別、感知和在復(fù)雜環(huán)境中作決策等問(wèn)題的處理能力卻遠(yuǎn)遠(yuǎn)不如人，特別是它只能按人事先編好的程序機(jī)械地執(zhí)行，缺乏向環(huán)境學(xué)習(xí)、適應(yīng)環(huán)境的能力.人們也知道人腦的工作方式與現(xiàn)在的計(jì)算機(jī)是不同的，人腦是由極大量神經(jīng)元組成，神經(jīng)元之間經(jīng)過(guò)復(fù)雜的相連組成一個(gè)復(fù)雜的、非線性的、并行處理的信息處理系統(tǒng).巨大的神經(jīng)元使人腦處理較快，從而使人們思考時(shí)候利用計(jì)算機(jī)較強(qiáng)的處理能力模擬神經(jīng)網(wǎng)絡(luò).關(guān)鍵字：論文；計(jì)算機(jī)；發(fā)展前沿；神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)就是指為了模擬生物大腦的結(jié)構(gòu)和功能而構(gòu)成的?種信息處理系統(tǒng).人工神經(jīng)網(wǎng)絡(luò)以對(duì)大腦的生理研究成果為基礎(chǔ)，其目的在于模擬大腦的某些機(jī)理與機(jī)制，實(shí)現(xiàn)某方面的功能.本文主要從以下四方面介紹人工神經(jīng)網(wǎng)絡(luò).1引言本世紀(jì)初，科學(xué)家們就一直探究大腦構(gòu)筑函數(shù)和思維運(yùn)行機(jī)理.特別是近二十年來(lái).對(duì)大腦有關(guān)的感覺(jué)器官的仿生做了不少工作，人腦含有數(shù)億個(gè)神經(jīng)元，并以特殊的復(fù)雜形式組成在一起，它能夠在計(jì)算某些問(wèn)題（如難以用數(shù)學(xué)描述或非確定性問(wèn)題等）時(shí)，比目前最快的計(jì)算機(jī)還要快許多倍.大腦的信號(hào)傳導(dǎo)速度要比電子元件的信號(hào)傳導(dǎo)要慢百萬(wàn)倍，然而大腦的信息處理速度比電子元件的處理速度快許多倍，因此科學(xué)家推測(cè)大腦的信息處理方式和思維方式是非常復(fù)雜的，是一個(gè)復(fù)雜并行信息處理系統(tǒng).1943年McCulloch和Pitts結(jié)合了神經(jīng)生理學(xué)和數(shù)理邏輯的研究描述了一個(gè)神經(jīng)網(wǎng)絡(luò)的邏輯演算.他們的神經(jīng)元模型假定遵循一種所謂“有或無(wú)"（all-or-none）規(guī)則.如果如此簡(jiǎn)單的神經(jīng)元數(shù)目足夠多和適當(dāng)設(shè)置突觸連接并且同步操作，McCulloch和Pitts證明這樣構(gòu)成的網(wǎng)絡(luò)原則上可以計(jì)算任何可計(jì)算的函數(shù)，這標(biāo)志著神經(jīng)網(wǎng)絡(luò)學(xué)科的誕生.2什么是神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks,簡(jiǎn)寫為ANN或ANNs）是指為了模擬生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng).人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行的、分布處理結(jié)構(gòu)，是由處理單元（人工神經(jīng)元）及連接的無(wú)向訊號(hào)通道互連組成的網(wǎng)絡(luò).它是從微觀結(jié)構(gòu)和功能上對(duì)人腦的抽象、簡(jiǎn)化，是模擬人類智能的一-條重要途徑，反映了人腦功能的若干基本特征，如并行信息處理、學(xué)習(xí)、聯(lián)想、模式分類、記憶等.神經(jīng)網(wǎng)絡(luò)在系統(tǒng)辨識(shí)、模式識(shí)別、智能控制、預(yù)測(cè)等領(lǐng)域有著廣泛而誘人的前景.簡(jiǎn)單地講，他是一種數(shù)學(xué)模型，可以用電子線路來(lái)實(shí)現(xiàn)，也可以用計(jì)算機(jī)程序來(lái)模擬，是人工智能研究的一種方法.傳統(tǒng)的人工智能技術(shù)是基于物理符號(hào)系統(tǒng)的，而人工神經(jīng)網(wǎng)絡(luò)技術(shù)是基于聯(lián)接主義觀點(diǎn)的.人工神經(jīng)網(wǎng)絡(luò)是時(shí)人腦或自然神經(jīng)網(wǎng)絡(luò)若干基本特征的抽象和模擬.人工神經(jīng)網(wǎng)絡(luò)是對(duì)大腦的生理研究成果為基礎(chǔ)的，其目的在于模擬大腦的某些機(jī)理與機(jī)制，實(shí)現(xiàn)某方面的功能.國(guó)際著名神經(jīng)網(wǎng)絡(luò)研究專家，第一家神經(jīng)計(jì)算機(jī)公司的創(chuàng)立者與領(lǐng)導(dǎo)人Hecht-Nielsen給人工神經(jīng)網(wǎng)絡(luò)下的定義:“人工神經(jīng)網(wǎng)絡(luò)是由人工創(chuàng)立的以有向圖為拓?fù)浣Y(jié)構(gòu)的動(dòng)態(tài)系統(tǒng),他通過(guò)對(duì)連續(xù)的或斷續(xù)的輸入作狀態(tài)響應(yīng)而進(jìn)行信息處理.”知道了上面的介紹后我們需要理解下面的主要概念：神經(jīng)網(wǎng)絡(luò)是一個(gè)高度非線性動(dòng)力學(xué)系統(tǒng).雖然每個(gè)神經(jīng)元的結(jié)構(gòu)和功能并不復(fù)雜,但是神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)行為則是十分復(fù)雜的.因此，用神經(jīng)網(wǎng)絡(luò)可以表達(dá)實(shí)際物理世界的各種現(xiàn)象；神經(jīng)元是以生物神經(jīng)系統(tǒng)的神經(jīng)細(xì)胞為基礎(chǔ)的生物模型.在人們對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究，以探討人工智能的機(jī)制時(shí)，把神經(jīng)元數(shù)學(xué)化，就產(chǎn)生了神經(jīng)元數(shù)學(xué)模型：人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)源于人腦神經(jīng)系統(tǒng).了解人腦神經(jīng)網(wǎng)絡(luò)的組成和原理，有助于對(duì)人工神經(jīng)網(wǎng)絡(luò)的理解.大量的形式相同的神經(jīng)元連結(jié)在一起就組成了神經(jīng)網(wǎng)絡(luò)；人工神經(jīng)網(wǎng)絡(luò)的模型現(xiàn)在有數(shù)十種之多，應(yīng)用較多的神經(jīng)網(wǎng)絡(luò)模型有BP網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)、ART網(wǎng)絡(luò)和Kohonen網(wǎng)絡(luò).自從上世紀(jì)40年代初，美國(guó)McCulloch和Pitts從信息處理的角度，研究神經(jīng)細(xì)胞行為的數(shù)學(xué)模型表達(dá)，提出了二值神經(jīng)元模型以來(lái)，人們對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行了大量的研究.其中經(jīng)歷了40年代末心理學(xué)家Hebb提出著名的Hebb學(xué)習(xí)規(guī)則，50年代Rosenblatt提出的感知機(jī)模型.60年代神經(jīng)網(wǎng)絡(luò)的研究低潮，80年代提出新的神經(jīng)網(wǎng)絡(luò)HNN和Boltzmann機(jī)等一系列過(guò)程.目前，神經(jīng)網(wǎng)絡(luò)發(fā)展非常迅速，在許多方面已經(jīng)取得了很多成就.并應(yīng)用在許多重要領(lǐng)域中.3神經(jīng)元及其行為機(jī)理神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)在于神經(jīng)元.神經(jīng)元是腦組織的基本單元，人腦是由大約10億個(gè)神經(jīng)元組成的巨系統(tǒng).在人體內(nèi)，神經(jīng)元的結(jié)構(gòu)形式并非完全相同.但是，無(wú)論結(jié)構(gòu)形式如何，神經(jīng)元都是由一些基本的成分組成的.神經(jīng)元的解剖與主要介紹神經(jīng)元的生物學(xué)解剖如圖2.1所示：如第怵圖2.1由圖中可以看出：神經(jīng)元是有細(xì)胞體、樹(shù)突和軸突三部分組成.細(xì)胞體：由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜組成，是神經(jīng)元活動(dòng)的能量供應(yīng)地，在這里進(jìn)行新陳代謝等各種生化過(guò)程.軸突：由細(xì)胞體外伸出的最長(zhǎng)的分支組成，是把神經(jīng)元興奮的信息傳出到其他神經(jīng)元的出口，有興奮型和抑制型兩種.樹(shù)突：由細(xì)胞體外伸出的較短的分支組成，是接受其他神經(jīng)元傳入信息的入□.神經(jīng)元的生物行為根據(jù)生理學(xué)的研究發(fā)現(xiàn)，神經(jīng)元有4種生物行為:能出于抑制或興奮狀態(tài)；能產(chǎn)生爆發(fā)和平臺(tái)兩種情況；能產(chǎn)生抑制后的反沖；具有適應(yīng)性；突觸突觸是一個(gè)神經(jīng)元與另一個(gè)神經(jīng)元之間相聯(lián)系并進(jìn)行信息傳送的結(jié)構(gòu)，其結(jié)構(gòu)如圖2.3所示：圖2.3由圖可知，突觸由突觸前成分、突觸間隙和突觸后成分組成.突觸有以下四種生物行為：能進(jìn)行信息綜合；能產(chǎn)生漸次變化的傳送；有電接觸和化學(xué)接觸等多種連接方式；會(huì)產(chǎn)生延時(shí)激發(fā)突觸有電接觸和化學(xué)接觸等多種連接方式.人工神經(jīng)網(wǎng)絡(luò)的研究主要是對(duì)神經(jīng)元的第一種行為和突觸的第一種行為進(jìn)行模擬.所以，神經(jīng)網(wǎng)絡(luò)的研究只是處于初級(jí)階段，后面還有大量的工作等待著人們?nèi)ヌ接懞脱芯?4神經(jīng)元的數(shù)學(xué)模型與神經(jīng)生理學(xué)類比，連接機(jī)制結(jié)構(gòu)的基本處理單元稱為神經(jīng)元.網(wǎng)絡(luò)的每一個(gè)神經(jīng)元模型模擬一個(gè)生物神經(jīng)元，如圖3所示：圖3下面是本文所用到的數(shù)學(xué)公式：y=/（￡%,x,一3.1Jl,x2%/ 3.2[0,x<x03.31+e/W- -1</（X）<1 3.4該神經(jīng)元單元由多個(gè)輸入（i=l,2,…,n）和一個(gè)輸出Y組成.中間狀態(tài)由輸入信號(hào)的權(quán)和表示，而輸出為公式3.1所示.公式3.1中，。為神經(jīng)元單元的偏置（閾值），wi為連接權(quán)系數(shù)（對(duì)于激發(fā)狀態(tài)，wi取正值，對(duì)于抑制狀態(tài)，wi取負(fù)值），n為輸入信號(hào)數(shù)目，Y為神經(jīng)元輸出，f為輸出變換函數(shù)，有時(shí)叫做激發(fā)或激勵(lì)函數(shù)，往往采用。和1二值函數(shù)或S形函數(shù)，這些函數(shù)都是連續(xù)和非線性的.一種二值函數(shù)可由公式3.2表示.一種常規(guī)的S形函數(shù)可由公式3.3表示.常用雙曲正切函數(shù)來(lái)取代常規(guī)S形函數(shù)，因?yàn)镾形函數(shù)的輸出值均為正值，而雙曲線正切函數(shù)的輸出值為可正可負(fù).雙曲正切函數(shù)如公式3.4所示.神經(jīng)網(wǎng)絡(luò)的工作過(guò)程神經(jīng)網(wǎng)絡(luò)的工作過(guò)程如圖3.1.1所示:目標(biāo)圖3.L目標(biāo)圖3.L1人工神經(jīng)網(wǎng)絡(luò)與計(jì)算機(jī)人工神經(jīng)網(wǎng)絡(luò)的知識(shí)存儲(chǔ)容量很大.在神經(jīng)網(wǎng)絡(luò)中，知識(shí)與信息的存儲(chǔ)表現(xiàn)為神經(jīng)元之間分布式的物理聯(lián)系.它分散地表示和存儲(chǔ)與整個(gè)網(wǎng)絡(luò)內(nèi)的各種神經(jīng)元及其連線上.每個(gè)神經(jīng)元及其連線只表示一部分信息，而不是一個(gè)完整的具體概念.只有通過(guò)各神經(jīng)元的分布式綜合效果才能表達(dá)出特定的概念和知識(shí).由于人工神經(jīng)網(wǎng)絡(luò)中神經(jīng)元個(gè)數(shù)眾多、整個(gè)網(wǎng)絡(luò)存儲(chǔ)信息容量巨大，使它具有很強(qiáng)的不確定性信息處理能力.即使輸入信息不完全、不準(zhǔn)確或模糊不清，神經(jīng)網(wǎng)絡(luò)仍然能通過(guò)聯(lián)想思維恢復(fù)存在于記憶中的事物的完整圖像.只要輸入的模式接近于訓(xùn)練樣本，系統(tǒng)就能給出正確的推理結(jié)論.5人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)和優(yōu)越性人工神經(jīng)網(wǎng)絡(luò)是一個(gè)模仿及延伸人腦功能的新型信息處理系統(tǒng)，他是由大量壘局、局部或稀疏連接的簡(jiǎn)單處理器組成非線性動(dòng)力學(xué)網(wǎng)絡(luò)系統(tǒng).這是一種壘新的計(jì)算機(jī)結(jié)構(gòu)模型，他完全不同于傳統(tǒng)的馮?諾依曼計(jì)算機(jī).眾所周知，馮?諾依曼計(jì)算機(jī)是一種采用數(shù)理邏輯、基于圖靈模型的計(jì)算機(jī)體系，他擅長(zhǎng)于邏輯推理、樹(shù)立運(yùn)算等屬于抽象思維的計(jì)算.盡管這些計(jì)算功能大大促進(jìn)了科學(xué)技術(shù)的發(fā)展，然而由于其本身結(jié)構(gòu)的局限性，使這類計(jì)算結(jié)構(gòu)對(duì)于人擅長(zhǎng)的形象思維方面幾乎無(wú)能為力，因而，從模仿人腦功能的角度出發(fā)來(lái)設(shè)計(jì)人工神經(jīng)網(wǎng)絡(luò)這種壘新的計(jì)算機(jī)結(jié)構(gòu)模型得到了發(fā)展.一般來(lái)說(shuō)，人工神經(jīng)網(wǎng)絡(luò)有以下突出的特點(diǎn)和優(yōu)越性：可以充分逼近任意復(fù)雜的非線性關(guān)系；所有定量或定性的信息都分布貯存于網(wǎng)絡(luò)內(nèi)的各神經(jīng)元及其連線上，故有很強(qiáng)的魯棒性和容錯(cuò)性;采用并行分布處理方法，使得快速進(jìn)行大量運(yùn)算成為可能；可學(xué)習(xí)和自適應(yīng)不知道或不確定的系統(tǒng)；能夠同時(shí)處理定量、定性知識(shí)；具有自學(xué)習(xí)功能；具有聯(lián)想存儲(chǔ)功能：具有高速尋找優(yōu)化解的能力.人工神經(jīng)網(wǎng)絡(luò)的主要方向神經(jīng)網(wǎng)絡(luò)的研究可以分為理論研究和應(yīng)用研究?jī)纱蠓矫?理論研究理論研究一是利用神經(jīng)生理與認(rèn)知科學(xué)研究人類思維以及智能處理，二是利用神經(jīng)基礎(chǔ)理論研究成果，用數(shù)理方法探索功能更加完善、性能更加優(yōu)越的神經(jīng)網(wǎng)絡(luò)模型，深入研究網(wǎng)絡(luò)算法和性能并開(kāi)發(fā)新的網(wǎng)絡(luò)數(shù)理理論，如：神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué).非線性神經(jīng)場(chǎng)等.應(yīng)用研究應(yīng)用研究一是神經(jīng)網(wǎng)絡(luò)的軟件模擬和硬件實(shí)現(xiàn)的研究，二是神經(jīng)網(wǎng)絡(luò)在各個(gè)領(lǐng)域中應(yīng)用的研究.這些領(lǐng)域主要包括：模式識(shí)別、信號(hào)處理、知識(shí)工程、專家系統(tǒng)、優(yōu)化組合、機(jī)器人控制等.隨著神經(jīng)網(wǎng)絡(luò)理論本身以及相關(guān)理論、相關(guān)技術(shù)的不斷發(fā)展，神經(jīng)網(wǎng)絡(luò)的應(yīng)用將更加深入.6神經(jīng)網(wǎng)絡(luò)的發(fā)展趨勢(shì)神經(jīng)網(wǎng)絡(luò)主要有以下兩個(gè)發(fā)展趨勢(shì)：神經(jīng)網(wǎng)絡(luò)VC維計(jì)算神經(jīng)計(jì)算技術(shù)已經(jīng)在很多領(lǐng)域得到了成功的應(yīng)用，但由于缺少一個(gè)統(tǒng)一的理論框架，經(jīng)驗(yàn)性成分相當(dāng)高.最近十年里，很多研究者都力圖在一個(gè)統(tǒng)一的框架下來(lái)考慮學(xué)習(xí)與泛化的問(wèn)題.PAC(ProbablyApproximatelyCorrect)學(xué)習(xí)模型就是這樣一個(gè)框架.作為PAC學(xué)習(xí)的核心以及學(xué)習(xí)系統(tǒng)學(xué)習(xí)能力的度量，VC維(Vapnik-Chervonenkisdimension)在確定神經(jīng)網(wǎng)絡(luò)的容量(capacity)、泛化能力(generalization)、訓(xùn)練集規(guī)模等的關(guān)系上有重要作用.如果可以計(jì)算出神經(jīng)網(wǎng)絡(luò)的VC維，則我們可以估計(jì)出要訓(xùn)練該網(wǎng)絡(luò)所需的訓(xùn)練集規(guī)模；反之，在給定一個(gè)訓(xùn)練集以及最大近似誤差時(shí)，可以確定所需要的網(wǎng)絡(luò)結(jié)構(gòu).Anthony將VC維定義為：設(shè)F為一個(gè)從n維向量集X至弘0,1｝的函數(shù)族，則F的VC維為X的子集E的最大元素?cái)?shù)，其中E滿足：對(duì)于任意S包含于E,總存在函數(shù)fsGF,使得當(dāng)xdS時(shí)fs(x)=l,x不屬于S但xGE時(shí)fs(x)=0.VC維可作為函數(shù)族F復(fù)雜度的度量，它是一個(gè)自然數(shù)，其值有可能為無(wú)窮大，它表示無(wú)論以何種組合方式出現(xiàn)均可被函數(shù)族F正確劃分為兩類的向量個(gè)數(shù)的最大值.對(duì)于實(shí)函數(shù)族，可定義相應(yīng)的指示函數(shù)族，該指示函數(shù)族的VC維即為原實(shí)函數(shù)族的VC維.基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘1996年，F(xiàn)ayyad>Piatetsky-Shapiro和Smyth對(duì)KDD(KnowledgeDiscoveryfromDatabases)和數(shù)據(jù)挖掘的關(guān)系進(jìn)行了闡述.但是，隨著該領(lǐng)域研究的發(fā)展，研究者們目前趨向于認(rèn)為KDD和數(shù)據(jù)挖掘具有相同的含義，即認(rèn)為數(shù)據(jù)挖掘就是從大型數(shù)據(jù)庫(kù)的數(shù)據(jù)中提取人們感興趣的知識(shí).數(shù)據(jù)挖掘的困難主要存在于三個(gè)方面：苜先，巨量數(shù)據(jù)集的性質(zhì)往往非常復(fù)雜，非線性、時(shí)序性與噪音普遍存在；其次，數(shù)據(jù)分析的目標(biāo)具有多樣性，而復(fù)雜目標(biāo)無(wú)論在表述還是在處理上均與領(lǐng)域知識(shí)有關(guān)；第三，在復(fù)雜目標(biāo)下，對(duì)巨量數(shù)據(jù)集的分析目前還沒(méi)有現(xiàn)成的且滿足可計(jì)算條件的一般性理論與方法.在早期工作中，研究者們主要是將符號(hào)型機(jī)器學(xué)習(xí)方法與數(shù)據(jù)庫(kù)技術(shù)相結(jié)合，但由于真實(shí)世界的數(shù)據(jù)關(guān)系相當(dāng)復(fù)雜，非線性程度相當(dāng)高，而且普遍存在著噪音數(shù)據(jù)，因此這些方法在很多場(chǎng)合都不適用.如果能將神經(jīng)計(jì)算技術(shù)用于數(shù)據(jù)挖掘，將可望借助神經(jīng)網(wǎng)絡(luò)的非線性處理能力和容噪能力，較好地解決這一問(wèn)題.7結(jié)束語(yǔ)雖然人工神經(jīng)網(wǎng)絡(luò)在最近幾十年來(lái)已經(jīng)取得長(zhǎng)足的發(fā)展，特別是它在一些具體問(wèn)題的應(yīng)用，如TSP問(wèn)題等，解決了以往經(jīng)典學(xué)科的許多NP-hard問(wèn)題.但是，就目前而言，神經(jīng)網(wǎng)絡(luò)這一學(xué)科的研究仍處于在方興未艾的進(jìn)程中，越來(lái)越多的專業(yè)人士正投入其中，許多新型的神經(jīng)網(wǎng)絡(luò)模型正在建立，如Fir-NN等，而且這些模型的穩(wěn)定性、抗擾性等也在進(jìn)一步討論之中.