人工神經(jīng)網(wǎng)絡(luò)方法課件

人工神經(jīng)網(wǎng)絡(luò)方法課件第1頁/共30頁人工神經(jīng)網(wǎng)絡(luò)，是一個具有高度非線性的超大規(guī)模連續(xù)時間動力系統(tǒng)，是由大量的處理單元(神經(jīng)元)廣泛互連而形成的網(wǎng)絡(luò)。是人腦的某種抽象、簡化與模擬。人工神經(jīng)網(wǎng)絡(luò)的特點和優(yōu)越性：具有自學習功能；具有聯(lián)想存儲功能；具有高速尋找優(yōu)化解的能力。在現(xiàn)代地理學中，人工神經(jīng)網(wǎng)絡(luò)方法特別適用于地理模式識別、地理過程模擬與預測、復雜地理系統(tǒng)的優(yōu)化計算等問題的研究。第2頁/共30頁人工神經(jīng)網(wǎng)絡(luò)簡介神經(jīng)元模型神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的工作原理人工神經(jīng)網(wǎng)絡(luò)的學習規(guī)則神經(jīng)網(wǎng)絡(luò)模型的種類第3頁/共30頁yiθix1x2xnW1iW2iWni神經(jīng)元模型神經(jīng)元模型

基于生物神經(jīng)元構(gòu)造，W.McCulloch和W.Pitts于1943年建立了一個模擬神經(jīng)元功能的數(shù)學模型，這個模型被稱為MP模型。第4頁/共30頁

MP模型是一個多輸出單輸出的非線性元件。在MP模型中，f是二值函數(shù)，其輸出值為0或1，分別代表神經(jīng)元的抑制和興奮狀態(tài)，它可以用階躍函數(shù)表示，即當wji>0時，為興奮性突觸結(jié)合；當wji<0時，為抑制性突觸結(jié)合；當wji=0時，為無結(jié)合。第5頁/共30頁神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)如圖所示。yjwkjθjj#θkk#θii#θmm#wijwmiwkiyiymyk…神經(jīng)網(wǎng)絡(luò)第6頁/共30頁神經(jīng)元之間的突觸結(jié)合有興奮性和抑制性兩種。在下圖中，（a）和（b）分別給出了兩個神經(jīng)元串行連接和相互結(jié)合型連接的情形。

(a)12y1w21y221y1y2(b)w12w21兩個神經(jīng)元的不同連接第7頁/共30頁（a）所示的兩個神經(jīng)元串行連接，當w21>0為興奮性連接時，若神經(jīng)元1處于興奮狀態(tài)，則神經(jīng)元2也處于興奮狀態(tài)；當w21<0為抑制性連接時，若神經(jīng)元1處于興奮狀態(tài)，反而會使神經(jīng)元2容易處于抑制狀態(tài)。在（b）中，兩個神經(jīng)元處于相互結(jié)合性狀態(tài)，若w12和w21均為正，則某一個神經(jīng)元處于興奮狀態(tài)時，另一個神經(jīng)元也傾向于興奮狀態(tài)，這稱為神經(jīng)元之間的協(xié)調(diào)作用；若w12和w21均為均為負，則當某一個神經(jīng)元處于興奮狀態(tài)時，另一神經(jīng)元傾向于抑制狀態(tài)，這稱為神經(jīng)元之間的競爭作用。協(xié)調(diào)和競爭是神經(jīng)網(wǎng)絡(luò)中并行信息處理的基本動態(tài)特性。

第8頁/共30頁神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)把大量的神經(jīng)元通過一定的拓撲結(jié)構(gòu)連接起來，就形成了神經(jīng)網(wǎng)絡(luò)。神經(jīng)元之間的連接方式有相互結(jié)合型結(jié)構(gòu)和層狀結(jié)構(gòu)兩大類。21435(a)相互結(jié)合型12345(b)層狀結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)第9頁/共30頁圖(a)所示的相互結(jié)合型神經(jīng)網(wǎng)絡(luò)系統(tǒng)中存在著反饋環(huán)。在神經(jīng)元的學習過程中，進行誤差反饋。反饋有正、負之分，正反饋使系統(tǒng)發(fā)生振蕩，負反饋使系統(tǒng)穩(wěn)定。在大腦神經(jīng)系統(tǒng)中，由于負反饋的存在，使控制抑制的機構(gòu)起著十分重要的作用。正反饋對大腦神經(jīng)元的同步動作起著一定的作用。在圖(b)所示的層狀神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，信號依特定的方向傳播。在生物體內(nèi)，大腦皮質(zhì)之間、感覺器官和大腦之間，就可以看作是一種分層結(jié)構(gòu)，即功能模塊級的分層。在大腦內(nèi)確實存在各種機理不同的功能模塊，這一點被大腦的解剖研究已經(jīng)證明，而且每一個模塊內(nèi)部是由神經(jīng)元組成的并行處理系統(tǒng)。

第10頁/共30頁人工神經(jīng)網(wǎng)絡(luò)的工作原理

人工神經(jīng)網(wǎng)絡(luò)首先要以一定的學習準則進行學習，然后才能工作。網(wǎng)絡(luò)學習的準則應(yīng)該是：如果網(wǎng)絡(luò)作出錯誤的判決，則通過網(wǎng)絡(luò)的學習，應(yīng)使得網(wǎng)絡(luò)減少下次犯同樣錯誤的可能性。將模式分布地記憶在網(wǎng)絡(luò)的各個連接權(quán)值上。當網(wǎng)絡(luò)再次遇到其中任何一個模式時，能夠作出迅速、準確的判斷和識別。神經(jīng)網(wǎng)絡(luò)的工作過程主要由兩個階段組成，一個階段是工作期，此時各連接權(quán)值固定，計算單元的狀態(tài)變化，以求達到穩(wěn)定狀態(tài)。另一階段是學習期(自適應(yīng)期，或設(shè)計期)，此時各計算單元狀態(tài)不變，各連接權(quán)值可修改(通過學習樣本或其他方法)，前一階段較快，各單元的狀態(tài)亦稱短期記憶(STM)，后一階段慢的多，權(quán)及連接方式亦稱長期記憶(LTM)。第11頁/共30頁

人工神經(jīng)網(wǎng)絡(luò)的學習規(guī)則神經(jīng)網(wǎng)絡(luò)的學習過程，一般是，首先設(shè)定初時權(quán)值，如果無先驗的知識，初時權(quán)值可設(shè)定為隨機值。接著輸入樣本數(shù)據(jù)進行學習，參照評價標準進行評判。如果達到要求，就停止學習，否則按照給定的學習法則調(diào)整權(quán)值，繼續(xù)進行學習，直到取得滿意的結(jié)果為止。神經(jīng)網(wǎng)絡(luò)的學習規(guī)則，主要包括誤差傳播式學習、聯(lián)想學習、競爭性（Competitive）學習和基于知識的學習等。各種學習規(guī)則都是以Hebb規(guī)則為基礎(chǔ)的。

第12頁/共30頁誤差傳播式學習感知器（Perceptron）是神經(jīng)網(wǎng)絡(luò)中的一種最基本的神經(jīng)網(wǎng)絡(luò)模型，它是F.Rosenblatt于1961年提出來的。設(shè)神經(jīng)元的輸入輸出關(guān)系為η是學習速率，di是教師信號或希望輸出，δi是實際輸出yi與希望輸出di之差，yi和xj取1或0的離散值。第13頁/共30頁聯(lián)想式學習根據(jù)空間或時間上接近的事物之間，性質(zhì)上相似或相反的事物之間，以及存在因果關(guān)系的事物都可能在人的大腦中產(chǎn)生聯(lián)想的原理，人們提出了許多無教師的聯(lián)想式學習模式，其學習規(guī)則可以表示為在聯(lián)想式學習中，權(quán)值變化僅是輸入與輸出同時興奮的結(jié)果。由于聯(lián)想發(fā)生在輸入與輸出之間，所以這種聯(lián)想被稱為異聯(lián)想（Hetroassociation）。

第14頁/共30頁競爭性學習

在競爭性學習時，網(wǎng)絡(luò)各輸出單元相互競爭，最后達到只有一個最強者激活，最常見的一種情況是輸出神經(jīng)元之間有側(cè)向抑制性連接,這樣，原來輸出單元中若有一個單元較強，則它將獲勝并抑制其它單元，最后只有此強者處于激活狀態(tài)。最常見的競爭性學習規(guī)則可以寫為第15頁/共30頁輸入層輸出層

具有側(cè)向抑制性連接的競爭學習網(wǎng)絡(luò)第16頁/共30頁神經(jīng)網(wǎng)絡(luò)模型的種類

按照拓撲結(jié)構(gòu)可以分為反饋神經(jīng)網(wǎng)絡(luò)模型和前向神經(jīng)網(wǎng)絡(luò)模型；按照性能可以分為連續(xù)型和離散型神經(jīng)網(wǎng)絡(luò)模型，確定型和隨機型神經(jīng)網(wǎng)絡(luò)模型；按照學習方式可以分為有教師學習和無教師學習神經(jīng)網(wǎng)絡(luò)；按照連接突觸性質(zhì)可以分為一階線性關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型和高階非線性關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型。常見的人工神經(jīng)網(wǎng)絡(luò)模型，主要包括感知器（Perceptron）神經(jīng)網(wǎng)絡(luò)、線性神經(jīng)網(wǎng)絡(luò)、前饋神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)、自組織競爭神經(jīng)網(wǎng)絡(luò)、回歸神經(jīng)網(wǎng)絡(luò)等。第17頁/共30頁

應(yīng)用實例：

——長江三角洲地區(qū)城市體系的職能分類

建立城市職能分類的指標體系Kohonen網(wǎng)絡(luò)的原理建立城市分類的Kohonen網(wǎng)絡(luò)模型結(jié)果及討論

第18頁/共30頁建立城市職能分類的指標體系

1選擇反映城市社會發(fā)展的指標

在人口與勞動力構(gòu)成中選取總?cè)丝凇⒎寝r(nóng)業(yè)人口、從業(yè)人員作為衡量城市規(guī)模的指標；將在校小學生數(shù)、中等學校學生數(shù)、高等學校學生數(shù)三項合并為一項，即在校學生數(shù)，同時選取各類專業(yè)技術(shù)人員、公共圖書館圖書藏量、醫(yī)院衛(wèi)生院床位數(shù)作為反映社會文化教育的指標。第19頁/共30頁2選擇反映城市社會經(jīng)濟的指標在城市國民生產(chǎn)總值綜合指標中，選取國內(nèi)生產(chǎn)總值、人均國民生產(chǎn)總值、第一產(chǎn)業(yè)、第二產(chǎn)業(yè)、第三產(chǎn)業(yè)、工業(yè)產(chǎn)值、農(nóng)林牧漁總產(chǎn)值以及有關(guān)財政、金融、保險等17項指標。3選擇反映城市基礎(chǔ)設(shè)施的指標從交通運輸、郵電事業(yè)的指標中，選取了公路客運量、公路客運量、郵電業(yè)務(wù)總量3項指標。第20頁/共30頁表——城市職能分類指標體系

城市社會發(fā)展

總?cè)丝凇⒎寝r(nóng)業(yè)人口、從業(yè)人員、在職職工年平均工資、在校學生數(shù)、各類專業(yè)技術(shù)人員、公共圖書館圖書藏量、醫(yī)院衛(wèi)生院床位數(shù)。城市經(jīng)濟發(fā)展

城市社會發(fā)展國內(nèi)生產(chǎn)總值、人均國民生產(chǎn)總值、第一產(chǎn)業(yè)產(chǎn)值、第二產(chǎn)業(yè)產(chǎn)值、第三產(chǎn)業(yè)產(chǎn)值、工業(yè)產(chǎn)值、農(nóng)林牧漁總產(chǎn)值、固定資產(chǎn)投資、財政總收入、地方財政收入、地方財政支出、出口總額、利用外資、年末金融機構(gòu)存款余額、年末金融機構(gòu)貸款余額、保險收入、已決賠款。

城市基礎(chǔ)設(shè)施

公路客運量、公路客運量、郵電業(yè)務(wù)總量。

第21頁/共30頁Kohonen網(wǎng)絡(luò)的原理

Kohonen網(wǎng)絡(luò)也稱為自組織特征映射網(wǎng)絡(luò)(Self-OrganizingFeatureMap,簡稱SOM網(wǎng)絡(luò))，通過尋找最優(yōu)權(quán)值矢量對輸入模式集合進行分類。1Kohonen網(wǎng)絡(luò)結(jié)構(gòu)由輸入層和輸出層（也稱競爭層）構(gòu)成的兩層網(wǎng)絡(luò)，輸入層用于接收輸入模式，輸出層的神經(jīng)元一般按正則二維陣列排列，兩層之間的各神經(jīng)元實現(xiàn)雙向權(quán)連接。第22頁/共30頁Kohonen網(wǎng)絡(luò)結(jié)構(gòu)

第23頁/共30頁2Kohonen網(wǎng)絡(luò)的學習和工作規(guī)則

Kohonen網(wǎng)絡(luò)的自組織學習過程可以描述為：對于每一個網(wǎng)絡(luò)的輸入，只調(diào)整一部分權(quán)值，使權(quán)向量更接近或更偏離輸入矢量，這一調(diào)整過程，就是競爭學習，隨著不斷學習，所有權(quán)矢量都在輸入矢量空間相互分離，形成了各自代表輸入空間的一類模式，這就是Kohonen網(wǎng)絡(luò)的特征自動識別的聚類功能。第24頁/共30頁建立城市分類的Kohonen網(wǎng)絡(luò)模型1指標數(shù)據(jù)的處理在本模型中，采用標準差標準化，將原始數(shù)據(jù)轉(zhuǎn)換為：

第25頁/共30頁2運用Matlab神經(jīng)網(wǎng)絡(luò)工具箱建立Kohonen網(wǎng)絡(luò)模型將長江三角洲各城市的28項指標導入Kohonen網(wǎng)絡(luò)中，作為網(wǎng)絡(luò)的輸入模式，因此輸入層的神經(jīng)元個數(shù)為28；而競爭層的神經(jīng)元個數(shù)決定于需要分成幾類，在不清楚分類數(shù)目的情況下，競爭層神經(jīng)元個數(shù)從開始，然后依次加1，分別進行學習。在Kohonen網(wǎng)絡(luò)模型中，選擇網(wǎng)絡(luò)訓練的迭代最大次數(shù)為1000次，初始的學習率為0.5。第26頁/共30頁3Kohonen網(wǎng)絡(luò)模型的分類結(jié)果

第27頁/共30頁結(jié)果及討論

從長江三角洲城市的分類模型結(jié)果來看，分類結(jié)果與實際情況大體一致，結(jié)果較為理想。該方法的最大的優(yōu)點是避免了各層次權(quán)重帶來的主觀性。運用Kohonen網(wǎng)絡(luò)進行城市分類，存在很多需要改進的地方。比如，如果指標體系的合理選取和完善，加大學習樣本以及輸入模式