人工神經(jīng)網(wǎng)絡(luò)課程課件

1、Artificial Neural Networks -Lecture 1. IntroductionHongying Zheng (鄭洪英)zhenghongy重慶大學計算機學院研究生課程College of Computer Science and Engineering, Chongqing University2022/10/101課程目的和要求 目的：將神經(jīng)網(wǎng)絡(luò)的理論和方法應用到生產(chǎn)實踐要求：掌握人工神經(jīng)網(wǎng)絡(luò)的基本概念、單層網(wǎng)、多層網(wǎng)、循環(huán)網(wǎng)等各種基本網(wǎng)絡(luò)模型的結(jié)構(gòu)、特點、典型訓練算法、運行方式、典型問題了解人工神經(jīng)網(wǎng)絡(luò)的有關(guān)研究思想，從中學習開拓者們的部分問題求解方法掌握軟件實現(xiàn)方

2、法。2022/10/102授課計劃 第一課：緒論（Introduction）第二課：matlab與神經(jīng)網(wǎng)絡(luò)第三課：人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)第四課：單層前向感知器（Perceptron）第五課：BP神經(jīng)網(wǎng)絡(luò)第六課：hopfield神經(jīng)網(wǎng)絡(luò)第七課：SOM網(wǎng)絡(luò) 第八課：神經(jīng)網(wǎng)絡(luò)研究展望2022/10/103ANN國際期刊ANN國際會議ANN研究團隊參考書2022/10/104Neural Networks(ISSN: 0893-6080 )The Official Journal of the International Neural Network Society, European Neural Net

3、work Society & Japanese Neural Network Society ;Neural Networks is an international journal appearing ten times each year that publishes original research and review articles concerned with the modelling of brain and behavioral processes and the application of these models to computer and related te

4、chnologies. Models aimed at the explanation and prediction of biological data and models aimed at the solution of technological problems are both solicited, as are mathematical and computational analyses of both types of models. /wps/find/journaldescription.cws_home/841/description#description (1.95

5、5)2022/10/105Neural ComputationNeural Computation disseminates important, multidisciplinary research results in a field that attracts psychologists, physicists, computer scientists, neuroscientists, and artificial intelligence investigators, among others. For researchers looking at the scientific an

6、d engineering challenges of understanding the brain and building computers, neural computation highlights common problems and techniques in modeling the brain, and in the design and construction of neurally-inspired information processing systems. Timely, short communications, full-length research a

7、rticles, and reviews focus on advances in the field and also cover the broad range of inquisition into all aspects of neural computation. / (2.3)2022/10/107Neurocomputing(0925-2312) Neurocomputing publishes articles describing recent fundamental contributions in the field of neurocomputing. Neurocom

8、puting theory, practice and applications are the essential topics being covered./wps/find/journaldescription.cws_home/505628/description#description (1.429)2022/10/108ANN SocietiesInternational Neural Networks Society /IEEE Computational Intelligence Society(earlier title: IEEE Neural Networks Socie

9、ty) / 2022/10/1010ReferencesMartin T. Hagan, Howard B. Demuth, Mark H. Beale (戴葵, 等譯). Neural Network Design. 機械工業(yè)出版社,2002.高雋. 人工神經(jīng)網(wǎng)絡(luò)原理及仿真實例.機械工業(yè)出版社,2003.蔣宗禮. 人工神經(jīng)網(wǎng)絡(luò)導論.高等教育出版社, 2003.阮炯,顧凡及,蔡志杰. 神經(jīng)動力學模型方法和應用. 科學出版社,2002.袁曾任.人工神經(jīng)元網(wǎng)絡(luò)及其應用 清華大學出版社.1999 2022/10/1011第1章 引言1.1 人工神經(jīng)網(wǎng)絡(luò)的提出1.2 人工神經(jīng)網(wǎng)絡(luò)的特點1.3 歷史回顧

10、2022/10/1012Whatyouseeinthepicture?2022/10/1014From Biological to Artificial Neuron ModelIs there any conventional computer at present with the capability of perceiving both the trees and Bakers transparent head in this picture at the same time?Most probably, the answer is no.Although such a visual

11、perception is an easy task for human being, we are faced with difficulties when sequential computers are to be programmed to perform visual operations.2022/10/1015From Biological to Artificial Neuron ModelThere is a large number of tasks for which it is proved to be virtually impossible to device an

12、 algorithm or sequence of arithmetic and/or logical operations.For example, in spite of many attempts, a machine has not yet been produced which will automatically recognize words spoken by any speaker let alone translate from one language to another, or drive a car, or walk and run as an animal or

13、human being Hecht-Nielsen 88What traditional computers cant do?2022/10/1017From Biological to Artificial Neuron ModelWhat makes such a difference between brain and conventional computers seems to be neither because of the processing speed of the computers nor because of their processing ability.Toda

14、ys processors have a speed 105 times faster than the basic processing elements of the brain called neuron.When the abilities are compared, the neurons are much simpler.The difference is mainly due to the structural and operational trend. While in a conventional computer the instructions are executed

15、 sequentially in a complicated and fast processor, the brain is a massively parallel interconnection of relatively simple and slow processing elements.Computers versus Brain2022/10/1018From Biological to Artificial Neuron Model2022/10/10191.1人工神經(jīng)網(wǎng)絡(luò)的提出為了解決這個問題，人們進行了各種嘗試。人工智能和神經(jīng)網(wǎng)絡(luò)方法是從不同角度進行的嘗試。2022/10

16、/1020（1）生理結(jié)構(gòu)的角度模擬： 用仿生學觀點，探索人腦的生理結(jié)構(gòu)，把對人腦的微觀結(jié)構(gòu)及其智能行為的研究結(jié)合起來即人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Netwroks，簡稱ANN）方法。（2）宏觀功能的角度模擬： 從人的思維活動和智能行為的心理學特性出發(fā)，利用計算機系統(tǒng)來對人腦智能進行宏觀功能的模擬，即物理符號處理方法(人工智能方法)。2022/10/1021人工神經(jīng)網(wǎng)絡(luò)是從人腦的生理結(jié)構(gòu)出發(fā)，探討人類智能活動的機理，從生理結(jié)構(gòu)上來模擬，探索人腦的生理結(jié)構(gòu)，把對人腦的微觀結(jié)構(gòu)及其智能行為的研究結(jié)合起來。2022/10/1022重點研究的是機器的思維問題，解決問題的關(guān)鍵在于知識

17、的表示、獲取、存儲和使用。例如，專家系統(tǒng)是把各位專家的知識匯聚到計算機上，使計算機具有或超過專家的智能，但對專家的知識的物質(zhì)基礎(chǔ)人腦，則毫不重視，因此其能力的界限也是顯然的。2022/10/10241.1 人工神經(jīng)網(wǎng)絡(luò)的提出兩種方法的比較心理過程 邏輯思維 高級形式（思維的表象）生理過程 形象思維 低級形式（思維的根本） 仿生人工神經(jīng)網(wǎng)絡(luò)物理符號系統(tǒng)2022/10/10251.1 人工神經(jīng)網(wǎng)絡(luò)的提出兩種方法的比較項目傳統(tǒng)的AI技術(shù) ANN技術(shù) 基本實現(xiàn)方式 串行處理；由程序?qū)崿F(xiàn)控制 并行處理；對樣本數(shù)據(jù)進行多目標學習；通過人工神經(jīng)元之間的相互作用實現(xiàn)控制 基本開發(fā)方法 設(shè)計規(guī)則、框架、程序；用

18、樣本數(shù)據(jù)進行調(diào)試（由人根據(jù)已知的環(huán)境去構(gòu)造一個模型） 定義人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)原型，通過樣本數(shù)據(jù)，依據(jù)基本的學習算法完成學習自動從樣本數(shù)據(jù)中抽取內(nèi)涵（自動適應應用環(huán)境） 適應領(lǐng)域 精確計算：符號處理，數(shù)值計算非精確計算：模擬處理，感覺，大規(guī)模數(shù)據(jù)并行處理模擬對象 左腦（邏輯思維）右腦（形象思維）2022/10/1027實際上，腦對外部世界的時空客體的描述和識別，乃是認知的基礎(chǔ)。認知問題離不開對底層次信息處理的研究和認識。雖然符號處理在腦的思維功能模擬等方面取得了很大進展，但它對諸如視聽覺、聯(lián)想記憶和形象思維模擬等方面往往力不從心。2022/10/1028符號處理與神經(jīng)網(wǎng)絡(luò)是一種互補的關(guān)系。神經(jīng)網(wǎng)

19、絡(luò)的研究重點在于模擬和實現(xiàn)人的認知過程中的感知覺過程、形象思維、分布式記憶和自學習自組織過程。神經(jīng)網(wǎng)絡(luò)與符號處理相結(jié)合，可能會使人們對人的認知過程有一個較全面的理解，也就是說不僅對左腦（邏輯思維）的功能有所認識，而且對右腦（形象思維）的認識規(guī)律也有所研究。2022/10/1029利用機器模仿人類的智能是長期以來人們認識自然、改造自然和認識自身的理想。 研究ANN目的：（1）探索和模擬人的感覺、思維和行為的規(guī)律，設(shè)計具有人類智能的計算機系統(tǒng)。（2）探討人腦的智能活動，用物化了的智能來考察和研究人腦智能的物質(zhì)過程及其規(guī)律。 2022/10/1030ANN的研究內(nèi)容（1）理論研究：ANN模型及其學習

20、算法，試圖從數(shù)學上描述ANN的動力學過程，建立相應的ANN模型，在該模型的基礎(chǔ)上，對于給定的學習樣本，找出一種能以較快的速度和較高的精度調(diào)整神經(jīng)元間互連權(quán)值，使系統(tǒng)達到穩(wěn)定狀態(tài)，滿足學習要求的算法。（2）實現(xiàn)技術(shù)的研究：探討利用電子、光學、生物等技術(shù)實現(xiàn)神經(jīng)計算機的途徑。（3）應用的研究：探討如何應用ANN解決實際問題，如模式識別、故障檢測、智能機器人等。 2022/10/1031人工神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)網(wǎng)絡(luò)的比較1 單元上的差別 對于生物神經(jīng)元而言，影響突觸傳遞信息強度的因素很多、很復雜。如突觸前微細胞的大小與多少、神經(jīng)傳遞化學物質(zhì)含量的多少、神經(jīng)傳遞化學物質(zhì)釋放的速度、突觸間隙的變化、樹突的

21、位置與大小等諸多因素都會對突觸電位產(chǎn)生影響，從而影響神經(jīng)元的輸出脈沖響應。而人工神經(jīng)元則忽略了這些影響，輸入、輸出關(guān)系十分簡單。 2022/10/1032人工神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)網(wǎng)絡(luò)的比較2 信息上的差別 生物神經(jīng)元傳遞的信息是脈沖，而人工神經(jīng)元傳遞的信息是模擬電壓。 2022/10/1033人工神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)網(wǎng)絡(luò)的比較3 規(guī)模與智能上的差別 目前，人工神經(jīng)網(wǎng)絡(luò)的規(guī)模還遠小于生物神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)中神經(jīng)元的數(shù)量一般在104個以下，顯然，其智能也無法與生物神經(jīng)網(wǎng)絡(luò)相比。網(wǎng)絡(luò)的規(guī)模(含拓撲結(jié)構(gòu))是影響網(wǎng)絡(luò)智能的一個因素，但是，還有另一個重要因素，那就是網(wǎng)絡(luò)信息處理的機理和機制(學習方法)。目前，人們

22、對大腦智能信息處理(例如思維過程)的一些機理和機制性問題還不太了解，相應地這些問題也就不可能在人工神經(jīng)網(wǎng)絡(luò)中得到實質(zhì)性的反映。隨著這些問題的解決，人工神經(jīng)網(wǎng)絡(luò)的智能必然會得到相應提高。 2022/10/10341.2 人工神經(jīng)網(wǎng)絡(luò)的特點信息的分布表示運算的全局并行和局部操作處理的非線性 2022/10/1035聯(lián)接主義觀點 核心：智能的本質(zhì)是聯(lián)接機制。 神經(jīng)網(wǎng)絡(luò)是一個由大量簡單的處理單元組成的高度復雜的大規(guī)模非線性自適應系統(tǒng) ANN力求從四個方面去模擬人腦的智能行為物理結(jié)構(gòu) 計算模擬 存儲與操作 訓練 2022/10/10361.2.1 人工神經(jīng)網(wǎng)絡(luò)的概念1、定義 （1）HechtNielse

23、n（1988年）人工神經(jīng)網(wǎng)絡(luò)是一個并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無向訊號通道互連而成。這些處理單元（PEProcessing Element）具有局部內(nèi)存，并可以完成局部操作。每個處理單元有一個單一的輸出聯(lián)接，這個輸出可以根據(jù)需要被分枝成希望個數(shù)的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號，即相應處理單元的信號，信號的大小不因分支的多少而變化。2022/10/10371.2.1 人工神經(jīng)網(wǎng)絡(luò)的概念（1）HechtNielsen（1988年）（續(xù)）處理單元的輸出信號可以是任何需要的數(shù)學模型，每個處理單元中進行的操作必須是完全局部的。也就是說，它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達處理

24、單元的所有輸入信號的當前值和存儲在處理單元局部內(nèi)存中的值。2022/10/10381.2.1 人工神經(jīng)網(wǎng)絡(luò)的概念強調(diào)： 并行、分布處理結(jié)構(gòu)； 一個處理單元的輸出可以被任意分枝，且大小不變； 輸出信號可以是任意的數(shù)學模型； 處理單元完全的局部操作 2022/10/10391.2.1 人工神經(jīng)網(wǎng)絡(luò)的概念（2） Rumellhart，McClelland，Hinton的PDP 1） 一組處理單元（PE或AN）；2） 處理單元的激活狀態(tài)（ai）；3） 每個處理單元的輸出函數(shù)（fi）；4） 處理單元之間的聯(lián)接模式；5） 傳遞規(guī)則（wijoi）；6）把處理單元的輸入及當前狀態(tài)結(jié)合起來產(chǎn)生激活值的激活規(guī)則（

25、Fi）；7） 通過經(jīng)驗修改聯(lián)接強度的學習規(guī)則；8） 系統(tǒng)運行的環(huán)境（樣本集合）。 2022/10/10401.2.1 人工神經(jīng)網(wǎng)絡(luò)的概念（3） Simpson（1987年）人工神經(jīng)網(wǎng)絡(luò)是一個非線性的有向圖，圖中含有可以通過改變權(quán)大小來存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。 2022/10/1041T.Koholen的定義：“人工神經(jīng)網(wǎng)絡(luò)是由具有適應性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應?！?2022/10/10421.2.1 人工神經(jīng)網(wǎng)絡(luò)的概念2、關(guān)鍵點（1） 信息的分布表示（2）運算的全局并行與局部操作（3）處理的

26、非線性特征3、對大腦基本特征的模擬（1）形式上：神經(jīng)元及其聯(lián)接；BN對AN（2）表現(xiàn)特征：信息的存儲與處理2022/10/10431.2.1 人工神經(jīng)網(wǎng)絡(luò)的概念4、別名人工神經(jīng)系統(tǒng)（ANS）神經(jīng)網(wǎng)絡(luò)（NN）自適應系統(tǒng)（Adaptive Systems）、自適應網(wǎng)（Adaptive Networks）聯(lián)接模型（Connectionism）神經(jīng)計算機（Neurocomputer）2022/10/10441.2.2 學習（Learning）能力 人工神經(jīng)網(wǎng)絡(luò)可以根據(jù)所在的環(huán)境去改變它的行為它在接受樣本集合A時，可以抽取集合A中輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的映射關(guān)系?！俺橄蟆惫δ堋２煌娜斯ど窠?jīng)網(wǎng)絡(luò)模型，有

27、不同的學習/訓練算法2022/10/10451.2.3 基本特征的自動提取 由于其運算的不精確性，表現(xiàn)成“去噪音、容殘缺”的能力，利用這種不精確性，比較自然地實現(xiàn)模式的自動分類。普化（Generalization）能力與抽象能力 2022/10/10461.2.4 信息的分布存放信息的分布存放提供容錯功能由于信息被分布存放在幾乎整個網(wǎng)絡(luò)中，所以，當其中的某一個點或者某幾個點被破壞時，信息仍然可以被存取。系統(tǒng)在受到局部損傷時還可以正常工作。并不是說可以任意地對完成學習的網(wǎng)絡(luò)進行修改。也正是由于信息的分布存放，對一類網(wǎng)來說，當它完成學習后，如果再讓它學習新的東西，這時就會破壞原來已學會的東西。 2

28、022/10/10471.2.5適應性(Applicability)問題 擅長兩個方面：對大量的數(shù)據(jù)進行分類；必須學習一個復雜的非線性映射。目前應用：人們主要將其用于語音、視覺、知識處理、輔助決策等方面。在數(shù)據(jù)壓縮、模式匹配、系統(tǒng)建模、模糊控制、求組合優(yōu)化問題的最佳解的近似解（不是最佳近似解）等方面也有較好的應用。 2022/10/10481.2.6 存儲和計算的能力傳統(tǒng)計算機，它的計算與 存儲是兩個完全獨立的部分（存儲器與運算器）。神經(jīng)網(wǎng)絡(luò)模型則將信息的存儲與處理完善地結(jié)合在一起。這是因為神經(jīng)網(wǎng)絡(luò)的運行是從輸入到輸出的值傳遞過程，在值傳遞的同時就完成了信息的存儲和計算。2022/10/104

29、91. 萌芽期（20世紀40年代）人工神經(jīng)網(wǎng)絡(luò)的研究最早可以追溯到人類開始研究自己的智能的時期，到1949年止。1943年，心理學家McCulloch和數(shù)學家Pitts建立起了著名的閾值加權(quán)和模型，簡稱為M-P模型。發(fā)表于數(shù)學生物物理學會刊Bulletin of Methematical Biophysics。MP模型賦予形式神經(jīng)元的功能較弱，但網(wǎng)絡(luò)的計算能力巨大，這種巨大的能力在于網(wǎng)絡(luò)中足夠多的神經(jīng)元以及神經(jīng)元之間豐富的聯(lián)系，同時神經(jīng)元還具有并行計算的能力。MP模型的提出興起了對神經(jīng)網(wǎng)絡(luò)的研究。1949年，心理學家D. O. Hebb提出神經(jīng)元之間突觸聯(lián)系是可變的假說Hebb學習律。 他認為

30、學習過程是在突觸上發(fā)生的，突觸的聯(lián)系強度隨其前后神經(jīng)元的活動而變化。1.3 History of NN2022/10/10501.3 History of NN2. 第一高潮期（19501968）50年代末，F(xiàn)Rosenblatt基于上述原理提出了一種模式識別機，即感知機(Perceptron)模型。第一次把神經(jīng)網(wǎng)絡(luò)的研究付諸工程實踐。它基本上符合神經(jīng)生理學的知識。因此，當時有上百家實驗室紛紛投入這項研究，美國軍方也投入了巨額資金，當時神經(jīng)網(wǎng)絡(luò)在聲納信號識別等領(lǐng)域的應用取得了一定的成績。 2022/10/10511.3 History of NN BWidraw在稍后于感知機一些時候提出了Ad

31、line分類學習機。它在結(jié)構(gòu)上與感知機相似，但在學習法則上采用了最小二乘平均誤差法。以后，他又把這一方法用于自適應實時處理濾波器，并得到了進一步的發(fā)展。 2022/10/10521.3 History of NN1972年，芬蘭的TKohonen發(fā)表了一個與感知機等神經(jīng)網(wǎng)絡(luò)不同的線性神經(jīng)網(wǎng)絡(luò)模型。比較非線性模型而言，它的分析要容易得多。 2022/10/1053以Marvin Minsky，F(xiàn)rank Rosenblatt，Bernard Widrow等為代表人物，代表作是單級感知器（Perceptron）。可用電子線路模擬。人們樂觀地認為幾乎已經(jīng)找到了智能的關(guān)鍵。許多部門都開始大批地投入此項研究，希望盡快占領(lǐng)制高點。1.3 History of NN2022/10/10543. 反思期（1969-1982） M. L. Minsky和S. Papert，Perceptron，MIT Press，1969年 感知機的處理能力有限，甚至