計(jì)算智能-神經(jīng)網(wǎng)絡(luò)1-人工智能artificial intelligence

1、人工智能Artificial Intelligence計(jì)算智能一Computational Intelligence 本課程前面的內(nèi)容以知識(shí)為根底，通過符號(hào)推理，進(jìn)行問題求解，通常把這些稱為符號(hào)智能本章是以數(shù)據(jù)為根底，通過訓(xùn)練建立聯(lián)系，進(jìn)行問題求解，一般稱為計(jì)算智能計(jì)算智能一般包括：人工神經(jīng)網(wǎng)絡(luò)、遺傳算法、模糊系統(tǒng)、進(jìn)化程序設(shè)計(jì)、人工生命等Agenda神經(jīng)網(wǎng)絡(luò)概述感知機(jī)前饋神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)隨機(jī)神經(jīng)網(wǎng)絡(luò)遺傳算法人工生命 神經(jīng)網(wǎng)絡(luò)概述1什么是神經(jīng)網(wǎng)絡(luò)？個(gè)神經(jīng)網(wǎng)絡(luò)是一個(gè)由簡單處理元構(gòu)成的規(guī)模宏大的并行分布處理器，具有存儲(chǔ)經(jīng)驗(yàn)知識(shí)和使之可用的特性。神經(jīng)網(wǎng)絡(luò)從兩個(gè)方面上模擬大腦：神經(jīng)網(wǎng)絡(luò)獲取

2、的知識(shí)是從外界環(huán)境中學(xué)習(xí)得來的。內(nèi)部神經(jīng)元的連接強(qiáng)度，即突觸權(quán)值，用于儲(chǔ)存獲取的知識(shí)。學(xué)習(xí)算法是用于完成學(xué)習(xí)過程的程序，其功能是以有序的方式改變系統(tǒng)權(quán)值以獲得想要的設(shè)計(jì)目標(biāo)。突觸權(quán)值的修改提供了神經(jīng)網(wǎng)絡(luò)的一種設(shè)計(jì)方法。 神經(jīng)網(wǎng)絡(luò)概述2六個(gè)根本特征： 1神經(jīng)元及其聯(lián)接； 2神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱； 3神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的； 4信號(hào)可以是起刺激作用的，也可以是起抑制作用的； 5一個(gè)神經(jīng)元接受的信號(hào)的累積效果斷定該神經(jīng)元的狀態(tài)； 6) 每個(gè)神經(jīng)元可以有一個(gè)“閾值神經(jīng)網(wǎng)絡(luò)概述3非線性：非線性關(guān)系是自然界的普遍特性。大腦的智慧就是一種非線性現(xiàn)象。人工神經(jīng)元處于激活或抑制

3、兩種不同的狀態(tài)。這種行為在數(shù)學(xué)上表現(xiàn)為一種非線性。 非局域性：一個(gè)神經(jīng)網(wǎng)絡(luò)通常由多個(gè)神經(jīng)元廣泛聯(lián)接而成。一個(gè)系統(tǒng)的整體行為不僅取決于單個(gè)神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互聯(lián)接所決定。通過單元之間的大量聯(lián)接模擬大腦的非局域性。非定常性：人工神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)、自組織、自學(xué)習(xí)能力。神經(jīng)網(wǎng)絡(luò)不但處理的信息有各種各樣，而且在處理信息的同時(shí)，非線性動(dòng)力系統(tǒng)本身也在不斷變化。經(jīng)常采用迭代過程描寫動(dòng)力系統(tǒng)的演化過程。 非凸性：一個(gè)系統(tǒng)的演化方向，在一定條件下，將取決于某個(gè)特定的狀態(tài)函數(shù)，如能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個(gè)極值，故系統(tǒng)具有多個(gè)較穩(wěn)定的平衡態(tài)

4、，這將導(dǎo)致系統(tǒng)演化的多樣性。神經(jīng)網(wǎng)絡(luò)概述4開展史1943年McCulloch心理學(xué)家和Pitts數(shù)理邏輯學(xué)家發(fā)表文章，提出M-P模型。描述了一個(gè)簡單的人工神經(jīng)元模型的活動(dòng)是服從二值興奮和抑制變化的?？偨Y(jié)了神經(jīng)元的根本生理特性，提出了神經(jīng)元的數(shù)學(xué)描述和網(wǎng)絡(luò)的結(jié)構(gòu)方法。標(biāo)志神經(jīng)計(jì)算時(shí)代的開始 輸出表達(dá)式MP模型的意義：M-P模型能完成一定的邏輯運(yùn)算 第一個(gè)采用集體并行計(jì)算結(jié)構(gòu)來描述人工神經(jīng)元和網(wǎng)絡(luò)工作。 為進(jìn)一步的研究提供了依據(jù) 可以完成布爾邏輯計(jì)算神經(jīng)網(wǎng)絡(luò)概述5開展史1949年Donala 心理學(xué)家論著?The Organization of Behavior行為自組織?，提出突觸聯(lián)系強(qiáng)度可變的

5、假設(shè)，認(rèn)為學(xué)習(xí)的過程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的聯(lián)系強(qiáng)度隨著突觸前后神經(jīng)元的活動(dòng)而變化。赫布規(guī)那么 多用于自組織網(wǎng)絡(luò)的學(xué)習(xí)。即：假設(shè)兩個(gè)神經(jīng)元輸出興奮，那么它們之間的連接權(quán)加強(qiáng)，反之減少。赫布規(guī)那么意義提出了變化的概念提出了一個(gè)神經(jīng)網(wǎng)絡(luò)里信息是儲(chǔ)藏在突觸連接的權(quán)中 連接權(quán)的學(xué)習(xí)律是正比于兩個(gè)被連接神經(jīng)細(xì)胞的活動(dòng)狀態(tài)值的乘積 假設(shè)權(quán)是對(duì)稱的 細(xì)胞的互相連接的結(jié)構(gòu)是他們權(quán)的改變創(chuàng)造出來的神經(jīng)網(wǎng)絡(luò)概述6開展史1957年Frank Rosenblatt定義了一個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為感知器(Perceptron) 。 規(guī)那么學(xué)習(xí)意義：第一次把神經(jīng)網(wǎng)絡(luò)研究從純理論的探討推向工程實(shí)現(xiàn)，在IBM704

6、計(jì)算機(jī)上進(jìn)行了模擬，證明了該模型有能力通過調(diào)整權(quán)的學(xué)習(xí)到達(dá)正確分類的結(jié)果。掀起了神經(jīng)網(wǎng)絡(luò)研究高潮。神經(jīng)網(wǎng)絡(luò)概述7開展史和S. Papert發(fā)表了?Perceptrons?的論著，指出感知器僅能解決一階謂詞邏輯，只能做線性劃分。對(duì)于非線性或其他分類會(huì)遇到很大困難。一個(gè)簡單的XOR問題的例子就證明了這一點(diǎn)。神經(jīng)網(wǎng)絡(luò)研究一度到達(dá)低潮。原因還有：計(jì)算機(jī)不夠興旺、VLSI還沒出現(xiàn)、而人工智能和專家系統(tǒng)正處于開展高潮。神經(jīng)網(wǎng)絡(luò)概述8開展史1982年John J. Hopfield物理學(xué)家提出了全聯(lián)接網(wǎng)絡(luò)，離散的神經(jīng)網(wǎng)絡(luò)模型。全新的具有完整理論根底的神經(jīng)網(wǎng)絡(luò)模型。根本思想是對(duì)于一個(gè)給定的神經(jīng)網(wǎng)絡(luò)，對(duì)于一個(gè)能

7、量函數(shù)，這個(gè)能量函數(shù)是正比于每一個(gè)神經(jīng)元的活動(dòng)值和神經(jīng)元之間的聯(lián)接權(quán)。而活動(dòng)值的改變算法是向能量函數(shù)減少的方向進(jìn)行，一直到達(dá)一個(gè)極小值為止。證明了網(wǎng)絡(luò)可到達(dá)穩(wěn)定的離散和連續(xù)兩種情況。年后AT&T等做出了半導(dǎo)體芯片。神經(jīng)網(wǎng)絡(luò)復(fù)興時(shí)期開始神經(jīng)網(wǎng)絡(luò)概述9開展史1986年美國的一個(gè)平行計(jì)算研究小組提出了前項(xiàng)反響神經(jīng)網(wǎng)絡(luò)的Back PropagationBP學(xué)習(xí)算法。成為當(dāng)今應(yīng)用最廣泛的方法之一。該方法克服了感知器非線性不可分類問題，給神經(jīng)網(wǎng)絡(luò)研究帶來了新的希望。神經(jīng)網(wǎng)絡(luò)概述10開展史 1990年漢森(L.K. Hansen)和薩拉蒙(P. Salamon)提出了神經(jīng)網(wǎng)絡(luò)集成(neural networ

8、k ensemble)方法。他們證明，可以簡單地通過訓(xùn)練多個(gè)神經(jīng)網(wǎng)絡(luò)并將其結(jié)果進(jìn)行擬合，顯著地提高神經(jīng)網(wǎng)絡(luò)系統(tǒng)的泛化能力。神經(jīng)網(wǎng)絡(luò)集成可以定義為用有限個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)同一個(gè)問題進(jìn)行學(xué)習(xí)，集成在某輸入例如下的輸出由構(gòu)成集成的各神經(jīng)網(wǎng)絡(luò)在該例如下的輸出共同決定。 神經(jīng)網(wǎng)絡(luò)概述11開展史 再認(rèn)識(shí)與應(yīng)用研究(1991)問題： 1應(yīng)用面還不夠?qū)?2結(jié)果不夠精確 3存在可信度的問題 研究： 1開發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實(shí)際運(yùn)行情況對(duì)模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度。 2充分發(fā)揮兩種技術(shù)各自的優(yōu)勢是一個(gè)有效方法 3希望在理論上尋找新的突破，建立新的專用/通用模型和算法。 4進(jìn)一步對(duì)

9、生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷地豐富對(duì)人腦的認(rèn)識(shí)。神經(jīng)網(wǎng)絡(luò)概述12根本的神經(jīng)網(wǎng)絡(luò)模型：主要有三類網(wǎng)絡(luò)結(jié)構(gòu)single-layer feed-forward 神經(jīng)元被組成multi-layer feed-forward 非循環(huán)的層次recurrent神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)是和用于訓(xùn)練的學(xué)習(xí)算法相關(guān)的。神經(jīng)網(wǎng)絡(luò)概述13Input layerofsource nodesOutput layerofneuronsInputlayerOutputlayerHidden Layer3-4-2 Network神經(jīng)網(wǎng)絡(luò)概述14Recurrent Network with hidden neuron:z-1z-1z-1神經(jīng)

10、網(wǎng)絡(luò)概述15前饋型神經(jīng)網(wǎng)絡(luò)是數(shù)據(jù)挖掘中廣為應(yīng)用的一種網(wǎng)絡(luò)，其原理或算法也是其它一些網(wǎng)絡(luò)的根底。徑向基函數(shù)(RBF)神經(jīng)網(wǎng)絡(luò)也是一種前饋型神經(jīng)網(wǎng)絡(luò)，由于RBF 網(wǎng)絡(luò)學(xué)習(xí)收斂速度較快，近年來在數(shù)據(jù)挖掘中受到重視Hopfield 神經(jīng)網(wǎng)絡(luò)是反響型網(wǎng)絡(luò)的代表。網(wǎng)絡(luò)的運(yùn)行是一個(gè)非線性的動(dòng)力學(xué)系統(tǒng)，已在聯(lián)想記憶和優(yōu)化計(jì)算中得到成功應(yīng)用。 具有隨機(jī)性值的模擬退火(SA)算法是針對(duì)優(yōu)化計(jì)算過程中陷入局部極小一直問題而提出來的。Boltzmann 機(jī)是具有隨機(jī)輸出值單元的隨機(jī)神經(jīng)網(wǎng)絡(luò)，串行的Boltzmann機(jī)可以看作對(duì)二次組合優(yōu)化問題的模擬退火算法的具體實(shí)現(xiàn)，同時(shí)它還可以模擬外界的概率分布，實(shí)現(xiàn)概率意義上的聯(lián)

11、想記憶 自組織競爭型神經(jīng)網(wǎng)絡(luò)的特點(diǎn)是能識(shí)別環(huán)境的特征，并自動(dòng)聚類。它們?cè)谔卣鞒槿『痛笠?guī)模數(shù)據(jù)處理中已有極為成功的應(yīng)用 神經(jīng)網(wǎng)絡(luò)概述16神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法：神經(jīng)網(wǎng)絡(luò)的性質(zhì)主要取決于以下兩個(gè)因素：一個(gè)是網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)；另一個(gè)是網(wǎng)絡(luò)的權(quán)值、工作規(guī)那么。二者結(jié)合起來就可以構(gòu)成一個(gè)網(wǎng)絡(luò)的主要特征。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題就是網(wǎng)絡(luò)的權(quán)值調(diào)整問題。神經(jīng)網(wǎng)絡(luò)的連接權(quán)值確實(shí)定一般有兩種方式：一種是通過設(shè)計(jì)計(jì)算確定，即所謂死記式學(xué)習(xí)；Hopfield 網(wǎng)絡(luò)作聯(lián)想記憶和優(yōu)化計(jì)算時(shí)就是屬于這種情況。 另一種是網(wǎng)絡(luò)按一定的規(guī)那么通過學(xué)習(xí)訓(xùn)練得到的。大多數(shù)神經(jīng)網(wǎng)絡(luò)使用后一種方法確定其網(wǎng)絡(luò)權(quán)值。如自組織學(xué)習(xí)、有/無監(jiān)督學(xué)習(xí)、Bo

12、ltzmann學(xué)習(xí)等。 Agenda神經(jīng)網(wǎng)絡(luò)概述感知機(jī)前饋神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)隨機(jī)神經(jīng)網(wǎng)絡(luò)遺傳算法人工生命 感知機(jī) 1根本神經(jīng)元： 人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元通常簡化為一個(gè)多輸入單輸出的非線性閾值器件：感知機(jī) 2神經(jīng)元的工作過程： xi(i=1,2,n)是輸入，wi為該神經(jīng)元與各輸入間的連接權(quán)值，為閾值，s外部輸入的控制信號(hào)，y為輸出(1)從各輸入端接收輸入信號(hào)xi 。(2)根據(jù)各連接權(quán)值wi ,求出所有輸入的加權(quán)和： ni=1wi xi s (3)利用某一特征函數(shù)f進(jìn)行變換，得到輸出y： y= f()f(ni=1wi xi s )感知機(jī) 3連接權(quán)wij通常在-1,1之間取值： wij0，

13、稱為正連接，表示神經(jīng)元uj對(duì)ui有激活作用 wij0，稱為負(fù)連接，表示神經(jīng)元uj對(duì)ui有抑制作用神經(jīng)網(wǎng)絡(luò)的各種學(xué)習(xí)算法的不同特點(diǎn)反映在調(diào)整權(quán)值的原那么、方法、步驟和迭代過程的參數(shù)選擇上。感知機(jī) 4鼓勵(lì)函數(shù)：通常選取以下函數(shù)之一：感知機(jī) 5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。 1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可以表達(dá)的任何東西。 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對(duì)它的訓(xùn)練過程人工神經(jīng)網(wǎng)絡(luò)中的權(quán)矩陣又被稱為網(wǎng)絡(luò)的長期存儲(chǔ)Long Term Memory，簡記為LTM。 網(wǎng)絡(luò)在正常工作階段，神經(jīng)元的狀態(tài)表示的模式為短期存

14、儲(chǔ)Short Term Memory，簡記為STM感知機(jī) 6什么是感知器：感知器模型由輸入層和輸出層兩層構(gòu)成，不失一般性，可以假設(shè)輸出層僅有一個(gè)神經(jīng)元這里假定神經(jīng)元之間的連接強(qiáng)度是可變的，這樣就可以進(jìn)行學(xué)習(xí)學(xué)習(xí)的目的是調(diào)整權(quán)值，以使網(wǎng)絡(luò)對(duì)任何的輸入都能得到期望的輸出感知機(jī) 7感知機(jī) 8 例子1構(gòu)建一個(gè)神經(jīng)元，它能夠計(jì)算邏輯操作：AND感知機(jī) 9 例子2異或XOR，異或的真值表如下： 在二維空間中沒有可別離點(diǎn)集 (0，0)，1，1和(0，1)，1，0的直線 感知機(jī) 10考慮這樣一個(gè)感知機(jī)，其輸入為X1，X2；權(quán)值為 W1 ，W2 ； 閥值是t。為了學(xué)習(xí)這個(gè)函數(shù)，這個(gè)神經(jīng)網(wǎng)絡(luò)必須找到這樣一組值，它

15、滿足如下的不等式方程： W1*1 W2*1 t， 真值表的第二行； 0 W2*1 t, 真值表的第三行； 0 0 t 或t為正數(shù)， 最后一行。 這組關(guān)于W1 ，W2和 t 的不等式方程組沒有解，這就證明了感知機(jī)不能解決異或問題。 待識(shí)別的類別不是線性可分，這是異或問題不能用感知機(jī)來解決的原因 感知機(jī) 11線性不可分函數(shù) 感知機(jī) 12線性不可分函數(shù) ：R. O. Windner 1960年 感知機(jī) 13Agenda神經(jīng)網(wǎng)絡(luò)概述感知機(jī)前饋神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)隨機(jī)神經(jīng)網(wǎng)絡(luò)遺傳算法人工生命 前饋神經(jīng)網(wǎng)絡(luò)1BP網(wǎng)絡(luò)是一種前饋網(wǎng)絡(luò),即誤差反向傳播神經(jīng)網(wǎng)絡(luò)一般的前饋網(wǎng)絡(luò)包括一個(gè)輸入層和一個(gè)輸出層，假

16、設(shè)干隱單元。隱單元可以分層也可以不分層，假設(shè)分層，那么稱為多層前饋網(wǎng)絡(luò)。網(wǎng)絡(luò)的輸入、輸出神經(jīng)元其激活函數(shù)一般取為線性函數(shù)，而隱單元那么為非線性函數(shù)。任意的前饋網(wǎng)絡(luò),不一定是分層網(wǎng)絡(luò)或全連接的網(wǎng)絡(luò)。 前饋神經(jīng)網(wǎng)絡(luò)2實(shí)驗(yàn)：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力。 BP網(wǎng)一般都選用二級(jí)網(wǎng)絡(luò)。 結(jié)點(diǎn)的鼓勵(lì)函數(shù)要求是可微的，通常選S型。前饋神經(jīng)網(wǎng)絡(luò)3多層前饋網(wǎng)絡(luò)的每一層都是單層的網(wǎng)絡(luò)，卻無法用單層感知器的學(xué)習(xí)方法。其解決方法：通過誤差函數(shù)求導(dǎo)使誤差沿網(wǎng)絡(luò)向后傳播BP網(wǎng)絡(luò)的學(xué)習(xí)算法是算法的推廣和開展，是一種有教師的學(xué)習(xí)。前饋神經(jīng)網(wǎng)絡(luò)4BP模型學(xué)習(xí)算法的根本思想為：(1)從訓(xùn)練

17、樣例中取出一樣例，把輸入信息輸入到網(wǎng)絡(luò)中(2)由網(wǎng)絡(luò)分別計(jì)算各層節(jié)點(diǎn)的輸出(3)計(jì)算網(wǎng)絡(luò)的實(shí)際輸出和期望輸出的誤差(4)從輸出層反向計(jì)算到第一隱層，根據(jù)一定原那么向減小誤差方向調(diào)整網(wǎng)絡(luò)的各個(gè)連接權(quán)值(5)對(duì)訓(xùn)練樣例集中的每一個(gè)樣例重復(fù)以上步驟，直到對(duì)整個(gè)訓(xùn)練樣集的誤差到達(dá)要求為止前饋神經(jīng)網(wǎng)絡(luò)5BP模型學(xué)習(xí)公式推導(dǎo)： BP網(wǎng)絡(luò)表示為： Oi。：結(jié)點(diǎn)i的輸出 netj : 結(jié)點(diǎn)j的輸入 wij，結(jié)點(diǎn)i到結(jié)點(diǎn)j的連接權(quán)值 yk 、 : 分別表示輸出層上結(jié)點(diǎn)k的 實(shí)際輸出和期望輸出。前饋神經(jīng)網(wǎng)絡(luò)6在BP算法中，為了使學(xué)習(xí)以盡可能快的減少誤差的方式進(jìn)行，對(duì)誤差采用基于梯度法極小化二次性能的指標(biāo)函數(shù)：連接權(quán)值的修正公式為：前饋神經(jīng)網(wǎng)絡(luò)7結(jié)論：輸出結(jié)點(diǎn)：權(quán)值調(diào)整 為增益因子隱結(jié)點(diǎn)：權(quán)值