神經(jīng)網(wǎng)絡(luò)的基本原理

關(guān)于神經(jīng)網(wǎng)絡(luò)的基本原理第1頁，共41頁，2023年，2月20日，星期五本章主要從電生理學的角度介紹生物神經(jīng)元的基本工作原理，以及它們之間的相互作用由此概述大腦的基本構(gòu)造和它的信息處理特征并在上述的基礎(chǔ)上研究生物神經(jīng)元的數(shù)學模型及其學習法則?；驹淼?頁，共41頁，2023年，2月20日，星期五第一節(jié)大腦的基本組成單元

——神經(jīng)元基本原理第3頁，共41頁，2023年，2月20日，星期五腦神經(jīng)系統(tǒng)無論從構(gòu)造和功能上來講，都稱得上是一個非常復(fù)雜的巨系統(tǒng)。正常大腦的神經(jīng)細胞(神經(jīng)元)的數(shù)目約在100億到1000億個左右。基本原理第4頁，共41頁，2023年，2月20日，星期五圖2.1神經(jīng)元的構(gòu)造基本原理第5頁，共41頁，2023年，2月20日，星期五細胞體是神經(jīng)元的主體，它包括細胞核、細胞質(zhì)和細胞膜三部分。樹狀突起主要起感受器作用，接受來自其它神經(jīng)元的信號。軸突用來輸出細胞體產(chǎn)生的電脈沖信號。軸突的末端形成許多分枝，稱作神經(jīng)末梢，每一條神經(jīng)末梢與其它神經(jīng)元通過突觸相連并傳遞信號?；驹淼?頁，共41頁，2023年，2月20日，星期五細胞體相當于一個信息處理器，對來自其它神經(jīng)元的信號求和，并產(chǎn)生神經(jīng)脈沖輸出信號。觀看動畫神經(jīng)元刺激與反應(yīng)的過程由于細胞膜將細胞體內(nèi)外分開，因此細胞體內(nèi)外具有不同的電位，通常是內(nèi)部電位比外部低，內(nèi)外電位之差稱為膜電位。觀看動畫動作電位的形成基本原理第7頁，共41頁，2023年，2月20日，星期五圖2.2細胞膜等效電路漏電流支路基本原理第8頁，共41頁，2023年，2月20日，星期五細胞膜內(nèi)外離子分布很不相同。在正離子方面，細胞內(nèi)K+濃度高，約為膜外的20-40倍，而細胞外Na+濃度約高于膜內(nèi)的20倍。負離子方面，細胞外Cl-濃度較細胞內(nèi)高，而細胞內(nèi)大分子有機物（A-）較細胞外多。因此細胞膜內(nèi)外兩側(cè)存在離子分布的不平衡，即存在離子濃度差和電位差，在電化學梯度的作用下，離子就有擴散到膜另一側(cè)的可能性。細胞在靜息狀態(tài)下，膜對Na+的通透性小，而膜對K+有較大的通透性，于是K+濃度差推動K+從膜內(nèi)向膜外擴散，正電荷隨鉀離子外流，而帶負電荷的蛋白質(zhì)不能外流而留在膜內(nèi)，于是膜外積累正電荷，膜內(nèi)積累負電荷，這種電位差隨著K+的外流逐漸增大，并對K+外流產(chǎn)生阻礙作用。當膜內(nèi)外K+濃度差（K+外流動力）與電位差（K+外流阻力）達平衡時，即形成靜息電位。因此，細胞的靜息電位主要由K+外流所產(chǎn)生，反映K+的平衡電位?；驹淼?頁，共41頁，2023年，2月20日，星期五膜電位保持在一個穩(wěn)定的負電位(即靜止膜電位)上，數(shù)值上與鉀離子平衡電位Vk相近，約－60mV左右。膜電位是神經(jīng)生理學中最重要的狀態(tài)參數(shù)之一。若以細胞膜外液的電位作為基準電位，則神經(jīng)元的跨膜電位分布如圖2.3所示?；驹淼?0頁，共41頁，2023年，2月20日，星期五圖2.3神經(jīng)元的膜電位分布基本原理第11頁，共41頁，2023年，2月20日，星期五第二節(jié)大腦的信息處理原理基本原理第12頁，共41頁，2023年，2月20日，星期五盡管大腦是一個高級的信息處理系統(tǒng)，但作為它的基本元素的神經(jīng)元的動作卻相當慢，僅達到每秒數(shù)百赫茲，可是由于大腦神經(jīng)網(wǎng)絡(luò)具有并行的結(jié)構(gòu)，所以信息處理是在超并列時空中進行的，整體動作可以被認為具有相對高的速度。基本原理第13頁，共41頁，2023年，2月20日，星期五圖2.4突觸中的信號傳遞第14頁，共41頁，2023年，2月20日，星期五大腦神經(jīng)系統(tǒng)是由龐大的神經(jīng)網(wǎng)絡(luò)構(gòu)成的有序階層型系統(tǒng)。整個大腦神經(jīng)系統(tǒng)可分為中樞神經(jīng)系統(tǒng)和末梢神經(jīng)系統(tǒng)兩大類?；驹淼?5頁，共41頁，2023年，2月20日，星期五中樞神經(jīng)的構(gòu)造

第16頁，共41頁，2023年，2月20日，星期五大腦信息處理的特征有：1.神經(jīng)元是一種非線性元件，神經(jīng)元之間的相互作用主要為興奮性和抑制性兩種。神經(jīng)元的動作速度較慢，約幾個毫秒。2.神經(jīng)脈沖信號的頻率只有數(shù)百赫茲，盡管單個神經(jīng)元的動作速度較慢，但眾多神經(jīng)元構(gòu)成的大規(guī)模并行系統(tǒng)，具有相對快速的信息處理能力。3.學習能力和自組織能力。大腦通過與外界環(huán)境的相互作用，學習周圍的各種事物，把信息存儲、記憶在腦中并進行自組織?；驹淼?7頁，共41頁，2023年，2月20日，星期五第三節(jié)大腦的人工神經(jīng)網(wǎng)絡(luò)模型第18頁，共41頁，2023年，2月20日，星期五2.3.1形式神經(jīng)元模型形式神經(jīng)元模型是生物神經(jīng)元在功能上和結(jié)構(gòu)上的一種數(shù)學模型。最早是在1943年由McCulloch-Pitts提出的，所以也稱為MP模型。通常MP模型是一個多輸入單輸出的非線性元件。人工神經(jīng)網(wǎng)絡(luò)模型第19頁，共41頁，2023年，2月20日，星期五圖2.6MP模型人工神經(jīng)網(wǎng)絡(luò)模型第20頁，共41頁，2023年，2月20日，星期五設(shè)x1，x2,…,xn為神經(jīng)元i的n個輸入，為第i個神經(jīng)元與來自其它層第j個神經(jīng)元之間的結(jié)合強度，稱為權(quán)值；表示神經(jīng)元i的輸入總和，即生物神經(jīng)細胞的膜電位，也稱為激活函數(shù)；是神經(jīng)元的閾值，是神經(jīng)元的輸出，則神經(jīng)元的輸出方程為人工神經(jīng)網(wǎng)絡(luò)模型第21頁，共41頁，2023年，2月20日，星期五

是輸入與輸出之間的非線性函數(shù)，通常稱為作用函數(shù)或閾值函數(shù)。在MP模型中，是二值函數(shù)，其輸出為0或1，分別代表神經(jīng)元的抑制和興奮狀態(tài)。圖2.7閾值函數(shù)人工神經(jīng)網(wǎng)絡(luò)模型第22頁，共41頁，2023年，2月20日，星期五在式(2.1)中，當時為興奮性突觸結(jié)合；當時為抑制性突觸結(jié)合；當時為無結(jié)合。當膜電位超過閾值時，神經(jīng)元處于興奮狀態(tài)并發(fā)出電脈沖。由形式神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)如圖2.8所示。人工神經(jīng)網(wǎng)絡(luò)模型第23頁，共41頁，2023年，2月20日，星期五圖2.8形式神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)模型第24頁，共41頁，2023年，2月20日，星期五在上述模型是離散的。但是，神經(jīng)元也可以有模擬量輸入輸出和時間上是連續(xù)的模型，它的數(shù)學模型為式中，為神經(jīng)元在t時刻的平均輸入和輸出，為平均膜電位，為膜電位變化的時間常數(shù)，為靜止膜電位。函數(shù)f通常為S型的單調(diào)遞增函數(shù)，其數(shù)學形式為人工神經(jīng)網(wǎng)絡(luò)模型第25頁，共41頁，2023年，2月20日，星期五在串行連接中，當w>0為興奮性連接時，若神經(jīng)元1處于興奮狀態(tài)，則神經(jīng)元2也處于興奮狀態(tài)；當w<0為抑制性連接時，若神經(jīng)元1處于興奮狀態(tài)，反而會使神經(jīng)元2容易處于抑制狀態(tài)。圖2.10(a)串行連接人工神經(jīng)網(wǎng)絡(luò)模型第26頁，共41頁，2023年，2月20日，星期五相互結(jié)合型狀態(tài)中，若w21和w12均為正，則某一個神經(jīng)元處于興奮狀態(tài)時，另一個神經(jīng)元也傾向于興奮狀態(tài)，這稱為神經(jīng)元之間的協(xié)調(diào)作用。若w21和w12均為負，則某一個神經(jīng)元處于興奮狀態(tài)時，另一個神經(jīng)元傾向于抑制狀態(tài)，這稱為神經(jīng)元之間的競爭作用，即兩個神經(jīng)元之間的互相牽制作用。協(xié)調(diào)和競爭時神經(jīng)網(wǎng)絡(luò)中并行信息處理的基本動態(tài)特性。圖2.10(b)相互結(jié)合型連接人工神經(jīng)網(wǎng)絡(luò)模型第27頁，共41頁，2023年，2月20日，星期五2.3.2神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)把大量的神經(jīng)元通過一定的拓撲結(jié)構(gòu)連接起來，就形成了神經(jīng)網(wǎng)絡(luò)。神經(jīng)元之間連接的方式可分成相互結(jié)合型結(jié)構(gòu)和層狀結(jié)構(gòu)二大類。通常神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)還決定了它的特性和能力。人工神經(jīng)網(wǎng)絡(luò)模型第28頁，共41頁，2023年，2月20日，星期五通常，神經(jīng)網(wǎng)絡(luò)內(nèi)的神經(jīng)元之間均是互相連接的，構(gòu)成圖2.11(a)所示的互相結(jié)合型神經(jīng)網(wǎng)絡(luò)，可以認為互相結(jié)合型的結(jié)構(gòu)是一種普遍的結(jié)構(gòu)形式。圖2.11(a)相互結(jié)合型神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)模型在相互結(jié)合型神經(jīng)系統(tǒng)中，一定存在著反饋環(huán)，在神經(jīng)元的學習過程中，也同樣存在著反饋環(huán)(誤差反饋)。因此，互相結(jié)合型神經(jīng)網(wǎng)絡(luò)是一種非線性動力學系統(tǒng)。第29頁，共41頁，2023年，2月20日，星期五此外，從大腦的工作機理來看，還存在著不同的功能性模塊，下位的功能模塊向上位的功能模塊傳送信息，因此神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)還有層次性，如圖2.11(b)所示。圖2.11(b)層次型神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)模型第30頁，共41頁，2023年，2月20日，星期五1.誤差傳播式學習感知機是一種最基本的神經(jīng)網(wǎng)絡(luò)模型，設(shè)神經(jīng)元的輸入輸出關(guān)系為式中是學習率，是教師信號或希望輸出，是實際輸出與希望輸出之差，和取1或0的離散值。由于權(quán)值更新與有關(guān)，所以也稱

學習規(guī)則。則學習規(guī)則為(2.8)人工神經(jīng)網(wǎng)絡(luò)模型第31頁，共41頁，2023年，2月20日，星期五2.聯(lián)想式學習

無教師的聯(lián)想式學習模式的學習規(guī)則可以用數(shù)學形式表示為(2.9)與式(2.8)不同的是，即無教師信號。所以在聯(lián)想式學習中，權(quán)值變化僅是輸入與輸出同時興奮的結(jié)果。由于聯(lián)想發(fā)生在輸入和輸出之間，所以這種聯(lián)想被稱為異聯(lián)想。人工神經(jīng)網(wǎng)絡(luò)模型第32頁，共41頁，2023年，2月20日，星期五3.概率式學習概率式學習的特點式把分子熱力學、統(tǒng)計力學和概率論中關(guān)于系統(tǒng)達到穩(wěn)態(tài)的基本條件――能量極小標準，作為網(wǎng)絡(luò)學習的重要前提。其中以波爾茲曼BM的學習算法最具有代表性。人工神經(jīng)網(wǎng)絡(luò)模型第33頁，共41頁，2023年，2月20日，星期五若神經(jīng)元狀態(tài)更新的概率服從波爾茲曼分布，則有

(2.10)式中，為系統(tǒng)對應(yīng)狀態(tài)的能量變化，T是絕對溫度。

人工神經(jīng)網(wǎng)絡(luò)模型第34頁，共41頁，2023年，2月20日，星期五4.競爭性學習和基于知識的學習競爭性學習的特點是網(wǎng)絡(luò)的高層次單元對低層次單元的輸入模式的競爭性識別。學習時只需要輸入學習樣本，而無需教師信號的監(jiān)督。學習過程中不同層次之間的神經(jīng)元產(chǎn)生興奮性連接，而同一層神經(jīng)元中，距離興奮中心很近的神經(jīng)元均處于興奮狀態(tài)，而距離較遠的神經(jīng)元均處于抑制狀態(tài)?；谥R的學習也是人工智能中的一個重要研究領(lǐng)域。共同點都是具有利用知識進行操作的過程。

人工神經(jīng)網(wǎng)絡(luò)模型第35頁，共41頁，2023年，2月20日，星期五神經(jīng)網(wǎng)絡(luò)的學習過程:

首先設(shè)定初始值，一般由于無先驗的知識，初始權(quán)值可設(shè)定為隨機值。接著輸入樣本數(shù)據(jù)進行學習，參照評價標準進行評判。如果達到要求，就停止學習，否則按照給定的學習法則調(diào)整權(quán)值，繼續(xù)進行學習，直到取得滿意的結(jié)果為止。

人工神經(jīng)網(wǎng)絡(luò)模型第36頁，共41頁，2023年，2月20日，星期五2.4神經(jīng)網(wǎng)絡(luò)研究的內(nèi)容和特點第37頁，共41頁，2023年，2月20日，星期五1.神經(jīng)網(wǎng)絡(luò)的數(shù)學模型及神經(jīng)計算方法神經(jīng)網(wǎng)絡(luò)的數(shù)學模型需要抓住大腦的各種重要特征進行構(gòu)造才行。模型就是從單個神經(jīng)元及其復(fù)雜的連接中概括出來的十分有效的模型之一。神經(jīng)計算是對認知過程的一種表征，用新的概念對信息進行加工和存儲。例如Hopfield神經(jīng)網(wǎng)絡(luò)計算并不是一種單純的數(shù)字式計算，而是對大腦提取信息(記憶)和獲取信息(學習)過程的理解。

內(nèi)容和特點第38頁，共41頁，2023年，2月20日，星期五2.神經(jīng)計算機:

神經(jīng)計算機是神經(jīng)網(wǎng)絡(luò)的一種實現(xiàn)?；谟布崿F(xiàn)的神經(jīng)計算機是指每一種神經(jīng)元及其連接都是用物理器件來實現(xiàn)的，它可以是電子元器件、光學元器件或分子元器件等，工作方式上可以是數(shù)字式的或模擬式的。但是往往是專用的，缺乏通用性和靈活性?；趥鹘y(tǒng)計算機的實現(xiàn)是利用現(xiàn)有的各種計算機軟件和硬件來模擬各種神經(jīng)網(wǎng)絡(luò)，它有靈活性好，開發(fā)方便