神經(jīng)網(wǎng)絡(luò)的基本原理

關(guān)于神經(jīng)網(wǎng)絡(luò)的基本原理本章主要從電生理學(xué)的角度介紹生物神經(jīng)元的基本工作原理，以及它們之間的相互作用由此概述大腦的基本構(gòu)造和它的信息處理特征并在上述的基礎(chǔ)上研究生物神經(jīng)元的數(shù)學(xué)模型及其學(xué)習(xí)法則?；驹淼?頁(yè),共41頁(yè)，2024年2月25日，星期天第一節(jié)大腦的基本組成單元

——神經(jīng)元基本原理第3頁(yè),共41頁(yè)，2024年2月25日，星期天腦神經(jīng)系統(tǒng)無(wú)論從構(gòu)造和功能上來(lái)講，都稱(chēng)得上是一個(gè)非常復(fù)雜的巨系統(tǒng)。正常大腦的神經(jīng)細(xì)胞(神經(jīng)元)的數(shù)目約在100億到1000億個(gè)左右。基本原理第4頁(yè),共41頁(yè)，2024年2月25日，星期天圖2.1神經(jīng)元的構(gòu)造基本原理第5頁(yè),共41頁(yè)，2024年2月25日，星期天細(xì)胞體是神經(jīng)元的主體，它包括細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜三部分。樹(shù)狀突起主要起感受器作用，接受來(lái)自其它神經(jīng)元的信號(hào)。軸突用來(lái)輸出細(xì)胞體產(chǎn)生的電脈沖信號(hào)。軸突的末端形成許多分枝，稱(chēng)作神經(jīng)末梢，每一條神經(jīng)末梢與其它神經(jīng)元通過(guò)突觸相連并傳遞信號(hào)?；驹淼?頁(yè),共41頁(yè)，2024年2月25日，星期天細(xì)胞體相當(dāng)于一個(gè)信息處理器，對(duì)來(lái)自其它神經(jīng)元的信號(hào)求和，并產(chǎn)生神經(jīng)脈沖輸出信號(hào)。觀看動(dòng)畫(huà)神經(jīng)元刺激與反應(yīng)的過(guò)程由于細(xì)胞膜將細(xì)胞體內(nèi)外分開(kāi)，因此細(xì)胞體內(nèi)外具有不同的電位，通常是內(nèi)部電位比外部低，內(nèi)外電位之差稱(chēng)為膜電位。觀看動(dòng)畫(huà)動(dòng)作電位的形成基本原理第7頁(yè),共41頁(yè)，2024年2月25日，星期天圖2.2細(xì)胞膜等效電路漏電流支路基本原理第8頁(yè),共41頁(yè)，2024年2月25日，星期天細(xì)胞膜內(nèi)外離子分布很不相同。在正離子方面，細(xì)胞內(nèi)K+濃度高，約為膜外的20-40倍，而細(xì)胞外Na+濃度約高于膜內(nèi)的20倍。負(fù)離子方面，細(xì)胞外Cl-濃度較細(xì)胞內(nèi)高，而細(xì)胞內(nèi)大分子有機(jī)物（A-）較細(xì)胞外多。因此細(xì)胞膜內(nèi)外兩側(cè)存在離子分布的不平衡，即存在離子濃度差和電位差，在電化學(xué)梯度的作用下，離子就有擴(kuò)散到膜另一側(cè)的可能性。細(xì)胞在靜息狀態(tài)下，膜對(duì)Na+的通透性小，而膜對(duì)K+有較大的通透性，于是K+濃度差推動(dòng)K+從膜內(nèi)向膜外擴(kuò)散，正電荷隨鉀離子外流，而帶負(fù)電荷的蛋白質(zhì)不能外流而留在膜內(nèi)，于是膜外積累正電荷，膜內(nèi)積累負(fù)電荷，這種電位差隨著K+的外流逐漸增大，并對(duì)K+外流產(chǎn)生阻礙作用。當(dāng)膜內(nèi)外K+濃度差（K+外流動(dòng)力）與電位差（K+外流阻力）達(dá)平衡時(shí)，即形成靜息電位。因此，細(xì)胞的靜息電位主要由K+外流所產(chǎn)生，反映K+的平衡電位?；驹淼?頁(yè),共41頁(yè)，2024年2月25日，星期天膜電位保持在一個(gè)穩(wěn)定的負(fù)電位(即靜止膜電位)上，數(shù)值上與鉀離子平衡電位Vk相近，約－60mV左右。膜電位是神經(jīng)生理學(xué)中最重要的狀態(tài)參數(shù)之一。若以細(xì)胞膜外液的電位作為基準(zhǔn)電位，則神經(jīng)元的跨膜電位分布如圖2.3所示?；驹淼?0頁(yè),共41頁(yè)，2024年2月25日，星期天圖2.3神經(jīng)元的膜電位分布基本原理第11頁(yè),共41頁(yè)，2024年2月25日，星期天第二節(jié)大腦的信息處理原理基本原理第12頁(yè),共41頁(yè)，2024年2月25日，星期天盡管大腦是一個(gè)高級(jí)的信息處理系統(tǒng)，但作為它的基本元素的神經(jīng)元的動(dòng)作卻相當(dāng)慢，僅達(dá)到每秒數(shù)百赫茲，可是由于大腦神經(jīng)網(wǎng)絡(luò)具有并行的結(jié)構(gòu)，所以信息處理是在超并列時(shí)空中進(jìn)行的，整體動(dòng)作可以被認(rèn)為具有相對(duì)高的速度?；驹淼?3頁(yè),共41頁(yè)，2024年2月25日，星期天圖2.4突觸中的信號(hào)傳遞第14頁(yè),共41頁(yè)，2024年2月25日，星期天大腦神經(jīng)系統(tǒng)是由龐大的神經(jīng)網(wǎng)絡(luò)構(gòu)成的有序階層型系統(tǒng)。整個(gè)大腦神經(jīng)系統(tǒng)可分為中樞神經(jīng)系統(tǒng)和末梢神經(jīng)系統(tǒng)兩大類(lèi)?；驹淼?5頁(yè),共41頁(yè)，2024年2月25日，星期天中樞神經(jīng)的構(gòu)造

第16頁(yè),共41頁(yè)，2024年2月25日，星期天大腦信息處理的特征有：1.神經(jīng)元是一種非線性元件，神經(jīng)元之間的相互作用主要為興奮性和抑制性兩種。神經(jīng)元的動(dòng)作速度較慢，約幾個(gè)毫秒。2.神經(jīng)脈沖信號(hào)的頻率只有數(shù)百赫茲，盡管單個(gè)神經(jīng)元的動(dòng)作速度較慢，但眾多神經(jīng)元構(gòu)成的大規(guī)模并行系統(tǒng)，具有相對(duì)快速的信息處理能力。3.學(xué)習(xí)能力和自組織能力。大腦通過(guò)與外界環(huán)境的相互作用，學(xué)習(xí)周?chē)母鞣N事物，把信息存儲(chǔ)、記憶在腦中并進(jìn)行自組織?；驹淼?7頁(yè),共41頁(yè)，2024年2月25日，星期天第三節(jié)大腦的人工神經(jīng)網(wǎng)絡(luò)模型第18頁(yè),共41頁(yè)，2024年2月25日，星期天2.3.1形式神經(jīng)元模型形式神經(jīng)元模型是生物神經(jīng)元在功能上和結(jié)構(gòu)上的一種數(shù)學(xué)模型。最早是在1943年由McCulloch-Pitts提出的，所以也稱(chēng)為MP模型。通常MP模型是一個(gè)多輸入單輸出的非線性元件。人工神經(jīng)網(wǎng)絡(luò)模型第19頁(yè),共41頁(yè)，2024年2月25日，星期天圖2.6MP模型人工神經(jīng)網(wǎng)絡(luò)模型第20頁(yè),共41頁(yè)，2024年2月25日，星期天設(shè)x1，x2,…,xn為神經(jīng)元i的n個(gè)輸入，為第i個(gè)神經(jīng)元與來(lái)自其它層第j個(gè)神經(jīng)元之間的結(jié)合強(qiáng)度，稱(chēng)為權(quán)值；表示神經(jīng)元i的輸入總和，即生物神經(jīng)細(xì)胞的膜電位，也稱(chēng)為激活函數(shù)；是神經(jīng)元的閾值，是神經(jīng)元的輸出，則神經(jīng)元的輸出方程為人工神經(jīng)網(wǎng)絡(luò)模型第21頁(yè),共41頁(yè)，2024年2月25日，星期天

是輸入與輸出之間的非線性函數(shù)，通常稱(chēng)為作用函數(shù)或閾值函數(shù)。在MP模型中，是二值函數(shù)，其輸出為0或1，分別代表神經(jīng)元的抑制和興奮狀態(tài)。圖2.7閾值函數(shù)人工神經(jīng)網(wǎng)絡(luò)模型第22頁(yè),共41頁(yè)，2024年2月25日，星期天在式(2.1)中，當(dāng)時(shí)為興奮性突觸結(jié)合；當(dāng)時(shí)為抑制性突觸結(jié)合；當(dāng)時(shí)為無(wú)結(jié)合。當(dāng)膜電位超過(guò)閾值時(shí)，神經(jīng)元處于興奮狀態(tài)并發(fā)出電脈沖。由形式神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)如圖2.8所示。人工神經(jīng)網(wǎng)絡(luò)模型第23頁(yè),共41頁(yè)，2024年2月25日，星期天圖2.8形式神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)模型第24頁(yè),共41頁(yè)，2024年2月25日，星期天在上述模型是離散的。但是，神經(jīng)元也可以有模擬量輸入輸出和時(shí)間上是連續(xù)的模型，它的數(shù)學(xué)模型為式中，為神經(jīng)元在t時(shí)刻的平均輸入和輸出，為平均膜電位，為膜電位變化的時(shí)間常數(shù)，為靜止膜電位。函數(shù)f通常為S型的單調(diào)遞增函數(shù)，其數(shù)學(xué)形式為人工神經(jīng)網(wǎng)絡(luò)模型第25頁(yè),共41頁(yè)，2024年2月25日，星期天在串行連接中，當(dāng)w>0為興奮性連接時(shí)，若神經(jīng)元1處于興奮狀態(tài)，則神經(jīng)元2也處于興奮狀態(tài)；當(dāng)w<0為抑制性連接時(shí)，若神經(jīng)元1處于興奮狀態(tài)，反而會(huì)使神經(jīng)元2容易處于抑制狀態(tài)。圖2.10(a)串行連接人工神經(jīng)網(wǎng)絡(luò)模型第26頁(yè),共41頁(yè)，2024年2月25日，星期天相互結(jié)合型狀態(tài)中，若w21和w12均為正，則某一個(gè)神經(jīng)元處于興奮狀態(tài)時(shí)，另一個(gè)神經(jīng)元也傾向于興奮狀態(tài)，這稱(chēng)為神經(jīng)元之間的協(xié)調(diào)作用。若w21和w12均為負(fù)，則某一個(gè)神經(jīng)元處于興奮狀態(tài)時(shí)，另一個(gè)神經(jīng)元傾向于抑制狀態(tài)，這稱(chēng)為神經(jīng)元之間的競(jìng)爭(zhēng)作用，即兩個(gè)神經(jīng)元之間的互相牽制作用。協(xié)調(diào)和競(jìng)爭(zhēng)時(shí)神經(jīng)網(wǎng)絡(luò)中并行信息處理的基本動(dòng)態(tài)特性。圖2.10(b)相互結(jié)合型連接人工神經(jīng)網(wǎng)絡(luò)模型第27頁(yè),共41頁(yè)，2024年2月25日，星期天2.3.2神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)把大量的神經(jīng)元通過(guò)一定的拓?fù)浣Y(jié)構(gòu)連接起來(lái)，就形成了神經(jīng)網(wǎng)絡(luò)。神經(jīng)元之間連接的方式可分成相互結(jié)合型結(jié)構(gòu)和層狀結(jié)構(gòu)二大類(lèi)。通常神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)還決定了它的特性和能力。人工神經(jīng)網(wǎng)絡(luò)模型第28頁(yè),共41頁(yè)，2024年2月25日，星期天通常，神經(jīng)網(wǎng)絡(luò)內(nèi)的神經(jīng)元之間均是互相連接的，構(gòu)成圖2.11(a)所示的互相結(jié)合型神經(jīng)網(wǎng)絡(luò)，可以認(rèn)為互相結(jié)合型的結(jié)構(gòu)是一種普遍的結(jié)構(gòu)形式。圖2.11(a)相互結(jié)合型神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)模型在相互結(jié)合型神經(jīng)系統(tǒng)中，一定存在著反饋環(huán)，在神經(jīng)元的學(xué)習(xí)過(guò)程中，也同樣存在著反饋環(huán)(誤差反饋)。因此，互相結(jié)合型神經(jīng)網(wǎng)絡(luò)是一種非線性動(dòng)力學(xué)系統(tǒng)。第29頁(yè),共41頁(yè)，2024年2月25日，星期天此外，從大腦的工作機(jī)理來(lái)看，還存在著不同的功能性模塊，下位的功能模塊向上位的功能模塊傳送信息，因此神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)還有層次性，如圖2.11(b)所示。圖2.11(b)層次型神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)模型第30頁(yè),共41頁(yè)，2024年2月25日，星期天1.誤差傳播式學(xué)習(xí)感知機(jī)是一種最基本的神經(jīng)網(wǎng)絡(luò)模型，設(shè)神經(jīng)元的輸入輸出關(guān)系為式中是學(xué)習(xí)率，是教師信號(hào)或希望輸出，是實(shí)際輸出與希望輸出之差，和取1或0的離散值。由于權(quán)值更新與有關(guān)，所以也稱(chēng)

學(xué)習(xí)規(guī)則。則學(xué)習(xí)規(guī)則為(2.8)人工神經(jīng)網(wǎng)絡(luò)模型第31頁(yè),共41頁(yè)，2024年2月25日，星期天2.聯(lián)想式學(xué)習(xí)

無(wú)教師的聯(lián)想式學(xué)習(xí)模式的學(xué)習(xí)規(guī)則可以用數(shù)學(xué)形式表示為(2.9)與式(2.8)不同的是，即無(wú)教師信號(hào)。所以在聯(lián)想式學(xué)習(xí)中，權(quán)值變化僅是輸入與輸出同時(shí)興奮的結(jié)果。由于聯(lián)想發(fā)生在輸入和輸出之間，所以這種聯(lián)想被稱(chēng)為異聯(lián)想。人工神經(jīng)網(wǎng)絡(luò)模型第32頁(yè),共41頁(yè)，2024年2月25日，星期天3.概率式學(xué)習(xí)概率式學(xué)習(xí)的特點(diǎn)式把分子熱力學(xué)、統(tǒng)計(jì)力學(xué)和概率論中關(guān)于系統(tǒng)達(dá)到穩(wěn)態(tài)的基本條件――能量極小標(biāo)準(zhǔn)，作為網(wǎng)絡(luò)學(xué)習(xí)的重要前提。其中以波爾茲曼BM的學(xué)習(xí)算法最具有代表性。人工神經(jīng)網(wǎng)絡(luò)模型第33頁(yè),共41頁(yè)，2024年2月25日，星期天若神經(jīng)元狀態(tài)更新的概率服從波爾茲曼分布，則有

(2.10)式中，為系統(tǒng)對(duì)應(yīng)狀態(tài)的能量變化，T是絕對(duì)溫度。

人工神經(jīng)網(wǎng)絡(luò)模型第34頁(yè),共41頁(yè)，2024年2月25日，星期天4.競(jìng)爭(zhēng)性學(xué)習(xí)和基于知識(shí)的學(xué)習(xí)競(jìng)爭(zhēng)性學(xué)習(xí)的特點(diǎn)是網(wǎng)絡(luò)的高層次單元對(duì)低層次單元的輸入模式的競(jìng)爭(zhēng)性識(shí)別。學(xué)習(xí)時(shí)只需要輸入學(xué)習(xí)樣本，而無(wú)需教師信號(hào)的監(jiān)督。學(xué)習(xí)過(guò)程中不同層次之間的神經(jīng)元產(chǎn)生興奮性連接，而同一層神經(jīng)元中，距離興奮中心很近的神經(jīng)元均處于興奮狀態(tài)，而距離較遠(yuǎn)的神經(jīng)元均處于抑制狀態(tài)?；谥R(shí)的學(xué)習(xí)也是人工智能中的一個(gè)重要研究領(lǐng)域。共同點(diǎn)都是具有利用知識(shí)進(jìn)行操作的過(guò)程。

人工神經(jīng)網(wǎng)絡(luò)模型第35頁(yè),共41頁(yè)，2024年2月25日，星期天神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程:

首先設(shè)定初始值，一般由于無(wú)先驗(yàn)的知識(shí)，初始權(quán)值可設(shè)定為隨機(jī)值。接著輸入樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)，參照評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行評(píng)判。如果達(dá)到要求，就停止學(xué)習(xí)，否則按照給定的學(xué)習(xí)法則調(diào)整權(quán)值，繼續(xù)進(jìn)行學(xué)習(xí)，直到取得滿意的結(jié)果為止。

人工神經(jīng)網(wǎng)絡(luò)模型第36頁(yè),共41頁(yè)，2024年2月25日，星期天2.4神經(jīng)網(wǎng)絡(luò)研究的內(nèi)容和特點(diǎn)第37頁(yè),共41頁(yè)，2024年2月25日，星期天1.神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型及神經(jīng)計(jì)算方法神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型需要抓住大腦的各種重要特征進(jìn)行構(gòu)造才行。模型就是從單個(gè)神經(jīng)元及其復(fù)雜的連接中概括出來(lái)的十分有效的模型之一。神經(jīng)計(jì)算是對(duì)認(rèn)知過(guò)程的一種表征，用新的概念對(duì)信息進(jìn)行加工和存儲(chǔ)。例如Hopfield神經(jīng)網(wǎng)絡(luò)計(jì)算并不是一種單純的數(shù)字式計(jì)算，而是對(duì)大腦提取信息(記憶)和獲取信息(學(xué)習(xí))過(guò)程的理解。

內(nèi)容和特點(diǎn)第38頁(yè),共41頁(yè)，2024年2月25日，星期天2.神經(jīng)計(jì)算機(jī):

神經(jīng)計(jì)算機(jī)是神經(jīng)網(wǎng)絡(luò)的一種實(shí)現(xiàn)。基于硬件實(shí)現(xiàn)的神經(jīng)計(jì)算機(jī)是指每一種神經(jīng)元及其連接都是用物理器件來(lái)實(shí)現(xiàn)的，它可以是電子元器件、光學(xué)元器件或分子元器件等，工作方式上可以是數(shù)字式的或模擬式的。但是往往是專(zhuān)用的，缺乏通用性和靈活性?；趥鹘y(tǒng)計(jì)算機(jī)的實(shí)現(xiàn)是利用現(xiàn)有的各種計(jì)算機(jī)軟件和硬件來(lái)模擬各種神經(jīng)網(wǎng)絡(luò)，它有靈活性好，開(kāi)發(fā)方便，價(jià)格便宜，通用性強(qiáng)的優(yōu)