數(shù)學(xué)建模之人工神經(jīng)網(wǎng)絡(luò)

數(shù)學(xué)建模之人工神經(jīng)網(wǎng)絡(luò)第1頁(yè)/共25頁(yè)人工神經(jīng)網(wǎng)絡(luò)0引例——譫妄的診斷一神經(jīng)網(wǎng)絡(luò)概述二一個(gè)說(shuō)明性的例子三幾類(lèi)常見(jiàn)的神經(jīng)網(wǎng)絡(luò)四前向網(wǎng)絡(luò)及BP學(xué)習(xí)算法五神經(jīng)網(wǎng)絡(luò)在譫妄診斷中的應(yīng)用第2頁(yè)/共25頁(yè)醫(yī)學(xué)定義：[delirium]是一種以興奮性增高為主的高級(jí)神經(jīng)中樞急性活動(dòng)失調(diào)狀態(tài)，臨床主要表現(xiàn)為意識(shí)模糊、定向力喪失、感覺(jué)錯(cuò)亂、躁動(dòng)不安、語(yǔ)言雜亂。因急性起病、病程短暫、病情發(fā)展迅速，故又稱(chēng)為急性腦綜合征。檢查表內(nèi)包含11項(xiàng)：

1.急性起??；2.注意力障礙；3.思維混亂；4.意識(shí)水平的改變；5.定向障礙；6.記憶力減退；7.知覺(jué)障礙；8.精神運(yùn)動(dòng)性興奮；9.精神運(yùn)動(dòng)性遲緩；10.精神狀況波動(dòng)性；11.睡眠—覺(jué)醒周期紊亂。觀察和提問(wèn)進(jìn)而打分：每項(xiàng)分4個(gè)等級(jí)：不存在—1分，輕度存在—2分，中度存在—3分，嚴(yán)重存在—4分。0引例：譫妄的診斷第3頁(yè)/共25頁(yè)序號(hào)起病注意思維意識(shí)定向記憶錯(cuò)覺(jué)興奮遲滯波動(dòng)睡眠22分標(biāo)準(zhǔn)量表診斷13222221123222Y24443332414436Y32221221133120N43322332213428Y53332132313226Y62223232213325Y74322433414434Y83322322122123Y94322324313330Y103423222243128Y113222312313325Y122322122213323Y134321221313426Y142221221132119N153322231133124Y162222333212325Y172122221122118N183322212313325Y192211111122115N202312231134123Y第4頁(yè)/共25頁(yè)1.什么是人工神經(jīng)網(wǎng)絡(luò)由大量處理單元互聯(lián)組成的非線(xiàn)性、自適應(yīng)信息處理系統(tǒng)。試圖通過(guò)模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式進(jìn)行信息處理。具有如下四個(gè)基本特征：

（1）非線(xiàn)性：神經(jīng)元處于激活或抑制狀態(tài)，這種行為在數(shù)學(xué)上表現(xiàn)為一種非線(xiàn)性。（2）非局限性：由多個(gè)神經(jīng)元廣泛連接而成。（3）非常定性：具有自適應(yīng)、自組織、自學(xué)習(xí)能力。（4）非凸性：指這種函數(shù)有多個(gè)極值，故系統(tǒng)具有多個(gè)較穩(wěn)定的平衡態(tài)，一神經(jīng)網(wǎng)絡(luò)概述第5頁(yè)/共25頁(yè)根據(jù)神經(jīng)元機(jī)理，人工單神經(jīng)元模型應(yīng)具備三個(gè)要素：(1）一組連接，連接強(qiáng)度由各連接上的權(quán)值表示，權(quán)值為正表示激活，權(quán)值為負(fù)表示抑制；(2)一個(gè)求和單元，用于求取各輸入信號(hào)的加權(quán)和；(3)一個(gè)非線(xiàn)性激活函數(shù)，起非線(xiàn)性映射作用，并將神經(jīng)元的輸出幅度限制在一定范圍內(nèi)（比如(0,1)或者(-1,+1)）.一神經(jīng)網(wǎng)絡(luò)概述單神經(jīng)元結(jié)構(gòu)第6頁(yè)/共25頁(yè)p1∑f…anbW1WRp2p31常用的激活函數(shù)見(jiàn)page11表2-1單神經(jīng)元結(jié)構(gòu)一神經(jīng)網(wǎng)絡(luò)概述第7頁(yè)/共25頁(yè)記輸入矢量為P，多神經(jīng)元權(quán)矩陣為W,凈輸入矢量為n，偏值矢量為b，激活矢量函數(shù)為F，則多神經(jīng)元輸出矢量為a為：一神經(jīng)網(wǎng)絡(luò)概述多神經(jīng)元結(jié)構(gòu)第8頁(yè)/共25頁(yè)多神經(jīng)元結(jié)構(gòu)W1,1p1…Ws,Rp2p3pR∑fa1n1b11∑fa2n2b21∑fasnsbs1……一神經(jīng)網(wǎng)絡(luò)概述第9頁(yè)/共25頁(yè)某一多神經(jīng)元網(wǎng)絡(luò)的輸出作為另一多神經(jīng)元網(wǎng)絡(luò)的輸入，以這樣連接方式構(gòu)成多神經(jīng)元、多層次網(wǎng)絡(luò)就成為人工神經(jīng)網(wǎng)絡(luò)。連接方式可以是串連、并聯(lián)，也可以是反饋連接方式。我們以串連方式來(lái)說(shuō)明問(wèn)題。p1………∑f1∑f1∑f1p2p3pR……∑f1∑f1∑f1……∑f1∑f1∑f1輸入層隱含層輸出層一神經(jīng)網(wǎng)絡(luò)概述第10頁(yè)/共25頁(yè)激活函數(shù)：

1.線(xiàn)性函數(shù)2.階躍函數(shù)

3.S形函數(shù)一神經(jīng)網(wǎng)絡(luò)概述第11頁(yè)/共25頁(yè)例1.某商販有一個(gè)存儲(chǔ)各種水果和蔬菜的貨倉(cāng)。當(dāng)將水果放進(jìn)貨倉(cāng)時(shí)，不同類(lèi)型的水果可能會(huì)混淆在一起，所以商販非常希望有一臺(tái)能夠幫他將水果自動(dòng)分類(lèi)擺放的機(jī)器。假設(shè)從水果卸車(chē)的地方到貨倉(cāng)之間有一條傳送帶。傳送帶要通過(guò)一組特定的傳感器，這組傳感器可以分別測(cè)量水果的三個(gè)特征：外形、質(zhì)地、重量。這些傳感器功能比較簡(jiǎn)單。如果水果基本上是圓的，外形傳感器的輸出就為1，如果水果更接近于橢圓，那么外形傳感器的輸出就為-1；如果水果表面光滑，質(zhì)地傳感器的輸出就是1，如果水果表面比較粗糙，那么質(zhì)地傳感器的輸出就為-1，當(dāng)水果重量超過(guò)1磅時(shí)，重量傳感器的輸出就為1，如果水果重量輕于1磅，重量傳感器的輸出就為-1。

下面需要設(shè)計(jì)這樣一個(gè)網(wǎng)絡(luò)（分類(lèi)器），當(dāng)水果從傳感器通過(guò)時(shí)，根據(jù)傳感器的相應(yīng)輸出，判斷傳送帶上是什么水果。二一個(gè)說(shuō)明性的例子第12頁(yè)/共25頁(yè)在介紹例子之前，我們先研究一個(gè)簡(jiǎn)單的2輸入單神經(jīng)元分類(lèi)問(wèn)題。神經(jīng)元如下圖所示。

這里,

激活傳輸函數(shù)選用對(duì)稱(chēng)硬極限傳輸函數(shù)，即：∑f1bnap1p2

w1w2二一個(gè)說(shuō)明性的例子第13頁(yè)/共25頁(yè)求解這一神經(jīng)網(wǎng)絡(luò)，實(shí)質(zhì)上就是求解w1、w2和b

。按照神經(jīng)網(wǎng)絡(luò)的求解方法，設(shè)計(jì)訓(xùn)練樣本，即：求解的一個(gè)結(jié)果為：二一個(gè)說(shuō)明性的例子第14頁(yè)/共25頁(yè)現(xiàn)在，我們回到要介紹的例子上。假設(shè)有兩種水果，蘋(píng)果和橘子。用三維矢量來(lái)描述任一水果。因此，標(biāo)準(zhǔn)的蘋(píng)果和橘子可表示為：設(shè)計(jì)一個(gè)三輸入的單神經(jīng)元網(wǎng)絡(luò)，將蘋(píng)果和橘子分開(kāi)。這是一個(gè)簡(jiǎn)單的二分問(wèn)題。規(guī)定神經(jīng)網(wǎng)絡(luò)的輸出為：蘋(píng)果，a=1；橘子，a=-1.二一個(gè)說(shuō)明性的例子第15頁(yè)/共25頁(yè)∑fbnap1p2

w1w2p3w3二一個(gè)說(shuō)明性的例子設(shè)計(jì)一個(gè)三輸入的單神經(jīng)元網(wǎng)絡(luò)，將蘋(píng)果和橘子分開(kāi)。這是一個(gè)簡(jiǎn)單的二分問(wèn)題。規(guī)定神經(jīng)網(wǎng)絡(luò)的輸出為：蘋(píng)果，a=1；橘子，a=-1.第16頁(yè)/共25頁(yè)權(quán)值向量偏置值輸出為：橘子，a=-1；蘋(píng)果，a=1二一個(gè)說(shuō)明性的例子第17頁(yè)/共25頁(yè)橘子：蘋(píng)果：訓(xùn)練得：（三維空間）二一個(gè)說(shuō)明性的例子第18頁(yè)/共25頁(yè)思考題：試根據(jù)傳感器的三個(gè)測(cè)量值（外形、質(zhì)地和重量）來(lái)區(qū)分香蕉和菠蘿：香蕉：菠蘿：二一個(gè)說(shuō)明性的例子當(dāng)輸入：此輸入比較接近于橘子，輸出結(jié)果也恰好是橘子。第19頁(yè)/共25頁(yè)單層前向神經(jīng)網(wǎng)絡(luò)——線(xiàn)性網(wǎng)絡(luò)階躍網(wǎng)絡(luò)多層前向神經(jīng)網(wǎng)絡(luò)（反推學(xué)習(xí)規(guī)則即BP算法）Elman網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)、雙向聯(lián)想記憶網(wǎng)絡(luò)、自組織競(jìng)爭(zhēng)網(wǎng)絡(luò)等等三幾類(lèi)常用的神經(jīng)網(wǎng)絡(luò)第20頁(yè)/共25頁(yè)1.前向網(wǎng)絡(luò)要求每一層內(nèi)的神經(jīng)元無(wú)相關(guān)連關(guān)系，而上一層的輸出時(shí)下一層的輸入；2.若多層神經(jīng)網(wǎng)絡(luò)的每一層都采用線(xiàn)性激活函數(shù)（階躍激活函數(shù)）輸出，稱(chēng)之為多層簡(jiǎn)單線(xiàn)性前向網(wǎng)絡(luò)（多層階躍前向網(wǎng)絡(luò)）；3.常用的是采用S形函數(shù)為激活函數(shù)的多層神經(jīng)網(wǎng)絡(luò)；四前向網(wǎng)絡(luò)及BP學(xué)習(xí)算法第21頁(yè)/共25頁(yè)就有指導(dǎo)的單層神經(jīng)網(wǎng)絡(luò)（畫(huà)圖）為例來(lái)說(shuō)明：輸入X=(x1,x2,…xm)T，輸出結(jié)果為Y=(y1,y2,…ym)T，偏置值θ=(θ1,θ2,…θm)T，wji為輸入i與神經(jīng)元j的權(quán)數(shù)，則第j個(gè)神經(jīng)元的接受和輸出值為：四前向網(wǎng)絡(luò)及BP學(xué)習(xí)算法用矩陣、向量表示為：第22頁(yè)/共25頁(yè)若理想輸出為D=(d1,d2,…dm)T，則我們的目標(biāo)是讓Y與D足夠的接近,用一個(gè)期望誤差去衡量他們的接近程度：四前向網(wǎng)絡(luò)及BP學(xué)習(xí)算法上式實(shí)質(zhì)上是W的函數(shù)，利用最速下降法求W的改進(jìn)方向以及設(shè)定改進(jìn)步長(zhǎng)，從而構(gòu)造一個(gè)迭代過(guò)程；第23頁(yè)/共25頁(yè)上面討論的是單層情形下的過(guò)程，若網(wǎng)絡(luò)為多層，也就是中間有隱含層的時(shí)候，輸出的誤差不能直接更改所有的權(quán)值矩陣的值，故提出非常有意義的反推學(xué)習(xí)規(guī)則（Back-propagation算法）：步驟1給定學(xué)