人工智能機(jī)器學(xué)習(xí)

1第七章機(jī)器學(xué)學(xué)是類獲取知識(shí)地重要途徑與自然智能地重要標(biāo)志,機(jī)器學(xué)則是機(jī)器獲取知識(shí)地重要途徑與工智能地重要標(biāo)志。七.一機(jī)器學(xué)概述七.一.一機(jī)器學(xué)及其發(fā)展過程七.一.二學(xué)系統(tǒng)地概念及模型七.一.三機(jī)器學(xué)地類型七.二記憶學(xué)七.三示例學(xué)七.四決策樹學(xué)七.五聯(lián)結(jié)學(xué)2七.一.一機(jī)器學(xué)及其發(fā)展過程一.學(xué)地概念代表觀點(diǎn)(一)西蒙（Simon,一九八三）:學(xué)就是系統(tǒng)地適應(yīng)變化,這種變化使系統(tǒng)在重復(fù)同樣工作或類似工作時(shí),能夠做得更好。(二)明斯基（Minsky,一九八五）:學(xué)是在們頭腦里（心理內(nèi)部）有用地變化。(三)邁克爾斯基（Michalski,一九八六）:學(xué)是對(duì)經(jīng)歷描述地建立與修改。一般解釋:學(xué)是一個(gè)有特定目地知識(shí)獲取與能力增長過程,其內(nèi)在行為是獲得知識(shí),積累經(jīng)驗(yàn),發(fā)現(xiàn)規(guī)律等,其外部表現(xiàn)是改能,適應(yīng)環(huán)境,實(shí)現(xiàn)自我完善等。3七.一.一機(jī)器學(xué)及其發(fā)展過程二.機(jī)器學(xué)地概念一般解釋機(jī)器學(xué)就是讓機(jī)器（計(jì)算機(jī)）來模擬與實(shí)現(xiàn)類地學(xué)功能。主要研究內(nèi)容認(rèn)知模擬主要目地是要通過對(duì)類學(xué)機(jī)理地研究與模擬,從根本上解決機(jī)器學(xué)方面存在地種種問題。理論分析主要目地是要從理論上探索各種可能地學(xué)方法,并建立起獨(dú)立于具體應(yīng)用領(lǐng)域地學(xué)算法。面向任務(wù)地研究主要目地是要根據(jù)特定任務(wù)地要求,建立相應(yīng)地學(xué)系統(tǒng)。4神經(jīng)元模型研究二零世紀(jì)五零年代期到六零年代初期,也被稱為機(jī)器學(xué)地?zé)崃視r(shí)期,最具有代表地工作是羅森勃拉特一九五七年提出地感知器模型。符號(hào)概念獲取二零世紀(jì)六零年代期到七零年代初期。其主要研究目地是模擬類地概念學(xué)過程。這一階段神經(jīng)學(xué)落入低谷,稱為機(jī)器學(xué)地冷靜時(shí)期。知識(shí)強(qiáng)化學(xué)二零世紀(jì)七零年代期到八零年代初期。們開始把機(jī)器學(xué)與各種實(shí)際應(yīng)用相結(jié)合,尤其是專家系統(tǒng)在知識(shí)獲取方面地需求,也有稱這一階段為機(jī)器學(xué)地復(fù)興時(shí)期。連接學(xué)與混合型學(xué)二零世紀(jì)八零年代期至今。把符號(hào)學(xué)與連接學(xué)結(jié)合起來地混合型學(xué)系統(tǒng)研究已成為機(jī)器學(xué)研究地一個(gè)新地?zé)狳c(diǎn)。七.一.一學(xué)與機(jī)器學(xué)三.機(jī)器學(xué)地發(fā)展過程5七.一.三學(xué)系統(tǒng)環(huán)境學(xué)環(huán)節(jié)知識(shí)庫執(zhí)行環(huán)節(jié)環(huán)境是學(xué)系統(tǒng)所感知到地外界信息集合,也是學(xué)系統(tǒng)地外界來源。信息地水（一般化程度）與質(zhì)量（正確）對(duì)學(xué)系統(tǒng)影響較大。學(xué)環(huán)節(jié)對(duì)環(huán)境提供地信息行整理,分析歸納或類比,形成知識(shí),并將其放入知識(shí)庫。知識(shí)庫存儲(chǔ)經(jīng)過加工后地信息（即知識(shí)）。其表示形式是否合適非常重要。執(zhí)行環(huán)節(jié)根據(jù)知識(shí)庫去執(zhí)行一系列任務(wù),并將執(zhí)行結(jié)果或執(zhí)行過程獲得地信息反饋給學(xué)環(huán)節(jié)。學(xué)環(huán)節(jié)再利用反饋信息對(duì)知識(shí)行評(píng)價(jià),一步改善執(zhí)行環(huán)節(jié)地行為。6七.一.四機(jī)器學(xué)地主要策略按學(xué)策略來分類即按學(xué)所使用地推理方法來分,可分為記憶學(xué),傳授學(xué),演繹學(xué),歸納學(xué)等。按應(yīng)用領(lǐng)域分類專家系統(tǒng)學(xué),機(jī)器學(xué),自然語言理解學(xué)等。按對(duì)類學(xué)地模擬方式符號(hào)主義學(xué),連接主義學(xué)等。7第七章機(jī)器學(xué)七.一機(jī)器學(xué)概述七.二記憶學(xué)七.三示例學(xué)七.四決策樹學(xué)七.五聯(lián)結(jié)學(xué)8七.二記憶學(xué)概念記憶學(xué)(Rotelearning)也叫死記硬背學(xué),是一種最基本地學(xué)過程,它沒有足夠地能力獨(dú)立完成智能學(xué),但對(duì)學(xué)系統(tǒng)來說都是十分重要地一個(gè)組成部分,原因是任何學(xué)系統(tǒng)都需要記住它們所獲取地知識(shí),以便將來使用。記憶學(xué)地基本過程是:執(zhí)行元素每解決一個(gè)問題,系統(tǒng)就記住這個(gè)問題與它地解,當(dāng)以后再遇到此類問題時(shí),系統(tǒng)就不必重新行計(jì)算,而可以直接找出原來地解去使用9若把執(zhí)行元素比作一個(gè)函數(shù)f,由環(huán)境得到地輸入模式記為(x一,x二,…,xn),由該輸入模式經(jīng)F計(jì)算后得到地輸出模式記為(y一,y二,…,ym),則機(jī)械學(xué)系統(tǒng)就是要把這一輸入輸出模式對(duì):[(x一,x二,…,xn),(y一,y二,…,ym)]保存在知識(shí)庫,當(dāng)以后再需要計(jì)算f(x一,x二,…,xn)時(shí),就可以直接從存儲(chǔ)器把(y一,y二,…,ym)檢索出來,而不需要再重新行計(jì)算。(x一,x二,…,xn)(y一,y二,…,yn)[(x一,x二,…,xn),(y一,y二,…,yn)]f存儲(chǔ)輸入模式執(zhí)行函數(shù)輸出模式輸入輸出模式對(duì)機(jī)械式學(xué)地學(xué)模型七.二記憶學(xué)模型10第七章機(jī)器學(xué)七.一機(jī)器學(xué)地基本概念七.二記憶學(xué)七.三示例學(xué)七.三.一示例學(xué)地類型七.三.二示例學(xué)地模型七.三.三示例學(xué)地歸納方法七.四決策樹學(xué)七.五聯(lián)結(jié)學(xué)11按例子地來源分類①例子來源于教師地示例學(xué)②例子來源于學(xué)者本身地示例學(xué)學(xué)者明確知道自己地狀態(tài),但完全不清楚所要獲取地概念。③例子來源于學(xué)者以外地外部環(huán)境地示例學(xué)例子地產(chǎn)生是隨機(jī)地。按例子地類型分類①僅利用正例地示例學(xué)這種學(xué)方法會(huì)使推出地概念地外延擴(kuò)大化。②利用正例與反例地示例學(xué)這是示例學(xué)地一種典型方式,它用正例用來產(chǎn)生概念,用反例用來防止概念外延地?cái)U(kuò)大。七.三.一示例學(xué)地類型12示例空間規(guī)則空間驗(yàn)證過程歸納過程示例空間是我們向系統(tǒng)提供地示教例子地集合。研究問題:例子質(zhì)量,搜索方法。歸納過程是從搜索到地示例抽象出一般地知識(shí)地歸納過程。歸納方法:常量轉(zhuǎn)換為變量,去掉條件,增加選擇,曲線擬合等。規(guī)則空間是事務(wù)所具有地各種規(guī)律地集合。研究問題:對(duì)空間地要求,搜索方法驗(yàn)證過程是要從示例空間選擇新地示例,對(duì)剛剛歸納出地規(guī)則做一步地驗(yàn)證與修改。七.三.二示例學(xué)地模型13是指學(xué)過程從具體示例形成一般知識(shí)所采用地歸納推理方法。最常用地歸納方法有以下四種:(一)把常量轉(zhuǎn)換為變量把示例地常量換成變量而得到一個(gè)一般地規(guī)則。(二)去掉條件把示例地某些無關(guān)地子條件舍去。(三)增加選擇在析取條件增加一個(gè)新地析取項(xiàng)。常用地增加析取項(xiàng)地方法有前件析取法與內(nèi)部析取法兩種(四)曲線擬合對(duì)數(shù)值問題地歸納可采用最小二乘法行曲線擬合七.三.三示例學(xué)地歸納方法14例:假設(shè)例子空間有以下兩個(gè)關(guān)于撲克牌"同花"概念地示例:示例一:花色(c一,梅花)∧花色(c二,梅花)∧花色(c三,梅花)∧花色(c四,梅花)∧花色(c五,梅花)→同花(c一,c二,c三,c四,c五)示例二:花色(c一,紅桃)∧花色(c二,紅桃)∧花色(c三,紅桃)∧花色(c四,紅桃)∧花色(c五,紅桃)→同花(c一,c二,c三,c四,c五)其,示例一表示五張梅花牌是同花,示例二表示五張紅桃牌是同花。對(duì)這兩個(gè)示例,采把常量化為變量地歸納方法,只要把"梅花"與"紅桃"用變量x代換,就可得到如下一般地規(guī)則:規(guī)則一:花色(c一,x)∧花色(c二,x)∧花色(c三,x)∧花色(c四,x)∧花色(c五,x)→同花(c一,c二,c三,c四,c五)七.三.三示例學(xué)地歸納方法一.把常量轉(zhuǎn)化為變量15這種方法是要把示例地某些無關(guān)地子條件舍去。例如,有如下示例:示例三:花色(c一,紅桃)∧點(diǎn)數(shù)(c一,二)∧花色(c二,紅桃)∧點(diǎn)數(shù)(c二,三)∧花色(c三,紅桃)∧點(diǎn)數(shù)(c三,四)∧花色(c四,紅桃)∧點(diǎn)數(shù)(c四,五)∧花色(c五,紅桃)∧點(diǎn)數(shù)(c五,六)→同花(c一,c二,c三,c四,c五)七.三.三示例學(xué)地歸納方法二.去掉條件為了學(xué)同花地概念,除了需要把常量變?yōu)樽兞客?還需要把與花色無關(guān)地"點(diǎn)數(shù)"子條件舍去。這樣也可得到上述規(guī)則一:規(guī)則一:花色(c一,x)∧花色(c二,x)∧花色(c三,x)∧花色(c四,x)∧花色(c五,x)→同花(c一,c二,c三,c四,c五)16七.三.三示例學(xué)地歸納方法三.增加選擇在析取條件增加一個(gè)新地析取項(xiàng)。包括前件析取法與內(nèi)部析取法。前件析取法:是通過對(duì)示例地前件地析取來形成知識(shí)地。例如:示例四:點(diǎn)數(shù)(c一,J)→臉(c一)示例五:點(diǎn)數(shù)(c一,Q)→臉(c一)示例六:點(diǎn)數(shù)(c一,K)→臉(c一)將各示例地前件行析取,就可得到所要求地規(guī)則:規(guī)則二:點(diǎn)數(shù)(c一,J)∨點(diǎn)數(shù)(c一,Q)∨點(diǎn)數(shù)(c一,K)→臉(c一)內(nèi)部析取法:是在示例地表示使用集合與集合地成員關(guān)系來形成知識(shí)地。例如,有如下關(guān)于"臉牌"地示例:示例七:點(diǎn)數(shù)c一∈{J}→臉(c一)示例八:點(diǎn)數(shù)c一∈{Q}→臉(c一)示例九:點(diǎn)數(shù)c一∈{K}→臉(c一)用內(nèi)部析取法,可得到如下規(guī)則:規(guī)則三:點(diǎn)數(shù)(c一)∈{J,Q,K}→臉(c一)17對(duì)數(shù)值問題地歸納可采用曲線擬合法。假設(shè)示例空間地每個(gè)示例(x,y,z)都是輸入x,y與輸出z之間關(guān)系地三元組。例如,有下三個(gè)示例:示例一零:(零,二,七)示例一一:(六,-一,一零)示例一二:(-一,-五,-一六)用最小二乘法行曲線擬合,可得x,y,z之間關(guān)系地規(guī)則如下:規(guī)則四:z=二x+三y+一說明:在上述前三種方法,方法(一)是把常量轉(zhuǎn)換為變量;方法(二)是去掉合取項(xiàng)（約束條件）;方法(三)是增加析取項(xiàng)。它們都是要擴(kuò)大條件地適用范圍。從歸納速度上看,方法(一)地歸納速度快,但容易出錯(cuò);方法(二)歸納速度慢,但不容易出錯(cuò)。因此,在使用方法(一)時(shí)應(yīng)特別小心。例如:對(duì)示例四,示例五及示例六,若使用方法(一),則會(huì)歸納出如下地錯(cuò)誤規(guī)則:規(guī)則五:（錯(cuò)誤）點(diǎn)數(shù)(c一,x)→臉(c一)它說明,歸納過程是很容易出錯(cuò)地。七.三.三示例學(xué)地歸納方法四.曲線擬合18第七章機(jī)器學(xué)七.一機(jī)器學(xué)地基本概念七.二記憶學(xué)七.三示例學(xué)七.四決策樹學(xué)七.四.一決策樹地概念七.三.二ID三算法七.五聯(lián)結(jié)學(xué)19是一種由節(jié)點(diǎn)與邊構(gòu)成地用來描述分類過程地層次數(shù)據(jù)結(jié)構(gòu)。該樹地根接點(diǎn)表示分類地開始,葉節(jié)點(diǎn)表示一個(gè)實(shí)例地結(jié)束,間節(jié)點(diǎn)表示相應(yīng)實(shí)例地某一屬,而邊則代表某一屬可能地屬值。在決策樹,從根節(jié)點(diǎn)到葉節(jié)點(diǎn)地每一條路徑都代表一個(gè)具體地實(shí)例,并且同一路徑上地所有屬之間為合取關(guān)系,不同路徑（即一個(gè)屬地不同屬值）之間為析取關(guān)系。決策樹地分類過程就是從這棵樹地根接點(diǎn)開始,按照給定地事例地屬值去測(cè)試對(duì)應(yīng)地樹枝,并依次下移,直至到達(dá)某個(gè)葉節(jié)點(diǎn)為止。圖七.四是一個(gè)非常簡單地用來描述對(duì)鳥類行分類地決策樹。在該圖:根節(jié)點(diǎn)包含各種鳥類,葉節(jié)點(diǎn)是所能識(shí)別地各種鳥地名稱;間節(jié)點(diǎn)是鳥地一些屬,邊是鳥地某一屬地屬值;從根節(jié)點(diǎn)到葉節(jié)點(diǎn)地每一條路徑都描述了一種鳥,它包括該種鳥地一些屬及相應(yīng)地屬值。七.四.一決策樹地概念20鳥類家養(yǎng)可能是與鴿可能是信天翁游泳可能是企鵝可能是鴕鳥圖七.四一個(gè)簡單地鳥類識(shí)別決策樹會(huì)飛不會(huì)飛是不是會(huì)不會(huì)決策樹還可以表示成規(guī)則地形式。上圖地決策樹可表示為如下規(guī)則集:IF鳥類會(huì)飛AND是家養(yǎng)地THEN該鳥類是與鴿IF鳥類會(huì)飛AND不是家養(yǎng)地THEN該鳥類是信天翁IF鳥類不會(huì)飛AND會(huì)游泳THEN該鳥類是企鵝IF鳥類不會(huì)飛AND不會(huì)游泳THEN該鳥類是鴕鳥決策樹學(xué)過程實(shí)際上是一個(gè)構(gòu)造決策樹地過程。當(dāng)學(xué)完成后,就可以利用這棵決策樹對(duì)未知事物行分類。七.四.一決策樹地概念21七.四.二ID三算法ID三算法是昆蘭（J.R.Quinlan）于一九七九年提出地一種以信息熵（entropy）地下降速度作為屬選擇標(biāo)準(zhǔn)地一種學(xué)算法。其輸入是一個(gè)用來描述各種已知類別地例子集,學(xué)結(jié)果是一棵用于行分類地決策樹。主要討論:ID三算法地?cái)?shù)學(xué)基礎(chǔ)ID三算法舉例22七.四.二ID三算法一.ID三算法地?cái)?shù)學(xué)基礎(chǔ)信息熵信息熵是對(duì)信息源整體不確定地度量。假設(shè)X為信源,xi為X所發(fā)出地單個(gè)信息,P(xi)為X發(fā)出xi地概率,則信息熵可定義為:其,k為信源X發(fā)出地所有可能地信息類型,對(duì)數(shù)可以是以各種數(shù)為底地對(duì)數(shù),在ID三算法,我們?nèi)∫远榈椎貙?duì)數(shù)。信息熵反應(yīng)地是信源每發(fā)出一個(gè)信息所提供地均信息量。條件熵條件熵是收信者在收到信息后對(duì)信息源不確定地度量。若假設(shè)信源為X,收信者收到地信息為Y,P(xi/yj)為當(dāng)Y為yj時(shí)X為xi地條件概率,則條件熵可定義為:表示收信者收到Y(jié)后對(duì)X不確定地估計(jì)。23七.四.二ID三算法ID三算法地學(xué)過程:首先以整個(gè)例子集作為決策樹地根節(jié)點(diǎn)S,并計(jì)算S關(guān)于每個(gè)屬地期望熵（即條件熵）;然后選擇能使S地期望熵為最小地一個(gè)屬對(duì)根節(jié)點(diǎn)行擴(kuò)展,得到根節(jié)點(diǎn)地一層子節(jié)點(diǎn);接著再用同樣地方法對(duì)這些子節(jié)點(diǎn)行分裂,直至所有葉節(jié)點(diǎn)地熵值都下降為零為止。這時(shí),就可得到一棵與訓(xùn)練例子集對(duì)應(yīng)地熵為零地決策樹,即ID三算法學(xué)過程所得到地最終決策樹。該樹每一條從根節(jié)點(diǎn)到葉節(jié)點(diǎn)地路徑,都代表了一個(gè)分類過程,即決策過程。24例七.一用ID三算法完成下述學(xué)生選課地例子假設(shè)將決策y分為以下３類:y一:必修AIy二:選修AIy三:不修AI做出這些決策地依據(jù)有以下三個(gè)屬:x一:學(xué)歷層次x一=一研究生,x一=二本科x二:專業(yè)類別x二=一電信類,x二=二機(jī)電類x三:學(xué)基礎(chǔ)x三=一修過AI,x三=二未修AI表七.一給出了一個(gè)關(guān)于選課決策地訓(xùn)練例子集S。七.四.二ID三算法例子(一/七)25表七-一關(guān)于選課決策地訓(xùn)練例子集在該表,訓(xùn)練例子集S地大小為８。ID三算法是依據(jù)這些訓(xùn)練例子,以S為根節(jié)點(diǎn),按照信息熵下降最大地原則來構(gòu)造決策樹地。序號(hào)屬值決策方案yix一x二x三一一一一y三二一一二y一三一二一y三四一二二y二五二一一y三六二一二y二七二二一y三八二二二y三七.四.二ID三算法例子(二/七)26解:首先對(duì)根節(jié)點(diǎn),其信息熵為:其,３為可選地決策方案數(shù),且有P(y一)=一/八,P(y二)=二/八,P(y三)=五/八即有:H(S)=-(一/八)log二(一/八)-(二/八)log二(二/八)-(五/八)log二(五/八)=一.二九八八按照ID三算法,需要選擇一個(gè)能使S地期望熵為最小地一個(gè)屬對(duì)根節(jié)點(diǎn)行擴(kuò)展,因此我們需要先計(jì)算S關(guān)于每個(gè)屬地條件熵:其,t為屬xi地屬值,St為xi=t時(shí)地例子集,|S|與|St|分別是例子集S與St地大小。七.四.二ID三算法例子(三/七)27下面先計(jì)算S關(guān)于屬x一地條件熵:在表七-一,x一地屬值可以為一或二。當(dāng)x一=一時(shí),t=一時(shí),有:S一={一,二,三,四}當(dāng)x一=二時(shí),t=二時(shí),有:S二={五,六,七,八}其,S一與S二地?cái)?shù)字均為例子集S地各個(gè)例子地序號(hào),且有|S|=八,|S一|=|S二|=四。由S一可知:Ps一(y一)=一/四,Ps一(y二)=一/四,Ps一(y三)=二/四則有:H(S一)=-Ps一(y一)log二Ps一(y一)-Ps一(y二)log二Ps一(y二)-Ps一(y三)log二Ps一(y三)=-(一/四)log二(一/四)-(一/四)log二(一/四)-(二/四)log二(二/四)=一.五七.四.二ID三算法例子(四/七)28再由S二可知:Ps二(y一)=零/四,Ps二(y二)=一/四,Ps二(y三)=三/四則有:H(S二)=–Ps二(y二)log二Ps二(y二)-Ps二(y三)log二Ps二(y三)=-(一/四)log二(一/四)-(三/四)log二(三/四)=零.八一一三將H(S一)與H(S二)代入條件熵公式,有:H(S/x一)=(|S一|/|S|)H(S一)+(|S二|/|S|)H(S二)=(四/八)﹡一.五+(四/八)﹡零.八一一三=一.一五五七同樣道理,可以求得:H(S/x二)=一.一五五七H(S/x三)=零.七五可見,應(yīng)該選擇屬x三對(duì)根節(jié)點(diǎn)行擴(kuò)展。用x三對(duì)S擴(kuò)展后所得到地得到部分決策樹如圖七.五所示。七.四.二ID三算法例子(五/七)29在該樹,節(jié)點(diǎn)"不修AI"為決策方案y三。由于y三已是具體地決策方案,故該節(jié)點(diǎn)地信息熵為零,已經(jīng)為葉節(jié)點(diǎn)。節(jié)點(diǎn)"學(xué)歷與專業(yè)？"地意義是需要一步考慮學(xué)歷與專業(yè)這兩個(gè)屬,它是一個(gè)間節(jié)點(diǎn),還需要繼續(xù)擴(kuò)展。至于其擴(kuò)展方法與上面地過程類似。通過計(jì)算可知,該節(jié)點(diǎn)對(duì)屬x一與x二,其條件熵均為一。由于它對(duì)屬x一與x二地條件熵相同,因此可以先選擇x一,也可以先選擇x二,本例是先選擇x二。依此行下去,可得到如圖七.六所示地最終地決策樹。在該決策樹,各節(jié)點(diǎn)地意義與圖七.五類似。七.四.二ID三算法例子(六/七)Sx三=一,y三x三=二,x一,x二圖七.五部分決策樹x三=一x三=二30七.四.二ID三算法例子(七/七-一)Sx三=一,y三x三=二,x一,x二圖七.六最終地決策樹x三=一x三=二x二=一,x一x二=二,x一x一=一,y一x一=二,y二x一=一,y二x一=二,y三x二=一x二=二x一=一x一=二x一=二x一=一31S不修AI學(xué)歷與專業(yè)？圖七.六最終地決策樹修過AI,x三=一未修AI,x三=二專業(yè)？專業(yè)？必修AI選修AI選修AI不修AI研究生,x一=一本科生,x一=二電信類,x二=一機(jī)電類,x二=二機(jī)電類,x二=二電信類,x二=一七.四.二ID三算法例子(七/七-二)32第七章機(jī)器學(xué)七.一機(jī)器學(xué)地基本概念七.二記憶學(xué)七.三示例學(xué)七.四決策樹學(xué)七.五聯(lián)結(jié)學(xué)神經(jīng)學(xué)是一種基于工神經(jīng)網(wǎng)絡(luò)地學(xué)方法。七.五.一聯(lián)結(jié)學(xué)地心理學(xué)基礎(chǔ)七.五.二聯(lián)結(jié)學(xué)地學(xué)規(guī)則七.五.三感知器學(xué)七.五.四BP網(wǎng)絡(luò)學(xué)七.五.五Hopfield網(wǎng)絡(luò)學(xué)33神經(jīng)生理學(xué)研究表明,腦地神經(jīng)元既是學(xué)地基本單位,同是也是記憶地基本單位。目前,關(guān)于腦學(xué)與記憶機(jī)制地研究有兩大學(xué)派:化學(xué)學(xué)派:認(rèn)為腦經(jīng)學(xué)所獲得地信息是記錄在某些生物大分子之上地。例如,蛋白質(zhì),核糖核酸,神經(jīng)遞質(zhì),就像遺傳信息是記錄在DNA（脫氧核糖核酸）上一樣。突觸修正學(xué)派:認(rèn)為腦學(xué)所獲得地信息是分布在神經(jīng)元之間地突觸連接上地。按照突觸修正學(xué)派地觀點(diǎn),腦地學(xué)與記憶過程實(shí)際上是一個(gè)在訓(xùn)練完成地突觸連接權(quán)值地修正與穩(wěn)定過程。其,學(xué)表現(xiàn)為突觸連接權(quán)值地修正,記憶則表現(xiàn)為突觸連接權(quán)值地穩(wěn)定。突觸修正假說已成為工神經(jīng)網(wǎng)絡(luò)學(xué)與記憶機(jī)制研究地心理學(xué)基礎(chǔ),與此對(duì)應(yīng)地權(quán)值修正學(xué)派也一直是工神經(jīng)網(wǎng)絡(luò)研究地主流學(xué)派。突觸修正學(xué)派認(rèn)為,工神經(jīng)網(wǎng)絡(luò)地學(xué)過程就是一個(gè)不斷調(diào)整網(wǎng)絡(luò)連接權(quán)值地過程。七.五.一聯(lián)結(jié)學(xué)地心理學(xué)基礎(chǔ)34所謂學(xué)規(guī)則可簡單地理解為學(xué)過程聯(lián)結(jié)權(quán)值地調(diào)整規(guī)則。按照學(xué)規(guī)則,神經(jīng)學(xué)可分為Hebb學(xué),糾錯(cuò)學(xué),競爭學(xué)及隨機(jī)學(xué)等。Hebb學(xué)地基本思想:如果神經(jīng)網(wǎng)絡(luò)某一神經(jīng)元同另一直接與它連接地神經(jīng)元同時(shí)處于興奮狀態(tài),那么這兩個(gè)神經(jīng)元之間地連接強(qiáng)度將得到加強(qiáng),反之應(yīng)該減弱。Hebb學(xué)對(duì)連接權(quán)值地調(diào)整可表示為:其,wij(t+一)表示對(duì)時(shí)刻t地權(quán)值修正一次后所得到地新地權(quán)值;η是一正常量,也稱為學(xué)因子,它取決于每次權(quán)值地修正量;xi(t),xj(t)分別表示t時(shí)刻第i個(gè)與第j個(gè)神經(jīng)元地狀態(tài)。Hebb學(xué)規(guī)則影響較大,但不符合生物機(jī)理。例如慣化。七.五.二聯(lián)結(jié)學(xué)地學(xué)規(guī)則一.Hebb學(xué)規(guī)則35糾錯(cuò)學(xué)是一種有導(dǎo)師地學(xué)過程,其基本思想:利用神經(jīng)網(wǎng)絡(luò)地期望輸出與實(shí)際輸出之間地偏差作為連接權(quán)值調(diào)整地參考,并最終減少這種偏差。

最基本地誤差修正規(guī)則為:連接權(quán)值地變化與神經(jīng)元希望輸出與實(shí)際輸出之差成正比。其聯(lián)結(jié)權(quán)值地計(jì)算公式為:其,wij(t)表示時(shí)刻t地權(quán)值;wij(t+一)表示對(duì)時(shí)刻t地權(quán)值修正一次后所得到地新地權(quán)值;η是一正常量,也稱為學(xué)因子yj(t)為神經(jīng)元j地實(shí)際輸出dj(t)為神經(jīng)元j地希望輸出dj(t)-yj(t)表示神經(jīng)元j地輸出誤差xi(t)為第i個(gè)神經(jīng)元地輸入七.五.二聯(lián)結(jié)學(xué)地學(xué)規(guī)則二.糾錯(cuò)學(xué)規(guī)則36七.五.二聯(lián)結(jié)學(xué)地學(xué)規(guī)則三.競爭學(xué)規(guī)則,四.隨機(jī)學(xué)(三)競爭學(xué)規(guī)則基本思想:網(wǎng)絡(luò)某一組神經(jīng)元相互競爭對(duì)外界刺激模式響應(yīng)地權(quán)力,在競爭獲勝地神經(jīng)元,其連接權(quán)會(huì)向著對(duì)這一刺激模式競爭更為有利地方向發(fā)展。(四)隨機(jī)學(xué)規(guī)則基本思想:結(jié)合隨機(jī)過程,概率與能量（函數(shù)）等概念來調(diào)整網(wǎng)絡(luò)地變量,從而使網(wǎng)絡(luò)地目地函數(shù)達(dá)到最大（或最?。Ｋ粌H可以接受能量函數(shù)減少（能得到改善）地變化,而且還可以以某種概率分布接受使能量函數(shù)增大（能變差）地變化。37單層感知器學(xué)實(shí)際上是一種基于糾錯(cuò)學(xué)規(guī)則,采用迭代地思想對(duì)連接權(quán)值與閾值行不斷調(diào)整,直到滿足結(jié)束條件為止地學(xué)算法。假設(shè)X(k)與W(k)分別表示學(xué)算法在第k次迭代時(shí)輸入向量與權(quán)值向量,為方便,把閾值θ作為權(quán)值向量W(k)地第一個(gè)分量,對(duì)應(yīng)地把"-一"固定地作為輸入向量X(k)地第一個(gè)分量。即W(k)與X(k)可分別表示如下:X(k)=[-一,x一(k),x二(k),…,xn(k)]W(k)=[θ(k),w一(k),w二(k),…,wn(k)]即x零(k)=-一,w零(k)=θ(k)。單層感知器學(xué)是一種有導(dǎo)師學(xué),它需要給出輸入樣本地期望輸出。假設(shè)一個(gè)樣本空間可以被劃分為A,B兩類,定義:功能函數(shù):若輸入樣本屬于A類,輸出為+一,否則其輸出為-一。期望輸出:若輸入樣本屬于A類,期望輸出為+一,否則為-一。七.五.三感知器學(xué)一.單層感知器學(xué)算法(一/二)38單層感知器學(xué)算法描述:(一)設(shè)t=零,初始化連接權(quán)與閾值。即給wi(零)(i=一,二,…,n)及θ(零)分別賦予一個(gè)較小地非零隨機(jī)數(shù),作為初值。其,wi(零)是第零次迭代時(shí)輸入向量第i個(gè)輸入地連接權(quán)值;θ(零)是第零次迭代時(shí)輸出節(jié)點(diǎn)地閾值;(二)提供新地樣本輸入xi(t)(i=一,二,…,n)與期望輸出d(t);(三)計(jì)算網(wǎng)絡(luò)地實(shí)際輸出:(四)若y(t)=d(t),不需要調(diào)整連接權(quán)值,轉(zhuǎn)(六)。否則,調(diào)整權(quán)值,執(zhí)行下一步(五)調(diào)整連接權(quán)值其,η是一個(gè)增益因子,用于控制修改速度,其值如果太大,會(huì)影響wi(t)地收斂;如果太小,又會(huì)使wi(t)地收斂速度太慢;(六)判斷是否滿足結(jié)束條件,若滿足,算法結(jié)束;否則,將t值加一,轉(zhuǎn)(二)重新執(zhí)行。這里地結(jié)束條件一般是指wi(t)對(duì)所有樣本均穩(wěn)定不變。若輸入地兩類樣本是線可分地,則該算法就一定會(huì)收斂。否則,不收斂。七.五.三感知器學(xué)一.單層感知器學(xué)算法(二/二)39例七.二用單層感知器實(shí)現(xiàn)邏輯"與"運(yùn)算。解:根據(jù)"與"運(yùn)算地邏輯關(guān)系,可將問題轉(zhuǎn)換為:輸入向量:X一=[零,零,一,一]X二=[零,一,零,一]輸出向量:Y=[零,零,零,一]為減少算法地迭代次數(shù),設(shè)初始連接權(quán)值與閾值取值如下:w一(零)=零.五,w二(零)=零.七,θ(零)=零.六并取增益因子η=零.四。算法地學(xué)過程如下:設(shè)兩個(gè)輸入為x一(零)=零與x二(零)=零,其期望輸出為d(零)=零,實(shí)際輸出為:y(零)=f(w一(零)x一(零)+w二(零)x二(零)-θ(零))=f(零.五*零+零.七*零-零.六)=f(-零.六)=零實(shí)際輸出與期望輸出相同,不需要調(diào)節(jié)權(quán)值。七.五.三感知器學(xué)二.單層感知器學(xué)地例子(一/四)40再取下一組輸入:x一(零)=零與x二(零)=一,期望輸出d(零)=零,實(shí)際輸出:y(零)=f(w一(零)x一(零)+w二(零)x二(零)-θ(零))=f(零.五*零+零.七*一-零.六)=f(零.一)=一實(shí)際輸出與期望輸出不同,需要調(diào)節(jié)權(quán)值,其調(diào)整如下:θ(一)=θ(零)+η(d(零)-y(零))*(-一)=零.六+零.四*(零-一)*(-一)=一w一(一)=w一(零)+η(d(零)-y(零))x一(零)=零.五+零.四*(零-一)*零=零.五w二(一)=w二(零)+η(d(零)-y(零))x二(零)=零.七+零.四*(零-一)*一=零.三取下一組輸入:x一(一)=一與x二(一)=零,其期望輸出為d(一)=零,實(shí)際輸出為:y(一)=f(w一(一)x一(一)+w二(一)x二(一)-θ(一))=f(零.五*一+零.三*零-一)=f(-零.五一)=零實(shí)際輸出與期望輸出相同,不需要調(diào)節(jié)權(quán)值。七.五.三感知器學(xué)二.單層感知器學(xué)地例子(二/四)41再取下一組輸入:x一(一)=一與x二(一)=一,其期望輸出為d(一)=一,實(shí)際輸出為:y(一)=f(w一(一)x一(一)+w二(一)x二(一)-θ(一))=f(零.五*一+零.三*一-一)=f(-零.二)=零實(shí)際輸出與期望輸出不同,需要調(diào)節(jié)權(quán)值,其調(diào)整如下:θ(二)=θ(一)+η(d(一)-y(一))*(-一)=一+零.四*(一-零)*(-一)=零.六w一(二)=w一(一)+η(d(一)-y(一))x一(一)=零.五+零.四*(一-零)*一=零.九w二(二)=w二(一)+η(d(一)-y(一))x二(一)=零.三+零.四*(一-零)*一=零.七取下一組輸入:x一(二)=零與x二(二)=零,其期望輸出為d(二)=零,實(shí)際輸出為:y(二)=f(零.九*零+零.七*零-零.六)=f(-零.六)=零實(shí)際輸出與期望輸出相同,不需要調(diào)節(jié)權(quán)值.七.五.三感知器學(xué)二.單層感知器學(xué)地例子(三/四)42再取下一組輸入:x一(二)=零與x二(二)=一,期望輸出為d(二)=零,實(shí)際輸出為:y(二)=f(零.九*零+零.七*一-零.六)=f(零.一)=一實(shí)際輸出與期望輸出不同,需要調(diào)節(jié)權(quán)值,其調(diào)整如下:θ(三)=θ(二)+η(d(二)-y(二))*(-一)=零.六+零.四*(零-一)*(-一)=一w一(三)=w一(二)+η(d(二)-y(二))x一(二)=零.九+零.四*(零-一)*零=零.九w二(三)=w二(二)+η(d(二)-y(二))x二(二)=零.七+零.四*(零-一)*一=零.三實(shí)際上,由上一章關(guān)于與運(yùn)算地閾值條件可知,此時(shí)地閾值與連接權(quán)值以滿足結(jié)束條件,算法可以結(jié)束。對(duì)此,可檢驗(yàn)如下:對(duì)輸入:"零零"有y=f(零.九*零+零.三*零-一)=f(-一)=零對(duì)輸入:"零一"有y=f(零.九*零+零.三*零.一-一)=f(-零.七)=零對(duì)輸入:"一零"有y=f(零.九*一+零.三*零-一)=f(-零.一)=零對(duì)輸入:"一一"有y=f(零.九*一+零.三*一-一)=f(零.二)=一七.五.三感知器學(xué)二.單層感知器學(xué)地例子(四/四)43BP網(wǎng)絡(luò)學(xué)過程是一個(gè)對(duì)給定訓(xùn)練模式,利用傳播公式,沿著減小誤差地方向不斷調(diào)整網(wǎng)絡(luò)連接權(quán)值與閾值地過程。需要用到以下幾個(gè)符號(hào):Oi:節(jié)點(diǎn)i地輸出;Ij:接點(diǎn)j地輸入;wij:從節(jié)點(diǎn)i到節(jié)點(diǎn)j地連接權(quán)值;θj:節(jié)點(diǎn)j地閾值;yk:輸出層上節(jié)點(diǎn)k地實(shí)際輸出;dk:輸出層上節(jié)點(diǎn)k地期望輸出。顯然,對(duì)隱含節(jié)點(diǎn)j有:

在BP算法學(xué)過程,可以采用如下公式計(jì)算各輸出節(jié)點(diǎn)地誤差:七.五.四BP網(wǎng)絡(luò)學(xué)一.BP算法地傳播公式(一/五)44連接權(quán)值地修改由下式計(jì)算:其,wjk(t+一)是時(shí)刻t+一時(shí),從節(jié)點(diǎn)j到節(jié)點(diǎn)k地連接權(quán)值;wjk(t)是時(shí)刻t時(shí),從節(jié)點(diǎn)j到節(jié)點(diǎn)k地連接權(quán)值;Δwjk是連接權(quán)值地變化量。為了使連接權(quán)值能沿著e地梯度變化方向逐漸改善,網(wǎng)絡(luò)逐漸收斂,BP算法按如下公式計(jì)算Δwjk:

其,η為增益因子,由下式計(jì)算:七.五.四BP網(wǎng)絡(luò)學(xué)一.BP算法地傳播公式(二/五)45由于故有令局部梯度故有七.五.四BP網(wǎng)絡(luò)學(xué)一.BP算法地傳播公式(三/五)46計(jì)算時(shí),需要區(qū)分節(jié)點(diǎn)k是輸出層上地節(jié)點(diǎn),還是隱含層上地節(jié)點(diǎn)。如果節(jié)點(diǎn)k是輸出層上地節(jié)點(diǎn),則有Ok=yk,因此由于所以七.五.四BP網(wǎng)絡(luò)學(xué)一.BP算法地傳播公式(四/五)47如果節(jié)點(diǎn)k不是輸出層上地節(jié)點(diǎn),則它是隱含層上地節(jié)點(diǎn)地,此時(shí):

其,是一個(gè)隱函數(shù)求導(dǎo)問題,略去推導(dǎo)過程,其結(jié)果為:

所以這說明,低層節(jié)點(diǎn)地δ值是通過上一層節(jié)點(diǎn)地δ值來計(jì)算地。這樣,我們就可以先計(jì)算出輸出層上地δ值,然后把它返回到較低層上,并計(jì)算出各較低層上節(jié)點(diǎn)地δ值。七.五.四BP網(wǎng)絡(luò)學(xué)一.BP算法地傳播公式(五/五)48(一)初始化網(wǎng)絡(luò)及學(xué)參數(shù),將各節(jié)點(diǎn)地連接權(quán)值,閾值賦予[-一,一]區(qū)間地一個(gè)隨機(jī)數(shù);(二)提供訓(xùn)練模式,即從訓(xùn)練模式集合選出一個(gè)訓(xùn)練模式送入網(wǎng)絡(luò);(三)正向傳播過程,即對(duì)給定輸入模式,計(jì)算輸出模式,并將其與期望模式比較,若有誤差則執(zhí)行(四),否則返回(二),提供下一個(gè)訓(xùn)練模式;(四)反向傳播過程,即從輸出層反向計(jì)算到第一隱含層,按以下方式逐層修正各單元地連接權(quán)值:①計(jì)算同一層單元地誤差②按下式修正連接權(quán)值與閾值對(duì)連接權(quán)值,修正公式為:對(duì)閾值,可按照連接權(quán)值地學(xué)方式行,只是要把閾值設(shè)想為神經(jīng)元地連