人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)

人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)第一頁(yè)，共三十一頁(yè)，編輯于2023年，星期五人工神經(jīng)網(wǎng)絡(luò)西班牙解剖學(xué)家Cajal于十九世紀(jì)末創(chuàng)立了神經(jīng)元學(xué)說。

20世紀(jì)60年代后期“神經(jīng)科學(xué)”細(xì)胞與分子水平的研究20世紀(jì)90年代開始，腦科學(xué)研究中整合性第二頁(yè)，共三十一頁(yè)，編輯于2023年，星期五神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元的結(jié)構(gòu)第三頁(yè)，共三十一頁(yè)，編輯于2023年，星期五神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元具有以下的特性與功能

信息傳遞的方向性：在每一個(gè)神經(jīng)元中，信息都是以預(yù)知的確定方向傳遞，即從信息接受部分（樹突）傳到軸突的起始部分，再傳到突觸，最后傳給另一神經(jīng)元。這稱為神經(jīng)元的動(dòng)態(tài)激化原則。時(shí)空整合：神經(jīng)元的細(xì)胞體能對(duì)不同時(shí)間由同一突觸傳入的神經(jīng)沖動(dòng)進(jìn)行整合（稱時(shí)間整合）和對(duì)同一時(shí)間由不同突觸傳入的神經(jīng)沖動(dòng)進(jìn)行整合（稱空間整合）。興奮與抑制：神經(jīng)元傳入沖動(dòng)的時(shí)空整合使細(xì)胞膜的電位升高，并超過閾值時(shí)產(chǎn)生神經(jīng)沖動(dòng)并由軸突輸出（稱神經(jīng)元處于興奮狀態(tài)）。當(dāng)傳入沖動(dòng)的時(shí)空整合使細(xì)胞膜的電位下降，并低于閾值時(shí)將不產(chǎn)生神經(jīng)沖動(dòng)且無輸出（稱神經(jīng)元處于抑制狀態(tài)）。延時(shí)和不應(yīng)期：神經(jīng)元在相鄰兩次神經(jīng)沖動(dòng)之間有時(shí)間間隔，該間隔稱為神經(jīng)元的不應(yīng)期。在此期間，神經(jīng)元不響應(yīng)、不處理、不傳遞神經(jīng)沖動(dòng)，神經(jīng)元出現(xiàn)延時(shí)。結(jié)構(gòu)可塑性：突觸傳遞信息的特性是可變的。隨著神經(jīng)沖動(dòng)傳遞方式的變化，其傳遞作用可強(qiáng)可弱，所以神經(jīng)元間的連接是柔性的，這稱為結(jié)構(gòu)的可塑性。學(xué)習(xí)、遺忘和疲勞：由于結(jié)構(gòu)可塑性，突觸的傳遞作用有增強(qiáng)、減弱和飽和，對(duì)應(yīng)于神經(jīng)元具有學(xué)習(xí)、遺忘和疲勞功能。神經(jīng)元經(jīng)突觸與樹突連接起來便形成了神經(jīng)網(wǎng)絡(luò)。

第四頁(yè)，共三十一頁(yè)，編輯于2023年，星期五神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是利用人工的方式對(duì)生物神經(jīng)網(wǎng)絡(luò)的模擬。神經(jīng)元的M-P模型y輸出eeii興奮性輸入抑制性輸入………………第五頁(yè)，共三十一頁(yè)，編輯于2023年，星期五神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元結(jié)構(gòu)模型人工神經(jīng)元的工作過程是：從輸入端接收輸入信號(hào)xi根據(jù)連接權(quán)值i，求出所有輸入的加權(quán)和用某一非線性特征函數(shù)f進(jìn)行轉(zhuǎn)換，獲得輸出y

yx1……x212xnns第六頁(yè)，共三十一頁(yè)，編輯于2023年，星期五神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元互連基本形式…………………前向網(wǎng)絡(luò)反饋網(wǎng)絡(luò)層內(nèi)互連網(wǎng)絡(luò)互連網(wǎng)絡(luò)輸入層輸出層隱層輸入層輸出層隱層輸入層輸出層隱層輸入層輸出層隱層第七頁(yè)，共三十一頁(yè)，編輯于2023年，星期五神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)在以下方面體現(xiàn)了人腦的基本特性：人工神經(jīng)網(wǎng)絡(luò)為廣泛連接的巨型系統(tǒng)，它更適合于形象思維的模擬。人工神經(jīng)網(wǎng)絡(luò)基于大規(guī)模并行協(xié)同處理機(jī)制，這使得人工神經(jīng)網(wǎng)絡(luò)可以較好地模擬人腦神經(jīng)系統(tǒng)的處理能力。人工神經(jīng)網(wǎng)絡(luò)具有和人腦一樣的容錯(cuò)和聯(lián)想能力。人工神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)、自組織、自適應(yīng)功能。在人工神經(jīng)網(wǎng)絡(luò)中，可以通過改變神經(jīng)元之間的連接權(quán)值來有效地模擬人類的學(xué)習(xí)過程。理論研究表明，選擇合適的神經(jīng)元之間的連接權(quán)值可以使人工神經(jīng)網(wǎng)絡(luò)以任意小的誤差逼近任何連續(xù)函數(shù)。這意味著神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的自學(xué)習(xí)能力、自組織能力和自適應(yīng)能力。第八頁(yè)，共三十一頁(yè)，編輯于2023年，星期五神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的特點(diǎn)神經(jīng)計(jì)算機(jī)又稱為第六代計(jì)算機(jī)，它的研制開始于20世紀(jì)80年代后期。美國(guó)、歐共體和日本都把它作為一項(xiàng)國(guó)家計(jì)劃項(xiàng)目開發(fā)研究，并作為21世紀(jì)的關(guān)鍵技術(shù)。1988年，美國(guó)國(guó)防部制定了8年計(jì)劃，投資4億美元用于神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的研究和開發(fā)；1990年，又提出了神經(jīng)網(wǎng)絡(luò)的“風(fēng)暴計(jì)劃”，計(jì)劃為期兩年，主要研究神經(jīng)計(jì)算機(jī)在軍事領(lǐng)域的應(yīng)用。日本，神經(jīng)計(jì)算機(jī)作為“新信息處理技術(shù)開發(fā)計(jì)劃”中的一項(xiàng)基礎(chǔ)技術(shù)被高度重視。從1992年起，計(jì)劃為期10年，投資1000億日元研究和開發(fā)神經(jīng)計(jì)算機(jī)。日本在1992年就已成功研制出一部“通用神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)”。歐共體，作為歐洲信息技術(shù)研究開發(fā)戰(zhàn)略的一環(huán)，廣泛開展了神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)研發(fā)。第九頁(yè)，共三十一頁(yè)，編輯于2023年，星期五神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的特點(diǎn)神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)有下列特征：具有快速、準(zhǔn)確的信息處理能力具有自學(xué)習(xí)、自適應(yīng)和自組織能力具有近似人腦的信息處理能力適合于智能信息處理第十頁(yè)，共三十一頁(yè)，編輯于2023年，星期五神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的實(shí)現(xiàn)方式神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)分類神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)通用神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)專用神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)全神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)前后端神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)第十一頁(yè)，共三十一頁(yè)，編輯于2023年，星期五神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的實(shí)現(xiàn)方式通用神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)并行廣播總線總線接口系統(tǒng)狀態(tài)物理處理器虛擬處理器互連及連接權(quán)值存儲(chǔ)器總線接口系統(tǒng)狀態(tài)物理處理器虛擬處理器互連及連接權(quán)值存儲(chǔ)器總線接口系統(tǒng)狀態(tài)物理處理器虛擬處理器互連及連接權(quán)值存儲(chǔ)器系統(tǒng)控制單元物理處理器……12n第十二頁(yè)，共三十一頁(yè)，編輯于2023年，星期五神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的實(shí)現(xiàn)方式前后端神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)視覺模型(模式識(shí)別)聽覺模型(語(yǔ)音分析)語(yǔ)音模型(語(yǔ)音合成)運(yùn)動(dòng)模型觸角模型數(shù)值運(yùn)算文字處理推理指令認(rèn)知模型(判斷、聯(lián)想)數(shù)據(jù)壓縮圖像采集設(shè)備圖像顯示設(shè)備語(yǔ)音采集設(shè)備語(yǔ)音輸出設(shè)備機(jī)器人…………前端神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)馮·諾依曼體系結(jié)構(gòu)計(jì)算機(jī)…………后端神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)第十三頁(yè)，共三十一頁(yè)，編輯于2023年，星期五神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的實(shí)現(xiàn)方式中科院預(yù)言神1號(hào)神經(jīng)網(wǎng)絡(luò)處理機(jī)硬件結(jié)構(gòu)第十四頁(yè)，共三十一頁(yè)，編輯于2023年，星期五神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的實(shí)現(xiàn)方式全神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)全神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)由全硬件實(shí)現(xiàn)。該類計(jì)算機(jī)物理上的處理單元及通訊通道與具體的神經(jīng)網(wǎng)絡(luò)模型中的神經(jīng)元及其連接一一對(duì)應(yīng)，每一神經(jīng)元及連接都有與之對(duì)應(yīng)的物理器件。近些年來，神經(jīng)計(jì)算機(jī)的研究發(fā)展很快，已有產(chǎn)品進(jìn)入市場(chǎng)。將光技術(shù)應(yīng)用于神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)從而開發(fā)出光神經(jīng)計(jì)算機(jī)也成為一種趨勢(shì)。光神經(jīng)計(jì)算機(jī)的特征：光具有并行性，它與神經(jīng)計(jì)算吻合；光波的傳播無交叉失真,傳播容量大；可能實(shí)現(xiàn)超高速運(yùn)算。第十五頁(yè)，共三十一頁(yè)，編輯于2023年，星期五神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的實(shí)現(xiàn)方式重要的神經(jīng)網(wǎng)絡(luò)模型書P.172第十六頁(yè)，共三十一頁(yè)，編輯于2023年，星期五BP網(wǎng)路第十七頁(yè)，共三十一頁(yè)，編輯于2023年，星期五BP網(wǎng)絡(luò)機(jī)制學(xué)習(xí)建立網(wǎng)絡(luò)模型通過樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)將學(xué)習(xí)獲得的知識(shí)保存在神經(jīng)元間的連接權(quán)中計(jì)算（工作）應(yīng)用保存在神經(jīng)元間連接權(quán)中的知識(shí)進(jìn)行計(jì)算第十八頁(yè)，共三十一頁(yè)，編輯于2023年，星期五BP網(wǎng)絡(luò)學(xué)習(xí)通過樣本數(shù)據(jù)（I，T）訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以建立輸入與輸出的關(guān)系，這種關(guān)系保存在神經(jīng)元之間的連接權(quán)之中。符號(hào)一個(gè)隱層輸入層單元i的輸入為Ii，輸入層單元i到隱層單元j的權(quán)為W’ij隱層單元j到輸出的輸出為Hj隱層單元j到輸出層單元k的權(quán)為W”jk輸出層單元k的輸出為Ok激活函數(shù)為f(x)第十九頁(yè)，共三十一頁(yè)，編輯于2023年，星期五BP網(wǎng)絡(luò)學(xué)習(xí)學(xué)習(xí)過程隱層學(xué)習(xí)輸出層學(xué)習(xí)第二十頁(yè)，共三十一頁(yè)，編輯于2023年，星期五BP網(wǎng)絡(luò)學(xué)習(xí)權(quán)值修正：輸出O與教師信號(hào)T的的誤差記為：

E=||O-T||

按最速下降法求出對(duì)W“和W’的修正量ζjk，ηij，可得：

W”jk=Wjk+ζjkW’ij=Wij+ηij學(xué)習(xí)結(jié)束的條件為：對(duì)所有的樣本（I，T）均有：

E<ε激活函數(shù)f可取如下形式：第二十一頁(yè)，共三十一頁(yè)，編輯于2023年，星期五BP網(wǎng)絡(luò)計(jì)算利用學(xué)習(xí)獲得的權(quán)值及函數(shù)f，計(jì)算：Hj=f(∑W’il*Ii)Ok=f(∑W”jk*Hj)輸出為數(shù)組O=(O1,O2,……,Op)第二十二頁(yè)，共三十一頁(yè)，編輯于2023年，星期五BP網(wǎng)路學(xué)習(xí)的分析定理：對(duì)于任意的連續(xù)函數(shù)g，可以構(gòu)造BP網(wǎng)路任意逼近它。學(xué)習(xí)過程可能存在的問題算法的解不一定是最優(yōu)算法中隱層神經(jīng)元的數(shù)目確定困難第二十三頁(yè)，共三十一頁(yè)，編輯于2023年，星期五機(jī)器學(xué)習(xí)學(xué)習(xí)與機(jī)器學(xué)習(xí)學(xué)習(xí)過程：一個(gè)具有特定目標(biāo)的知識(shí)獲取過程內(nèi)在行為：獲取知識(shí)、積累經(jīng)驗(yàn)、發(fā)現(xiàn)規(guī)律外在表現(xiàn)：改進(jìn)性能、適應(yīng)環(huán)境、自我完善機(jī)器學(xué)習(xí)使計(jì)算機(jī)或智能系統(tǒng)模擬人類的學(xué)習(xí)行為，自動(dòng)獲取知識(shí)和技能，不斷改善系統(tǒng)性能，實(shí)現(xiàn)系統(tǒng)自我完善基本問題：用于獲取、表示、修改和應(yīng)用知識(shí)或技能的形式與方法主要研究方向?qū)W習(xí)機(jī)理研究：研究人類學(xué)習(xí)的機(jī)制和如何在智能系統(tǒng)中實(shí)現(xiàn)學(xué)習(xí)方法研究：研究人類學(xué)習(xí)過程、方法和如何在智能系統(tǒng)中實(shí)現(xiàn)學(xué)習(xí)系統(tǒng)研究：面向特定的任務(wù)或問題，如何建立學(xué)習(xí)系統(tǒng)第二十四頁(yè)，共三十一頁(yè)，編輯于2023年，星期五學(xué)習(xí)系統(tǒng)概念學(xué)習(xí)系統(tǒng)是一個(gè)能夠通過與其所處環(huán)境的相互作用獲得有關(guān)信息，并將這些信息用于提高自身性能的智能系統(tǒng)構(gòu)成學(xué)習(xí)環(huán)境：向系統(tǒng)提供有關(guān)的外部信息——外部信息源學(xué)習(xí)機(jī)構(gòu)：從環(huán)境中提取信息知識(shí)庫(kù)：存放由學(xué)習(xí)獲得的知識(shí)執(zhí)行與評(píng)價(jià)機(jī)構(gòu)執(zhí)行：應(yīng)用所學(xué)到的知識(shí)解決問題的過程評(píng)價(jià)：驗(yàn)證和評(píng)判所學(xué)知識(shí)的應(yīng)用效果——所學(xué)知識(shí)的正確性自動(dòng)評(píng)價(jià)：系統(tǒng)通過內(nèi)部的評(píng)價(jià)指標(biāo)體系自動(dòng)完成評(píng)價(jià)人工評(píng)價(jià)：人工完成評(píng)價(jià)第二十五頁(yè)，共三十一頁(yè)，編輯于2023年，星期五具備的條件和能力適當(dāng)?shù)膶W(xué)習(xí)環(huán)境一定的學(xué)習(xí)能力應(yīng)用學(xué)到知識(shí)求解問題提高系統(tǒng)性能第二十六頁(yè)，共三十一頁(yè)，編輯于2023年，星期五機(jī)器學(xué)習(xí)方法按學(xué)習(xí)方法分類：機(jī)械式學(xué)習(xí)、指導(dǎo)式學(xué)習(xí)、示例學(xué)習(xí)、類比學(xué)習(xí)、解釋學(xué)習(xí)按推理方法分類：演繹學(xué)習(xí)、歸納學(xué)習(xí)按綜合屬性分類：歸納學(xué)習(xí)、分析學(xué)習(xí)、連接學(xué)習(xí)、遺傳學(xué)習(xí)、分類器學(xué)習(xí)第二十七頁(yè)，共三十一頁(yè)，編輯于2023年，星期五TheAprioriAlgorithmCk:Candidateitemsetofsizek.Lk:frequentitemsetofsizek.L1={frequentitems};for

(k=1;Lk!=;k++)dobegin

Ck+1=NewcandidatesgeneratedfromLk;

foreachtransactiontindatabasedoincrementthecountofallcandidatesinCk+1thatarecontainedint

Lk+1=candidatesinCk+1withmin.support

endreturn

k

Lk;第二十八頁(yè)，共三十一頁(yè)，編輯于2023年，星期五AprioriCandidateGenerationMonotonicityProperty:AllsubsetofafrequentsetarefrequentGivenLk,Ck+1canbegeneratedintwosteps:Join:JoinLkwithLk,withthejoinconditionthatthefirstk-1itemsshouldbethesamePrune:deleteallcandidateswhosesupportislowerthentheminimumsupportspecified第二十九頁(yè)，共三十一頁(yè)，編輯于2023年，星期五MiningAssociationRules--ExampleForruleA