人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬

人工神經(jīng)網(wǎng)絡(luò)

及其經(jīng)濟(jì)管理應(yīng)用TheApplicationofANNtoEconomics&Management人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第1頁(yè)第一章導(dǎo)論什么是人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork）人腦結(jié)構(gòu)對(duì)ANN啟示ANN特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史ANN在經(jīng)濟(jì)管理領(lǐng)域應(yīng)用人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第2頁(yè)什么是ArtificialNeuralNetworkNeuralnetworksarecomposedofsimpleelementsoperatinginparallel.Theseelementsareinspiredbybiologicalnervoussystems.Asinnature,thenetworkfunctionisdeterminedlargelybytheconnectionsbetweenelements.Wecantrainaneuralnetworktoperformaparticularfunctionbyadjustingthevaluesoftheconnections(weights)betweenelements.模擬人腦，人工智能（AI）基礎(chǔ)之一。人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第3頁(yè)人腦結(jié)構(gòu)對(duì)ANN啟示Howhumanbrainworks?StimuliPreceptorEffecter人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第4頁(yè)人腦結(jié)構(gòu)人腦是由大量神經(jīng)細(xì)胞組成復(fù)雜網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第5頁(yè)神經(jīng)細(xì)胞與神經(jīng)傳導(dǎo)人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第6頁(yè)人腦功效基礎(chǔ)—神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第7頁(yè)人腦功效人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第8頁(yè)Who？？？？？？人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第9頁(yè)對(duì)人腦進(jìn)行模擬兩條道路黑箱方法－功效模擬－電子計(jì)算機(jī)白箱方法－結(jié)構(gòu)模擬－智能機(jī)器（ANN）電子計(jì)算機(jī)（或稱為VonNeumann計(jì)算機(jī)）以邏輯代數(shù)為基本原理，模擬人邏輯思維。人工神經(jīng)網(wǎng)絡(luò)試圖模擬人腦結(jié)構(gòu)從而得到類似于人腦功效。人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第10頁(yè)人腦與電腦共同點(diǎn)：獲取、傳遞、存放、處理、輸出信息（知識(shí)）。不一樣點(diǎn)：電腦：程序性、串行工作方式、儲(chǔ)用分離、易損（Robust）、準(zhǔn)確性。人腦：?jiǎn)卧Y(jié)構(gòu)簡(jiǎn)單、整體結(jié)構(gòu)復(fù)雜；并行處理；含有自主學(xué)習(xí)能力（環(huán)境可塑性）；聯(lián)想功效；遺忘功效；復(fù)雜決議；高冗余、自我恢復(fù)；非線性特征顯著。人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第11頁(yè)ANN特點(diǎn)ANN是AI（ArtificialIntelligence）一個(gè)分支。致力于從結(jié)構(gòu)上模仿人腦功效。分為軟件模仿和硬件模仿。1、采取大規(guī)模分布式結(jié)構(gòu)，經(jīng)過(guò)學(xué)習(xí)含有非線性輸入輸出影射能力。2、經(jīng)過(guò)學(xué)習(xí)存放知識(shí)，含有適應(yīng)性、容錯(cuò)性及泛化能力（舉一反三）。人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第12頁(yè)ANN基本工作原理從環(huán)境樣本中學(xué)習(xí)，學(xué)習(xí)結(jié)果存放于連接之中（不可見(jiàn)），學(xué)習(xí)過(guò)程叫做訓(xùn)練，訓(xùn)練成功ANN能夠用來(lái)處理特定問(wèn)題。學(xué)習(xí)規(guī)則是ANN關(guān)鍵，但學(xué)習(xí)規(guī)則與網(wǎng)絡(luò)結(jié)構(gòu)相關(guān)，以下是有監(jiān)督學(xué)習(xí)普通工作原理。人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第13頁(yè)ANN軟件模擬—MatlabToolboxMATLAB?isahigh-performancelanguagefortechnicalcomputing.ThenameMATLABstandsformatrixlaboratory.Typicalusesinclude：MathandcomputationAlgorithmdevelopmentDataacquisitionModeling,simulation,andprototypingDataanalysis,exploration,andvisualizationScientificandengineeringgraphicsApplicationdevelopmentincludinggraphicaluserinterfacebuilding人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第14頁(yè)ANN發(fā)展歷史奠基時(shí)期早在十九世紀(jì)初就已經(jīng)有些人關(guān)注人類神經(jīng)活動(dòng)復(fù)制。1943年McCulloch&Pitts發(fā)表“神經(jīng)活動(dòng)中蘊(yùn)涵思想與邏輯活動(dòng)”成為這一領(lǐng)域奠基之作，其起源是神經(jīng)生理學(xué)。1946年ENIAC建成，1948年Wiener完成Cybernetics，開創(chuàng)了電子計(jì)算機(jī)時(shí)代，從不一樣方面做出了貢獻(xiàn)。1949年，DonaldHebb提出了著名Hebb學(xué)習(xí)規(guī)則。人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第15頁(yè)Hebb學(xué)習(xí)規(guī)則“假如相互連接兩個(gè)神經(jīng)元都興奮，則二者聯(lián)絡(luò)將加強(qiáng)”——“TheOrganizationofBehavior”Hebb是一個(gè)心理學(xué)家，他理論一開始并沒(méi)有受到工程界重視。（Why？）不過(guò)稍后Rochester等人研究證實(shí)，在引入控制論和信息論（Shannon）相關(guān)約束后，Hebb規(guī)則是一貫而通用，并組成了其它學(xué)習(xí)規(guī)則基礎(chǔ)。人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第16頁(yè)ANN發(fā)展歷史第一次研究熱潮——1950‘s1957年，Rosenblatt創(chuàng)造感知機(jī)和ADALineWidrow&Hoff提出著名最小均方（LMS）算法。但出現(xiàn)了惡炒問(wèn)題——人工大腦就要問(wèn)世了！被發(fā)覺(jué)無(wú)法處理一個(gè)簡(jiǎn)單XOR問(wèn)題。遭到Minsky和Papert等人全方面否定。人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第17頁(yè)緘默期：要命XOR問(wèn)題XOR（0，0）＝0XOR（1，1）＝0XOR（0，1）＝1XOR（1，0）＝1(0,0)(0,1)(1,1)(1,0)人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第18頁(yè)復(fù)興期：DARPA1980年，Grossberg提出處理競(jìng)爭(zhēng)學(xué)習(xí)問(wèn)題自適應(yīng)共振理論。1982年，Hopfield用能量函數(shù)結(jié)構(gòu)了一個(gè)遞歸網(wǎng)絡(luò)計(jì)算方法——BP網(wǎng)等慣用ANN直接基礎(chǔ)。物質(zhì)基礎(chǔ)：傳統(tǒng)計(jì)算機(jī)計(jì)算能力飛速發(fā)展為他對(duì)手ＡＮＮ提供了理想平臺(tái)。先進(jìn)制造工藝使得制造專屬于ANN硬件成為可能?，F(xiàn)實(shí)世界對(duì)復(fù)雜信號(hào)處理強(qiáng)烈需求——美國(guó)國(guó)防部DARPA——聲納探測(cè)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第19頁(yè)當(dāng)前ANN在經(jīng)濟(jì)管理領(lǐng)域應(yīng)用復(fù)雜函數(shù)關(guān)系分析與迫近－－隱含數(shù)學(xué)模型預(yù)測(cè)決議支持系統(tǒng)（神經(jīng)教授系統(tǒng)）原因（模式）分類與識(shí)別優(yōu)化問(wèn)題知識(shí)工程總之，我們把ANN當(dāng)做一個(gè)方法。人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第20頁(yè)第二章ANN基本原理ANN表示四個(gè)基本要素：1、神經(jīng)元模型結(jié)構(gòu)2、激活函數(shù)類型3、網(wǎng)絡(luò)模型結(jié)構(gòu)4、學(xué)習(xí)算法人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第21頁(yè)SimpleNeuronAneuronwithasinglescalarinputand（no）bias人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第22頁(yè)神經(jīng)元模型結(jié)構(gòu)AneuronwithasingleR-elementinputvector

人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第23頁(yè)表示為有向圖神經(jīng)元模型規(guī)則1：信號(hào)僅沿著定義好箭頭方向在連接上流動(dòng)。規(guī)則2：節(jié)點(diǎn)信號(hào)輸出等于進(jìn)入節(jié)點(diǎn)信號(hào)代數(shù)和規(guī)則3：節(jié)點(diǎn)信號(hào)沿每個(gè)外向連接向外傳遞并獨(dú)立于激活函數(shù)。輸入信號(hào)向量連接權(quán)重誘導(dǎo)局部域加法器輸出一個(gè)神經(jīng)元狀態(tài)定義為它輸出信號(hào)或誘導(dǎo)局部域。人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第24頁(yè)激活函數(shù)類型

TransferFunction閾值函數(shù)（階躍函數(shù)）Stephardlim(n)=1,ifn>=0;0otherwise.Hardlims(n)=1,ifn>=0;-1otherwise.人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第25頁(yè)激活函數(shù)類型

TransferFunction線性函數(shù)lineartransferfunctionpurelin(n)=n人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第26頁(yè)激活函數(shù)類型

TransferFunction分段線性函數(shù)Saturatinglineartransferfunctionsatlin(n)=0,ifn<=0;n,if0<=n<=1;1,if1<=nsatlins(n)=-1,ifn<=-1;n,if-1<=n<=1;1,if1<=n人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第27頁(yè)激活函數(shù)類型

TransferFunctionSigmoid函數(shù)（S形曲線）logsig(n)=1/(1+exp(-n))tansig(n)=2/(1+exp(-2*n))-1Thisismathematicallyequivalenttotanh(n)雙曲正切函數(shù)人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第28頁(yè)網(wǎng)絡(luò)模型結(jié)構(gòu)－單層前饋網(wǎng)源節(jié)點(diǎn)輸入層神經(jīng)元輸出層一個(gè)嚴(yán)格無(wú)圈和前饋網(wǎng)絡(luò)。“單層”是指神經(jīng)元輸出層。源節(jié)點(diǎn)輸入層不計(jì)算在內(nèi)。人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第29頁(yè)網(wǎng)絡(luò)模型結(jié)構(gòu)－多層前饋網(wǎng)源節(jié)點(diǎn)輸入層隱藏神經(jīng)元層神經(jīng)元輸出層一個(gè)完全連接網(wǎng)絡(luò)。理論上隱層能夠有N個(gè)。隱層存在能夠使網(wǎng)絡(luò)含有很強(qiáng)能力（如泛函迫近能力）隱層神經(jīng)元學(xué)習(xí)算法是一個(gè)難點(diǎn)。應(yīng)用十分廣泛。（如BP網(wǎng)）人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第30頁(yè)網(wǎng)絡(luò)模型結(jié)構(gòu)－遞歸網(wǎng)絡(luò)無(wú)隱層、無(wú)自反饋遞歸網(wǎng)絡(luò)延遲遞歸網(wǎng)絡(luò)也能夠是有隱層。左圖為清楚起見(jiàn)沒(méi)有完全連接，實(shí)際上是否完全連接取決于設(shè)計(jì)者目標(biāo)。因?yàn)榉答伃h(huán)存在，這種網(wǎng)絡(luò)能夠?qū)崿F(xiàn)非線性動(dòng)態(tài)行為。人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第31頁(yè)讓數(shù)聽(tīng)說(shuō)話

——神經(jīng)網(wǎng)絡(luò)知識(shí)表示ANN知識(shí)表示是內(nèi)嵌。內(nèi)嵌結(jié)果是神經(jīng)元之間連接發(fā)生改變。整體性：?jiǎn)为?dú)某個(gè)連接改變可能并無(wú)意義。規(guī)則1：類似輸入通常產(chǎn)生類似表示規(guī)則2：不一樣類輸入給出差異很大表示規(guī)則3：假如某特征很主要，則表示包括大量神經(jīng)元規(guī)則4：先驗(yàn)信息和不變性可事先附加于網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第32頁(yè)怎樣讓外部刺激產(chǎn)生知識(shí)？神經(jīng)元之間連接權(quán)重調(diào)整是表示知識(shí)最基本方法。怎樣按照前述四個(gè)規(guī)則調(diào)整權(quán)重成為關(guān)鍵問(wèn)題。人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用吉林大學(xué)費(fèi)宇鵬第33