第八章-神經(jīng)網(wǎng)絡(luò)介紹

神經(jīng)網(wǎng)絡(luò)簡介河北大學(xué)工商學(xué)院2023/9/6什么是人工神經(jīng)網(wǎng)絡(luò)?所謂人工神經(jīng)網(wǎng)絡(luò)就是基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)（計(jì)算機(jī)）。人是地球上具有最高智慧的動物，而人的指揮均來自大腦，人類靠大腦進(jìn)行思考、聯(lián)想、記憶和推理判斷等，這些功能是任何被稱為“電腦”的一般計(jì)算機(jī)所無法取代的。長期以來，許多科學(xué)家一直致力于人腦內(nèi)部結(jié)構(gòu)和功能的探討和研究，并試圖建立模仿人類大腦的計(jì)算機(jī)，雖然到目前對大腦的內(nèi)部工作機(jī)理還不甚完全清楚，但對其結(jié)構(gòu)已有所了解。2023/9/6粗略地講，大腦是由大量神經(jīng)細(xì)胞或神經(jīng)元組成的。每個神經(jīng)元可看作是一個小的處理單元，這些神經(jīng)元按某種方式連接起來，形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。這種神經(jīng)元網(wǎng)絡(luò)中各神經(jīng)元之間聯(lián)結(jié)的強(qiáng)弱，按外部的激勵信號做自適應(yīng)變化，而每個神經(jīng)元又隨著所接收到的多個接收信號的綜合大小而呈現(xiàn)興奮或抑制狀態(tài)?，F(xiàn)已明確大腦的學(xué)習(xí)過程就是神經(jīng)元之間連接強(qiáng)度隨外部激勵信息做自適應(yīng)變化的過程，而大腦處理信息的結(jié)果則由神經(jīng)元的狀態(tài)表現(xiàn)出來。什么是人工神經(jīng)網(wǎng)絡(luò)?2023/9/6按美國神經(jīng)網(wǎng)絡(luò)學(xué)者Nielsen的定義人工神經(jīng)網(wǎng)絡(luò)是一個并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無向訊號通道互連而成。這些處理單元具有局部內(nèi)存，可以完成局部操作，即它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達(dá)處理單元的所有輸入信號的當(dāng)前值和存儲在處理單元局部內(nèi)存中的值。每個處理單元有一個單一的輸出聯(lián)接，輸出信號可以是任何需要的數(shù)學(xué)模型。什么是人工神經(jīng)網(wǎng)絡(luò)?2023/9/6人工神經(jīng)網(wǎng)絡(luò)與一般計(jì)算機(jī)的區(qū)別在一般的計(jì)算機(jī)中，處理器可取一條指令和該指令所需的數(shù)據(jù)，并執(zhí)行該指令，最后將計(jì)算結(jié)果存入指定的存儲單元中。任何動作都按照確定的操作程序，以串行方式執(zhí)行。在人工神經(jīng)網(wǎng)絡(luò)中，操作既不是串行的，也不是預(yù)先確定的，它根本沒有確定的存儲器，而是由許多互連的簡單處理單元組成。每個處理單元的處理功能只是求其所有輸入信號的加權(quán)和，當(dāng)該和值超過某一閾值時，輸出呈現(xiàn)興奮狀態(tài)（高電平），否則低于閾值時呈現(xiàn)抑制狀態(tài)（低電平）。人工神經(jīng)網(wǎng)絡(luò)當(dāng)它達(dá)到某種平衡狀態(tài)后，網(wǎng)絡(luò)的整個狀態(tài)就是所求的結(jié)果。2023/9/6人工神經(jīng)網(wǎng)絡(luò)的兩種操作過程訓(xùn)練學(xué)習(xí)訓(xùn)練時，把要教給神經(jīng)網(wǎng)絡(luò)的信息（外部輸入）作為網(wǎng)絡(luò)的輸入和要求的輸出，使網(wǎng)絡(luò)按某種規(guī)則（稱為訓(xùn)練算法）調(diào)節(jié)各處理單元間的連接權(quán)值，直至加上給定輸入，網(wǎng)絡(luò)就能產(chǎn)生給定輸出為止。這時，各連接權(quán)已調(diào)節(jié)好，網(wǎng)絡(luò)的訓(xùn)練就完成了。正常操作（回憶操作）對訓(xùn)練好的網(wǎng)絡(luò)輸入一個信號，它就可以正確回憶出相應(yīng)輸出，得到識別結(jié)果。2023/9/6人臉識別實(shí)例用10個人的照片，每個人都在不同的角度照5張照片，共有50張照片的輸入信息。對人工神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，每個照片信息作為輸入時，代表10個人的10個結(jié)點(diǎn)中相應(yīng)的一個結(jié)點(diǎn)輸出最大，每個人的5張照片都對應(yīng)著同一個結(jié)點(diǎn)的最大輸出。經(jīng)過訓(xùn)練后，再對原來的10個人中的一個從不同角度拍照（尺寸不變），進(jìn)行識別，結(jié)果是他本人對應(yīng)的結(jié)點(diǎn)的輸出比其它9個結(jié)點(diǎn)的輸出都高得多。2023/9/6人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始（萌發(fā)）期——人工神經(jīng)網(wǎng)絡(luò)的興起1943年，美國神經(jīng)生理學(xué)家WarrenMcculloch和數(shù)學(xué)家WalterPitts合寫了一篇關(guān)于神經(jīng)元如何工作的開拓性文章：“ALogicalCalculusofIdeasImmanentinNervousAcitivity”。該文指出，腦細(xì)胞的活動像斷/通開關(guān)，這些細(xì)胞可以按各種方式相互結(jié)合，進(jìn)行各種邏輯運(yùn)算。1949年，心理學(xué)家DonalaHebb寫了一本書：“TheOrganizationofBehavior”。在該書中，他強(qiáng)調(diào)了心理學(xué)和生理學(xué)間的聯(lián)系和溝通，指出腦細(xì)胞間的思路每當(dāng)通過參與某種活動時將被加強(qiáng)，這就是后來的Hebb學(xué)習(xí)規(guī)則。2023/9/6到了二十世紀(jì)50年代，隨著計(jì)算機(jī)的發(fā)展和軟硬件的進(jìn)步，有些神經(jīng)系統(tǒng)功能的理論開始在計(jì)算機(jī)上進(jìn)行模擬，拓寬了研究的路子。IBM的研究室在Hebb工作的基礎(chǔ)上，對神經(jīng)網(wǎng)絡(luò)的模型進(jìn)行了軟件模擬，雖然開始時失敗了，但在使得模型像人那樣適應(yīng)環(huán)境的實(shí)驗(yàn)上取得了一定程度的成功。1956年，一個人工智能研究項(xiàng)目（DartmouthSummer）給人工智能領(lǐng)域，同時也給神經(jīng)計(jì)算領(lǐng)域以巨大推動。人們提出兩條研究思路采用高級人工智能方法，試圖建立描述智能機(jī)功能的計(jì)算機(jī)程序；根據(jù)低水平的大腦處理方式構(gòu)成結(jié)構(gòu)模型，以實(shí)現(xiàn)智能化。這宣告了人工神經(jīng)網(wǎng)絡(luò)的誕生。2023/9/6第一次高潮期—感知器模型和人工神經(jīng)網(wǎng)絡(luò)1957年，計(jì)算機(jī)專家FrankRosenblatt開始從事感知器的研究，并制成硬件，通常被認(rèn)為是最早的神經(jīng)網(wǎng)絡(luò)模型。1959年，兩位電機(jī)工程師BernardWidrow和MarcianHaff開發(fā)出一種叫作自適應(yīng)線性單元（ADALINE）的網(wǎng)絡(luò)模型，并在他們的論文“AdaptiveSwitchingCircuits”中描述了該模型和它的學(xué)習(xí)算法（Widrow-Haff算法）。該網(wǎng)絡(luò)通過訓(xùn)練，可以成功用于抵消通信中的回波和噪聲，也可用于天氣預(yù)報，成為第一個用于實(shí)際問題的神經(jīng)網(wǎng)絡(luò)。2023/9/61962年，Rosenblatt出版了一本書“ThePrinciplesofNeurodynamics”，詳述了他的感知器模型。該感知器具有輸入層、輸出層和中間層，通過實(shí)驗(yàn)可以模仿人的某些特性，并斷言它可以學(xué)會任何它可以表示的功能。1967年，StephenGrossberg通過對生理學(xué)的研究，開發(fā)了一種稱作雪崩網(wǎng)的神經(jīng)網(wǎng)絡(luò)模型，可以控制機(jī)器人手臂的運(yùn)動。在這一時期，由于感知器的某些進(jìn)展和對神經(jīng)網(wǎng)絡(luò)的宣傳，人們樂觀地認(rèn)為幾乎已經(jīng)找到了實(shí)現(xiàn)智能的關(guān)鍵。人們夸大了神經(jīng)網(wǎng)絡(luò)的潛力（有人甚至擔(dān)心制造機(jī)器人的人類會很快受到機(jī)器人的攻擊）。2023/9/6反思期——神經(jīng)網(wǎng)絡(luò)的低潮1969年，MarvinMinsky和SeymourPapert合著了一本書“Perception”，分析了當(dāng)時的簡單感知器，指出它有非常嚴(yán)重的局限性，甚至不能解決簡單的“異或”問題，為Rosenblatt的感知器判了“死刑”。此時，批評的聲音高漲，導(dǎo)致了停止對人工神經(jīng)網(wǎng)絡(luò)研究所需的大量投資。不少研究人員把注意力轉(zhuǎn)向了人工智能，導(dǎo)致對人工神經(jīng)網(wǎng)絡(luò)的研究陷入低潮。2023/9/6第二次高潮期——Hopfield網(wǎng)絡(luò)模型的出現(xiàn)和人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇1982年，JohnHopfield向美國科學(xué)院遞交了有關(guān)神經(jīng)網(wǎng)絡(luò)的報告，主要內(nèi)容就是建議收集和重視以前對神經(jīng)網(wǎng)絡(luò)的工作，其中特別強(qiáng)調(diào)了每種模型的實(shí)用性。Hopfield揭示了以往的網(wǎng)絡(luò)是如何工作的，可以做些什么，并提出了他自己的模型，能從失真的或不完善的數(shù)據(jù)圖像中獲得完整的數(shù)據(jù)圖像，引起了美國軍方的興趣。當(dāng)時，人工智能對自動制導(dǎo)車的研究失敗，而利用神經(jīng)網(wǎng)絡(luò)有可能解決這個問題，從而使人們的注意力重新投向人工神經(jīng)網(wǎng)絡(luò)，導(dǎo)致了人工神經(jīng)網(wǎng)絡(luò)的第二次高潮。2023/9/61984年，Hopfield設(shè)計(jì)研制了后來被人們稱為Hopfield網(wǎng)的電路，較好地解決了TCP問題，找到了最佳解的近似解，引起了較大轟動。1985年，Hinton、Sejnowsky、Rumelhart等研究者在Hopfield網(wǎng)絡(luò)中引入隨機(jī)機(jī)制，提出了所謂的Boltzmann機(jī)。1986年，Rumelhart等研究者重新獨(dú)立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法—BP算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。1990年12月，國內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會在北京舉行。2023/9/6再認(rèn)識與應(yīng)用研究期二十世紀(jì)90年代后，神經(jīng)網(wǎng)絡(luò)的研究趨于平緩，主要問題：應(yīng)用面還不夠?qū)捊Y(jié)果不夠精確存在可信度的問題主要研究內(nèi)容開發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實(shí)際運(yùn)行情況對模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度。充分發(fā)揮每種技術(shù)各自的優(yōu)勢，尋找更有效的解決方法。希望在理論上尋找新的突破，建立新的專用或通用模型和算法。進(jìn)一步對生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷豐富對人腦的認(rèn)識。2023/9/6人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)固有的并行結(jié)構(gòu)和并行處理人工神經(jīng)網(wǎng)絡(luò)與人類的大腦類似，不但結(jié)構(gòu)上是并行的，其處理順序也是并行的和同時的。在同一層內(nèi)的處理單元都是同時進(jìn)行的，即神經(jīng)網(wǎng)絡(luò)的計(jì)算功能分布在多個處理單元上，而傳統(tǒng)的計(jì)算機(jī)通常只有一個處理單元，其處理順序是串行的。目前的神經(jīng)網(wǎng)絡(luò)功能常常用一般計(jì)算機(jī)的串行工作方式來模擬，所以顯得很慢，真正意義上的神經(jīng)網(wǎng)絡(luò)將會大大提高處理速度，實(shí)現(xiàn)快速處理。2023/9/6知識的分布存儲在神經(jīng)網(wǎng)絡(luò)中，知識不是存儲在特定的存儲單元，而是分布在整個系統(tǒng)中，要存儲多個知識就需要很多連接。要獲得存儲的知識則采用“聯(lián)想”的辦法，這類似于人類和動物的記憶。當(dāng)一個神經(jīng)網(wǎng)絡(luò)輸入一個激勵時，它要在已存儲的知識中尋找與該輸入匹配最好的知識存儲為其解。聯(lián)想記憶的兩個主要特點(diǎn)存儲大量復(fù)雜數(shù)據(jù)的能力語音的樣本、可視圖象、機(jī)器人的活動、時空圖形的狀態(tài)、社會的情況等；可以很快地將新的輸入圖像歸并分類為已存儲圖像的某一類2023/9/6容錯性人類大腦具有很強(qiáng)的容錯能力，這正是由于大腦中知識是存儲在很多處理單元和它們的連接上的。每天大腦的一些細(xì)胞都會自動死亡，但這并沒有影響人們的記憶和思考能力。人工神經(jīng)網(wǎng)絡(luò)可以從不完善的數(shù)據(jù)和圖形進(jìn)行學(xué)習(xí)和做出決定由于知識存在整個系統(tǒng)中，而不是在一個存儲單元內(nèi)，因此一定比例的結(jié)點(diǎn)不參與運(yùn)算，對整個系統(tǒng)的性能不會產(chǎn)生重大影響。神經(jīng)網(wǎng)絡(luò)中承受硬件損壞的能力比一般計(jì)算機(jī)要強(qiáng)得多。2023/9/6自適應(yīng)性人類有很強(qiáng)的適應(yīng)外部的學(xué)習(xí)能力 小孩在周圍環(huán)境的熏陶下可以學(xué)會很多事情，如通過學(xué)習(xí)可以認(rèn)字、說話、走路、思考、判斷等。人工神經(jīng)網(wǎng)絡(luò)也具有學(xué)習(xí)能力有指導(dǎo)的訓(xùn)練：將