神經(jīng)網(wǎng)絡(luò)基本概念

神經(jīng)網(wǎng)絡(luò)基本概念第一頁，共十八頁，2022年，8月28日2神經(jīng)網(wǎng)絡(luò)設(shè)計神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)基礎(chǔ)感知機學習規(guī)則有監(jiān)督的Hebb學習WidrowHoff學習算法反向傳播聯(lián)想學習競爭網(wǎng)絡(luò)Cross-berg網(wǎng)絡(luò)自適應(yīng)諧振理論Hop-field網(wǎng)絡(luò)第二頁，共十八頁，2022年，8月28日3神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用

現(xiàn)代計算機有很強的計算和信息處理能力，但是它對于模式識別、感知和在復雜環(huán)境中作決策等問題的處理能力卻遠不如人，特別是它只能按人事先編好的程序機械地執(zhí)行，缺乏向環(huán)境學習、適應(yīng)環(huán)境的能力。早在20世紀初，人們已經(jīng)知道人腦是由極大量基本單元（稱之為神經(jīng)元）經(jīng)過復雜的互相連接而成的一種高度復雜的、非線性的、并行處理的信息處理系統(tǒng)。單個神經(jīng)元的反應(yīng)速度是在毫秒級，比起計算機的基本單元——邏輯門（反應(yīng)時間在10-9s量級）低5～6個數(shù)量級。由于人腦的神經(jīng)元數(shù)量巨大（約為1010個），每個神經(jīng)元可與幾千個其他神經(jīng)元連接（總連接數(shù)約為6×1013），對有些問題的處理速度反而比計算機快得多。

第三頁，共十八頁，2022年，8月28日4神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用

人們自然會想到，大腦的組織結(jié)構(gòu)和運行機制必有其絕妙的特點。從模仿人腦智能的角度出發(fā)，來探尋新的信息表示、存儲和處理方式，設(shè)計全新的計算機處理結(jié)構(gòu)模型，構(gòu)造一種更接近人類智能的信息處理系統(tǒng)來解決實際工程和科學研究領(lǐng)域中傳統(tǒng)的馮·諾依曼計算機難以解決的問題，必將大大促進科學進步，并會在人類生活的各個領(lǐng)域引起巨大變化，這就促使人們研究人工神經(jīng)網(wǎng)絡(luò)（artificialneuralnetworks）系統(tǒng)。簡而言之，它是一種具有大量連接的并行分布式處理器，它具有通過學習獲取知識并解決問題的能力，且知識是分布存儲在連接權(quán)（對應(yīng)于生物神經(jīng)元的突觸）中，而不是像常規(guī)計算機那樣按地址存在特定的存儲單元中。第四頁，共十八頁，2022年，8月28日5神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用

盡管目前人們對大腦的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、運行機制，甚至單個神經(jīng)細胞的工作原理的了解還很膚淺，但是基于生物神經(jīng)系統(tǒng)的分布式存儲、并行處理、自適應(yīng)學習這些現(xiàn)象，已經(jīng)構(gòu)造出有一定初級智能的人工神經(jīng)網(wǎng)絡(luò)。當然這種人工神經(jīng)網(wǎng)絡(luò)僅僅是對大腦的粗略而且簡單的模擬，無論是在規(guī)模上、功能上與大腦相比都還差得很遠。從20世紀80年代初神經(jīng)網(wǎng)絡(luò)的研究再次復蘇并形成熱點以來，發(fā)展非常迅速，從理論上對它的計算能力、對任意連續(xù)映射的逼近能力、學習理論以及動態(tài)網(wǎng)絡(luò)的穩(wěn)定性分析上都取得了豐碩的成果。特別是在應(yīng)用上已迅速擴展到許多重要領(lǐng)域。印刷體和手寫體字符識別，語音識別，簽字識別，指紋，人臉識別，DNA序列分析，癌細胞識別，目標檢測與識別，心電圖、腦電圖分類，圖像壓縮、復原等。

第五頁，共十八頁，2022年，8月28日6神經(jīng)網(wǎng)絡(luò)模型人工單神經(jīng)元模型：根據(jù)神經(jīng)元機理，人工單神經(jīng)元模型應(yīng)具備三個要素：(1）一組連接，連接強度由各連接上的權(quán)值表示，權(quán)值為正表示激活，權(quán)值為負表示抑制；(2)一個求和單元，用于求取各輸入信號的加權(quán)和；(3)一個非線性激活函數(shù)，起非線性映射作用，并將神經(jīng)元的輸出幅度限制在一定范圍內(nèi)（比如(0,1)或者(-1,+1)）.第六頁，共十八頁，2022年，8月28日7神經(jīng)網(wǎng)絡(luò)模型(續(xù))p1∑f…anbW1WRp2p3pR1常用的激活函數(shù)見page11表2-1單神經(jīng)元結(jié)構(gòu)第七頁，共十八頁，2022年，8月28日8神經(jīng)網(wǎng)絡(luò)模型(續(xù))多神經(jīng)元結(jié)構(gòu)W1,1p1…Ws,Rp2p3pR∑fa1n1b11∑fa2n2b21∑fasnsbs1……第八頁，共十八頁，2022年，8月28日9神經(jīng)網(wǎng)絡(luò)模型(續(xù))多神經(jīng)元結(jié)構(gòu):記輸入矢量為P，多神經(jīng)元權(quán)矩陣為W,凈輸入矢量為n，偏值矢量為b，激活矢量函數(shù)為F，則多神經(jīng)元輸出矢量為a為：第九頁，共十八頁，2022年，8月28日10神經(jīng)網(wǎng)絡(luò)模型(續(xù))某一多神經(jīng)元網(wǎng)絡(luò)的輸出作為另一多神經(jīng)元網(wǎng)絡(luò)的輸入，以這樣連接方式構(gòu)成多神經(jīng)元、多層次網(wǎng)絡(luò)就成為人工神經(jīng)網(wǎng)絡(luò)。連接方式可以是串連、并聯(lián)，也可以是反饋連接方式。我們以串連方式來說明問題。p1………∑f1∑f1∑f1p2p3pR……∑f1∑f1∑f1……∑f1∑f1∑f1輸入層隱含層輸出層第十頁，共十八頁，2022年，8月28日11神經(jīng)網(wǎng)絡(luò)模型(續(xù))設(shè)計神經(jīng)網(wǎng)絡(luò)需要解決的問題：1、神經(jīng)網(wǎng)絡(luò)的層數(shù)；2、每一層神經(jīng)網(wǎng)絡(luò)的神經(jīng)元的個數(shù)；3、神經(jīng)元之間的連接權(quán)值。設(shè)計訓練樣本，通過學習來獲得。存在問題：訓練樣本有限，不可能遍歷，即有限樣本逼近無限的情況，導致神經(jīng)網(wǎng)絡(luò)的收斂性和穩(wěn)定性問題解決方法：有限樣本問題可以通過統(tǒng)計學習SVM(supportvectormachine)來解決，即小樣本學習問題（這也只能部分解決問題）。對于收斂性和穩(wěn)定性問題，盡管有許多學習算法提出（比如：模擬退火、平均勢場、遺傳算法等），但這一問題至此還沒有得到解決。隨著人類對自身理解的加深，有望這些問題將能得到解決。因此，對于神經(jīng)網(wǎng)絡(luò)的研究仍有眾多的研究課題。特別是，21世紀科學研究的一個重點就是對人類本身的研究。第十一頁，共十八頁，2022年，8月28日12例子在介紹例子之前，我們先研究一個簡單的2輸入單神經(jīng)元分類問題。神經(jīng)元如下圖所示。

這里,激活傳輸函數(shù)選用硬極限傳輸函數(shù)，即：∑f1bnap1p2w1w2第十二頁，共十八頁，2022年，8月28日13求解這一神經(jīng)網(wǎng)絡(luò)，實質(zhì)上就是求解w1、w2和b。按照神經(jīng)網(wǎng)絡(luò)的求解方法，設(shè)計訓練樣本，即：求解的結(jié)果為：例子(續(xù))第十三頁，共十八頁，2022年，8月28日14根據(jù)這一神經(jīng)網(wǎng)絡(luò)，平面上的點集可進行2分割：p1p2****例子(續(xù))第十四頁，共十八頁，2022年，8月28日15現(xiàn)在，我們回到要介紹的例子上。假設(shè)有兩種水果，蘋果和橘子。用三維矢量來描述任一水果。因此，標準的蘋果和句子可表示為：設(shè)計一個三輸入的單神經(jīng)元網(wǎng)絡(luò)，將蘋果和橘子分開。這是一個簡單的二分問題。規(guī)定神經(jīng)網(wǎng)絡(luò)的輸出為：蘋果，a=1；橘子，a=-1.例子(續(xù))第十五頁，共十八頁，2022年，8月28日16這里,激活傳輸函數(shù)選用硬極限傳輸函數(shù)，即：∑fbnap1p2w1w2p3w3例子(續(xù))第十六頁，共十八頁，2022年，8月28日17按照設(shè)計訓練樣本，