神經(jīng)網(wǎng)絡(luò)原理模擬試題 華中科技大學(xué).doc

神經(jīng)網(wǎng)絡(luò)原理模擬試題朱張帆吳俊杰一、填空題1、從系統(tǒng)的觀點(diǎn)講，人工神經(jīng)元網(wǎng)絡(luò)是由大量神經(jīng)元通過(guò)極其豐富和完善的連接而構(gòu)成的自適應(yīng)、非線性、動(dòng)力學(xué)系統(tǒng)。2、神經(jīng)網(wǎng)絡(luò)的基本特性有拓?fù)湫浴W(xué)習(xí)性和穩(wěn)定收斂性。3、神經(jīng)網(wǎng)絡(luò)按結(jié)構(gòu)可分為前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)，按性能可分為離散型和連續(xù)型，按學(xué)習(xí)方式可分為有導(dǎo)師和無(wú)導(dǎo)師。4、神經(jīng)網(wǎng)絡(luò)研究的發(fā)展大致經(jīng)過(guò)了四個(gè)階段。5、網(wǎng)絡(luò)穩(wěn)定性指從t=0時(shí)刻初態(tài)開(kāi)始，到t時(shí)刻后v(t+t)=v(t)，(t0)，稱網(wǎng)絡(luò)穩(wěn)定。6、聯(lián)想的形式有兩種，它們分是自聯(lián)想和異聯(lián)想。7、存儲(chǔ)容量指網(wǎng)絡(luò)穩(wěn)定點(diǎn)的個(gè)數(shù)，提高存儲(chǔ)容量的途徑一是改進(jìn)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，二是改進(jìn)學(xué)習(xí)方法。8、非穩(wěn)定吸引子有兩種狀態(tài)，一是有限環(huán)狀態(tài)，二是混沌狀態(tài)。9、神經(jīng)元分興奮性神經(jīng)元和抑制性神經(jīng)元。10、漢明距離指兩個(gè)向量中對(duì)應(yīng)元素不同的個(gè)數(shù)。二、簡(jiǎn)答題1、人工神經(jīng)元網(wǎng)絡(luò)的特點(diǎn)？答：（1）、信息分布存儲(chǔ)和容錯(cuò)性。（2）、大規(guī)模并行協(xié)同處理。（3）、自學(xué)習(xí)、自組織和自適應(yīng)。（4）、人工神經(jīng)元網(wǎng)絡(luò)是大量的神經(jīng)元的集體行為，表現(xiàn)為復(fù)雜的非線性動(dòng)力學(xué)特性。（5）人式神經(jīng)元網(wǎng)絡(luò)具有不適合高精度計(jì)算、學(xué)習(xí)算法和網(wǎng)絡(luò)設(shè)計(jì)沒(méi)有統(tǒng)一標(biāo)準(zhǔn)等局限性。2、單個(gè)神經(jīng)元的動(dòng)作特征有哪些？答：?jiǎn)蝹€(gè)神經(jīng)元的動(dòng)作特征有：（1）、空間相加性；（2）、時(shí)間相加性；（3）、閾值作用；（4）、不應(yīng)期；（5）、可塑性；（6）疲勞。3、怎樣描述動(dòng)力學(xué)系統(tǒng)？答：對(duì)于離散時(shí)間系統(tǒng)，用一組一階差分方程來(lái)描述：X(t+1)=FX(t)；對(duì)于連續(xù)時(shí)間系統(tǒng)，用一階微分方程來(lái)描述：dU(t)/dt=FU(t)。4、F(x)與x的關(guān)系如下圖，試述它們分別有幾個(gè)平衡狀態(tài)，是否為穩(wěn)定的平衡狀態(tài)？XF(X)0ab(1) XF(X)0a(2) 答：在圖（1）中，有兩個(gè)平衡狀態(tài)a、b，其中，在a點(diǎn)曲線斜率|F(X)|1，為非穩(wěn)定平穩(wěn)狀態(tài)；在b點(diǎn)曲線斜率|F(X)|1，為非穩(wěn)定平穩(wěn)狀態(tài)。5、對(duì)于單個(gè)神經(jīng)元的離散模型，Hebb學(xué)習(xí)假設(shè)是什么，基本學(xué)習(xí)方程是什么？答：對(duì)于單個(gè)神經(jīng)元的離散模型，Hebb學(xué)習(xí)假設(shè)是：只有當(dāng)神經(jīng)元興奮時(shí)，與其連接的突觸結(jié)合權(quán)才被強(qiáng)化而增大；當(dāng)兩個(gè)神經(jīng)元同時(shí)處于興奮狀態(tài)時(shí)，它們之間的連接權(quán)應(yīng)該加強(qiáng)。基本學(xué)習(xí)方程是：6、聯(lián)想形式中的自聯(lián)想和異聯(lián)想有何區(qū)別？答：自聯(lián)想指的是由某種代表事物（或該事物的主要特征或可能是部分主在特征）聯(lián)想到其所表示的實(shí)際事物。其數(shù)學(xué)模型為：當(dāng)輸入XX0+V時(shí)，輸出Y=X0。異聯(lián)想指的是由某一事物（或該事物的主要特征或可能是部分主在特征）聯(lián)想到與其相關(guān)的另一事物。其數(shù)學(xué)模型為：在映射X0Y0下，當(dāng)輸入XX0+V時(shí)，輸出Y=Y0。7、網(wǎng)絡(luò)的穩(wěn)定吸引子和吸引子的吸引域分別指什么？答：當(dāng)t=0時(shí)，對(duì)網(wǎng)絡(luò)輸入模式x，網(wǎng)絡(luò)處于狀態(tài)v(0)，到時(shí)刻t網(wǎng)絡(luò)達(dá)到狀態(tài)v(t)，若v(t)穩(wěn)定，則稱v(t)為網(wǎng)絡(luò)的穩(wěn)定吸引子。吸引子的吸引域是指所有經(jīng)過(guò)一定時(shí)間能夠穩(wěn)定在吸引子v(t)上的所有初始狀態(tài)的集合。三、論述題1、 前饋式神經(jīng)元網(wǎng)絡(luò)與反饋式神經(jīng)元網(wǎng)絡(luò)有何不同？答：（1）、前饋型神經(jīng)元網(wǎng)絡(luò)取連續(xù)或離散變量，一般不考慮輸出與輸入在時(shí)間上的滯后效應(yīng)，只表達(dá)輸出與輸入的映射關(guān)系。反饋式神經(jīng)元網(wǎng)絡(luò)可以用離散變量也可以用連續(xù)取值，考慮輸出與輸入之間在時(shí)間上和延遲，需要用動(dòng)態(tài)方程來(lái)描述系統(tǒng)的模型。（2）、前饋型網(wǎng)絡(luò)的學(xué)習(xí)主要采用誤差修正法（如BP算法），計(jì)算過(guò)程一般比較慢，收斂速度也比較慢。而反饋型網(wǎng)絡(luò)主要采用Hebb學(xué)習(xí)規(guī)則，一般情況下計(jì)算的收斂速度很快。反饋網(wǎng)絡(luò)也有類似于前饋網(wǎng)絡(luò)的應(yīng)用，例如用作聯(lián)想記憶或分類，而在優(yōu)化計(jì)算方面的應(yīng)用更能顯出反饋網(wǎng)絡(luò)的特點(diǎn)。2、 試述離散型Hopfield神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)及工作原理。（1） Hopfield神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)如下： 這種網(wǎng)絡(luò)是一種單層網(wǎng)絡(luò)，由n個(gè)單元組成。每個(gè)神精元既是輸入單元，又是輸出單元；各節(jié)點(diǎn)一般選用相同的轉(zhuǎn)移函數(shù)，且為符號(hào)函數(shù)，即： 為網(wǎng)絡(luò)的輸入； 為網(wǎng)絡(luò)的輸出； 為網(wǎng)絡(luò)在時(shí)刻t 的狀態(tài)，其中t0，1，2， 為離散時(shí)間變量。Wij為從Ni到Nj的連接權(quán)值，Hopfield網(wǎng)絡(luò)為對(duì)稱的即有Wij = Wji 。N1N2Nn-1Nnx1x2xn-1xny1y2Yn-1ynV1(t)V2(t)Vn-1(t)Vn(t)w21Wn-1 2（2）、工作原理：、網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練后，可以認(rèn)為網(wǎng)絡(luò)處于等待工作狀態(tài)，對(duì)網(wǎng)絡(luò)給定初始輸入x時(shí)，網(wǎng)絡(luò)就處于特定的初始狀態(tài)，由此初始狀態(tài)開(kāi)始運(yùn)行，可以得到網(wǎng)絡(luò)的下一個(gè)輸出狀態(tài)。、這個(gè)輸出狀態(tài)通過(guò)反饋回送到網(wǎng)絡(luò)的輸入端，作為網(wǎng)絡(luò)下一個(gè)階段的輸入信號(hào)，這個(gè)輸入信號(hào)可能與初始輸入信號(hào)不同，由這個(gè)新的輸入又可得到下一步的輸出,如此重復(fù)。、如果網(wǎng)絡(luò)是穩(wěn)定的，經(jīng)過(guò)若干次反饋運(yùn)行后網(wǎng)絡(luò)將會(huì)達(dá)到穩(wěn)態(tài)。、Hopfield網(wǎng)絡(luò)的工作過(guò)程可用下式表示：研究生神經(jīng)網(wǎng)絡(luò)試題A卷參考答案一、名詞解釋(共5題，每題5分，共計(jì)25分) 1、泛化能力答：泛化能力又稱推廣能力，是機(jī)器學(xué)習(xí)中衡量學(xué)習(xí)機(jī)性能好壞的一個(gè)重要指標(biāo)。泛化能力主要是指經(jīng)過(guò)訓(xùn)練得到的學(xué)習(xí)機(jī)對(duì)未來(lái)新加入的樣本（即測(cè)試樣本）數(shù)據(jù)進(jìn)行正確預(yù)測(cè)的能力。2、有監(jiān)督學(xué)習(xí)答：有監(jiān)督學(xué)習(xí)又被稱為有導(dǎo)師學(xué)習(xí)，這種學(xué)習(xí)方式需要外界存在一個(gè)“教師”，她可以對(duì)一組給定輸入提供應(yīng)有的輸出結(jié)果，學(xué)習(xí)系統(tǒng)可根據(jù)已知輸出與實(shí)際輸出之間的差值來(lái)調(diào)節(jié)系統(tǒng)參數(shù)。3、過(guò)學(xué)習(xí)答：過(guò)學(xué)習(xí)（over-fitting），也叫過(guò)擬和。在機(jī)器學(xué)習(xí)中，由于學(xué)習(xí)機(jī)器過(guò)于復(fù)雜，盡管保證了分類精度很高（經(jīng)驗(yàn)風(fēng)險(xiǎn)很?。捎赩C維太大，所以期望風(fēng)險(xiǎn)仍然很高。也就是說(shuō)在某些情況下，訓(xùn)練誤差最小反而可能導(dǎo)致對(duì)測(cè)試樣本的學(xué)習(xí)性能不佳，發(fā)生了這種情況我們稱學(xué)習(xí)機(jī)（比如神經(jīng)網(wǎng)絡(luò)）發(fā)生了過(guò)學(xué)習(xí)問(wèn)題。典型的過(guò)學(xué)習(xí)是多層前向網(wǎng)絡(luò)的BP算法4、Hebb學(xué)習(xí)規(guī)則答：如果兩個(gè)神經(jīng)元同時(shí)興奮(即同時(shí)被激活)，則它們之間的突觸連接加強(qiáng)。如果用、表示神經(jīng)元i和j的激活值(輸出)，表示兩個(gè)神經(jīng)元之間的連接權(quán)，則Hebb學(xué)習(xí)規(guī)則可以表示為： ，這里表示學(xué)習(xí)速率。Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作Hebb學(xué)習(xí)規(guī)則的變形。5、自學(xué)習(xí)、自組織與自適應(yīng)性答：神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上的特征是處理單元的高度并行性與分布性，這種特征使神經(jīng)網(wǎng)絡(luò)在信息處理方面具有信息的分布存儲(chǔ)與并行計(jì)算而且存儲(chǔ)與處理一體化的特點(diǎn)。而這些特點(diǎn)必然給神經(jīng)網(wǎng)絡(luò)帶來(lái)較快的處理速度和較強(qiáng)的容錯(cuò)能力。能力方面的特征是神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)、自組織與自性適應(yīng)性。自適應(yīng)性是指一個(gè)系統(tǒng)能改變自身的性能以適應(yīng)環(huán)境變化的能力，它包含自學(xué)習(xí)與自組織兩層含義。自學(xué)習(xí)是指當(dāng)外界環(huán)境發(fā)生變化時(shí)，經(jīng)過(guò)一段時(shí)間的訓(xùn)練或感知，神經(jīng)網(wǎng)絡(luò)能通過(guò)自動(dòng)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，使得對(duì)于給定輸入能產(chǎn)生期望的輸出。自組織是指神經(jīng)系統(tǒng)能在外部刺激下按一定規(guī)則調(diào)整神經(jīng)元之間的突觸連接，逐漸構(gòu)建起神經(jīng)網(wǎng)絡(luò)。也就是說(shuō)自組織神經(jīng)元的學(xué)習(xí)過(guò)程，完全是一種自我學(xué)習(xí)的過(guò)程，不存在外部教師的示教。二、問(wèn)答題（共7題，每題8分，共計(jì)56分）3、人工神經(jīng)網(wǎng)絡(luò)是模擬生物神經(jīng)網(wǎng)絡(luò)的產(chǎn)物，除相同點(diǎn)外，它們還存在哪些主要區(qū)別？答; 1單元上的差別 對(duì)于生物神經(jīng)元而言，影響突觸傳遞信息強(qiáng)度的因素很多、很復(fù)雜。如突觸前微細(xì)胞的大小與多少、神經(jīng)傳遞化學(xué)物質(zhì)含量的多少、神經(jīng)傳遞化學(xué)物質(zhì)釋放的速度、突觸間隙的變化、樹突的位置與大小等諸多因素都會(huì)對(duì)突觸電位產(chǎn)生影響，從而影響神經(jīng)元的輸出脈沖響應(yīng)。而人工神經(jīng)元?jiǎng)t忽略了這些影響，輸入、輸出關(guān)系十分簡(jiǎn)單。2信息上的差別 生物神經(jīng)元傳遞的信息是脈沖，而人工神經(jīng)元傳遞的信息是模擬電壓。3規(guī)模與智能上的差別 目前，人工神經(jīng)網(wǎng)絡(luò)的規(guī)模還遠(yuǎn)小于生物神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)中神經(jīng)元的數(shù)量一般在104個(gè)以下，顯然，其智能也無(wú)法與生物神經(jīng)網(wǎng)絡(luò)相比。4、感知器神經(jīng)網(wǎng)絡(luò)存在的主要缺陷是什么？答: 1)由于感知器的激活函數(shù)采用的是閥值函數(shù)，輸出矢量只能取0或1，所以只能用它來(lái)解決簡(jiǎn)單的分類問(wèn)題；2)感知器僅能夠線性地將輸入矢量進(jìn)行分類。理論上已經(jīng)證明，只要輸人矢量是線性可分的，感知器在有限的時(shí)間內(nèi)總能達(dá)到目標(biāo)矢量；3)感知器還有另外一個(gè)問(wèn)題，當(dāng)輸入矢量中有一個(gè)數(shù)比其他數(shù)都大或小得很多時(shí)，可能導(dǎo)致較慢的收斂速度。5、請(qǐng)比較前饋型神經(jīng)網(wǎng)絡(luò)與反饋型神經(jīng)網(wǎng)絡(luò)的異同點(diǎn)。（8分）答：前饋型神經(jīng)網(wǎng)絡(luò)只表達(dá)輸入輸出之間的映射關(guān)系，實(shí)現(xiàn)非線性映射；反饋型神經(jīng)網(wǎng)絡(luò)考慮輸入輸出之間在時(shí)間上的延遲，需要用動(dòng)態(tài)方程來(lái)描述，反饋型神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)。(1) 前饋型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練主要采用BP算法，計(jì)算過(guò)程和收斂速度比較慢；反饋型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)主要采用Hebb規(guī)則，一般情況下計(jì)算的收斂速度很快，并且它與電子電路有明顯的對(duì)應(yīng)關(guān)系，使得網(wǎng)絡(luò)易于用硬件實(shí)現(xiàn)。(2) 前饋型神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的目的是快速收斂，一般用誤差函數(shù)來(lái)判定其收斂程度；反饋型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)目的是快速尋找到穩(wěn)定點(diǎn)，一般用能量函數(shù)來(lái)判別是否趨于穩(wěn)定點(diǎn)。(3) 兩者都有局部極小問(wèn)題。6、BP算法的基本思想是什么，它存在哪些不足之處？（9分）答：BP算法（即反向傳播法）的基本思想是：學(xué)習(xí)過(guò)程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過(guò)程組成。1）正向傳播：輸入樣本輸入層各隱層（處理）輸出層注1：若輸出層實(shí)際輸出與期望輸出（教師信號(hào)）不符，則轉(zhuǎn)入2）（誤差反向傳播過(guò)程）2）誤差反向傳播：輸出誤差（某種形式）隱層（逐層）輸入層其主要目的是通過(guò)將輸出誤差反傳，將誤差分?jǐn)偨o各層所有單元，從而獲得各層單元的誤差信號(hào)，進(jìn)而修正各單元的權(quán)值（其過(guò)程，是一個(gè)權(quán)值調(diào)整的過(guò)程）。注2：權(quán)值調(diào)整的過(guò)程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過(guò)程（學(xué)習(xí)也就是這么的由來(lái)，權(quán)值調(diào)整）。雖然BP算法得到廣泛的應(yīng)用，但它也存在自身的限制與不足，其主要表現(xiàn)在于它的訓(xùn)練過(guò)程的不確定上。具體說(shuō)明如下：1）易形成局部極