課件神經(jīng)網(wǎng)絡(luò)-課程匯報(bào)

神經(jīng)網(wǎng)絡(luò)課程匯報(bào)內(nèi)容介紹神經(jīng)網(wǎng)絡(luò)的基本原理BP神經(jīng)網(wǎng)絡(luò)在詞義消歧（WordSenseDisambiguation）中的應(yīng)用總結(jié)背景“人工神經(jīng)網(wǎng)絡(luò)”（ArtificialNeuralNetwork,ANN）是在對(duì)人腦組織結(jié)構(gòu)和運(yùn)行機(jī)制的認(rèn)識(shí)理解基礎(chǔ)之上模擬其結(jié)構(gòu)和智能行為的一種工程系統(tǒng)。早在20世紀(jì)40年代初期,心理學(xué)家McCulloch,數(shù)學(xué)家Pitts就提出了人工神經(jīng)網(wǎng)絡(luò)的第一個(gè)數(shù)學(xué)模型,從此開創(chuàng)了神經(jīng)科學(xué)理論的研究時(shí)代。其后,Rosenblatt,Widrow和Hopfield等學(xué)者又先后提出了感知模型,使得人工神經(jīng)網(wǎng)絡(luò)技術(shù)得以蓬勃發(fā)展?；咎卣鳎?）神經(jīng)元及其連接。從系統(tǒng)構(gòu)成的形式上看,由于人工神經(jīng)網(wǎng)絡(luò)是受生物神經(jīng)系統(tǒng)的啟發(fā)構(gòu)成的,從神經(jīng)元本身到連接模式,基本上都是以與生物神經(jīng)系統(tǒng)相似的方式工作的。（2）信息的存儲(chǔ)與處理。從表現(xiàn)特征上看,人工神經(jīng)網(wǎng)絡(luò)也力求模擬生物神經(jīng)系統(tǒng)的基本運(yùn)行方式,并且可以通過相應(yīng)的學(xué)習(xí)/訓(xùn)練算法,將蘊(yùn)含在一個(gè)較大數(shù)據(jù)集中的數(shù)據(jù)聯(lián)系抽象出來,就像人們可以不斷地探索規(guī)律,總結(jié)經(jīng)驗(yàn)一樣,可以從先前得到的例子中找出一般規(guī)律或一般框架,再按要求產(chǎn)生出新的實(shí)例。人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)可以充分逼近任意復(fù)雜的非線性關(guān)系所有定量或定性的信息都等勢(shì)分布存儲(chǔ)于網(wǎng)絡(luò)內(nèi)的各神經(jīng)元,故有很強(qiáng)的魯棒性和容錯(cuò)性采用并行分布處理方法,使得快速進(jìn)行大量運(yùn)算成為可能可學(xué)習(xí)和自適應(yīng)不知道或不確定的系統(tǒng)能夠同時(shí)處理定量,定性知識(shí)人工神經(jīng)元的組成一個(gè)神經(jīng)網(wǎng)絡(luò)由多個(gè)互連的神經(jīng)元組成,神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本處理單元,它一般是多個(gè)輸入、一個(gè)輸出的非線性單元,如下圖

…

人工神經(jīng)元的組成神經(jīng)元的輸入為其中,wij是單元j與前一層單元i之間的連接權(quán)值；Oi是單元i的輸出；為改變單元j活性的偏置,一般在區(qū)間[-1,1]上取值。神經(jīng)元的輸出Yj=f(netj)其中f(netj)為神經(jīng)元輸入/輸出關(guān)系的函數(shù),稱為神經(jīng)元功能函數(shù),激活函數(shù)。通常,神經(jīng)元功能函數(shù)（激活函數(shù)）f描述了神經(jīng)元在輸入信號(hào)作用下產(chǎn)生的輸出信號(hào)的規(guī)律,這是神經(jīng)元模型的外特征f函數(shù)形式多樣，根據(jù)激活函數(shù)的不同，相應(yīng)的有不同的形式神經(jīng)元模型:(1)閾值型:激活函數(shù)f為一階躍函數(shù)(2)線性飽和型:輸入/輸出特性在一定的區(qū)間內(nèi)滿足線性關(guān)系。(3)S(sigmoid)型:f為sigmoid函數(shù)，它是一個(gè)有最大輸出值的非線性函數(shù)，其輸出值是在某個(gè)范圍內(nèi)連續(xù)取值的。S型激活函數(shù)反映了神經(jīng)元的非線性輸出特性。(4)子閾累積型(5)概率型神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)分層網(wǎng)絡(luò)結(jié)構(gòu)分層網(wǎng)絡(luò)結(jié)構(gòu)又稱為層次網(wǎng)絡(luò)結(jié)構(gòu),按層的多少,可分為單層,雙層及多層的網(wǎng)絡(luò)結(jié)構(gòu)(1)單層或雙層網(wǎng)絡(luò)結(jié)構(gòu)。最早的神經(jīng)網(wǎng)絡(luò)模型的互連模式是單層或雙層結(jié)構(gòu),這種互連模式是最簡單的層級(jí)結(jié)構(gòu)。感知機(jī)就是采用這種結(jié)構(gòu),如下圖所示單層與雙層神經(jīng)網(wǎng)絡(luò)互連結(jié)構(gòu)…(2)多層網(wǎng)絡(luò)結(jié)構(gòu)。在神經(jīng)網(wǎng)絡(luò)模型中,有一種十分典型的互連模式,這就是多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),這種互連模式的代表有簡單的前向網(wǎng)絡(luò)(BP神經(jīng)網(wǎng)絡(luò))模式,多層側(cè)抑制(神經(jīng)網(wǎng)絡(luò)內(nèi)有相互連接的前向網(wǎng)絡(luò))模式和帶有反饋的多層神經(jīng)網(wǎng)絡(luò)模型。如下圖所示,一個(gè)簡單的前向多層神經(jīng)網(wǎng)絡(luò)輸入模式由輸入層進(jìn)入網(wǎng)絡(luò),經(jīng)過中間層的順序模式變換,最后由輸出層產(chǎn)生一個(gè)輸出模式,便完成一次網(wǎng)絡(luò)狀態(tài)更新。神經(jīng)網(wǎng)絡(luò)模型分類按學(xué)習(xí)方式分類按學(xué)習(xí)方式分為有導(dǎo)學(xué)習(xí)(有監(jiān)督訓(xùn)練),強(qiáng)化學(xué)習(xí)和無導(dǎo)學(xué)習(xí)(無監(jiān)督訓(xùn)練)3類網(wǎng)絡(luò)模型。(1)在有導(dǎo)的學(xué)習(xí)中,必須預(yù)先知道學(xué)習(xí)的期望結(jié)果,并按照某一學(xué)習(xí)規(guī)則來修正權(quán)值。(2)強(qiáng)化學(xué)習(xí)是利用某一技術(shù)表示“獎(jiǎng)/懲”的全局信號(hào),衡量與強(qiáng)化輸入相關(guān)的局部決策。(3)無導(dǎo)學(xué)習(xí)不需要指導(dǎo)信息,只要給定輸入信息,網(wǎng)絡(luò)能通過自組織,自調(diào)整,自學(xué)習(xí)并給出一定意義下的輸出響應(yīng)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)確定了網(wǎng)絡(luò)結(jié)構(gòu)（網(wǎng)絡(luò)層數(shù),各層單元數(shù)）之后,應(yīng)該確定各單元的偏置及單元之間的連接權(quán)值。學(xué)習(xí)過程就是調(diào)整這組權(quán)值和偏置,使每個(gè)訓(xùn)練樣本在輸出層單元上獲得期望輸出。學(xué)習(xí)目的就是找出一組權(quán)值和偏置,這組權(quán)值和偏置能使所有訓(xùn)練樣本在輸出層單元上獲得期望輸出。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法誤差向后傳播方法誤差修正學(xué)習(xí)方法是一種監(jiān)督學(xué)習(xí)（有導(dǎo)）過程,其基本思想是利用神經(jīng)網(wǎng)絡(luò)的期望輸出與實(shí)際輸出間的偏差作為調(diào)整連接權(quán)值的參考依據(jù),并最終減少這種偏差。誤差向后傳播方法的基本思想首先賦予每條有向加權(quán)邊初始權(quán)值、每個(gè)隱藏層與輸出層單元初始偏置；然后迭代地處理每個(gè)訓(xùn)練樣本；輸入它的描述屬性值,計(jì)算輸出層單元的實(shí)際輸出；比較實(shí)際輸出與期望輸出（類別屬性值）,將它們之間的誤差從輸出層經(jīng)每個(gè)隱藏層到輸入層“后向傳播”；根據(jù)誤差修改每條有向加權(quán)邊的權(quán)值及每個(gè)隱藏層與輸出層單元的偏置,使實(shí)際輸出與期望輸出之間的誤差最小。對(duì)于某個(gè)訓(xùn)練樣本,實(shí)際輸出與期望輸出的誤差Error定義為式中,c為輸出層的單元數(shù)目；Tk為輸出層單元k的期望輸出；Ok為輸出層單元k的實(shí)際輸出。首先考慮輸出層單元k與前一層單元j之間的權(quán)值wjk的修改量Δwjk、單元k的偏置的修改量。式中,l為避免陷入局部最優(yōu)解的學(xué)習(xí)率,一般在區(qū)間[0,1]上取值。求解上式可以得到權(quán)值,偏置的修改量為式中,Oj為單元j的輸出；Errk是誤差Error對(duì)單元k的輸入netk的負(fù)偏導(dǎo)數(shù),即類似地,隱藏層單元j與前一層單元i之間的權(quán)值wij的修改量Δwij、單元j的偏置的修改量為式中,l為學(xué)習(xí)率；Oi為單元i的輸出；Oj為單元j的輸出；Errk為與單元j相連的后一層單元k的誤差；wjk為單元j與單元k相連的有向加權(quán)邊的權(quán)值。權(quán)值，偏置的修改公式為權(quán)值、偏置的更新有兩種策略:1）處理一個(gè)訓(xùn)練樣本更新一次，稱為實(shí)例更新，一般采用這種策略。2）累積權(quán)值、偏置，當(dāng)處理所有訓(xùn)練樣本后再一次更新，稱為周期更新。一般，在訓(xùn)練前饋神經(jīng)網(wǎng)絡(luò)時(shí)，誤差后向傳播算法經(jīng)過若干周期以后，可以使誤差Error小于設(shè)定閾值，此時(shí)認(rèn)為網(wǎng)絡(luò)收斂，結(jié)束迭代過程。此外，也可以定義如下結(jié)束條件:1）前一周期所有的權(quán)值變化都很小，小于某個(gè)設(shè)定閾值；2）前一周期預(yù)測(cè)的準(zhǔn)確率很大，大于某個(gè)設(shè)定閾值；3）周期數(shù)大于某個(gè)設(shè)定閾值。23算法:誤差后向傳播算法輸入:訓(xùn)練數(shù)據(jù)集S，前饋神經(jīng)網(wǎng)絡(luò)NT，學(xué)習(xí)率l輸出:經(jīng)過訓(xùn)練的前饋神經(jīng)網(wǎng)絡(luò)NT步驟:（1）在區(qū)間[-1,1]上隨機(jī)初始化NT中每條有向加權(quán)邊的權(quán)值、每個(gè)隱藏層與輸出層單元的偏置（2）while結(jié)束條件不滿足（2.1）forS中每個(gè)訓(xùn)練樣本s24（2.1.1）for隱藏層與輸出層中每個(gè)單元j//從第一個(gè)隱藏層開始向前傳播輸入（2.1.2）for輸出層中每個(gè)單元k

Errk=Ok(1-Ok)(Tk-Ok)25（2.1.3）for隱藏層中每個(gè)單元j//從最后一個(gè)隱藏層開始向后傳播誤差（2.1.4）forNT中每條有向加權(quán)邊的權(quán)值wij

wij=wij+l·ErrjOi（2.1.5）for隱藏層與輸出層中每個(gè)單元的偏置θj

θj=θj+l·Errj一個(gè)學(xué)習(xí)的例子例.假設(shè)訓(xùn)練樣本s的描述屬性值與類別屬性值分別為{1,0,1}與1,前饋神經(jīng)網(wǎng)絡(luò)NT如下圖所示,NT中每條有向加權(quán)邊的權(quán)值、每個(gè)隱藏層與輸出層單元的偏置如表7.3所示,學(xué)習(xí)率為0.9。寫出輸入s訓(xùn)練NT的過程。前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)28表1NT中邊的權(quán)值、單元的偏置x1

x2

x3

w14

w15

w24

w25w34

w35

w46w56θ4

θ5

θ6

1010.2－0.30.40.1－0.50.2－0.3－0.2－0.40.20.1wij和θj是隨機(jī)產(chǎn)生的,l＝0.929表7.4隱藏層與輸出層中單元的輸入、輸出單元j

輸入netj

輸出Oj

40.2*1+0.4*0+(－0.5)*1+(－0.4)=－0.71/(1+e－(－0.7))=0.3325(－0.3)*1+0.1*0+(0.2)*1+0.2=0.11/(1+e－0..1)=0.5256(－0.3)*0.332+(－0.2)*0.525+0.1=－0.1051/(1+e－(－0.105))=0.47430表7.5隱藏層與輸出層中單元的Err

單元j

Errj

60.474*(1－0.474)*(1－0.474)=0.131150.525*(1－0.525)*(0.1311*(－0.2))=－0.006540.332*(1－0.332)*(0.1311*(－0.3))=－0.0087Errk=Ok(1-Ok)(Tk-Ok)31表7.6NT中邊的新權(quán)重、單元的新偏置

w46

－0.3+0.9*0.1311*0.332=－0.261w56

－0.2+0.9*0.1311*0.525=－0.138w14

0.2+0.9*(－0.0087)*1=0.192w15

－0.3+0.9*(－0.0065)*1=－0.306w24

0.4+0.9*(－0.0087)*0=0.4w25

0.1+0.9*(－0.0065)*0=0.1w34

－0.5+0.9*(－0.0087)*1=－0.508w35

0.2+0.9*(－0.0065)*1=－0.194θ6

0.1+0.9*0.1311=0.218θ5

0.2+0.9*(－0.0065)=0.194θ4

－0.4+0.9*(－0.0087)=－0.408wij=wij+l·ErrjOiθj=θj+l·Errj神經(jīng)網(wǎng)絡(luò)分類學(xué)習(xí)結(jié)束后,神經(jīng)網(wǎng)絡(luò)得到一組固定的權(quán)值及偏置。新樣本到來后,將其描述屬性值送入輸入層各單元,從輸入層到輸出層正向傳播,計(jì)算輸出層各單元的值{O1,O2,…,On},令r=max(O1,O2,…,On),則第r個(gè)輸出層單元所代表的類別就是該樣本所屬的類別。例如,在例7.6中,只有一個(gè)輸出層單元,表示只有兩個(gè)類別（A類、B類）。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)結(jié)束后,表7.6中的各權(quán)值和偏置都固定。將一個(gè)新樣本X=（x1,x2,x3）送入輸入層后可以計(jì)算出O6,若O6≈1,則表示X應(yīng)屬于A類；若O6≈0,則表示X應(yīng)屬于B類；若O6≈0.5,則拒絕分類。神經(jīng)網(wǎng)絡(luò)在詞義消歧中的應(yīng)用詞義消歧(WSD)一直是自然語言處理(NLP)領(lǐng)域一個(gè)非常重要的研究課題,詞義消歧問題幾乎覆蓋了各種自然語言處理系統(tǒng),其中包括信息檢索(IR)、機(jī)器翻譯(MT)、關(guān)鍵詞的提取、語音識(shí)別、文本分類和自動(dòng)文摘等。據(jù)統(tǒng)計(jì),在信息檢索中引入詞義消歧技術(shù)術(shù)后,可使檢索的準(zhǔn)確率提高5.2%?？梢?詞義消歧在自然語言處理中是不可避免的基礎(chǔ)問題。Forinstance,considerthefollowingsentences:(a)Icanhearbasssounds.(b)Theylikegrilledbass.出現(xiàn)在上面兩個(gè)句子中的bass很明顯表示不同的意思:低音的(adj)和一種魚(n.鱸魚).問題描述多義詞的詞義消歧主要是為了解決自然語言中同形異義詞義在不同語境下的義項(xiàng)問題,因此主要利用多義詞的上下文信息來決定義項(xiàng)類別的歸屬問題。在早期主要采用規(guī)則方式來解決詞義消歧,此種方法主要通過約束性規(guī)則來定義上下文中帶消歧的詞義,這樣需要一個(gè)具有完備性、一致性、可擴(kuò)充性和對(duì)開放領(lǐng)域適應(yīng)性的語料庫,如何有效構(gòu)造規(guī)則庫和進(jìn)行知識(shí)獲取是該方法的瓶頸問題。隨著用在詞義消歧上的機(jī)器學(xué)習(xí)方法的增多,如決策樹、決策表、Na?ve-Bayes、神經(jīng)網(wǎng)絡(luò)、最大熵方法等,我們逐步使用基于語料庫的統(tǒng)計(jì)方法來進(jìn)行詞義消歧?；谡Z料庫的統(tǒng)計(jì)方法根據(jù)訓(xùn)練語料事先是否經(jīng)過人工標(biāo)注又分為有指導(dǎo)的和無指導(dǎo)的兩類。有指導(dǎo)的機(jī)器學(xué)習(xí)方法在此問題上取得了比較好的效果,但是它存在數(shù)據(jù)稀疏問題,要獲得更有效的消歧效果,必須要有一個(gè)規(guī)模大、覆蓋廣、有效的、帶標(biāo)注的語料庫的支持。而語料庫始終難以覆蓋自然語言領(lǐng)域中所有的情況,并且?guī)?biāo)注的語料庫需要大量的人工勞動(dòng),客觀上這些問題限制了該類方法的應(yīng)用。基于BP神經(jīng)網(wǎng)絡(luò)(Back-Propagation)的有導(dǎo)詞義消歧方法利用BP神經(jīng)網(wǎng)絡(luò)的泛化功能來解決傳統(tǒng)有導(dǎo)消歧中的數(shù)據(jù)稀疏問題,達(dá)到比較好的詞義消歧實(shí)驗(yàn)結(jié)果BP神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)BP網(wǎng)絡(luò)對(duì)于在樣本集合中未訓(xùn)練過的輸入,也能根據(jù)網(wǎng)絡(luò)的節(jié)點(diǎn)分析給出合適的輸出,即BP網(wǎng)絡(luò)的泛化(Generalization)功能。從函數(shù)擬合的角度看,這種泛化也說明BP網(wǎng)絡(luò)具有插值功能。這個(gè)功能也就是我們?cè)谠~義消歧中采用此種方法重要的原因之一,因?yàn)樗梢院芎玫乇苊鈹?shù)據(jù)稀疏問題。利用BP神經(jīng)網(wǎng)絡(luò)構(gòu)建WSD模型對(duì)BP神經(jīng)網(wǎng)絡(luò)模型來說,如何較好地確定神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)對(duì)神經(jīng)網(wǎng)絡(luò)的應(yīng)用效果是非常重要的。在實(shí)驗(yàn)過程中,對(duì)神經(jīng)網(wǎng)絡(luò)的參數(shù)要進(jìn)行優(yōu)化和研究,主要有:輸入層節(jié)點(diǎn)數(shù),隱藏層節(jié)點(diǎn)數(shù),輸出層節(jié)點(diǎn)數(shù),激發(fā)函數(shù),學(xué)習(xí)因子等。

漢語多義詞統(tǒng)計(jì)(4)確定輸出量

對(duì)于每一個(gè)待消歧詞都會(huì)訓(xùn)練一個(gè)模型,由表2可知,多義詞的平均義項(xiàng)在2～3個(gè),因此,實(shí)驗(yàn)中取每個(gè)待消歧詞的三個(gè)義項(xiàng)來構(gòu)成輸出向量。(5)確定隱藏層的節(jié)點(diǎn)數(shù)中間的隱含層的節(jié)點(diǎn)數(shù)比較靈活,在實(shí)驗(yàn)中通過枚舉的辦法最終確定15個(gè)節(jié)點(diǎn)的實(shí)驗(yàn)結(jié)果最優(yōu)。(6)實(shí)驗(yàn)的過程與結(jié)果利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行詞義消歧主要包括兩個(gè)階段:訓(xùn)練或?qū)W習(xí)階段(trainingorlearningphase)