數(shù)據(jù)融合實用教案

1、神經(jīng)網(wǎng)絡(luò)性質(zhì)(xngzh)和能力n1.非線性2. 輸入輸出映射(yngsh)3. 適應(yīng)性4. 證據(jù)(zhngj)響應(yīng)5. 背景的信息6. 容錯性7. VLSI 實現(xiàn)8. 分析和設(shè)計的一致性9. 神經(jīng)生物類比第1頁/共40頁第一頁，共40頁。神經(jīng)網(wǎng)絡(luò)性質(zhì)(xngzh)和能力 1. 非線性。一個人工神經(jīng)元可以是線性或者是非線性的。 一個由非線性神經(jīng)元互聯(lián)而成的神經(jīng)網(wǎng)絡(luò)自身是非線性的, 并且非線性是一種分布于整個(zhngg)網(wǎng)絡(luò)中的特殊性質(zhì)。第2頁/共40頁第二頁，共40頁。2. 2. 輸入輸出映射(yngsh)(yngsh) 有監(jiān)督學(xué)習(xí)(xux)或有教師學(xué)習(xí)(xux)是一個學(xué)習(xí)(xux)的流行范

2、例, 涉及使用帶標(biāo)號的訓(xùn)練樣本或任務(wù)例子對神經(jīng)網(wǎng)絡(luò)的權(quán)值進行修改。 每個樣本由一個惟一的輸入信號和相應(yīng)期望響應(yīng)組成。從一個訓(xùn)練集中隨機選取一個樣本給網(wǎng)絡(luò), 網(wǎng)絡(luò)就調(diào)整它的突觸權(quán)值 ( 自由參數(shù) ), 以最小化期望響應(yīng)和由輸入信號以適當(dāng)?shù)慕y(tǒng)計準(zhǔn)則產(chǎn)生的實際響應(yīng)之間的差別。第3頁/共40頁第三頁，共40頁。 使用訓(xùn)練集中的很多例子重復(fù)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練, 直到網(wǎng)絡(luò)到達沒有顯著的突觸權(quán)值修正的穩(wěn)定狀態(tài)為止。 先前用過的例子可能還要在訓(xùn)練期間以不同順序重復(fù)使用。因此對當(dāng)前(dngqin)問題網(wǎng)絡(luò)通過建立輸入輸出映射從例子中進行學(xué)習(xí)。第4頁/共40頁第四頁，共40頁。3. 3. 適應(yīng)性 神經(jīng)網(wǎng)絡(luò)(wnglu

3、)嵌入了一個調(diào)整自身突觸權(quán)值以適應(yīng)外界變化的能力。特別是一個在特定運行環(huán)境下接受訓(xùn)練的神經(jīng)網(wǎng)絡(luò)(wnglu), 對環(huán)境條件不大的變化可以容易進行重新訓(xùn)練。而且, 當(dāng)它在一個時變環(huán)境中運行時, 網(wǎng)絡(luò)(wnglu)突觸權(quán)值就可以設(shè)計成隨時間變化。n用于模式識別(m sh sh bi)(m sh sh bi)、信號處理和控制的神經(jīng)網(wǎng)絡(luò)與它的自適應(yīng)能力結(jié)合, , 就可以變成能進行自適應(yīng)模式識別(m sh sh bi)(m sh sh bi)、自適應(yīng)信號處理和自適應(yīng)控制的有效工具。第5頁/共40頁第五頁，共40頁。 一般規(guī)則, 在保證系統(tǒng)保持穩(wěn)定時一個系統(tǒng)的自適應(yīng)性越好, 當(dāng)要求在一個時變環(huán)境(hunj

4、ng)下運行時它的性能就越具魯棒性。n但是, , 需要(xyo)(xyo)強調(diào)的是, , 自適應(yīng)性不一定導(dǎo)致魯棒性, , 實際可能相反。為最大限度實現(xiàn)自適應(yīng)性, , 系統(tǒng)的主要時間常數(shù)應(yīng)該長到可以忽略寄生干擾, , 而短到可以反應(yīng)環(huán)境的重要變化。第6頁/共40頁第六頁，共40頁。4.證據(jù)(zhngj)響應(yīng) 在模式識別的問題中, 神經(jīng)網(wǎng)絡(luò)可以設(shè)計成既提供不限于選擇哪一個(y )特定模式的信息, 也提供決策的置信度的信息。 后者可以用來拒判那些出現(xiàn)的過于模糊的模 式。有這些信息, 網(wǎng)絡(luò)的分類性能就會改善。第7頁/共40頁第七頁，共40頁。5. 背景(bijng)的信息 神經(jīng)網(wǎng)絡(luò)的特定結(jié)構(gòu)和激發(fā)狀態(tài)

5、代表知識。網(wǎng)絡(luò)中每一個神經(jīng)元潛在地都受網(wǎng)絡(luò)中所有(suyu)其他神經(jīng)元全局活動的影響。因此, 背景信息自然由一個神經(jīng)網(wǎng)絡(luò)處理。第8頁/共40頁第八頁，共40頁。6.容錯性 一個以硬件形式實現(xiàn)后的神經(jīng)網(wǎng)絡(luò)有天生容錯的潛質(zhì), 或者魯棒計算的能力, 意即它的性能在不利運行條件下逐漸下降。 比如, 一個神經(jīng)元或它的連接損壞了, 存儲模式的回憶在質(zhì)量(zhling)上被削弱。但是 , 由于網(wǎng)絡(luò)信息存儲的分布特性, 在網(wǎng)絡(luò)的總體響應(yīng)嚴(yán)重惡化之前這種損壞是分散的。因此, 原則上,一個神經(jīng)網(wǎng)絡(luò)的性能顯示了一個緩慢惡化而不是災(zāi)難性的失敗。第9頁/共40頁第九頁，共40頁。7.VLSI 實現(xiàn)(shxin) 神經(jīng)網(wǎng)

6、絡(luò)的大規(guī)模并行性使它具有快速處理某些任務(wù)的潛在能力. 這一特性使得神經(jīng)網(wǎng)絡(luò)很適合用超大規(guī)模集成 (very-large-scale-integrated,VLSI) 技術(shù)實現(xiàn). VLSI特殊優(yōu)點是提供一個以高度(god)分層的方式捕捉真實復(fù)雜性行為的方法。第10頁/共40頁第十頁，共40頁。8. 分析(fnx)和設(shè)計的一致性 基本上, 神經(jīng)網(wǎng)絡(luò)作為信息處理器具有通用性。即涉及神經(jīng)網(wǎng)絡(luò)的應(yīng)用的所有領(lǐng)域都使用同樣記號。這種特征以不同的方式表現(xiàn)出來: 神經(jīng)元: 不管形式如何, 在所有的神經(jīng)網(wǎng)絡(luò)中都代表一個相同成分。 這種共性使得在不同應(yīng)用中的神經(jīng)網(wǎng)絡(luò)共享相同的理論和學(xué)習(xí)算法成為可能。 模塊化網(wǎng)絡(luò)可以

7、(ky)用模塊的無縫集成來實現(xiàn)。第11頁/共40頁第十一頁，共40頁。9. 神經(jīng)(shnjng)生物類比 神經(jīng)網(wǎng)絡(luò)的設(shè)計是由對人腦的類比引發(fā)的, 人腦是一個容錯的并行處理的活生生的例子, 說明這種處理不光在物理上可實現(xiàn)的而且還是(hi shi)快速高效的。n神經(jīng)生物學(xué)家將( ( 人工 ) )神經(jīng)網(wǎng)絡(luò)看作是一個(y )(y )解釋神經(jīng)生物現(xiàn)象的研究工具。另一方面, , 工程師注意神經(jīng)生物學(xué)是將其作為解決復(fù)雜問題的新思路, , 這些問題比基于常規(guī)的硬件線路設(shè)計技術(shù)所能解決的問題更復(fù)雜。第12頁/共40頁第十二頁，共40頁。網(wǎng)絡(luò)結(jié)構(gòu) 1.單層前饋網(wǎng)絡(luò)(wnglu) 2.多層前饋網(wǎng)絡(luò)(wnglu) 3

8、.遞歸網(wǎng)絡(luò)(wnglu)第13頁/共40頁第十三頁，共40頁。網(wǎng)絡(luò)結(jié)構(gòu) 1.單層前饋網(wǎng)絡(luò) 源節(jié)點構(gòu)成(guchng)輸入層，直接映射到神經(jīng)元輸出層上。源節(jié)點(ji din)(ji din)輸入層神經(jīng)元輸出(shch)層單層前饋或無圈神經(jīng)元網(wǎng)絡(luò)圖第14頁/共40頁第十四頁，共40頁。2.2.多層前饋網(wǎng)絡(luò)(wnglu)(wnglu) 網(wǎng)絡(luò)有一層或多層隱藏節(jié)點層, 相應(yīng)的計算節(jié)點稱為隱藏單元或隱藏神經(jīng)元。 隱藏神經(jīng)元的功能是以某種有用(yu yn)方式介入外部輸入和網(wǎng)絡(luò)輸出之中。加上一個或多個隱藏層, 網(wǎng)絡(luò)可以引出高階統(tǒng)計特性。 當(dāng)輸入層很大的時候, 隱藏層提取高階統(tǒng)計特性的能力就更有價值了。 第1

9、5頁/共40頁第十五頁，共40頁。 每一層的輸入都是上一層的輸出, 最后的輸出層給出相對于源節(jié)點的激活(j hu)模式的網(wǎng)絡(luò)輸出。圖中只有一個隱藏層以簡化神經(jīng)網(wǎng)絡(luò)的布局。這是一個 10-42 網(wǎng)絡(luò), 其中有 10 個源節(jié)點,4個隱藏神經(jīng)元,2 個輸出神經(jīng)元。源 節(jié) 點( j i din)輸入層隱藏(yncng ) 神 經(jīng)元層輸出神經(jīng)元層具有一個隱層和輸出層 的全連接前饋或元圈網(wǎng)絡(luò)圖n完全連接網(wǎng)絡(luò), , 相鄰層的任意一對節(jié)點都有連接。如果不 是這樣, ,稱為部分連接網(wǎng)絡(luò) 第16頁/共40頁第十六頁，共40頁。3.遞歸網(wǎng)絡(luò)(wnglu) 單層網(wǎng)絡(luò)的每一個神經(jīng)元的輸出都反饋到所有(suyu)其他神經(jīng)

10、元的輸入中去。沒有自反饋環(huán)沒有隱藏層。 自反饋環(huán)表示神經(jīng)元的輸出反饋到它自己的輸入上去。無自反饋(fnku)環(huán)和隱藏神經(jīng)元的遞歸網(wǎng)絡(luò)圖第17頁/共40頁第十七頁，共40頁。 圖示是帶有隱藏神經(jīng)元的一類遞歸網(wǎng)絡(luò)(wnglu), 反饋連接的起點包括隱藏層神經(jīng)元和輸出神經(jīng)元。有隱藏(yncng)神經(jīng)元的遞歸網(wǎng)絡(luò)第18頁/共40頁第十八頁，共40頁。 對于神經(jīng)網(wǎng)絡(luò)具有首要意義的性質(zhì)是網(wǎng)絡(luò)能從環(huán)境中學(xué)習(xí)的能力, 并通過學(xué)習(xí)改善(gishn)其行 為。 對行為的改善(gishn)是隨時間依據(jù)某一規(guī)定的度量進行的。神經(jīng)網(wǎng)絡(luò)通過施加于它的權(quán)值和偏置水平的調(diào)節(jié)的交互過程來學(xué)習(xí)它的環(huán)境。理想情況下, 神經(jīng)網(wǎng)絡(luò)在每

11、一次重復(fù)學(xué)習(xí)過 程后對它的環(huán)境便有更多的了解。第19頁/共40頁第十九頁，共40頁。神經(jīng)網(wǎng)絡(luò)的背景(bijng)中定義學(xué)習(xí) 學(xué)習(xí)是一個過程, 通過這個過程神經(jīng)網(wǎng)絡(luò)的自由參數(shù)在其嵌入的環(huán)境的激勵過程之下得到調(diào)節(jié)。學(xué)習(xí)的類型由參數(shù)改變的方式?jīng)Q定。 這個學(xué)習(xí)過程的定義(dngy)隱含著如下的事實: 1. 神經(jīng)網(wǎng)絡(luò)被一個環(huán)境所激勵。 2. 作為這個激勵的結(jié)果, 神經(jīng)網(wǎng)絡(luò)在它的自由參數(shù)上發(fā)生變化。 3. 由于神經(jīng)網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)的改變而以新的方式響應(yīng)環(huán)境。 解決學(xué)習(xí)問題的一個恰當(dāng)定義(dngy)的規(guī)則集合稱作學(xué)習(xí)算法第20頁/共40頁第二十頁，共40頁。單層感知器 感知器是用于線性可分模式分類(fn li)

12、的最簡單的神經(jīng)網(wǎng)絡(luò)模型。基本上它由一個具有可調(diào)權(quán)值和偏置的神經(jīng)元組成。n如果用來訓(xùn)練感知器的模式( (向量) )取自兩個(lin )(lin )線性可分的類, , 感知器算法是收斂的, , 稱為感知器收斂定理。第21頁/共40頁第二十一頁，共40頁。LMSLMS算法(sun f)(sun f) 單個神經(jīng)元也構(gòu)成一個自適應(yīng)濾波器的基礎(chǔ), 自適應(yīng)濾波器是不斷發(fā)展(fzhn)的信號處理主題的一個基本功能模塊。自適應(yīng)濾波器的發(fā)展(fzhn)很大程度上要歸功于有關(guān)最小均方(least mean square,LMS) 算法 (也被稱為delta 規(guī)則) 的經(jīng)典論文。第22頁/共40頁第二十二頁，共40頁

13、。 LMS算法雖然實現(xiàn)很簡單, 但在應(yīng)用(yngyng)中有很高的效率。事實上, 它在線性自適應(yīng)濾波中起著關(guān)鍵作用,線性指的是神經(jīng)元在線性模型下運行。 自適應(yīng)濾波器在天線、通信系統(tǒng)、控制系統(tǒng)、雷達、聲納、地震學(xué)和生物醫(yī)學(xué)工程等很多領(lǐng)域都有應(yīng)用(yngyng). LMS算法和感知器本質(zhì)上是相關(guān)的。第23頁/共40頁第二十三頁，共40頁。多層感知器 多層前饋網(wǎng)絡(luò)(wnglu)典型地由三部分組成: 一組感知單元( 源節(jié)點 )組成輸入層, 一層或多層計算節(jié)點的隱藏層, 還有一層計算節(jié)點的輸出層。 輸入信號在層層遞進基礎(chǔ)上前向傳播通過網(wǎng)絡(luò)(wnglu)。這些神經(jīng)網(wǎng)絡(luò)(wnglu)通常被稱為 (multi

14、layer perceptrons,MLPs), 它代表單層感知器的推廣。第24頁/共40頁第二十四頁，共40頁。 在監(jiān)督學(xué)習(xí)(xux)的方式下使用通稱為誤差反向傳播算法訓(xùn)練多層感知器, 它們已經(jīng)成功應(yīng)用于不同的復(fù)雜而困難的問題。誤差反向傳播算法是基于誤差修正學(xué)習(xí)(xux)規(guī)則的。第25頁/共40頁第二十五頁，共40頁。 基本上, 誤差反向傳播學(xué)習(xí)由兩次經(jīng)過網(wǎng)絡(luò)不同層的通過組成: 一次前向通過和一次反向通過。 在前向通過中,一個活動(hu dng)模式( 輸入向量 )作用于網(wǎng)絡(luò)感知節(jié)點,它的影響經(jīng)過網(wǎng)絡(luò)一層接一層地傳播。最后產(chǎn)生一個輸出作為網(wǎng)絡(luò)的實際響應(yīng)。在前向通過中,網(wǎng)絡(luò)的權(quán)值全為固定的。第

15、26頁/共40頁第二十六頁，共40頁。 多層感知器有三個突出的特點 : 1. 網(wǎng)絡(luò)中的每個神經(jīng)元模型包括一個非線性激活函數(shù)。感知器使用(shyng)的限幅函數(shù),非線性是光滑的 ( 即處處可微 ) 。滿足非線性要求的一個普遍應(yīng)用形式是由 logistic 函數(shù)第27頁/共40頁第二十七頁，共40頁。 另一方面,在反向通過中,權(quán)值全部根據(jù)誤差修正規(guī)則來調(diào)整。特別是從目標(biāo)響應(yīng)減去網(wǎng)絡(luò)的實際響應(yīng)而產(chǎn)生誤差信號(xnho)。這個誤差信號(xnho)反向傳播經(jīng)過網(wǎng)絡(luò), 因此叫誤差反向傳播 。權(quán)值被調(diào)整使得網(wǎng)絡(luò)的實際響應(yīng)從統(tǒng)計意義上接近目標(biāo)響應(yīng)。 誤差反向傳播算法在文獻中稱為反向傳播算法 (back-pro

16、pagation algorithm), 或是簡單稱為反向傳播 (back-prop) 。第28頁/共40頁第二十八頁，共40頁。 2. 網(wǎng)絡(luò)包括一層或多層隱藏神經(jīng)元, 它們不是網(wǎng)絡(luò)輸入輸出的部分。這些隱藏層神經(jīng)元逐步從輸人模式( 向量 )中提取(tq)更多的有用特征, 可以使網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜的任務(wù)。第29頁/共40頁第二十九頁，共40頁。 3. 網(wǎng)絡(luò)展示出高度的連接性,它由網(wǎng)絡(luò)突觸決定。網(wǎng)絡(luò)連接的改變需要突觸連接數(shù)量或其權(quán)值的改變。 正是由上述特性以及通過訓(xùn)練從經(jīng)驗中學(xué)習(xí)的能力相結(jié)合使得(sh de)多層感知器具有它的計算能力。第30頁/共40頁第三十頁，共40頁。徑向(jn xin)(jn x

17、in)基函數(shù)網(wǎng)絡(luò) 反向傳播算法可以看作是腦技術(shù)的應(yīng)用, 這種技術(shù)在統(tǒng)計學(xué)中通稱為隨機逼近。 將神經(jīng)網(wǎng)絡(luò)的設(shè)計看作是一個高維空間中的曲線擬合(逼近)問題, 學(xué)習(xí)等價于在多維空間中尋找(xnzho)一個能夠最佳擬合訓(xùn)練數(shù)據(jù)的曲面, “最佳擬合”的準(zhǔn)則是在某種統(tǒng)計意義上的最佳擬合。 泛化等價于利用這個多維曲面對測試數(shù)據(jù)進行插值。第31頁/共40頁第三十一頁，共40頁。 是徑向基函數(shù)方法的出發(fā)點。在神經(jīng)網(wǎng)絡(luò)的背景下, 隱藏單元提供一個(y ) “ 函數(shù) ” 集 , 該函數(shù)集在輸入模式 ( 向量 ) 擴展至隱藏空間時為其構(gòu)建了一個(y )任意的 “基”; 這個函數(shù)集中的函數(shù)稱為徑向基函數(shù)。徑向基函數(shù)首先

18、是在實多變量插值問題的解中引人的。徑向基函數(shù)是目前數(shù)值分析研究中的一個(y )主要領(lǐng)域。第32頁/共40頁第三十二頁，共40頁。 最基本形式的徑向基函數(shù) (RBF) 網(wǎng)絡(luò)的構(gòu)成包括三層, 其中每一層都有著完全不同的作用。輸入層由一些源點 ( 感知單元 ) 組成, 它們將網(wǎng)絡(luò)與外界環(huán)境連結(jié)起來。第二層是網(wǎng)絡(luò)中僅有的一個隱層, 它的作用是從輸入空間到隱藏空間之間進行(jnxng)非線性變換; 在大多數(shù)情況下隱藏空間有較高的維數(shù)。輸出層是線性的, 它為作用于輸入層的激活模式( 信號 )提供響應(yīng)。第33頁/共40頁第三十三頁，共40頁。 如非線性變換之后跟隨線性變換，一個模式分類問題如果映射到一個高維空間將會比映射到一個低維更可能是線性可分的, 這就是(jish)徑向基函數(shù)網(wǎng)絡(luò)的隱藏空間的維數(shù)通常都較高的原因。n還有一個重要的原因(yunyn), (yunyn), 就是隱藏空間的維數(shù)與網(wǎng)絡(luò)能否逼近一個光滑的輸入輸出映射有直接的聯(lián)系：隱藏空間的維數(shù)越高, , 逼近就越精確。第34頁/共40頁第三十四頁，共40頁。 反向傳播算法訓(xùn)練(xnlin)的多層感知器， 徑向基網(wǎng)絡(luò)都是