神經(jīng)網(wǎng)絡(luò)配套Ch4pres課件

感知機(jī)學(xué)習(xí)規(guī)則學(xué)習(xí)的分類(lèi)?

有監(jiān)督學(xué)習(xí)（有導(dǎo)師學(xué)習(xí)） 提供網(wǎng)絡(luò)一組能代表網(wǎng)絡(luò)行為的實(shí)例集合

(訓(xùn)練集)：?

增強(qiáng)學(xué)習(xí)（半監(jiān)督學(xué)習(xí)） 僅提供一個(gè)級(jí)別(或評(píng)分)，作為網(wǎng)絡(luò)在某些輸入序列上的性能測(cè)度。?

無(wú)監(jiān)督學(xué)習(xí)（無(wú)導(dǎo)師學(xué)習(xí)） 學(xué)習(xí)僅根據(jù)網(wǎng)絡(luò)的輸入來(lái)學(xué)會(huì)將輸入模式分類(lèi)

（聚類(lèi)）。(輸入,目標(biāo)輸出)。感知機(jī)的結(jié)構(gòu)Ww11,w12,?w1R,w21,w22,?w2R,wS1,wS2,?wSR,=wiwi1,wi2,wiR,=WwT1wT2wTS=單個(gè)神經(jīng)元感知機(jī)工作原理p1+p2–1=0判定邊界? 所有在判定邊界上的點(diǎn)與權(quán)向量的內(nèi)積相同。? 這些點(diǎn)一定是在一條與權(quán)向量垂直的線上。例子–“或(OR)”“或”的解答（圖解法）方程的法向量是權(quán)向量(與判定邊界垂直)：方程的常數(shù)項(xiàng)是判定邊界的偏置值：兩點(diǎn)式直線方程：例如點(diǎn)(x1,y1)和(x2,y2)：選一個(gè)判定邊界及其上的兩點(diǎn)得其方程：例如點(diǎn)(0.5,0)和(0,0.5)多神經(jīng)元感知機(jī)?每個(gè)神經(jīng)元將有自己的判定邊界：?單個(gè)神經(jīng)元可以將輸入向量分為兩類(lèi)。?一個(gè)有S個(gè)神經(jīng)元的感知機(jī)可將輸入向量分為多類(lèi)，共有2S種可能的類(lèi)別。感知機(jī)學(xué)習(xí)規(guī)則?為滿足給定的訓(xùn)練樣本：?設(shè)計(jì)一般性的方法來(lái)確定感知機(jī)的權(quán)和偏置值。初始化將p1送入網(wǎng)絡(luò)：隨機(jī)初始化權(quán)：錯(cuò)誤分類(lèi)構(gòu)造學(xué)習(xí)規(guī)則? 令1w

為p1 –前后振蕩? 將p1加到1w上

–1w的指向偏向p1規(guī)則：第二個(gè)輸入向量(錯(cuò)誤分類(lèi)，見(jiàn)前圖)修正規(guī)則：統(tǒng)一的學(xué)習(xí)規(guī)則偏置可視為對(duì)應(yīng)輸入為1的權(quán)多神經(jīng)元感知機(jī)權(quán)值矩陣的第i行修改為：矩陣表示：蘋(píng)果/香蕉例子訓(xùn)練集：初始權(quán)值：第一次迭代：et1a–10–1===檢查學(xué)習(xí)規(guī)則的能力?只要權(quán)值的解存在（問(wèn)題線性可分），該學(xué)習(xí)規(guī)則總能收斂到實(shí)現(xiàn)期望分類(lèi)的權(quán)值上。收斂性證明?證明見(jiàn)書(shū)中第45頁(yè)?證明是建立在下面三條假設(shè)基礎(chǔ)上的：⑴問(wèn)題的解存在，即有式(4.66)：；⑵僅在輸入被錯(cuò)分時(shí)才改變權(quán)值，即有式(4.72)：；(3)輸入向量的長(zhǎng)度(模)的上界存在。?證明的思路：若問(wèn)題的解存在，則感知機(jī)學(xué)習(xí)規(guī)則必迭代有限次就可收斂。感知機(jī)的局限性線性判定邊界解決不了線性不可分問(wèn)題習(xí)題考慮下面定義的分類(lèi)問(wèn)