深度學(xué)習(xí)導(dǎo)論-第4章-感知機(jī)

深度學(xué)習(xí)DEEPLEARNING第四章感知機(jī)4.1什么是感知機(jī)4.2

簡單邏輯電路4.3感知機(jī)的局限性of4124.4多層感知機(jī)第四章感知機(jī)of413感知機(jī)接收多個(gè)輸入信號，輸出一個(gè)信號“信號”可以想象成電流或河流那樣具備“流動性”的東西。像電流流過導(dǎo)線，向前方輸送電子一樣，感知機(jī)的信號也會形成流，向前方輸送信息。和實(shí)際的電流不同的是，感知機(jī)的信號只有“流/不流”（1/0）兩種取值。0對應(yīng)“不傳遞信號”，1對應(yīng)“傳遞信號”。4.1什么是感知機(jī)4.1什么是感知機(jī)of414下圖是一個(gè)接收兩個(gè)輸入信號的感知機(jī)的例子。x1、x2是輸入信號，y

是輸出信號，w1、w2是權(quán)重（w

是weight的首字母）。圖中的○稱為“神經(jīng)元”或者“節(jié)點(diǎn)”。輸入信號被送往神經(jīng)元時(shí)，會被分別乘以固定的權(quán)重（w1x1、w2x2）。神經(jīng)元會計(jì)算傳送過來的信號的總和，只有當(dāng)這個(gè)總和超過了某個(gè)界限值時(shí)，才會輸出1。這也稱為“神經(jīng)元被激活”。這里將這個(gè)界限值稱為閾值，用符號

θ

表示。第四章感知機(jī)4.1什么是感知機(jī)of415數(shù)學(xué)公式表示為感知機(jī)的多個(gè)輸入信號都有各自固有的權(quán)重，這些權(quán)重發(fā)揮著控制各個(gè)信號的重要性的作用。也就是說，權(quán)重越大，對應(yīng)該權(quán)重的信號的重要性就越高。第四章感知機(jī)4.2簡單的邏輯電路of416現(xiàn)在讓我們考慮用感知機(jī)來解決簡單的問題。這里首先以邏輯電路為題材來思考一下與門（ANDgate）。與門是有兩個(gè)輸入和一個(gè)輸出的門電路。這種輸入信號和輸出信號的對應(yīng)表稱為“真值表”。與門僅在兩個(gè)輸入均為1時(shí)輸出1，其他時(shí)候則輸出0。第四章感知機(jī)4.2.1與門4.2簡單的邏輯電路of417用感知機(jī)來表示這個(gè)與門。需要做的就是確定能滿足真值表的

w1、w2、θ

的值。當(dāng)(w1,w2,θ)為(0.5,0.5,0.7)時(shí)，可以滿足真值表的條件。當(dāng)(w1,w2,θ)為(0.5,0.5,0.8)時(shí)，可以滿足真值表的條件當(dāng)(w1,w2,θ)為(1.0,1.0,1.0)時(shí)，可以滿足真值表的條件。設(shè)定這樣的參數(shù)后，僅當(dāng)

x1和

x2同時(shí)為1時(shí)，信號的加權(quán)總和才會超過給定的閾值

θ。第四章感知機(jī)4.2.1與門4.2簡單的邏輯電路of418與非門（NANDgateNAND=

NotAND）與非門就是顛倒了與門的輸出。用真值表表示如下：僅當(dāng)

x1和

x2同時(shí)為1時(shí)輸出0，其他時(shí)候則輸出1與非門，可以用(w1,w2,θ)=(-0.5,-0.5,-0.7)這樣的組合（其他的組合也是無限存在的）。實(shí)際上，只要把實(shí)現(xiàn)與門的參數(shù)值的符號取反，就可以實(shí)現(xiàn)與非門。第四章感知機(jī)4.2.2與非門4.2簡單的邏輯電路of419或門是“只要有一個(gè)輸入信號是1，輸出就為1”的邏輯電路?；蜷T真值表如下。第四章感知機(jī)4.2.3或門4.3感知機(jī)的局限性of4110決定感知機(jī)參數(shù)的并不是計(jì)算機(jī)，而是我們?nèi)?。我們看著真值表這種“訓(xùn)練數(shù)據(jù)”，人工考慮（想到）了參數(shù)的值。而機(jī)器學(xué)習(xí)的課題就是將這個(gè)決定參數(shù)值的工作交由計(jì)算機(jī)自動進(jìn)行。學(xué)習(xí)是確定合適的參數(shù)的過程，而人要做的是思考感知機(jī)的構(gòu)造（模型），并把訓(xùn)練數(shù)據(jù)交給計(jì)算機(jī)。使用感知機(jī)可以表示與門、與非門、或門的邏輯電路。這里重要的一點(diǎn)是：與門、與非門、或門的感知機(jī)構(gòu)造是一樣的。實(shí)際上，3個(gè)門電路只有參數(shù)的值（權(quán)重和閾值）不同。也就是說，相同構(gòu)造的感知機(jī)，只需通過適當(dāng)?shù)卣{(diào)整參數(shù)的值，就可以像“變色龍演員”表演不同的角色一樣，變身為與門、與非門、或門。第四章感知機(jī)of4111異或門也被稱為邏輯異或電路。僅當(dāng)

x1或

x2中的一方為1時(shí)，才會輸出1（“異或”是拒絕其他的意思）用前面介紹的感知機(jī)是無法實(shí)現(xiàn)這個(gè)異或門的。第四章感知機(jī)4.3.1異或門4.3感知機(jī)的局限性of4112或門的情況下，當(dāng)權(quán)重參數(shù)(b,w1,w2)=(-0.5,1.0,1.0)時(shí)，可滿足真值表?xiàng)l件。感知機(jī)公式為表示的感知機(jī)會生成由直線-0.5+x1+x2=0分割開的兩個(gè)空間。其中一個(gè)空間輸出1，另一個(gè)空間輸出0。第四章感知機(jī)4.3感知機(jī)的局限性4.3.1異或門of4113要用一條直線將圖中的○和△分開，無論如何都做不到。如果將“直線”這個(gè)限制條件去掉，就可以實(shí)現(xiàn)了。曲線分割而成的空間稱為非線性空間，由直線分割而成的空間稱為線性空間。線性、非線性這兩個(gè)術(shù)語在機(jī)器學(xué)習(xí)領(lǐng)域是很常見的。第四章感知機(jī)4.3.1異或門4.3感知機(jī)的局限性of4114感知機(jī)不能表示異或門。實(shí)際上，感知機(jī)可以“疊加層”通過疊加層來表示異或門把

s1作為與非門的輸出，把

s2作為或門的輸出，填入真值表中。結(jié)果符合異或門的輸出。第四章感知機(jī)4.4多層感知機(jī)4.4.1用感知機(jī)表示異或門of4115異或門是一種多層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。這里，將最左邊的一列稱為第0層，中間的一列稱為第1層，最右邊的一列稱為第2層。感知機(jī)與前面介紹的與門、或門的感知