《機(jī)器學(xué)習(xí)Python實(shí)戰(zhàn)》10神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的起源第一節(jié)神經(jīng)網(wǎng)絡(luò)的原理第二節(jié)目錄content神經(jīng)網(wǎng)絡(luò)的決策過(guò)程第三節(jié)神經(jīng)網(wǎng)絡(luò)的起源第一節(jié)神經(jīng)網(wǎng)絡(luò)的起源神經(jīng)網(wǎng)絡(luò)技術(shù)起源于20世紀(jì)50年代到20世紀(jì)60年代，經(jīng)過(guò)許多科學(xué)家的努力，人腦神經(jīng)元的這種處理信息模式最終演化為神經(jīng)元模型，當(dāng)時(shí)叫感知機(jī)（perceptron），它是一種多輸入、單輸出的非線性閾值器件，包含輸入層、輸出層和一個(gè)隱藏層。在一個(gè)神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最小單元，如果一個(gè)神經(jīng)元的輸出等于n個(gè)輸入的加權(quán)和，則網(wǎng)絡(luò)模型是一個(gè)線性輸出。在每個(gè)神經(jīng)元加權(quán)求和后經(jīng)過(guò)一個(gè)激活函數(shù)（ActivationFunction），則引入了非線性因素，這樣神經(jīng)網(wǎng)絡(luò)可以應(yīng)用到任意非線性模型中。圖10-1展示了加入偏置項(xiàng)和激活函數(shù)后的神經(jīng)元結(jié)構(gòu)。神經(jīng)網(wǎng)絡(luò)的起源加入偏置項(xiàng)和激活函數(shù)后的神經(jīng)元結(jié)構(gòu)。神經(jīng)網(wǎng)絡(luò)的起源神經(jīng)網(wǎng)絡(luò)具有類似人腦的自適應(yīng)、自學(xué)習(xí)的能力，總的來(lái)說(shuō)神經(jīng)網(wǎng)絡(luò)具有以下特性。（1）具有極強(qiáng)的非線性映射能力。（2）具有強(qiáng)大的計(jì)算、處理實(shí)際問(wèn)題的能力。（3）具有較強(qiáng)的樣本識(shí)別與分類能力。神經(jīng)網(wǎng)絡(luò)原理第二節(jié)神經(jīng)網(wǎng)絡(luò)原理1．神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)中，每一層都有不同的神經(jīng)元，且每個(gè)神經(jīng)元都會(huì)接收來(lái)自上一層神經(jīng)元的信號(hào)，并且產(chǎn)生新的輸出信號(hào)傳到下一層神經(jīng)元中。神經(jīng)元接收上一層的輸入并輸出到下一層的方式被稱為前向傳播，這種神經(jīng)網(wǎng)絡(luò)被稱為前饋神經(jīng)網(wǎng)絡(luò)或多層感知器（multilayerperceptron，MLP）。神經(jīng)網(wǎng)絡(luò)原理神經(jīng)網(wǎng)絡(luò)最左邊的一層稱為輸入層，最右邊的一層稱為輸出層，中間所有節(jié)點(diǎn)組成的是若干隱藏層，這樣的層可幫助神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)間的復(fù)雜關(guān)系。神經(jīng)網(wǎng)絡(luò)是由一個(gè)輸入層、若干個(gè)隱藏層和一個(gè)輸出層組成的，隱藏層的個(gè)數(shù)可以為1，也可以大于1。輸入層表示輸入信號(hào)，隱藏層和輸出層的每一個(gè)節(jié)點(diǎn)代表一個(gè)神經(jīng)元，信號(hào)輸入后，依次通過(guò)各隱藏層傳到輸出層。神經(jīng)網(wǎng)絡(luò)原理2．激活函數(shù)神經(jīng)網(wǎng)絡(luò)能解決復(fù)雜問(wèn)題的能力主要取決于網(wǎng)絡(luò)所采用的激活函數(shù)。激活函數(shù)決定該神經(jīng)元接收輸入與偏差信號(hào)以何種方式輸出，輸入通過(guò)激活函數(shù)轉(zhuǎn)換為輸出。常用的3種激活函數(shù)比較如圖所示。神經(jīng)網(wǎng)絡(luò)的決策過(guò)程第三節(jié)神經(jīng)網(wǎng)絡(luò)的決策過(guò)程下面舉一個(gè)例子來(lái)說(shuō)明神經(jīng)網(wǎng)絡(luò)的決策過(guò)程。假設(shè)小芳正在考慮要不要去看一場(chǎng)演唱會(huì)。思考：（1）影響小芳是否去看演唱會(huì)的重要決策因素有哪些呢？（2）這些決策因素中哪些可以起決定性作用呢？1．看演唱會(huì)的決策因素日常生活中，影響小芳是否去看演唱會(huì)的重要決策因素有3個(gè)，分別是：今天的工作能否按時(shí)完成，不需要額外加班；自己的男朋友是否一起去；該演唱會(huì)的口碑是否很好。神經(jīng)網(wǎng)絡(luò)的決策過(guò)程上面3個(gè)因素就是外部信息輸入，最后的決定就是單個(gè)神經(jīng)元模型（感知器）的輸出。令x1為工作是否按時(shí)完成，x2為男朋友是否一起去，x3為演唱會(huì)的口碑是否很好。如果這3個(gè)因素都是肯定的，其輸出用1表示，即工作能按時(shí)完成、男朋友一起去、演唱會(huì)口碑很好的情況下，小芳就會(huì)去看演唱會(huì)；如果3個(gè)因素都是否定的，其輸出用0表示，即工作不能按時(shí)完成、男朋友不一起去，演唱會(huì)口碑不好的情況下，小芳就不去看演唱會(huì)。這就是一個(gè)多重信息輸入下的神經(jīng)網(wǎng)絡(luò)決策過(guò)程。神經(jīng)網(wǎng)絡(luò)的決策過(guò)程2．權(quán)重設(shè)置但是，上面的決策只考慮了3種情況同時(shí)滿足或者同時(shí)不滿足的情形，這顯然不符合實(shí)際需求。實(shí)際生活中，我們需要給這些因素指定權(quán)重（weight），以代表不同因素的重要性，然后根據(jù)權(quán)重做出相關(guān)的輸出。假設(shè)x1的權(quán)重w1=0.5，x2的權(quán)重w2=0.2，x3的權(quán)重w3=0.3。那么今天的工作不能按時(shí)完成（x1=0）、男朋友一起去（x2=1）以及該演唱會(huì)的口碑很好（x3=1）這種情形下，各因素乘以權(quán)重得到的綜合結(jié)果就是0.5×0+0.2×1+0.3×1=0.5。假設(shè)x1的權(quán)重w1=0.3，x2的權(quán)重w2=0.2，x3的權(quán)重w3=0.5，這種情形下各因素乘以權(quán)重得到的綜合結(jié)果就是0.3×0+0.2×1+0.5×1=0.7。神經(jīng)網(wǎng)絡(luò)的決策過(guò)程這時(shí)還需要指定一個(gè)閾值，如果總和大于閾值，感知器輸出1，否則輸出0。假設(shè)閾值設(shè)為0.6，那么0.7>0.6，小芳決定去看演唱會(huì)；而0.5<0.6，小芳決定不去看演唱會(huì)。此外，還可以加入一個(gè)偏置項(xiàng)b。例如，b代表小芳和男朋友的親密程度，越親密則b越大，也會(huì)增加綜合結(jié)果的值。那么基于小芳考慮的3個(gè)因