人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)是一種應(yīng)用類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)進行信息處理的數(shù)學(xué)模型，由大量的神經(jīng)元之間相互聯(lián)接構(gòu)成，每兩個神經(jīng)元間的連接都代表一個對于通過該連接信號的加權(quán)值反向傳播算法，使用梯度下降來調(diào)節(jié)網(wǎng)絡(luò)參數(shù)以最正確擬合由輸入-輸出對組成的訓(xùn)練集合先用樣本數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)時，它自動地將輸出值與期望值進行比較，得到誤差信號，再根據(jù)誤差信號，從后向前調(diào)節(jié)各神經(jīng)網(wǎng)絡(luò)層神經(jīng)元之間的連接強度，然后再進行運算，使誤差減小，再將新的輸出值與期望值進行比較，得到新的比先前小的誤差信號，再根據(jù)較小的誤差信號，從后向前重新調(diào)節(jié)各神經(jīng)網(wǎng)絡(luò)層神經(jīng)元之間的連接強度，依此不斷地屢次進行，直到誤差滿足要求為止感知器感知器以一個實數(shù)值向量作為輸入，計算這些輸入的線性組合，如果結(jié)果大于某個閾值，就輸出1，否那么輸出-1。其中每個wi是一個實數(shù)常量，或叫做權(quán)值，用來決定輸入xi對感知器輸出的奉獻率。特別地，-w0是閾值。f(v)x1x2xnX0=1w0w1w2wn附加一個常量輸入x0=1，前面的不等式寫成或感知器的表征能力可以把感知器看作是n維實例空間〔即點空間〕中的超平面決策面對于超平面一側(cè)的實例，感知器輸出1，對于另一側(cè)的實例，輸出-1這個決策超平面方程是可以被某個超平面分割的樣例集合，稱為線性可分樣例集合delta法那么delta法那么克服感應(yīng)器法那么的缺乏，在線性不可分的訓(xùn)練樣本上，收斂到目標概念的最正確近似delta法那么的關(guān)鍵思想是，使用梯度下降來搜索可能的權(quán)向量的假設(shè)空間，以找到最正確擬合訓(xùn)練樣例的權(quán)向量把delta訓(xùn)練法那么理解為訓(xùn)練一個無閾值的感知器〔一個線性單元〕指定一個度量標準來衡量假設(shè)相對于訓(xùn)練樣例的訓(xùn)練誤差其中，D是訓(xùn)練樣例集合，是訓(xùn)練樣例d

的目標輸出，是線性單元對訓(xùn)練樣例d的輸出經(jīng)貝葉斯論證，對于給定的訓(xùn)練數(shù)據(jù)使E最小化的假設(shè)也就是H中最可能的假設(shè)梯度下降搜索從一個任意的初始權(quán)向量開始，然后沿誤差曲面最陡峭下降的方向，以很小的步伐反復(fù)修改這個向量，直到得到全局的最小誤差點梯度下降法那么的推導(dǎo)如何發(fā)現(xiàn)沿誤差曲面最陡峭下降的方向？通過計算E相對向量的每個分量的導(dǎo)數(shù)，這個向量導(dǎo)數(shù)被稱為E對于的梯度，記作當梯度被解釋為權(quán)空間的一個向量時，它確定了使E最陡峭上升的方向，所以這個向量的反方向給出了最陡峭下降的方向梯度訓(xùn)練法那么

其中訓(xùn)練法那么的分量形式：其中最陡峭的下降可以按照比例改變中的每一分量wi來實現(xiàn)需要一個高效的方法在每一步都計算這個梯度梯度下降權(quán)值更新法那么多層網(wǎng)絡(luò)和反向傳播算法單個的感知器僅能表示線性決策面，而反向傳播算法所學(xué)習(xí)的多層網(wǎng)絡(luò)能夠表示種類繁多的非線性曲面。可微閾值單元使用什么類型的單元來構(gòu)建多層網(wǎng)絡(luò)？我們需要的單元滿足的條件輸出是輸入的非線性函數(shù)輸出是輸入的可微函數(shù)Sigmoid單元，類似于感知器單元，但基于一個平滑的可微閾值函數(shù)sigmoid單元先計算它的輸入的線性組合，然后應(yīng)用到一個閾值上，閾值輸出是輸入的連續(xù)函數(shù)f(v)x1x2xnX0=1w0w1w2wn其中sigmoid函數(shù)也稱logistic函數(shù)擠壓函數(shù)輸出范圍是0到1單調(diào)遞增導(dǎo)數(shù)很容易用函數(shù)本身表示反向傳播算法用來學(xué)習(xí)多層網(wǎng)絡(luò)的權(quán)值采用梯度下降方法試圖最小化網(wǎng)絡(luò)輸出值和目標值之間的誤差平方網(wǎng)絡(luò)的誤差定義公式，對所有網(wǎng)絡(luò)輸出的誤差求和對于每一個訓(xùn)練樣例d，每個權(quán)被增加：其中，Ed是訓(xùn)練樣例的誤差隱藏單元的權(quán)值訓(xùn)練法那么對于網(wǎng)絡(luò)中的隱藏單元的情況，推導(dǎo)必須考慮間接地影響網(wǎng)絡(luò)輸出，從而影響，重新組織各項并使用表示我們得到：其中Downstream(j)表示單元j的直接下游單元的集合反向傳播算法面臨的學(xué)習(xí)任務(wù)搜索一個巨大的假設(shè)空間，這個空間由網(wǎng)絡(luò)中所有的單元的所有可能的權(quán)值定義，得到誤差曲面在多層網(wǎng)絡(luò)中，誤差曲面可能有多個局部極小值，梯度下降僅能保證收斂到局