2025神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)緒論深度信念網(wǎng)絡(luò)

深度信念網(wǎng)絡(luò)

DeepBeliefNetwork《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》2025主要內(nèi)容玻爾茲曼機(jī)受限玻爾茲曼機(jī)深度信念網(wǎng)絡(luò)玻爾茲曼機(jī)

BoltzmannMachine

玻爾茲曼機(jī)（BoltzmannMachine）包含六個(gè)變量的玻爾茲曼機(jī)兩個(gè)基本問(wèn)題：推斷p(h|v)參數(shù)學(xué)習(xí)W玻爾茲曼機(jī)的推斷

吉布斯采樣

模擬退火

Hopfield網(wǎng)絡(luò)隨機(jī)性方法確定性方法Hopfield網(wǎng)絡(luò)和玻爾茲曼

的能量變化對(duì)比玻爾茲曼機(jī)的參數(shù)學(xué)習(xí)最大似然估計(jì)采用梯度上升法玻爾茲曼機(jī)的參數(shù)學(xué)習(xí)基于Gibbs采樣來(lái)進(jìn)行近似求解受限玻爾茲曼機(jī)

RestrictedBoltzmannMachines受限玻爾茲曼機(jī)（RestrictedBoltzmannMachines，RBM）受限玻爾茲曼機(jī)是一個(gè)二分圖結(jié)構(gòu)的無(wú)向圖模型。在受限玻爾茲曼機(jī)中，變量可以為兩組，分別為隱藏層和可見層（或輸入層）。節(jié)點(diǎn)變量的取值為0或1。和兩層的全連接神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)相同。全條件概率從無(wú)向圖的性質(zhì)可知，在給定可觀測(cè)變量時(shí)，隱變量之間互相條件獨(dú)立．在給定隱變量時(shí)，可觀測(cè)變量之間也互相條件獨(dú)立．全條件概率吉布斯采樣受限玻爾茲曼機(jī)可以并行地對(duì)所有的可觀測(cè)變量（或所有的隱變量）同時(shí)進(jìn)行采樣，從而可以更快地達(dá)到熱平衡狀態(tài)．參數(shù)學(xué)習(xí)采用梯度上升法時(shí)，參數(shù)W,a,b可以用下面公式近似地更新根據(jù)受限玻爾茲曼機(jī)的條件獨(dú)立性，可以對(duì)可觀測(cè)變量和隱變量進(jìn)行分組輪流采樣。對(duì)比散度算法ContrastiveDivergence

深度信念網(wǎng)絡(luò)

DeepBeliefNetwork深度信念網(wǎng)絡(luò)（DeepBeliefNetwork）深度信念網(wǎng)絡(luò)是深度的概率有向圖模型和全連接的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相同。頂部的兩層為一個(gè)無(wú)向圖，可以看做是一個(gè)受限玻爾茲曼機(jī)。認(rèn)知權(quán)重生成權(quán)重深度信念網(wǎng)絡(luò)中所有變量的聯(lián)合概率可以分解為局部條件概率局部條件概率認(rèn)知權(quán)重生成權(quán)重

只有一層的簡(jiǎn)單Sigmoid信念網(wǎng)絡(luò)參數(shù)學(xué)習(xí)訓(xùn)練深度信念網(wǎng)絡(luò)-逐層訓(xùn)練逐層訓(xùn)練是能夠有效訓(xùn)練深度模型的最早的方法。訓(xùn)練深度信念網(wǎng)絡(luò)-精調(diào)（Fine-Tuning）作為判別模型的精調(diào)深度信念網(wǎng)絡(luò)作為神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練模型作為生成模型的精調(diào)ContrastiveWake-Sleep算法Wake階段：認(rèn)知過(guò)程，通過(guò)外界輸入（可見變量）和向上認(rèn)知權(quán)重，計(jì)算每一層隱變量的后驗(yàn)概率并采樣。然后，修改下行的生成權(quán)重使得下一層的變量的后驗(yàn)概率最大“如果現(xiàn)實(shí)跟我想象的不一樣，改變我的權(quán)重使得我想象的東西就是這樣的”；Sleep階段：生成過(guò)程，通過(guò)頂層的采樣和向下的生成權(quán)重，逐層計(jì)算每一層的后驗(yàn)概率并采樣。然后，修改向上的認(rèn)知權(quán)重使得上一層變量的后驗(yàn)概率最大?！叭绻麎?mèng)中的景象不是我腦中的相應(yīng)概念，改變我的認(rèn)知權(quán)重使得這種景象在我看來(lái)就是這個(gè)概念”；