2025神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)緒論無(wú)監(jiān)督學(xué)習(xí)

無(wú)監(jiān)督學(xué)習(xí)《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》2025內(nèi)容無(wú)監(jiān)督學(xué)習(xí)無(wú)監(jiān)督特征學(xué)習(xí)主成分分析稀疏編碼自編碼器稀疏自編碼器降噪自編碼器概率密度估計(jì)參數(shù)密度估計(jì)非參數(shù)密度估計(jì)核方法K近鄰方法無(wú)監(jiān)督學(xué)習(xí)（UnsupervisedLearning）

典型的無(wú)監(jiān)督學(xué)習(xí)問(wèn)題無(wú)監(jiān)督特征學(xué)習(xí)聚類密度估計(jì)為什么要無(wú)監(jiān)督學(xué)習(xí)？大腦有大約1014個(gè)突觸，我們只能活大約109秒。所以我們有比數(shù)據(jù)更多的參數(shù)。這啟發(fā)了我們必須進(jìn)行大量無(wú)監(jiān)督學(xué)習(xí)的想法，因?yàn)楦兄斎耄òū倔w感受）是我們可以獲得每秒105維約束的唯一途徑。--GeoffreyHinton,2014AMAonReddit無(wú)監(jiān)督特征學(xué)習(xí)

對(duì)目標(biāo)函數(shù)求導(dǎo)并令導(dǎo)數(shù)等于0，可得主成份分析（PrincipalComponentAnalysis，PCA）

（線性）編碼編碼（encoding）字典（dictionary）

完備性稀疏編碼（SparseCoding）

訓(xùn)練過(guò)程稀疏編碼的訓(xùn)練過(guò)程一般用交替優(yōu)化的方法進(jìn)行。稀疏編碼的優(yōu)點(diǎn)計(jì)算量稀疏性帶來(lái)的最大好處就是可以極大地降低計(jì)算量?？山忉屝砸?yàn)橄∈杈幋a只有少數(shù)的非零元素，相當(dāng)于將一個(gè)輸入樣本表示為少數(shù)幾個(gè)相關(guān)的特征。這樣我們可以更好地描述其特征，并易于理解。特征選擇稀疏性帶來(lái)的另外一個(gè)好處是可以實(shí)現(xiàn)特征的自動(dòng)選擇，只選擇和輸入樣本相關(guān)的最少特征，從而可以更好地表示輸入樣本，降低噪聲并減輕過(guò)擬合。編碼器（Encoder）解碼器（Decoder）目標(biāo)函數(shù)：重構(gòu)錯(cuò)誤兩層網(wǎng)絡(luò)結(jié)構(gòu)的自編碼器自編碼器（Auto-Encoder）

和稀疏編碼一樣，稀疏自編碼器的優(yōu)點(diǎn)是有很高的可解釋性，并同時(shí)進(jìn)行了隱式的特征選擇．稀疏自編碼器降噪自編碼器

概率密度估計(jì)概率密度估計(jì)參數(shù)密度估計(jì)（ParametricDensityEstimation）根據(jù)先驗(yàn)知識(shí)假設(shè)隨機(jī)變量服從某種分布，然后通過(guò)訓(xùn)練樣本來(lái)估計(jì)分布的參數(shù)．估計(jì)方法：最大似然估計(jì)非參數(shù)密度估計(jì)（NonparametricDensityEstimation）不假設(shè)數(shù)據(jù)服從某種分布，通過(guò)將樣本空間劃分為不同的區(qū)域并估計(jì)每個(gè)區(qū)域的概率來(lái)近似數(shù)據(jù)的概率密度函數(shù)。參數(shù)密度估計(jì)正態(tài)分布參數(shù)密度估計(jì)多項(xiàng)分布參數(shù)密度估計(jì)一般存在以下問(wèn)題模型選擇問(wèn)題如何選擇數(shù)據(jù)分布的密度函數(shù)？實(shí)際數(shù)據(jù)的分布往往是非常復(fù)雜的，而不是簡(jiǎn)單的正態(tài)分布或多項(xiàng)分布。不可觀測(cè)變量問(wèn)題即我們用來(lái)訓(xùn)練的樣本只包含部分的可觀測(cè)變量，還有一些非常關(guān)鍵的變量是無(wú)法觀測(cè)的，這導(dǎo)致我們很難準(zhǔn)確估計(jì)數(shù)據(jù)的真實(shí)分布。維度災(zāi)難問(wèn)題高維數(shù)據(jù)的參數(shù)估計(jì)十分困難隨著維度的增加，估計(jì)參數(shù)所需要的樣本數(shù)量指數(shù)增加。在樣本不足時(shí)會(huì)出現(xiàn)過(guò)擬合。

當(dāng)N非常大時(shí)，我們可以近似認(rèn)為假設(shè)區(qū)域R足夠小，其內(nèi)部的概率密度是相同的，則有結(jié)合上述兩個(gè)公式，得到非參數(shù)密度估計(jì)直方圖方法（HistogramMethod）一種非常直觀的估計(jì)連續(xù)變量密度函數(shù)的方法，可以表示為一種柱狀圖。核密度估計(jì)（KernelDensityEstimation）

K近鄰方法核密度估計(jì)方法中的核寬度是固定的，因此同一個(gè)寬度可能對(duì)高密度的區(qū)域過(guò)大，而對(duì)低密度區(qū)域過(guò)小。一種更靈活的方式是設(shè)置一種可變寬度的區(qū)域，并使得落入每個(gè)區(qū)域中樣本數(shù)量為固定的K。要估計(jì)點(diǎn)x的密度，首先找到一個(gè)以x為中心的球體，使得落入球體的樣本數(shù)量為K，就可以計(jì)算出點(diǎn)x的密度。思考題

非參數(shù)密度估計(jì)非參數(shù)密度估計(jì)(直方圖方法除外)需要保留整個(gè)訓(xùn)練集。而參數(shù)密度估計(jì)不需要保留整個(gè)訓(xùn)練集，