2025神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)機(jī)器學(xué)習(xí)概述

機(jī)器學(xué)習(xí)概述《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》2025教學(xué)內(nèi)容機(jī)器學(xué)習(xí)概念原理線性回歸定義經(jīng)驗風(fēng)險最小化最小均方誤差結(jié)構(gòu)風(fēng)險最小化最大似然估計最大后驗估計機(jī)器學(xué)習(xí)的幾個關(guān)鍵點機(jī)器學(xué)習(xí)≈構(gòu)建一個映射函數(shù)“貓”“你好”“5-5”“今天天氣真不錯”“你好”用戶輸入機(jī)器(落子位置)語音識別圖像識別圍棋對話系統(tǒng)現(xiàn)實世界的問題都比較復(fù)雜很難通過規(guī)則來手工實現(xiàn)為什么要“機(jī)器學(xué)習(xí)”？什么是機(jī)器學(xué)習(xí)？機(jī)器學(xué)習(xí)：通過算法使得機(jī)器能從大量數(shù)據(jù)中學(xué)習(xí)規(guī)律從而對新的樣本做決策。規(guī)律：決策（預(yù)測）函數(shù)獨立同分布p(x,y)機(jī)器學(xué)習(xí)的三要素

常見的機(jī)器學(xué)習(xí)問題分類聚類回歸模型以線性回歸（LinearRegression）為例模型：學(xué)習(xí)準(zhǔn)則損失函數(shù)0-1損失函數(shù)平方損失函數(shù)學(xué)習(xí)準(zhǔn)則

最優(yōu)化問題機(jī)器學(xué)習(xí)問題轉(zhuǎn)化成為一個最優(yōu)化問題梯度下降法（GradientDescent）搜索步長α中也叫作學(xué)習(xí)率（LearningRate）學(xué)習(xí)率是十分重要的超參數(shù)！隨機(jī)梯度下降法隨機(jī)梯度下降法（StochasticGradientDescent，SGD）也叫增量梯度下降，每個樣本都進(jìn)行更新小批量（Mini-Batch）隨機(jī)梯度下降法隨機(jī)梯度下降法Why?機(jī)器學(xué)習(xí)=優(yōu)化？機(jī)器學(xué)習(xí)=優(yōu)化？過擬合：經(jīng)驗風(fēng)險最小化原則很容易導(dǎo)致模型在訓(xùn)練集上錯誤率很低，但是在未知數(shù)據(jù)上錯誤率很高。過擬合問題往往是由于訓(xùn)練數(shù)據(jù)少和噪聲等原因造成的。NO！泛化錯誤期望風(fēng)險經(jīng)驗風(fēng)險泛化錯誤

如何減少泛化錯誤？正則化優(yōu)化降低模型復(fù)雜度經(jīng)驗風(fēng)險最小正則化（regularization）L1/L2約束、數(shù)據(jù)增強(qiáng)權(quán)重衰減、隨機(jī)梯度下降、提前停止所有損害優(yōu)化的方法都是正則化。增加優(yōu)化約束干擾優(yōu)化過程提前停止我們使用一個驗證集（ValidationDataset）來測試每一次迭代的參數(shù)在驗證集上是否最優(yōu)。如果在驗證集上的錯誤率不再下降，就停止迭代。線性回歸線性回歸（LinearRegression）模型：增廣權(quán)重向量和增廣特征向量優(yōu)化方法經(jīng)驗風(fēng)險最小化（最小二乘法）結(jié)構(gòu)風(fēng)險最小化（嶺回歸）最大似然估計最大后驗估計經(jīng)驗風(fēng)險最小化矩陣微積分標(biāo)量關(guān)于向量的偏導(dǎo)數(shù)向量關(guān)于向量的偏導(dǎo)數(shù)向量函數(shù)及其導(dǎo)數(shù)經(jīng)驗風(fēng)險最小化模型學(xué)習(xí)準(zhǔn)則經(jīng)驗風(fēng)險最小化優(yōu)化結(jié)構(gòu)風(fēng)險最小化結(jié)構(gòu)風(fēng)險最小化準(zhǔn)則得到嶺回歸（RidgeRegression）最大似然估計關(guān)于概率的一些基本概念概率（Probability）一個隨機(jī)事件發(fā)生的可能性大小，為0到1之間的實數(shù)。隨機(jī)變量（RandomVariable）比如隨機(jī)擲一個骰子，得到的點數(shù)就可以看成一個隨機(jī)變量X，其取值為{1,2,3,4,5,6}。概率分布（ProbabilityDistribution）一個隨機(jī)變量X取每種可能值的概率并滿足概率的一些基本概念伯努利分布（BernoulliDistribution）在一次試驗中，事件A出現(xiàn)的概率為μ，不出現(xiàn)的概率為1?μ。若用變量X表示事件A出現(xiàn)的次數(shù)，則X的取值為0和1，其相應(yīng)的分布為二項分布（BinomialDistribution）在n次伯努利分布中，若以變量X表示事件A出現(xiàn)的次數(shù)，則X的取值為{0,…,n}，其相應(yīng)的分布二項式系數(shù)，表示從n個元素中取出k個元素而不考慮其順序的組合的總數(shù)。概率的一些基本概念

概率的一些基本概念條件概率（ConditionalProbability）對于離散隨機(jī)向量(X,Y)，已知X=x的條件下，隨機(jī)變量Y=y的條件概率為：貝葉斯公式兩個條件概率p(y|x)和p(x|y)之間的關(guān)系例子性別\行業(yè)計算機(jī)教育男0.40.10.5女0.10.40.50.60.4p(男|計算機(jī))=MarginalProbabilityMarginalProbability似然（Likelihood）

似然likelihood先驗prior后驗posterior貝葉斯公式：從概率角度來看線性回歸

線性回歸中的似然函數(shù)參數(shù)w在訓(xùn)練集D上的似然函數(shù)（Likelihood）為最大似然估計最大似然估計（MaximumLikelihoodEstimate，MLE）是指找到一組參數(shù)w使得似然函數(shù)p(y|X;w,σ)最大最大后驗估計最大后驗估計似然likelihood先驗prior后驗posterior正則化系數(shù)總結(jié)無先驗引入先驗平方誤差經(jīng)驗風(fēng)險最小化結(jié)構(gòu)風(fēng)險最小化概率最大似然估計最大后驗估計多項式回歸一個例子：PolynomialCurveFittingFromchapter1ofBishop’sPRML.模型損失函數(shù)WhichDegreeofPolynomial?AmodelselectionproblemM=9→

E(w)=0:ThisisoverfittingControllingOverfitting:RegularizationAsorderofpolynomialMincreases,sodocoefficientmagnitudes!對大的系數(shù)進(jìn)行懲罰ControllingOverfitting:RegularizationControllingOverfitting:Datasetsize機(jī)器學(xué)習(xí)的幾個關(guān)鍵點常見的機(jī)器學(xué)習(xí)類型如何選擇一個合適的模型？模型選擇擬合能力強(qiáng)的模型一般復(fù)雜度會比較高，容易過擬合。如果限制模型復(fù)雜度，降低擬合能力，可能會欠擬合。偏差與方差分解期望錯誤可以分解為模型選擇：偏差與方差集成模型：有效的降低方差的方法PAC學(xué)習(xí)PAC：ProbablyApproximatelyCorrect根據(jù)大數(shù)定律，當(dāng)訓(xùn)練集大小|D|趨向無窮大時，泛化錯誤趨向于0，即經(jīng)驗風(fēng)險趨近于期望風(fēng)險。PAC學(xué)習(xí)近似正確，0<?<0.5可能，0<δ<0.5樣本復(fù)雜度

常用的定理常用的定理沒有免費午餐定理（NoFreeLunchTheorem，NFL）對于基于迭代的最優(yōu)化算法，不存在某種算法對所有問題（有限的搜索空間內(nèi)）都有效。如果一個算法對某些問題有效，那么它一定在另外一些問題上比純隨機(jī)搜索算法更差。常用的定理丑小鴨定理(UglyDucklingTheorem)丑小鴨與白天鵝之間的區(qū)別和兩只白天鵝之間的區(qū)別一樣大.常用的定理奧卡姆剃刀原理(Occam'sRazor)如無必要，勿增實體歸納偏置(InductiveBias)很多學(xué)習(xí)算法經(jīng)常會對學(xué)習(xí)的問題做一些假設(shè)，這些假設(shè)就稱為歸納偏置。在最