Python機(jī)器學(xué)習(xí)與項(xiàng)目實(shí)踐- 課件 chap2-機(jī)器學(xué)習(xí)基礎(chǔ)概念

機(jī)器學(xué)習(xí)基礎(chǔ)概述《Python機(jī)器學(xué)習(xí)與項(xiàng)目實(shí)踐》XXX大學(xué)教學(xué)內(nèi)容機(jī)器學(xué)習(xí)概念原理線性回歸定義經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化最小均方誤差結(jié)構(gòu)風(fēng)險(xiǎn)最小化最大似然估計(jì)最大后驗(yàn)估計(jì)機(jī)器學(xué)習(xí)的幾個(gè)關(guān)鍵點(diǎn)數(shù)據(jù)特征表示“狗”“大家好”“X-Y”“我有什么可以幫你嗎”“你好”用戶輸入機(jī)器(落子位置)語(yǔ)音識(shí)別圖像識(shí)別圍棋對(duì)話系統(tǒng)特征是被觀測(cè)對(duì)象的一個(gè)獨(dú)立可觀測(cè)的屬性或特點(diǎn)。特征工程和特征學(xué)習(xí)特征學(xué)習(xí)（或表征學(xué)習(xí)）是一種將原始數(shù)據(jù)轉(zhuǎn)換為能夠被機(jī)器學(xué)習(xí)并有效開發(fā)的數(shù)據(jù)的一種技術(shù)，即如何讓機(jī)器自動(dòng)地學(xué)習(xí)出有效的特征。特征工程利用領(lǐng)域知識(shí)和現(xiàn)有樣本數(shù)據(jù)，創(chuàng)造出新的特征。主要包括特征選擇（FeatureSelection）、特征提?。‵eatureExtraction）和特征構(gòu)建（FeatureConstruction）。評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）、P-R曲線（Precision-RecallCurve）、F1-Score、ROC、AUC、混淆矩陣（ConfuseMatrix）。評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：準(zhǔn)確率（Accuracy）、準(zhǔn)確率的定義是預(yù)測(cè)正確的結(jié)果占總樣本的百分比，真正例（TruePositive，TP）：被模型預(yù)測(cè)為正的正樣本；假正例（FalsePositive，F(xiàn)P）：被模型預(yù)測(cè)為正的負(fù)樣本；假負(fù)例（FalseNegative，F(xiàn)N）：被模型預(yù)測(cè)為負(fù)的正樣本；真負(fù)例（TrueNegative，TN）：被模型預(yù)測(cè)為負(fù)的負(fù)樣本。評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：精確率（Precision）、評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：召回率（Recall）、評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：P-R曲線（Precision-RecallCurve）、P-R曲線是描述精確率/召回率變化的曲線。評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：F1-Score是精確率和召回率的加權(quán)調(diào)和平均。評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：ROC、AUC、混淆矩陣（ConfuseMatrix）。評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：ROC、ROC曲線圖評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：AUC、AUC曲線圖評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：混淆矩陣（ConfuseMatrix）：混淆矩陣又稱為錯(cuò)誤矩陣，它可以直觀地反映算法的效果。混淆矩陣可視圖損失函數(shù)損失函數(shù)常見(jiàn)損失函數(shù)，曲線圖如圖0-1損失函數(shù)（0-1LossFunction）平方損失函數(shù)（QuadraticLossFunction）指數(shù)損失函數(shù)（Exp-LossFunction）交叉熵?fù)p失函數(shù)（Cross-EntropyLossFunction）Hinge損失函數(shù)（HingeLossFunction）評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：P-R曲線（Precision-RecallCurve）、F1-Score、ROC、AUC、混淆矩陣（ConfuseMatrix）。評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：P-R曲線（Precision-RecallCurve）、F1-Score、ROC、AUC、混淆矩陣（ConfuseMatrix）。機(jī)器學(xué)習(xí)≈構(gòu)建一個(gè)映射函數(shù)“貓”“你好”“5-5”“今天天氣真不錯(cuò)”“你好”用戶輸入機(jī)器(落子位置)語(yǔ)音識(shí)別圖像識(shí)別圍棋對(duì)話系統(tǒng)現(xiàn)實(shí)世界的問(wèn)題都比較復(fù)雜很難通過(guò)規(guī)則來(lái)手工實(shí)現(xiàn)為什么要“機(jī)器學(xué)習(xí)”？什么是機(jī)器學(xué)習(xí)？機(jī)器學(xué)習(xí)：通過(guò)算法使得機(jī)器能從大量數(shù)據(jù)中學(xué)習(xí)規(guī)律從而對(duì)新的樣本做決策。規(guī)律：決策（預(yù)測(cè)）函數(shù)獨(dú)立同分布p(x,y)機(jī)器學(xué)習(xí)的三要素

常見(jiàn)的機(jī)器學(xué)習(xí)問(wèn)題分類聚類回歸模型以線性回歸（LinearRegression）為例模型：學(xué)習(xí)準(zhǔn)則損失函數(shù)0-1損失函數(shù)平方損失函數(shù)學(xué)習(xí)準(zhǔn)則

最優(yōu)化問(wèn)題機(jī)器學(xué)習(xí)問(wèn)題轉(zhuǎn)化成為一個(gè)最優(yōu)化問(wèn)題梯度下降法（GradientDescent）搜索步長(zhǎng)α中也叫作學(xué)習(xí)率（LearningRate）學(xué)習(xí)率是十分重要的超參數(shù)！隨機(jī)梯度下降法隨機(jī)梯度下降法（StochasticGradientDescent，SGD）也叫增量梯度下降，每個(gè)樣本都進(jìn)行更新小批量（Mini-Batch）隨機(jī)梯度下降法隨機(jī)梯度下降法Why?機(jī)器學(xué)習(xí)=優(yōu)化？機(jī)器學(xué)習(xí)=優(yōu)化？過(guò)擬合：經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則很容易導(dǎo)致模型在訓(xùn)練集上錯(cuò)誤率很低，但是在未知數(shù)據(jù)上錯(cuò)誤率很高。過(guò)擬合問(wèn)題往往是由于訓(xùn)練數(shù)據(jù)少和噪聲等原因造成的。NO！泛化錯(cuò)誤期望風(fēng)險(xiǎn)經(jīng)驗(yàn)風(fēng)險(xiǎn)泛化錯(cuò)誤

如何減少泛化錯(cuò)誤？正則化優(yōu)化降低模型復(fù)雜度經(jīng)驗(yàn)風(fēng)險(xiǎn)最小正則化（regularization）L1/L2約束、數(shù)據(jù)增強(qiáng)權(quán)重衰減、隨機(jī)梯度下降、提前停止所有損害優(yōu)化的方法都是正則化。增加優(yōu)化約束干擾優(yōu)化過(guò)程提前停止我們使用一個(gè)驗(yàn)證集（ValidationDataset）來(lái)測(cè)試每一次迭代的參數(shù)在驗(yàn)證集上是否最優(yōu)。如果在驗(yàn)證集上的錯(cuò)誤率不再下降，就停止迭代。線性回歸線性回歸（LinearRegression）模型：增廣權(quán)重向量和增廣特征向量?jī)?yōu)化方法經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化（最小二乘法）結(jié)構(gòu)風(fēng)險(xiǎn)最小化（嶺回歸）最大似然估計(jì)最大后驗(yàn)估計(jì)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化矩陣微積分標(biāo)量關(guān)于向量的偏導(dǎo)數(shù)向量關(guān)于向量的偏導(dǎo)數(shù)向量函數(shù)及其導(dǎo)數(shù)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化模型學(xué)習(xí)準(zhǔn)則經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化優(yōu)化結(jié)構(gòu)風(fēng)險(xiǎn)最小化結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則得到嶺回歸（RidgeRegression）最大似然估計(jì)關(guān)于概率的一些基本概念概率（Probability）一個(gè)隨機(jī)事件發(fā)生的可能性大小，為0到1之間的實(shí)數(shù)。隨機(jī)變量（RandomVariable）比如隨機(jī)擲一個(gè)骰子，得到的點(diǎn)數(shù)就可以看成一個(gè)隨機(jī)變量X，其取值為{1,2,3,4,5,6}。概率分布（ProbabilityDistribution）一個(gè)隨機(jī)變量X取每種可能值的概率并滿足概率的一些基本概念伯努利分布（BernoulliDistribution）在一次試驗(yàn)中，事件A出現(xiàn)的概率為μ，不出現(xiàn)的概率為1?μ。若用變量X表示事件A出現(xiàn)的次數(shù)，則X的取值為0和1，其相應(yīng)的分布為二項(xiàng)分布（BinomialDistribution）在n次伯努利分布中，若以變量X表示事件A出現(xiàn)的次數(shù)，則X的取值為{0,…,n}，其相應(yīng)的分布二項(xiàng)式系數(shù)，表示從n個(gè)元素中取出k個(gè)元素而不考慮其順序的組合的總數(shù)。概率的一些基本概念

概率的一些基本概念條件概率（ConditionalProbability）對(duì)于離散隨機(jī)向量(X,Y)，已知X=x的條件下，隨機(jī)變量Y=y的條件概率為：貝葉斯公式兩個(gè)條件概率p(y|x)和p(x|y)之間的關(guān)系例子性別\行業(yè)計(jì)算機(jī)教育男0.40.10.5女0.10.40.50.60.4p(男|計(jì)算機(jī))=MarginalProbabilityMarginalProbability似然（Likelihood）

似然likelihood先驗(yàn)prior后驗(yàn)posterior貝葉斯公式：從概率角度來(lái)看線性回歸

線性回歸中的似然函數(shù)參數(shù)w在訓(xùn)練集D上的似然函數(shù)（Likelihood）為最大似然估計(jì)最大似然估計(jì)（MaximumLikelihoodEstimate，MLE）是指找到一組參數(shù)w使得似然函數(shù)p(y|X;w,σ)最大最大后驗(yàn)估計(jì)最大后驗(yàn)估計(jì)似然likelihood先驗(yàn)prior后驗(yàn)posterior正則化系數(shù)總結(jié)無(wú)先驗(yàn)引入先驗(yàn)平方誤差經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化結(jié)構(gòu)風(fēng)險(xiǎn)最小化概率最大似然估計(jì)最大后驗(yàn)估計(jì)多項(xiàng)式回歸一個(gè)例子：PolynomialCurveFittingFromchapter1ofBishop’sPRML.模型損失函數(shù)WhichDegreeofPolynomial?AmodelselectionproblemM=9→

E(w)=0:ThisisoverfittingControllingOverfitting:RegularizationAsorderofpolynomialMincreases,sodocoefficientmagnitudes!對(duì)大的系數(shù)進(jìn)行懲罰Co