2024年度-溫州大學(xué)《機(jī)器學(xué)習(xí)》課程課件一

溫州大學(xué)《機(jī)器學(xué)習(xí)》課程課件一1CATALOGUE目錄課程介紹與基礎(chǔ)概念線性回歸與邏輯回歸神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)決策樹與隨機(jī)森林支持向量機(jī)（SVM）與核方法聚類分析與降維技術(shù)201課程介紹與基礎(chǔ)概念3通過(guò)訓(xùn)練數(shù)據(jù)自動(dòng)學(xué)習(xí)規(guī)律，并應(yīng)用于新數(shù)據(jù)進(jìn)行預(yù)測(cè)或決策的算法和模型。機(jī)器學(xué)習(xí)定義計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、語(yǔ)音識(shí)別、推薦系統(tǒng)、智能機(jī)器人等。應(yīng)用領(lǐng)域機(jī)器學(xué)習(xí)定義及應(yīng)用領(lǐng)域4監(jiān)督學(xué)習(xí)訓(xùn)練數(shù)據(jù)帶有標(biāo)簽，學(xué)習(xí)映射關(guān)系以進(jìn)行預(yù)測(cè)。非監(jiān)督學(xué)習(xí)訓(xùn)練數(shù)據(jù)無(wú)標(biāo)簽，學(xué)習(xí)數(shù)據(jù)結(jié)構(gòu)和特征以進(jìn)行聚類或降維。強(qiáng)化學(xué)習(xí)智能體通過(guò)與環(huán)境交互，學(xué)習(xí)最優(yōu)決策策略以最大化累積獎(jiǎng)勵(lì)。監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)與強(qiáng)化學(xué)習(xí)503預(yù)處理對(duì)數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換、標(biāo)準(zhǔn)化等操作，以提高模型的訓(xùn)練效果和泛化能力。01數(shù)據(jù)集用于訓(xùn)練和測(cè)試模型的數(shù)據(jù)集合，通常包括特征和目標(biāo)變量。02特征提取從原始數(shù)據(jù)中提取有意義的特征，以便更好地表示數(shù)據(jù)的內(nèi)在規(guī)律和結(jié)構(gòu)。數(shù)據(jù)集、特征提取與預(yù)處理6使用評(píng)估指標(biāo)對(duì)模型性能進(jìn)行量化評(píng)價(jià)，如準(zhǔn)確率、召回率、F1分?jǐn)?shù)等。根據(jù)評(píng)估結(jié)果選擇最優(yōu)的模型，同時(shí)考慮模型的復(fù)雜度和訓(xùn)練時(shí)間等因素。模型評(píng)估與選擇模型選擇模型評(píng)估702線性回歸與邏輯回歸8通過(guò)最小化預(yù)測(cè)值與真實(shí)值之間的均方誤差，求解最優(yōu)的參數(shù)組合，從而得到一條能夠最好地?cái)M合數(shù)據(jù)的直線。線性回歸原理通過(guò)梯度下降等優(yōu)化算法，迭代更新參數(shù)，使得損失函數(shù)達(dá)到最小。求解最優(yōu)參數(shù)根據(jù)輸入特征構(gòu)造一個(gè)線性函數(shù)作為假設(shè)函數(shù)。構(gòu)造假設(shè)函數(shù)采用均方誤差作為損失函數(shù)，衡量預(yù)測(cè)值與真實(shí)值之間的差距。定義損失函數(shù)線性回歸原理及實(shí)現(xiàn)9邏輯回歸原理及實(shí)現(xiàn)邏輯回歸原理在線性回歸的基礎(chǔ)上，引入sigmoid函數(shù)將線性函數(shù)的輸出映射到[0,1]區(qū)間內(nèi)，從而實(shí)現(xiàn)對(duì)二分類問(wèn)題的建模。構(gòu)造假設(shè)函數(shù)在線性函數(shù)的基礎(chǔ)上，引入sigmoid函數(shù)構(gòu)造假設(shè)函數(shù)。定義損失函數(shù)采用交叉熵?fù)p失函數(shù)作為邏輯回歸的損失函數(shù)。求解最優(yōu)參數(shù)通過(guò)梯度下降等優(yōu)化算法，迭代更新參數(shù)，使得損失函數(shù)達(dá)到最小。10123在損失函數(shù)中增加權(quán)重參數(shù)的L1范數(shù)作為懲罰項(xiàng)，可以使得部分權(quán)重參數(shù)為0，實(shí)現(xiàn)特征的稀疏性。L1正則化（Lasso回歸）在損失函數(shù)中增加權(quán)重參數(shù)的L2范數(shù)作為懲罰項(xiàng)，可以使得權(quán)重參數(shù)整體偏小，降低模型的復(fù)雜度。L2正則化（Ridge回歸）同時(shí)考慮L1正則化和L2正則化，通過(guò)調(diào)整兩者的比例達(dá)到平衡。彈性網(wǎng)正則化正則化方法防止過(guò)擬合11房?jī)r(jià)預(yù)測(cè)收集房屋的面積、房間數(shù)、建造年份等特征，利用線性回歸或邏輯回歸模型進(jìn)行訓(xùn)練，實(shí)現(xiàn)對(duì)房屋價(jià)格的預(yù)測(cè)。疾病診斷收集患者的年齡、性別、癥狀等特征，利用邏輯回歸模型進(jìn)行訓(xùn)練，實(shí)現(xiàn)對(duì)疾病患病概率的預(yù)測(cè)和診斷。案例：房?jī)r(jià)預(yù)測(cè)和疾病診斷1203神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)13多層感知機(jī)由多個(gè)感知機(jī)層疊而成的前饋神經(jīng)網(wǎng)絡(luò)，通過(guò)增加隱藏層實(shí)現(xiàn)更復(fù)雜的非線性分類。感知機(jī)與多層感知機(jī)的區(qū)別多層感知機(jī)通過(guò)增加隱藏層實(shí)現(xiàn)更復(fù)雜的非線性分類，而感知機(jī)只能實(shí)現(xiàn)簡(jiǎn)單的線性分類。感知機(jī)模型一種簡(jiǎn)單的二分類線性模型，通過(guò)計(jì)算輸入特征與權(quán)重的點(diǎn)積并加上偏置項(xiàng)，再通過(guò)激活函數(shù)得到輸出。感知機(jī)模型及多層感知機(jī)14反向傳播算法一種計(jì)算神經(jīng)網(wǎng)絡(luò)中權(quán)重參數(shù)梯度的方法，通過(guò)鏈?zhǔn)椒▌t從輸出層向輸入層逐層計(jì)算梯度。優(yōu)化方法用于更新神經(jīng)網(wǎng)絡(luò)中的權(quán)重參數(shù)，以最小化損失函數(shù)。常見(jiàn)的優(yōu)化方法包括梯度下降、隨機(jī)梯度下降、Adam等。反向傳播算法與優(yōu)化方法的關(guān)系反向傳播算法計(jì)算出梯度后，優(yōu)化方法根據(jù)梯度更新權(quán)重參數(shù)。反向傳播算法與優(yōu)化方法15通過(guò)卷積層、池化層等結(jié)構(gòu)提取輸入數(shù)據(jù)的局部特征，并通過(guò)全連接層進(jìn)行分類或回歸。CNN原理CNN應(yīng)用CNN的優(yōu)勢(shì)廣泛應(yīng)用于圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域。如圖像分類、目標(biāo)檢測(cè)、語(yǔ)音合成等任務(wù)。能夠自動(dòng)提取輸入數(shù)據(jù)的特征，對(duì)輸入數(shù)據(jù)的形狀和大小具有一定的不變性，能夠處理高維數(shù)據(jù)。030201卷積神經(jīng)網(wǎng)絡(luò)（CNN）原理及應(yīng)用16

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）原理及應(yīng)用RNN原理通過(guò)循環(huán)神經(jīng)單元對(duì)序列數(shù)據(jù)進(jìn)行建模，能夠捕捉序列數(shù)據(jù)中的長(zhǎng)期依賴關(guān)系。RNN應(yīng)用適用于處理序列數(shù)據(jù)，如自然語(yǔ)言處理、語(yǔ)音識(shí)別、時(shí)間序列預(yù)測(cè)等領(lǐng)域。如機(jī)器翻譯、情感分析、語(yǔ)音合成等任務(wù)。RNN的優(yōu)勢(shì)能夠處理變長(zhǎng)序列數(shù)據(jù)，具有記憶功能，能夠捕捉序列數(shù)據(jù)中的長(zhǎng)期依賴關(guān)系。1704決策樹與隨機(jī)森林18特征選擇通過(guò)信息增益、增益率或基尼指數(shù)等方法選擇最佳劃分特征。決策樹生成根據(jù)選擇的特征評(píng)估標(biāo)準(zhǔn)，遞歸地生成決策樹。決策樹構(gòu)建過(guò)程及剪枝策略19決策樹剪枝：通過(guò)預(yù)剪枝或后剪枝策略，防止過(guò)擬合，提高模型泛化能力。決策樹構(gòu)建過(guò)程及剪枝策略20在決策樹生成過(guò)程中，提前停止樹的生長(zhǎng)，如設(shè)置樹的最大深度、最小樣本數(shù)等。預(yù)剪枝在決策樹生成后，通過(guò)評(píng)估剪枝前后的性能，刪除部分子樹或葉節(jié)點(diǎn)。后剪枝決策樹構(gòu)建過(guò)程及剪枝策略21隨機(jī)森林原理及實(shí)現(xiàn)集成學(xué)習(xí)通過(guò)構(gòu)建并結(jié)合多個(gè)學(xué)習(xí)器來(lái)完成學(xué)習(xí)任務(wù)，?？色@得比單一學(xué)習(xí)器顯著優(yōu)越的泛化性能。自助采樣法從原始數(shù)據(jù)集中有放回地隨機(jī)抽取多個(gè)樣本子集，用于構(gòu)建不同的決策樹。22特征隨機(jī)選擇：在每個(gè)節(jié)點(diǎn)分裂時(shí)，從所有特征中隨機(jī)選擇一部分特征作為候選特征。隨機(jī)森林原理及實(shí)現(xiàn)2303對(duì)于每一棵決策樹，使用自助采樣法從原始數(shù)據(jù)集中抽取樣本子集。01隨機(jī)森林實(shí)現(xiàn)02確定隨機(jī)森林中決策樹的數(shù)量。隨機(jī)森林原理及實(shí)現(xiàn)24生成完整的決策樹，不進(jìn)行剪枝。將所有決策樹的預(yù)測(cè)結(jié)果進(jìn)行集成，通常采用投票法或平均法。在決策樹的每個(gè)節(jié)點(diǎn)分裂時(shí)，隨機(jī)選擇一部分特征作為候選特征，并從中選擇最佳劃分特征。隨機(jī)森林原理及實(shí)現(xiàn)25通過(guò)比較使用和不使用某個(gè)特征時(shí)模型的性能差異來(lái)評(píng)估特征重要性?；谀Ｐ托阅芡ㄟ^(guò)分析決策樹中特征所在的節(jié)點(diǎn)位置、深度等信息來(lái)評(píng)估特征重要性?；跇涞慕Y(jié)構(gòu)特征重要性評(píng)估和選擇26特征重要性評(píng)估和選擇基于排列組合：通過(guò)隨機(jī)打亂某個(gè)特征的值，觀察模型性能的變化來(lái)評(píng)估特征重要性。27包裹式直接將要使用的學(xué)習(xí)器的性能作為特征子集的評(píng)價(jià)準(zhǔn)則。如遞歸特征消除法。嵌入式在模型訓(xùn)練過(guò)程中自動(dòng)進(jìn)行了特征選擇。如L1正則化、決策樹等。過(guò)濾式先對(duì)初始特征進(jìn)行“過(guò)濾”，再用過(guò)濾后的特征訓(xùn)練模型。如移除低方差的特征、相關(guān)系數(shù)排序等。特征重要性評(píng)估和選擇28數(shù)據(jù)集介紹包含信用卡交易記錄的各種特征，如交易金額、交易時(shí)間、交易地點(diǎn)等。特征工程提取與欺詐行為相關(guān)的特征，如異常交易金額、異常交易頻率等。案例：信用卡欺詐檢測(cè)和醫(yī)療診斷29VS使用隨機(jī)森林等算法構(gòu)建分類模型，識(shí)別欺詐交易和正常交易。模型評(píng)估與優(yōu)化通過(guò)準(zhǔn)確率、召回率等指標(biāo)評(píng)估模型性能，并進(jìn)行參數(shù)調(diào)優(yōu)以提高模型性能。模型構(gòu)建案例：信用卡欺詐檢測(cè)和醫(yī)療診斷30包含患者癥狀、體征、實(shí)驗(yàn)室檢查結(jié)果等醫(yī)療數(shù)據(jù)。提取與疾病診斷相關(guān)的特征，如特定癥狀的出現(xiàn)與否、實(shí)驗(yàn)室指標(biāo)的異常程度等。數(shù)據(jù)集介紹特征工程案例：信用卡欺詐檢測(cè)和醫(yī)療診斷31模型構(gòu)建使用隨機(jī)森林等算法構(gòu)建分類或回歸模型，輔助醫(yī)生進(jìn)行疾病診斷或預(yù)后預(yù)測(cè)。模型評(píng)估與優(yōu)化通過(guò)準(zhǔn)確率、靈敏度等指標(biāo)評(píng)估模型性能，并進(jìn)行參數(shù)調(diào)優(yōu)以提高模型診斷準(zhǔn)確性。案例：信用卡欺詐檢測(cè)和醫(yī)療診斷3205支持向量機(jī)（SVM）與核方法33通過(guò)最大化間隔來(lái)尋找最優(yōu)超平面，實(shí)現(xiàn)二分類問(wèn)題的求解。SVM基本原理對(duì)于線性可分問(wèn)題，直接求解最優(yōu)超平面；對(duì)于線性不可分問(wèn)題，通過(guò)引入松弛變量和懲罰因子進(jìn)行求解。線性可分與線性不可分通過(guò)構(gòu)建多個(gè)二分類器，采用一對(duì)一或一對(duì)多策略實(shí)現(xiàn)多分類問(wèn)題的求解。多分類問(wèn)題SVM原理及分類問(wèn)題求解34線性核、多項(xiàng)式核、高斯核等，不同核函數(shù)適用于不同數(shù)據(jù)集和問(wèn)題。常用核函數(shù)根據(jù)數(shù)據(jù)特性和問(wèn)題需求選擇合適的核函數(shù)，可通過(guò)交叉驗(yàn)證等方法進(jìn)行評(píng)估。核函數(shù)選擇針對(duì)核函數(shù)中的參數(shù)（如多項(xiàng)式核的階數(shù)、高斯核的帶寬等）進(jìn)行調(diào)優(yōu)，以提高模型性能。參數(shù)調(diào)優(yōu)核函數(shù)選擇與參數(shù)調(diào)優(yōu)35線性與非線性回歸對(duì)于線性回歸問(wèn)題，直接求解最優(yōu)超平面；對(duì)于非線性回歸問(wèn)題，通過(guò)核函數(shù)映射到高維空間進(jìn)行求解。模型評(píng)估與優(yōu)化采用均方誤差等指標(biāo)評(píng)估模型性能，并通過(guò)參數(shù)調(diào)優(yōu)等方法進(jìn)行優(yōu)化。SVM回歸原理通過(guò)引入管道寬度和松弛變量等概念，將SVM應(yīng)用于回歸問(wèn)題求解。SVM在回歸問(wèn)題中的應(yīng)用36手寫數(shù)字識(shí)別將圖像特征提取與SVM相結(jié)合，應(yīng)用于圖像分類問(wèn)題中，如人臉識(shí)別、物體識(shí)別等。圖像分類案例分析與實(shí)現(xiàn)詳細(xì)介紹手寫數(shù)字識(shí)別和圖像分類案例的實(shí)現(xiàn)過(guò)程，包括數(shù)據(jù)預(yù)處理、特征提取、模型訓(xùn)練與評(píng)估等步驟。采用SVM對(duì)手寫數(shù)字圖像進(jìn)行訓(xùn)練和預(yù)測(cè)，實(shí)現(xiàn)手寫數(shù)字的自動(dòng)識(shí)別。案例：手寫數(shù)字識(shí)別和圖像分類3706聚類分析與降維技術(shù)38通過(guò)迭代尋找K個(gè)聚類中心，使得每個(gè)數(shù)據(jù)點(diǎn)與其所屬類別的中心距離最小。K-means算法原理K值選擇初始化方法收斂條件K值的選擇對(duì)聚類結(jié)果影響較大，通常通過(guò)肘部法則等方法來(lái)確定最佳K值。K-means算法對(duì)初始聚類中心敏感，常用的初始化方法有隨機(jī)選擇、K-means等。當(dāng)?shù)^(guò)程中聚類中心不再發(fā)生明顯變化或達(dá)到最大迭代次數(shù)時(shí)，算法收斂。K-means聚類算法原理及實(shí)現(xiàn)39層次聚類01通過(guò)構(gòu)建聚類的層次結(jié)構(gòu)（樹狀圖）來(lái)進(jìn)行聚類分析，包括自底向上的凝聚法和自頂向下的分裂法。DBSCAN算法02基于密度的聚類算法，通過(guò)尋找被低密度區(qū)域分隔的高密度區(qū)域來(lái)進(jìn)行聚類，能夠發(fā)現(xiàn)任意形狀的聚類簇。參數(shù)選擇03DBSCAN算法需要設(shè)置鄰域半徑和最小包含點(diǎn)數(shù)兩個(gè)參數(shù)，對(duì)聚類結(jié)果影響較大。層次聚類和DBSCAN算法簡(jiǎn)介40計(jì)算步驟對(duì)原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，計(jì)算協(xié)方差矩陣及其特征值和特征向量，選擇前K個(gè)主成分進(jìn)行降維。應(yīng)用場(chǎng)景PCA廣泛應(yīng)用于圖像處理、語(yǔ)音識(shí)別、文本挖掘等領(lǐng)域的數(shù)據(jù)降維和特