大數(shù)據(jù)管理與應(yīng)用 課件 第三章 大數(shù)據(jù)管理與應(yīng)用的機(jī)器學(xué)習(xí)基礎(chǔ)

第三章大數(shù)據(jù)管理與應(yīng)用的機(jī)器學(xué)習(xí)基礎(chǔ)大數(shù)據(jù)管理與應(yīng)用——主編：王剛副主編：劉婧、邵臻隨著大數(shù)據(jù)時代的到來，各個行業(yè)對數(shù)據(jù)分析的需求持續(xù)增加，通過機(jī)器學(xué)習(xí)從大量數(shù)據(jù)中提取有效的信息，已經(jīng)成為當(dāng)前人工智能技術(shù)發(fā)展的主要推動力，并且已經(jīng)廣泛用于解決商務(wù)領(lǐng)域中的決策與管理問題。在本章中您將了解機(jī)器學(xué)習(xí)的概念，掌握機(jī)器學(xué)習(xí)的四要素，明確機(jī)器學(xué)習(xí)中的模型評估與選擇方法，了解機(jī)器學(xué)習(xí)的理論基礎(chǔ)。機(jī)器學(xué)習(xí)概述機(jī)器學(xué)習(xí)的分類模型評估與選擇計算學(xué)習(xí)理論第三章大數(shù)據(jù)管理與應(yīng)用的機(jī)器學(xué)習(xí)基礎(chǔ)01機(jī)器學(xué)習(xí)概述02機(jī)器學(xué)習(xí)的分類03模型評估與選擇04計算學(xué)習(xí)理論

1.1機(jī)器學(xué)習(xí)的基本概念圖3-1機(jī)器學(xué)習(xí)的基本框架在現(xiàn)實問題中，我們經(jīng)常面臨很大的假設(shè)空間，而數(shù)據(jù)集中的樣本通常是有限的。因此，有可能存在多種模型都能擬合數(shù)據(jù)集的情況，即存在一個與數(shù)據(jù)集一致的假設(shè)空間，稱為“版本空間”。機(jī)器學(xué)習(xí)在學(xué)習(xí)過程中對某種模型的偏好，稱為“歸納偏好”。然而，機(jī)器學(xué)習(xí)中沒有一個普適的模型能夠解決所有的學(xué)習(xí)問題，這也被稱為“沒有免費(fèi)的午餐”定理。“奧卡姆剃刀”是一種常用的從版本空間中選取模型的方法，即在同樣的條件下，應(yīng)該優(yōu)先選擇較為簡單模型。1.2歸納偏好

2.1監(jiān)督學(xué)習(xí)在無監(jiān)督學(xué)習(xí)中，數(shù)據(jù)集中只有輸入數(shù)據(jù)而沒有標(biāo)簽，無監(jiān)督學(xué)習(xí)的目標(biāo)是通過對這些無標(biāo)簽樣本的學(xué)習(xí)來揭示數(shù)據(jù)的內(nèi)在特性及規(guī)律。因此無監(jiān)督學(xué)習(xí)是沒有經(jīng)驗知識的學(xué)習(xí)，有時也被稱為“知識發(fā)現(xiàn)”。聚類分析是無監(jiān)督學(xué)習(xí)的代表，它能夠根據(jù)數(shù)據(jù)的特點將數(shù)據(jù)劃分成多個沒有交集的子集，每個子集被稱為簇，簇可能對應(yīng)一些潛在的概念，但需要人為總結(jié)和定義。例如對用戶進(jìn)行精準(zhǔn)營銷前需要對用戶進(jìn)行細(xì)分，就可以通過聚類分析實現(xiàn)。在許多現(xiàn)實問題中，對樣本打標(biāo)簽的成本有時很高，因而只能獲得少量帶有標(biāo)簽的樣本。在這種情況下，半監(jiān)督學(xué)習(xí)可以讓模型不依賴人工干預(yù)、自動地利用未標(biāo)記樣本來提升學(xué)習(xí)性能，從而充分利用有標(biāo)簽和無標(biāo)簽的樣本。例如在生物學(xué)領(lǐng)域，對某種蛋白的結(jié)構(gòu)或功能標(biāo)記需要花費(fèi)生物學(xué)家多年的功夫，而大量的未標(biāo)記樣本卻很容易得到，半監(jiān)督學(xué)習(xí)就提供了一條利用這些未標(biāo)記樣本的途徑。2.2無監(jiān)督學(xué)習(xí)與半監(jiān)督學(xué)習(xí)

3.1訓(xùn)練誤差與測試誤差

3.2模型評估方法性能度量就是對模型的泛化能力進(jìn)行評估，在對比不同模型的能力時，使用不同的性能度量往往會導(dǎo)致不同的評判結(jié)果。分類問題的性能度量錯誤率與精度精確率、召回率與F1分?jǐn)?shù)ROC曲線與AUC回歸問題的性能度量

均方誤差均方根誤差平均絕對誤差平均絕對百分比誤差3.3性能度量

3.4偏置與方差過擬合（Overfitting）與欠擬合（Underfitting）是機(jī)器學(xué)習(xí)中的一組現(xiàn)象。如圖3-4所示，過擬合一般是由于模型過于復(fù)雜或參數(shù)過多而導(dǎo)致模型對訓(xùn)練數(shù)據(jù)過度擬合的現(xiàn)象，而欠擬合則是由于模型過于簡單或參數(shù)過少而導(dǎo)致模型難以訓(xùn)練數(shù)據(jù)的現(xiàn)象，這兩種現(xiàn)象均能導(dǎo)致模型的預(yù)測值與真實值之間出現(xiàn)較大的差距。3.5訓(xùn)練擬合與正則