2024人工智能機器學(xué)習(xí)導(dǎo)論

人工智能導(dǎo)論機器學(xué)習(xí)概覽2016200690年代中期80年代初期60-70年代1956AI1950推理期

知識期 學(xué)習(xí)期機器學(xué)習(xí)從何而來機器學(xué)習(xí)機器學(xué)習(xí)

??機器學(xué)習(xí)（Machine

Learning)機器學(xué)習(xí)（Machine

Learning)人類學(xué)習(xí)利用經(jīng)驗不斷提高性能機器善于處理數(shù)據(jù)不斷提高性能能否把“經(jīng)驗”變成數(shù)據(jù)，讓機器可以“模仿”人類進行學(xué)習(xí)？機器學(xué)習(xí)：機器利用數(shù)據(jù)學(xué)習(xí)人類經(jīng)驗，不斷提高性能的過程機器學(xué)習(xí)（Machine

Learning)經(jīng)典定義：利用經(jīng)驗改善系統(tǒng)自身的性能[T.

Mitchell

教科書,

1997]大數(shù)據(jù)

大價值智能數(shù)據(jù)分析機器學(xué)習(xí)經(jīng)驗

數(shù)據(jù)隨著該領(lǐng)域的發(fā)展，目前主要研究智能數(shù)據(jù)分析的理論和方法，并已成為智能數(shù)據(jù)分析技術(shù)的源泉之一大數(shù)據(jù)時代機器學(xué)習(xí)（Machine

Learning)機器學(xué)習(xí)是人工智能的核心研究領(lǐng)域（之一）今天的“人工智能熱潮”正是由于機器學(xué)習(xí)、尤其深度學(xué)習(xí)技術(shù)取得了巨大進展基于大數(shù)據(jù)、大算力發(fā)揮出巨大威力機器學(xué)習(xí)深度學(xué)習(xí)人工智能機器學(xué)習(xí)（Machine

Learning)機器學(xué)習(xí)（Machine

Learning）究竟是什么東東？看兩個例子一個例子：“文獻篩選”出自

[C.

Brodley

et

al.,

AI

Magazine

2012]在“循證醫(yī)學(xué)”（evidence-based

medicine）中，針對特定的臨床問題，先要對相關(guān)研究報告進行詳盡評估查詢

PubMed

以獲取候選摘要人工找出值得全文審讀的文章“文獻篩選”在一項關(guān)于嬰兒和兒童殘疾的研究中，美國Tufts醫(yī)學(xué)中心篩選了約33,000

篇摘要盡管Tufts醫(yī)學(xué)中心的專家效率很高，對每篇摘要只需

30

秒鐘，但該工作仍花費了

250

小時aportionofthe33,000

abstracts每項新的研究都要重復(fù)這個麻煩的過程！需篩選的文章數(shù)在不斷顯著增長！“文獻篩選”為了降低昂貴的成本,

Tufts醫(yī)學(xué)中心引入了機器學(xué)習(xí)技術(shù)邀請專家閱讀少量摘要，標(biāo)記為“有關(guān)”或

“無關(guān)”對是否“有關(guān)”進行預(yù)測分類模型人類專家只需閱讀

50

篇摘要，系統(tǒng)的自動篩選精度就達到

93%人類專家閱讀

1,000

篇摘要，則系統(tǒng)的自動篩選精度度達到

95%(人類專家以前需閱讀

33,000

篇摘要才能獲得此效果)“畫作鑒別”畫作鑒別(painting

authentication)：確定作品的真?zhèn)尾斏w爾（1525-1569）的作品？梵高（1853-1890）的作品？該工作對專業(yè)知識要求極高具有較高的繪畫藝術(shù)修養(yǎng)掌握畫家的特定繪畫習(xí)慣只有少數(shù)專家花費很大精力才能完成分析工作！很難同時掌握不同時期、不同流派多位畫家的繪畫風(fēng)格！“畫作鑒別”真跡

+

贗品待鑒定畫作為了降低分析成本,

機器學(xué)習(xí)技術(shù)被引入自動鑒定分類模型Kr?ller

Müller美術(shù)館與Cornell等大學(xué)的學(xué)者對82幅梵高真跡和6幅贗品進行分析，自動鑒別精度達

95%[C.Johnsonetal.,

2008]Dartmouth學(xué)院、巴黎高師的學(xué)者對8幅勃魯蓋爾真跡和5幅贗品進行分析，自動鑒別精度達

100%[J.Hughesetal.,2009][J.Mairaletal.,

2012](對用戶要求低、準(zhǔn)確高效、適用范圍廣)典型的機器學(xué)習(xí)過程決策樹，神經(jīng)網(wǎng)絡(luò)，支持向量機，Boosting，貝葉斯網(wǎng)，……模型訓(xùn)練數(shù)據(jù)色澤根蒂敲聲好瓜青綠蜷縮濁響是烏黑蜷縮濁響是青綠硬挺清脆否烏黑稍蜷沉悶否類別標(biāo)記（label）訓(xùn)練?=

是新數(shù)據(jù)樣本(淺白,蜷縮,濁響，?)類別標(biāo)記未知使用學(xué)習(xí)算法（learning

algorithm）數(shù)據(jù)集：訓(xùn)練集、測試集示例(instance),樣例(example),樣本(sample)屬性(attribute),

特征(feature)屬性值屬性空間,

樣本空間,

輸入空間特征向量(feature

vector)標(biāo)記空間,

輸出空間分類,

回歸二分類,

多分類監(jiān)督學(xué)習(xí)(supervised

learning)無監(jiān)督學(xué)習(xí)(unsupervised

learning)強化學(xué)習(xí)(reinforcement

learning)假設(shè)(hypothesis)真相(ground-truth)學(xué)習(xí)器(learner)潛在意義訓(xùn)練集測試集特征標(biāo)記橫：輸?（數(shù)據(jù)）

->

輸出（標(biāo)記）縱：歷史（數(shù)據(jù)）->未來（數(shù)據(jù)）機器學(xué)習(xí)：面向未來的技術(shù)學(xué)習(xí)的目標(biāo)機器學(xué)習(xí)技術(shù)的根本目標(biāo)就是模型具有泛化能力！“簡單理解”：應(yīng)對未見樣本的預(yù)測能力未來不可知，依靠“合理假設(shè)”，利用歷史數(shù)據(jù)估計模型泛化能力如：歷史和未來數(shù)據(jù)來自于相同的分布（I.I.D.

假設(shè)）MachineLearning=task+data+objective+algorithm--Tom

Mitchell任務(wù)

數(shù)據(jù)

目標(biāo)

算法Learning=Task+Data+objective+

Algorithm任務(wù)通?？梢灾笇W(xué)習(xí)一個從特征空間到類別空間的映射

??：??

→

??以西瓜任務(wù)為例：??：西瓜的特征，如顏色、根蒂的蜷縮程度、敲擊的聲音等??：西瓜是好還是壞??通常來自一個約定好的空間?，即??

∈

??色澤根蒂敲聲好瓜青綠蜷縮濁響是烏黑蜷縮濁響是青綠硬挺清脆否烏黑稍蜷沉悶否Learning=Task+Data+objective+

Algorithm分類任務(wù)：

??包含若干離散的屬性值二分類：{0,1}，K分類{0,1,…K}垃圾郵件分類欺詐檢測動物識別動作分類Learning=Task+Data+objective+

Algorithm回歸任務(wù)：

??通常是實數(shù)值外賣送達的時間方向盤旋轉(zhuǎn)幅度油門幅度剎車幅度自動駕駛：方向盤旋轉(zhuǎn)的幅度、油門幅度、剎車幅度Learning=Task+Data+objective+

Algorithm聚類任務(wù)：把數(shù)據(jù)集中的樣本劃分為若干個子集推薦系統(tǒng)：商品、用戶聚類區(qū)域（縣）投資網(wǎng)絡(luò)社區(qū)檢測Learning=Task+Data+objective+

Algorithm降維任務(wù)：降低特征維度，用更少的特征表示數(shù)據(jù)Learning=Task+Data+objective+

Algorithm訓(xùn)練數(shù)據(jù)：訓(xùn)練機器學(xué)習(xí)模型的基礎(chǔ)資源監(jiān)督學(xué)習(xí)：??!"

= ??#,

??#

, ??$,??$

,

? ??%,??%無監(jiān)督學(xué)習(xí)：??!"

=

{??#,

??$,

?

??%)}半監(jiān)督學(xué)習(xí)：

??!"

=

{

??#,

??#

, ??$,??$

,

? ??!,??!

,??!&#,???%}測試數(shù)據(jù)：評估模型的性能，在訓(xùn)練過程中無法見到??!"={

??#,

??#

, ??$,??$

,

? ??%,??%

}驗證數(shù)據(jù)：用于訓(xùn)練過程中輔助評估模型的性能Learning=Task+Data+objective+

Algorithm監(jiān)督學(xué)習(xí)：所有訓(xùn)練樣本均有對應(yīng)的標(biāo)注Learning=Task+Data+objective+

Algorithm無監(jiān)督學(xué)習(xí)：所有訓(xùn)練樣本均沒有標(biāo)注Learning=Task+Data+objective+

Algorithm半監(jiān)督學(xué)習(xí)：部分?jǐn)?shù)據(jù)有標(biāo)注，部分?jǐn)?shù)據(jù)無標(biāo)注Learning=Task+Data+objective+

Algorithm強化學(xué)習(xí)：標(biāo)記信息延遲的監(jiān)督學(xué)習(xí)問題Learning=Task+Data+objective+

Algorithm評價指標(biāo)/損失函數(shù)：反映了模型??的性能好壞，用于指導(dǎo)模型訓(xùn)練分類問題：正確率：模型預(yù)測正確的概率P(??

?? =

??),)

??(????))*+=

??))回歸問題：均方誤差（Mean

SquaredError）,)

??

?? ???

-)*+Learning=Task+Data+objective+

Algorithm機器學(xué)習(xí)算法??輸入：訓(xùn)練數(shù)據(jù)集??!"，評價指標(biāo)??(??)/損失函數(shù)????????(??)，??的函數(shù)空間?輸出：學(xué)得的模型??學(xué)習(xí)算法運行的過程稱為模型的訓(xùn)練過程即，在所有可能的??組成的空間中進行搜索的過程經(jīng)驗風(fēng)險最小化（empirical

risk

minimization）min.∈?D1,2～4[????????????,??

]學(xué)習(xí)目標(biāo)：在空間?中尋找能夠在整個數(shù)據(jù)分布上表現(xiàn)最好的模型

??.∈?)*+min)

??????????

??) ,

??)現(xiàn)實任務(wù)中，無法得知完整的數(shù)據(jù)分布，只能獲取訓(xùn)練數(shù)據(jù)假設(shè)所有訓(xùn)練樣本都是獨立地從這個分布中采樣而得5泛化風(fēng)險經(jīng)驗風(fēng)險例：房價預(yù)測面積房價100300110330180540任務(wù)：訓(xùn)練機器學(xué)習(xí)模型，能夠根據(jù)房子的面積預(yù)測出房價訓(xùn)練數(shù)據(jù)假設(shè)??是線性函數(shù)??=???

??Objective:

損失函數(shù)為均方誤差????????????

,

?? =(???????

-測試數(shù)據(jù)wmin300????100

$

+ 330????110

$

+ 540????180

$求得：??

=

3面積房價140？例：畫作鑒別假設(shè)??是線性函數(shù)：??

=

??6??

+

??將像素轉(zhuǎn)換為向量??b??梵高勃魯蓋爾其他人機器學(xué)習(xí)常用算法線性回歸算法

(LinearRegression)邏輯回歸算法

(Logistic

Regression)支持向量機算法

(Support

VectorMachine,SVM)k-近鄰算法

(K-Nearest

Neighbors,

KNN)k-Means算法決策樹算法

(Decision

Tree)隨機森林算法

(Random

Forest)樸素貝葉斯算法

(Naive

Bayes)神經(jīng)網(wǎng)絡(luò)

(NeuralNetwork)…機器學(xué)習(xí)常用算法Sklearn/示例訓(xùn)練階段：>>>importnumpyas

np>>>fromsklearn.linear_modelimport

LinearRegression>>>X=np.array([100],[110],

[180]])>>>y=np.array([300],[330],

[540]])>>>reg=LinearRegression().fit(X,

y)測試階段：>>>

reg.predict(np.array([[140]]))示例深度學(xué)習(xí)深度學(xué)習(xí)：通常是指以深度神經(jīng)網(wǎng)絡(luò)為模型的一類機器學(xué)習(xí)方法深度學(xué)習(xí)2006年，Hinton發(fā)表了深度學(xué)習(xí)的science文章2012年,

Hinton

組參加ImageNet

競賽,

使用

CNN模型以超過

第二名10個百分點的成績奪得當(dāng)年競賽的冠軍伴隨著數(shù)據(jù)量的增加，和各種高性能計算設(shè)備的出現(xiàn)，深度學(xué)習(xí)在許多領(lǐng)域都取得了較好的效果深度學(xué)習(xí)“深度學(xué)習(xí)三駕馬車”獲2018年度圖靈獎深度學(xué)習(xí)最重要的作用：表示學(xué)習(xí)深度學(xué)習(xí)常用框架泛化風(fēng)險

vs.

經(jīng)驗風(fēng)險泛化誤差：在“未來”樣本上的誤差經(jīng)驗誤差：在訓(xùn)練集上的誤差，亦稱“訓(xùn)練誤差”泛化誤差越小越好經(jīng)驗誤差是否越小越好？NO!

因為會出現(xiàn)“過擬合”(overfitting)過擬合(overfitting)

vs.欠擬合(underfitting)underfittingGood

fitoverfitting過擬合(overfitting)

vs

欠擬合(underfitting)一般而言，訓(xùn)練樣本越少，模型越復(fù)雜，越容易過擬合機器學(xué)習(xí)是無所不能的嗎？并非“一切皆可學(xué)”，例如：特征信息不充分例如，重要特征信息沒有獲得樣本信息不充分例如，僅有很少的數(shù)據(jù)樣本哪個算法更好？沒有免費的午餐！No

Free

Lunch

定理：一個算法????若在某些問題上比另一個算法????好，必存在另一些問題，????比????好。A更好？

YES!B更好？

YES!NFL定理的寓意NFL定理的重要前提：所有“問題”出現(xiàn)的機會相同、或所有問題同等重要實際情形并非如此；我們通常只關(guān)注自己正在試圖解決的問題脫離具體問題，空泛地談?wù)摗笆裁磳W(xué)習(xí)算法更好”毫無意義

！具體問題，具體分析！現(xiàn)實機器學(xué)習(xí)應(yīng)用把機器學(xué)習(xí)的“十大算法”“二十大算法”都弄熟，逐個試一遍，是否就“止于至善”

了？NO

!機器學(xué)習(xí)并非“十大套路”“二十大招數(shù)”

的簡單堆積現(xiàn)實任務(wù)千變?nèi)f化，以有限的“套路”應(yīng)對無限的“問題”

，焉有不??？最優(yōu)方案往往來自：按需設(shè)計、度身定制機器學(xué)習(xí)有哪些應(yīng)用？搜索引擎機器學(xué)習(xí)技術(shù)正在支撐著各種搜索引擎模型機器學(xué)習(xí)搜索：南京大學(xué)……搜索引擎自動駕駛車載攝像頭機器學(xué)習(xí)模型方向盤旋轉(zhuǎn)幅度油門幅度剎車幅度車載雷達控制汽車DARPAGrandChallenge–2004荒野中的無人車競賽美國在20世紀(jì)80年代就開始研究基于機器學(xué)習(xí)的汽車自動駕駛技術(shù)Google

無人駕駛汽車

–

2016新加坡無人駕駛出租車

–

2016視頻理解計算機可初步理解視頻內(nèi)容圖像生成根據(jù)文字描述生成相應(yīng)圖像幫助奧馬巴競選《時代》周刊這個團隊行動保密，定期向奧巴馬報送結(jié)果；被奧巴馬公開稱為總統(tǒng)競選的“核武器按鈕”(“They

are

our

nuclear

codes”)通過機器學(xué)習(xí)模型個性化宣傳喜歡寵物？奧巴馬也有寵物！喜歡籃球？奧巴馬也是籃球迷！廣告購買精準(zhǔn)定位不同選民群體，建議購買冷門廣告時段，廣告資金效率比2008年提高14%籌款籌款晚宴，在哪兒吃？和誰吃？和喬治克魯尼/奧巴馬共進晚餐對于年齡在40-49歲的美西地區(qū)女性頗具吸引力……

喬治克魯尼為奧巴馬舉辦的競選籌資晚宴成功募集到1500萬美元博弈AI計算/預(yù)測出較高勝率的走法？大量棋譜如何生成/利用公開的計算難題，意義重大熟知的日常游戲，影響深遠戰(zhàn)場戰(zhàn)術(shù)（美）HybridLogic

Navy:一套自動的基于機器學(xué)習(xí)的代理，幫助人類和無人機理解戰(zhàn)術(shù)狀況，及時做出最佳決策，以對付海軍作戰(zhàn)中的威脅/index.php/portfolio/hybrid-logic-navy2016

Commercial分類、預(yù)測規(guī)劃、強化眼鏡蛇系統(tǒng)：CoastalBattlefieldReconnaissanceandAnalysis

(COBRA)用于頻海戰(zhàn)斗艦，執(zhí)行無人空中戰(zhàn)術(shù)偵察。在兩棲攻擊之前，于海浪區(qū)和海灘區(qū)探測和定位雷區(qū)和障礙物/navydata/fact_display.asp?cid=2100&ti

d=1237&ct=2/n15_1/N151-049.htm2015USNavyOfficial自動目標(biāo)識別、監(jiān)督學(xué)習(xí)以及在線學(xué)習(xí)技術(shù)被作為核心技術(shù)并多次提及戰(zhàn)場戰(zhàn)術(shù)（英）無人偵察快艇:雷達 聲吶 視覺感知視和間諜活動，或者用于海岸巡邏http://www.telegraph.co.uk/news/2016/09/05/navy-unveils-robot-spy-

spe