《大數(shù)據(jù)處理與智能決策 》課件-3-機(jī)器學(xué)習(xí)算法基礎(chǔ)與線性回歸

1什么是機(jī)器學(xué)習(xí)？你如果沒有聽說過機(jī)器學(xué)習(xí)，那你就Out了！在《哈佛商業(yè)評論》發(fā)表數(shù)據(jù)科學(xué)家是21世紀(jì)最性感的職業(yè)之后，機(jī)器學(xué)習(xí)的研

究廣受關(guān)注。機(jī)器學(xué)習(xí)算法就是在沒有人類干預(yù)的情況下，從數(shù)據(jù)中學(xué)習(xí)，并在經(jīng)驗(yàn)中改善的一種方法，學(xué)習(xí)任務(wù)可能包括學(xué)習(xí)從輸入映射到輸出的函數(shù)，學(xué)習(xí)無標(biāo)簽數(shù)據(jù)的隱含結(jié)構(gòu)；或者是「基于實(shí)例的學(xué)習(xí)」，通過與存儲在記憶中的訓(xùn)練數(shù)據(jù)做比較，給一個(gè)新實(shí)例生成一個(gè)類別標(biāo)簽?；趯?shí)例的學(xué)習(xí)（instance-basedlearning）不會從具體實(shí)例中生成抽象結(jié)果。

是不是有點(diǎn)抽象？什么是機(jī)器學(xué)習(xí)？機(jī)器學(xué)習(xí)，是一種特殊的算法，能夠根據(jù)已有的數(shù)據(jù)進(jìn)行“學(xué)習(xí)”，學(xué)習(xí)的結(jié)果是“建立一個(gè)數(shù)學(xué)模型”。2現(xiàn)有數(shù)據(jù)機(jī)器學(xué)習(xí)算法數(shù)據(jù)模型學(xué)習(xí)訓(xùn)練數(shù)據(jù)模型新的數(shù)據(jù)預(yù)測輸出結(jié)果輸入輸入思考如果你是AlphaGo的設(shè)計(jì)者，根據(jù)以上提到的流程，請你說出你對AlphaGo的設(shè)計(jì)思想的理解3第一部分WhatisML?何為機(jī)器學(xué)習(xí)下面幾首詩，大家來猜猜，哪些是機(jī)器寫的，哪些是人寫的?平仄，押韻，對偶，對仗春到江南草更青，胭脂粉黛玉為屏。無端一夜西窗雨，吹落梨花滿地庭。

一夜秋風(fēng)掃葉開，云邊雁陣向南來。清霜漸染梧桐樹，滿地黃花坡上栽。

梨花落盡柳絮飛，雨打芭蕉入翠微。夜靜更深人不寐，江頭月下淚沾衣。

雨打芭蕉滴淚痕，殘燈孤影對黃昏。夜來無寐聽窗外，數(shù)聲雞鳴過曉村。

秋深更覺少人行，雁去無聲月滿庭。兄弟別離腸斷處，江南煙雨總關(guān)情。

明月當(dāng)窗照夜空，桂花香透小樓東。金風(fēng)玉露三更后，雪落梅梢一點(diǎn)紅。什么是機(jī)器學(xué)習(xí)GoogleBrain黑科技圖像的識別與重建機(jī)器學(xué)習(xí)界的執(zhí)牛耳者與互聯(lián)網(wǎng)界的大鱷的聯(lián)姻中間的是GeoffreyHinton,加拿大多倫多大學(xué)的教授，如今被聘為“Google大腦”的負(fù)責(zé)人。右邊的是YannLeCun,紐約大學(xué)教授，如今是Facebook人工智能實(shí)驗(yàn)室的主任。而左邊的大家都很熟悉，AndrewNg，中文名吳恩達(dá)，斯坦福大學(xué)副教授，如今也是“百度大腦”的負(fù)責(zé)人與百度首席科學(xué)家。機(jī)器學(xué)習(xí)領(lǐng)域類的大牛們何為機(jī)器學(xué)習(xí)Whatismachinelearning機(jī)器學(xué)習(xí)數(shù)據(jù)相關(guān)傳統(tǒng)編程指令因果入門級高漏誤報(bào)率通配符簡單邏輯描述簡單數(shù)據(jù)挖掘（關(guān)聯(lián)、序列）自然語言處理數(shù)據(jù)挖掘（聚類、分類）無監(jiān)督學(xué)習(xí)、監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)關(guān)鍵詞、特征正則表達(dá)式人工智能從廣義上來說，機(jī)器學(xué)習(xí)是一種能夠賦予機(jī)器學(xué)習(xí)的能力以此讓它完成直接編程無法完成的功能的方法。但從實(shí)踐的意義上來說，機(jī)器學(xué)習(xí)是一種通過利用數(shù)據(jù)，訓(xùn)練出模型，然后使用模型預(yù)測的一種方法。第二部分Machinelearningalgorithms三類機(jī)器學(xué)習(xí)算法三類機(jī)器學(xué)習(xí)算法Machinelearningalgorithms監(jiān)督學(xué)習(xí)？和平區(qū)、120平、新房，價(jià)格多少。三類機(jī)器學(xué)習(xí)算法Machinelearningalgorithms01030402SVM通過給予邏輯回歸算法更嚴(yán)格的優(yōu)化條件，支持向量機(jī)算法可以獲得比邏輯回歸更好的分類界線。但是如果沒有某類函數(shù)技術(shù)，則支持向量機(jī)算法最多算是一種更好的線性分類技術(shù)。邏輯回歸預(yù)測結(jié)果是離散的分類，例如判斷這封郵件是否是垃圾郵件，以及用戶是否會點(diǎn)擊此廣告等等。神經(jīng)網(wǎng)絡(luò)分解與整合。每個(gè)處理單元事實(shí)上就是一個(gè)邏輯回歸模型，邏輯回歸模型接收上層的輸入，把模型的預(yù)測結(jié)果作為輸出傳輸?shù)较乱粋€(gè)層次。通過這樣的過程，神經(jīng)網(wǎng)絡(luò)可以完成非常復(fù)雜的非線性分類。線性回歸擬合出的直線代表數(shù)據(jù)的真實(shí)值，而觀測到的數(shù)據(jù)代表擁有誤差的值。為了盡可能減小誤差的影響，需要求解一條直線使所有誤差的平方和最小。三類機(jī)器學(xué)習(xí)算法Machinelearningalgorithms非監(jiān)督學(xué)習(xí)聚類降維三類機(jī)器學(xué)習(xí)算法Machinelearningalgorithms三類機(jī)器學(xué)習(xí)算法Machinelearningalgorithms強(qiáng)化學(xué)習(xí)三類機(jī)器學(xué)習(xí)算法Machinelearningalgorithms第三部分Examplecode學(xué)習(xí)例子學(xué)習(xí)例子Examplecode瘋狂的ifelse語句權(quán)重學(xué)習(xí)例子Examplecode步驟1：首先，將每個(gè)權(quán)重都設(shè)為1.0步驟2：將每棟房產(chǎn)帶入你的函數(shù)運(yùn)算，檢驗(yàn)估算值與正確價(jià)格的偏離程度。步驟3：不斷重復(fù)步驟2，嘗試所有可能的權(quán)重值組合。哪一個(gè)組合使得代價(jià)最接近于0，它就是你要使用的，你只要找到了這樣的組合，問題就得到了解決!這就是經(jīng)典的“梯度下降”法，機(jī)器學(xué)習(xí)用于不斷迭代優(yōu)化的過程/wiki/Gradient_descent第二部分：一元線性回歸本部分針對19線性回歸概念線性回歸是利用數(shù)理統(tǒng)計(jì)中回歸分析，來確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計(jì)分析方法，運(yùn)用十分廣泛。其表達(dá)形式為y=w'x+e，e為誤差服從均值為0的正態(tài)分布回歸分析中，只包括一個(gè)自變量和一個(gè)因變量，且二者的關(guān)系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個(gè)或兩個(gè)以上的自變量，且因變量和自變量之間是線性關(guān)系，則稱為多元線性回歸分析。20什么是回歸分析分析兩種或兩種以上變量關(guān)系的一種統(tǒng)計(jì)方法就是回歸分析一個(gè)變量多個(gè)變量線性關(guān)系一元線性回歸多元線性回歸非線性關(guān)系一元非線性回歸多元非線性回歸那到底什么是線性？Y=b+aX，那么X和Y就是線性關(guān)系，因?yàn)閄的增加量與Y的增加量成固定比例XYY=b+aX線性回歸模型先從一個(gè)簡單的例子入手，介紹幾個(gè)概念下面這張圖給出了2016年統(tǒng)計(jì)的某區(qū)域房屋成交均價(jià)與房屋面積之間的關(guān)系，其中每一個(gè)點(diǎn)都是一個(gè)具體的房屋面積和價(jià)格面積價(jià)格也許我們可以用一條直線大致擬合一下這些點(diǎn)的軌跡f(面積)線性回歸模型面積價(jià)格三條直線中，哪一條最符合這些點(diǎn)的規(guī)律呢？假設(shè)圖上，每個(gè)點(diǎn)的坐標(biāo)都是(x,y)每條直線對應(yīng)的函數(shù)為f(x)那么∑|(f(x)-y)|最小的一條直線就是最符合這些點(diǎn)的規(guī)律的直線簡單一點(diǎn)說，點(diǎn)到直線距離之和最短的直線，是最貼合這些點(diǎn)的規(guī)律的直線線性回歸模型還是剛才那個(gè)例子，如果我想根據(jù)已經(jīng)存在的房屋數(shù)據(jù)，預(yù)測某一個(gè)面積對應(yīng)的價(jià)格，那么，我就需要推導(dǎo)出一條直線，然后根據(jù)這條直線進(jìn)行預(yù)測。假設(shè)這條直線的函數(shù)f(x)=a0+a1x，我們可以叫它預(yù)測函數(shù)；已知的所有圖上的點(diǎn)坐標(biāo)為(xi,yi)下面我們要做的事情就是找到合適的a0、a1,使得∑|f(xi)-yi|有最小的值，我們將這個(gè)目標(biāo)寫作min∑|f(xi)-yi|，稱為目標(biāo)函數(shù)我們可以將min∑|f(xi)-yi|轉(zhuǎn)化一下，變?yōu)閙in∑(f(xi)-yi)2，因?yàn)槿绻?f(xi)-yi)2到達(dá)最小值，那么|f(xi)-yi|也會最小假設(shè)我們已知的房屋數(shù)據(jù)，有m組，我們一般會將目標(biāo)函數(shù)再一次等價(jià)的變?yōu)閙in1/2m*∑(f(xi)-yi)2，我們用J(a0,a1)表示1/2m*∑(f(xi)-yi)2，所以目標(biāo)函數(shù)變?yōu)榱薽inJ(a0,a1)這里的J(a0,a1)我們成為代價(jià)函數(shù)最后總結(jié)一下，那個(gè)房屋面積和價(jià)格的例子中，我們打算用預(yù)測函數(shù)f(x)=a0+a1x去預(yù)測任意面積的房屋價(jià)格所以，我們就是要尋找合適的a0、a1,使得代價(jià)函數(shù)J(a0,a1)最小線性回歸模型26我們已經(jīng)了解了線性回歸的目的，以及預(yù)測函數(shù)和代價(jià)函數(shù)的概念。下面，我們會進(jìn)一步的了解，我們的代價(jià)函數(shù)是什么東西，為我們找到合適的a0和a1做充分準(zhǔn)備。代價(jià)函數(shù)27定義：

在數(shù)學(xué)優(yōu)化，統(tǒng)計(jì)學(xué)，計(jì)量經(jīng)濟(jì)學(xué)，決策理論，機(jī)器學(xué)習(xí)和計(jì)算神經(jīng)科學(xué)中，代價(jià)函數(shù)，又叫損失函數(shù)或成本函數(shù)，它是將一個(gè)或多個(gè)變量的事件閾值映射到直觀地表示與該事件。一個(gè)優(yōu)化問題試圖最小化損失函數(shù)。目標(biāo)函數(shù)是損失函數(shù)或其負(fù)值，在這種情況下它將被最大化。代價(jià)函數(shù)的意義代價(jià)函數(shù)J(a0,a1)的變量a0、a1，實(shí)際上是預(yù)測函數(shù)的參數(shù)回歸分析，實(shí)際上就是找到一組a0、a1，使代價(jià)函數(shù)的值最小代價(jià)函數(shù)實(shí)際上可以表示所有已知點(diǎn)到直線的距離之和代價(jià)函數(shù)的意義下面我給出一組已知的點(diǎn)，來看看預(yù)測函數(shù)和代價(jià)函數(shù)的關(guān)系（3,6）（2,4）（1,2）預(yù)測函數(shù)：y=x在這個(gè)例子里面，為了簡化問題，我們將a0去掉了，所以預(yù)測函數(shù)成了y=a1x，首先，我們讓a1=1根據(jù)代價(jià)函數(shù)的定義，J(1)=1/2m*∑(f(xi)-yi)2=1/6*[(1-2)2+(2-4)2+(3-6)2]=(1+4+9)/6=7/3≈2.33所以，我們在右邊的代價(jià)函數(shù)圖上，描上一個(gè)點(diǎn)(1，2.33)xya1J(a1)（1,2.33）還是剛才的那個(gè)例子，我們看看，a1=2的時(shí)候，代價(jià)函數(shù)的值是什么（3,6）（2,4）（1,2）預(yù)測函數(shù)：y=2x首先，我們讓a1=2根據(jù)代價(jià)函數(shù)的定義，J(1)=1/2m*∑(f(xi)-yi)2=1/6*[(2-2)2+(4-4)2+(6-6)2]=(0+0+0)/6=0所以，我們在右邊的代價(jià)函數(shù)圖上，描上一個(gè)點(diǎn)(2，0)xya1J(a1)（1,2.33）（2,0）代價(jià)函數(shù)的意義代價(jià)函數(shù)的意義最后我們看看，a1=3的時(shí)候，代價(jià)函數(shù)的值是什么（3,6）（2,4）（1,2）預(yù)測函數(shù)：y=3x首先，我們讓a1=3根據(jù)代價(jià)函數(shù)的定義，J(1)=1/2m*∑(f(xi)-yi)2=1/6*[(3-2)2+(6-4)2+(9-6)2]=(1+4+9)/6≈2.33所以，我們在右邊的代價(jià)函數(shù)圖上，描上一個(gè)點(diǎn)(3，2.33)xya1J(a1)（1,2.33）（2,0）（3,2.33）代價(jià)函數(shù)的意義有興趣的話，可以多嘗試幾組，你會發(fā)現(xiàn)，其實(shí)代價(jià)函數(shù)的圖像是這樣的我們可以看到，這種形狀的圖像，是肯定會有一個(gè)最低點(diǎn)的，而且只有一個(gè)也就是說，我們的代價(jià)函數(shù)必然可以找到一個(gè)a1，使得J(a1)最小剛才的例子中，a1=2恰好就是這個(gè)最小值了a1J(a1)（1,2.33）（2,0）（3,2.33）代價(jià)函數(shù)的意義剛才，我們用的是簡化以后的代價(jià)函數(shù)，只有a1。

那么如果加上a0，代價(jià)函數(shù)的圖像又是什么樣的呢？a0a1J(a0,a1)這就是有a0和a1兩個(gè)參數(shù)的時(shí)候代價(jià)函數(shù)的圖像注意，已經(jīng)是三維圖像了但我們依然可以看到，它有一個(gè)最低點(diǎn)代價(jià)函數(shù)的意義在之前的例子中，我們探討了線性回歸問題中，代價(jià)函數(shù)的圖像如果你足夠聰明，也許你已經(jīng)發(fā)現(xiàn)，線性回歸問題，我們可以歸結(jié)為尋找這個(gè)圖像的最低點(diǎn)的問題所以在接下來的課程中，我們會探討如何找到代價(jià)函數(shù)的最低點(diǎn)一旦你找到了最低點(diǎn)，那么a0和a1就找到了，這樣，預(yù)測函數(shù)也就找到了。最后需要說明的是，我們現(xiàn)在探討的，是只有一個(gè)變量x的時(shí)候，也就是一元線性回歸問題，多元的問題會在之后討論。梯度降維法（也叫梯度下降法）一元線性回歸分析梯度降維法解決什么問題假設(shè)y的值與n個(gè)因素有關(guān)，他們分別是x1、x2、x3......xn，且經(jīng)過調(diào)研，我們已經(jīng)掌握了m組實(shí)際值我們可以將他們的關(guān)系用函數(shù)y=a0+a1*x1+a2*x2+a3*x3......+anxn進(jìn)行擬合根據(jù)之前的結(jié)論，代價(jià)函數(shù)J(a0,a1,a2......an)=1/2m*∑(f(xi)-yi)2那么我們就需要根據(jù)已知的m組值，找出一組（a0,a1,a2......an），讓代價(jià)函數(shù)的值最小上面所說的梯度降維法，就是專門求解minJ(a0,a1,a2......an)問題的一種有效方法為了更直觀地看到梯度降維法是如何工作的，我們接下來只看兩個(gè)因素的問題，即J(a0,a1)問題梯度降維法工作原理思考：你可以把代價(jià)函數(shù)的圖像，想想為群山而你在這群山中的任意一點(diǎn)你需要下到更低的地方，你會怎么做？梯度降維法工作原理思路：假設(shè)，我在點(diǎn)A，我會環(huán)顧一下四周看看哪個(gè)方向的高度比我所在點(diǎn)更低然后朝那個(gè)方向前進(jìn)一小步，到點(diǎn)B到了B點(diǎn)以后，繼續(xù)剛才的操作，一步一步，慢慢的，我會發(fā)現(xiàn)我到了某個(gè)點(diǎn)，這個(gè)點(diǎn)四周的高度都比現(xiàn)在的高度要高，這個(gè)時(shí)候就可以停止了這就是梯度降維法的基本思路AB梯度降維法實(shí)現(xiàn)在這里，我要先給出結(jié)論，梯度降維法的實(shí)現(xiàn)方式如下（偽代碼）針對代價(jià)函數(shù)J(a0,a1)，我們要找到一個(gè)任意的初始點(diǎn)（a0,a1）設(shè)置兩個(gè)變量temp0=0;temp1=0;這兩個(gè)變量我們接下來會用到然后循環(huán)下面這一段{temp0=temp1=a0=temp0a1=temp1用新的a0和a1計(jì)算一下代價(jià)函數(shù)值}直到代價(jià)函數(shù)值不再變化或是變化很小，可以忽略不計(jì)的時(shí)候，就說明我們已經(jīng)找到了需要的a0和a1注意：有一點(diǎn)很容易出錯(cuò)，a0和a1一定要同時(shí)更新，否則，如果先更新a0，再對a1求偏導(dǎo)的時(shí)候，此時(shí)的a0是已經(jīng)更新過的，偏導(dǎo)求的就不對了，所以一定要同時(shí)更新，切記。梯度降維法實(shí)現(xiàn)看到上面的結(jié)論，是不是有點(diǎn)暈？沒關(guān)系，我們慢慢來，上面的一大串結(jié)論里面，對于沒有學(xué)習(xí)過高等數(shù)學(xué)的人來說，最麻煩的也許就是那個(gè)求偏導(dǎo)，完全搞不懂是什么，沒關(guān)系，那個(gè)值我之后會給出，會求偏導(dǎo)的，可以自己算一下。下面，我就介紹一下那個(gè)結(jié)論中的幾個(gè)概念學(xué)習(xí)速率（下山的步子有多大）方向（朝什么方向走）剛才的例子中，不斷的循環(huán)過程，就是在不斷的尋找下一步往哪走，而這“下一步”就是由方向和步子大小決定的，學(xué)習(xí)速率就好比下山時(shí)的步子大小，而那個(gè)偏導(dǎo)就是我們下山的方向，就這樣，我們會一步一步走到最低點(diǎn)。這是你可能會問，為什么方向會是兩個(gè)？一個(gè)對a0求偏導(dǎo)，一個(gè)對a1求偏導(dǎo)。下面我們來說說導(dǎo)數(shù)的含義導(dǎo)數(shù)的含義我們先把代價(jià)函數(shù)簡化一下，看看一個(gè)變量的代價(jià)函數(shù)圖像。在上一節(jié)中我們知道了，J(a1)的函數(shù)圖像如下a1J(a1)假設(shè)我們的初始點(diǎn)在A我們利用梯度降維法，就需要做下面這件事來找到點(diǎn)B我們可以看到，新的a1實(shí)際上是原來的值減去一個(gè)值減去的這個(gè)值由學(xué)習(xí)速率和一個(gè)導(dǎo)數(shù)組成這個(gè)導(dǎo)數(shù)的意義，實(shí)際上是點(diǎn)A的斜率我們沿著斜率的方向，就可以保證下一步的值肯定比這一步要小，我們可以看到，我們沿著斜率前進(jìn)了α，得到了一個(gè)新的a1，從而得到了新的點(diǎn)，這個(gè)點(diǎn)離我們的最低點(diǎn)更近了這個(gè)時(shí)候你可能會想明明是減去一個(gè)值，為什么a1會向右跑了呢？別忘了斜率的含義，你看看這條直線的方向，此時(shí)的斜率是負(fù)數(shù)，減去一個(gè)負(fù)數(shù)，所以值增加了。AB導(dǎo)數(shù)的含義我們再來看看，如果我的上一個(gè)點(diǎn)不在最低點(diǎn)的左邊，而在最低點(diǎn)的右邊，會是什么情況呢？a1J(a1)假設(shè)上一個(gè)點(diǎn)在A我們利用梯度降維法，就需要做下面這件事來找到點(diǎn)B這種情況下，A的斜率變?yōu)榱素?fù)值，我們新的點(diǎn)依然會朝著最小點(diǎn)的方向前進(jìn)，這就是導(dǎo)數(shù)（斜率）的神奇之處。它保障了我們的算法永遠(yuǎn)向著目標(biāo)前進(jìn)到目前為止，我們看到了斜率可以在方向上保證我們永遠(yuǎn)向著最低點(diǎn)前進(jìn)，下面，我們看看這個(gè)斜率對我們步子的大小有什么作用。AB導(dǎo)數(shù)的含義實(shí)際上，隨著我們的計(jì)算越來越接近最低點(diǎn)，斜率可以保證我們的步子越來越小，盡量不越過最低點(diǎn)a1J(a1)假設(shè)我們從A點(diǎn)出發(fā)，到了B點(diǎn)，經(jīng)過幾輪循環(huán)以后，我們的數(shù)值已經(jīng)到達(dá)了C點(diǎn)C點(diǎn)的斜率已經(jīng)明顯發(fā)生了變化，我們可以看到，C點(diǎn)切線的斜率與之前相比，已經(jīng)變得更小了，這時(shí)，對于相同的學(xué)習(xí)速率α來說，每次的變化都更小了所以，越接近最低點(diǎn)，步子的變化會越來越小，是我們盡量不會越過最低點(diǎn)。注意，這里說的是盡量不越過，如果你的α選擇得很大，還是會越過，還會出現(xiàn)一只無法到達(dá)最低點(diǎn)的情況，不過我們可以先不要關(guān)心這一點(diǎn)，在后面我會講到如何選擇合適的αABC導(dǎo)數(shù)的含義之前的例子，為了便于理解，我用的是只有一個(gè)參數(shù)的J（a1），當(dāng)有兩個(gè)參數(shù)的時(shí)候，圖像是三維的，所以在確定下山方向的時(shí)候，要分別對a1和a2求偏導(dǎo)，得到兩個(gè)方向上的增量，這樣才可以確定出下一步的位置。你們看，是不是和經(jīng)典物理里面求合力的情況有點(diǎn)像？實(shí)