人工智能導(dǎo)論-課件 第2章 算法技術(shù)讓人工智能更聰明

《人工智能概論》第二章算法技術(shù)讓人工智能更聰明目錄三人工智能算法的應(yīng)用一機(jī)器學(xué)習(xí)二深度學(xué)習(xí)機(jī)器學(xué)習(xí)一情景導(dǎo)入訊飛翻譯機(jī)AlphoGo人臉識(shí)別情景導(dǎo)入是什么讓計(jì)算機(jī)或者軟件如此精通人性？為什么讓計(jì)算機(jī)或者軟件如此造化出神？計(jì)算機(jī)或者軟件還能做什么精妙絕倫的事情？人工智能人工智能算法人工智能的應(yīng)用人類(lèi)越來(lái)越需要人工智能！機(jī)器學(xué)習(xí)(一)機(jī)器學(xué)習(xí)的概念(二)常見(jiàn)的機(jī)器學(xué)習(xí)算法(三)強(qiáng)化學(xué)習(xí)機(jī)器學(xué)習(xí)X123456Y35791113Y=2X+1例：給出以下的X和對(duì)應(yīng)的Y的值，請(qǐng)問(wèn)，當(dāng)X＝8時(shí)，Y＝？機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)ML：根據(jù)特征在水果攤買(mǎi)橙子，隨著見(jiàn)過(guò)的橙子和其他水果越來(lái)越多，辨別橙子的能力越來(lái)越強(qiáng)，不會(huì)再把香蕉當(dāng)橙子。機(jī)器學(xué)習(xí)（一）機(jī)器學(xué)習(xí)的概念機(jī)器學(xué)習(xí)是用數(shù)據(jù)或以往的經(jīng)驗(yàn)來(lái)優(yōu)化提升行為判斷的計(jì)算程序。簡(jiǎn)單的講機(jī)器學(xué)習(xí)是一種能夠賦予機(jī)器“學(xué)習(xí)”的能力，讓它完成直接編程無(wú)法完成的功能的方法。廣義上講機(jī)器學(xué)習(xí)是一種用數(shù)據(jù)訓(xùn)練出模型，然后使用模型進(jìn)行預(yù)測(cè)的方法。實(shí)踐上講機(jī)器學(xué)習(xí)（一）機(jī)器學(xué)習(xí)的概念機(jī)器學(xué)習(xí)的思想：機(jī)器學(xué)習(xí)是對(duì)人類(lèi)在生活中學(xué)習(xí)成長(zhǎng)的一個(gè)模擬。機(jī)器學(xué)習(xí)（一）機(jī)器學(xué)習(xí)的概念機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能的手段，可以描述為計(jì)算機(jī)利用已有的數(shù)據(jù)（或經(jīng)驗(yàn)）進(jìn)行學(xué)習(xí)，得出某種模型，再利用此模型預(yù)測(cè)結(jié)果。步驟一：先用以往數(shù)據(jù)訓(xùn)練模型；步驟二：再用模型預(yù)測(cè)新數(shù)據(jù)的結(jié)果。機(jī)器學(xué)習(xí)三要素：數(shù)據(jù)、算法、算力特點(diǎn)：隨經(jīng)驗(yàn)的增加，效果會(huì)變好。機(jī)器學(xué)習(xí)（一）機(jī)器學(xué)習(xí)的概念機(jī)器學(xué)習(xí)與傳統(tǒng)程序的差異：機(jī)器學(xué)習(xí)是一種新的編程范式！規(guī)則答案OutputComputerDataProgramOutputDataProgramComputer答案規(guī)則

傳統(tǒng)編程：機(jī)器學(xué)習(xí)：機(jī)器學(xué)習(xí)1.機(jī)器學(xué)習(xí)與人工智能的關(guān)系機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能應(yīng)用的算法技術(shù)之一，也是人工智能算法技術(shù)研究領(lǐng)域的一個(gè)分支。如今，機(jī)器學(xué)習(xí)技術(shù)已經(jīng)在各個(gè)人工智能應(yīng)用領(lǐng)域中發(fā)揮重要的作用。例如，識(shí)別垃圾郵件、人臉識(shí)別、醫(yī)療診斷、天氣預(yù)測(cè)等方面。機(jī)器學(xué)習(xí)2.機(jī)器學(xué)習(xí)算法的技術(shù)分類(lèi)有監(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)機(jī)器學(xué)習(xí)2.機(jī)器學(xué)習(xí)算法的技術(shù)分類(lèi)有監(jiān)督學(xué)習(xí)特點(diǎn)應(yīng)用樣本數(shù)據(jù)同時(shí)包含特征自變量(X)和目標(biāo)變量(Y)。然后使用有監(jiān)督學(xué)習(xí)算法訓(xùn)練得到從特征自變量輸入到目標(biāo)變量輸出的映射函數(shù)：Y=f(X)。(1)分類(lèi)問(wèn)題，如判斷“垃圾郵件”或“非垃圾郵件”。

(2)回歸問(wèn)題，如預(yù)測(cè)旅游人數(shù)。機(jī)器學(xué)習(xí)2.機(jī)器學(xué)習(xí)算法的技術(shù)分類(lèi)有監(jiān)督學(xué)習(xí)序號(hào)是否有車(chē)是否有放貸是否已婚收入是否違約111120001210060000301180000……

^1000011170001例：這是一組來(lái)自銀行的信用卡歷史數(shù)據(jù)，通過(guò)這些數(shù)據(jù)我們可以建立一個(gè)判斷新的客戶(hù)是否會(huì)存在違約的模型。具體過(guò)程如下：1、先用7000條訓(xùn)練出一個(gè)判斷是否會(huì)違約的模型。2、用剩下的3000條進(jìn)行判斷模型的準(zhǔn)確性。3、再根據(jù)判斷結(jié)果優(yōu)化模型。機(jī)器學(xué)習(xí)2.機(jī)器學(xué)習(xí)算法的技術(shù)分類(lèi)有監(jiān)督學(xué)習(xí)在有監(jiān)督學(xué)習(xí)下，輸入數(shù)據(jù)被稱(chēng)為“訓(xùn)練數(shù)據(jù)”，每組訓(xùn)練數(shù)據(jù)都有一個(gè)標(biāo)識(shí)值或結(jié)果值，如客戶(hù)違約對(duì)應(yīng)1，客戶(hù)不違約對(duì)應(yīng)0。在建立預(yù)測(cè)模型的時(shí)候，有監(jiān)督學(xué)習(xí)建立一個(gè)學(xué)習(xí)過(guò)程，將預(yù)測(cè)的結(jié)果與訓(xùn)練數(shù)據(jù)的實(shí)際結(jié)果進(jìn)行比較，不斷的調(diào)整預(yù)測(cè)模型，直到模型的預(yù)測(cè)結(jié)果達(dá)到一個(gè)預(yù)期的準(zhǔn)確率。機(jī)器學(xué)習(xí)2.機(jī)器學(xué)習(xí)算法的技術(shù)分類(lèi)有監(jiān)督學(xué)習(xí)的應(yīng)用場(chǎng)景1輸入：一組有標(biāo)簽的訓(xùn)練數(shù)據(jù)，標(biāo)簽表明了這些數(shù)據(jù)的所屬類(lèi)別。輸出：分類(lèi)模型根據(jù)訓(xùn)練數(shù)據(jù)訓(xùn)練自己的模型參數(shù)，學(xué)習(xí)出一個(gè)適合這組數(shù)據(jù)的分類(lèi)器，當(dāng)有新數(shù)據(jù)（非訓(xùn)練數(shù)據(jù)）需要進(jìn)行類(lèi)別判斷，就可以將這組新數(shù)據(jù)作為輸入送給學(xué)好的分類(lèi)器進(jìn)行判斷。2回歸學(xué)習(xí)：統(tǒng)計(jì)學(xué)分析數(shù)據(jù)的方法，目的在于了解兩個(gè)或多個(gè)變數(shù)間是否相關(guān)、研究其相關(guān)方向與強(qiáng)度，并建立數(shù)學(xué)模型以便觀(guān)察特定變數(shù)來(lái)預(yù)測(cè)研究者感興趣的變數(shù)。回歸分析可以幫助人們了解在自變量變化時(shí)因變量的變化量。一般來(lái)說(shuō)，通過(guò)回歸分析我們可以由給出的自變量估計(jì)因變量的條件期望?；貧w：當(dāng)輸出是連續(xù)的，學(xué)習(xí)任務(wù)為回歸任務(wù)。分類(lèi)：當(dāng)輸出是離散的，學(xué)習(xí)任務(wù)為分類(lèi)任務(wù)。機(jī)器學(xué)習(xí)2.機(jī)器學(xué)習(xí)算法的技術(shù)分類(lèi)有監(jiān)督學(xué)習(xí)分類(lèi)算法的應(yīng)用金融：貸款是否批準(zhǔn)進(jìn)行評(píng)估醫(yī)療診斷：判斷一個(gè)腫瘤是惡性還是良性欺詐檢測(cè)：判斷一筆銀行的交易是否涉嫌欺詐網(wǎng)頁(yè)分類(lèi)：判斷網(wǎng)頁(yè)的所屬類(lèi)別機(jī)器學(xué)習(xí)2.機(jī)器學(xué)習(xí)算法的技術(shù)分類(lèi)有監(jiān)督學(xué)習(xí)回歸例子：房?jī)r(jià)的研究動(dòng)動(dòng)手：（計(jì)算題）假設(shè)通過(guò)大量數(shù)據(jù)分析，獲得了房屋面積和價(jià)格之間的線(xiàn)性關(guān)系如下：y=0.15*x+36那么，當(dāng)房屋面積為3600的時(shí)候，其價(jià)格大約是_____。576機(jī)器學(xué)習(xí)2.機(jī)器學(xué)習(xí)算法的技術(shù)分類(lèi)無(wú)監(jiān)督學(xué)習(xí)特點(diǎn)應(yīng)用樣本數(shù)據(jù)只有特征自變量(X)，沒(méi)有目標(biāo)變量(Y)。算法在輸入數(shù)據(jù)的過(guò)程中自己發(fā)現(xiàn)數(shù)據(jù)中的規(guī)律或模式。(1)關(guān)聯(lián)問(wèn)題，關(guān)聯(lián)規(guī)則學(xué)習(xí)目的是從數(shù)據(jù)中發(fā)現(xiàn)強(qiáng)規(guī)則。如通過(guò)分析數(shù)據(jù)發(fā)現(xiàn)，買(mǎi)了商品A的顧客有可能還會(huì)買(mǎi)商品B。(2)聚類(lèi)問(wèn)題，聚類(lèi)方法可以發(fā)現(xiàn)數(shù)據(jù)內(nèi)部的組群關(guān)系。如確定衣服尺碼的大小。機(jī)器學(xué)習(xí)2.機(jī)器學(xué)習(xí)算法的技術(shù)分類(lèi)無(wú)監(jiān)督學(xué)習(xí)的應(yīng)用場(chǎng)景1評(píng)估兩個(gè)不同樣本之間的“相似性”，通常使用的方法就是計(jì)算兩個(gè)樣本之間的“距離”。使用不同的方法計(jì)算樣本間的距離會(huì)關(guān)系到聚類(lèi)結(jié)果的好壞。2維度表示數(shù)據(jù)的特征量的大小。例如，房?jī)r(jià)包含房子的長(zhǎng)、寬、面積與房間數(shù)量四個(gè)特征，也就是維度為4維的數(shù)據(jù)?？梢钥闯?，長(zhǎng)與寬事實(shí)上與面積表示的信息重疊了。通過(guò)降維算法，可以去除冗余信息，將特征減少為面積與房間數(shù)量?jī)蓚€(gè)特征，即從4維的數(shù)據(jù)壓縮到2維。這樣，不僅利于表示，同時(shí)提高計(jì)算的性能。降維：在保證數(shù)據(jù)所具有的代表性特性或者分布的情況下，將高維數(shù)據(jù)轉(zhuǎn)化為低維數(shù)據(jù)的過(guò)程。聚類(lèi)：根據(jù)數(shù)據(jù)的“相似性”將數(shù)據(jù)分為多類(lèi)的過(guò)程。機(jī)器學(xué)習(xí)2.機(jī)器學(xué)習(xí)算法的技術(shù)分類(lèi)無(wú)監(jiān)督學(xué)習(xí)聚類(lèi)例子：機(jī)器學(xué)習(xí)2.機(jī)器學(xué)習(xí)算法的技術(shù)分類(lèi)無(wú)監(jiān)督學(xué)習(xí)降維例子：機(jī)器學(xué)習(xí)現(xiàn)在要對(duì)銀行提供的數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)，但銀行提供了一張有21項(xiàng)內(nèi)容的表，里面包含了合同號(hào)、客戶(hù)號(hào)、年齡、婚姻狀況、A行服務(wù)年限等內(nèi)容，但是很顯然，合同號(hào)、客戶(hù)號(hào)等信息并不是特別重要的。通常，只要p（變量）大于10，就可以認(rèn)為是高維。通過(guò)降維方法的使用，將原先21個(gè)變量進(jìn)行降維，最后得到5個(gè)最重要的變量，如下：國(guó)內(nèi)學(xué)者楊質(zhì)敏提到：語(yǔ)音識(shí)別無(wú)疑是一個(gè)復(fù)雜的過(guò)程，但是據(jù)推測(cè)，這個(gè)過(guò)程可以用5個(gè)變量就可以很好地實(shí)現(xiàn)。機(jī)器學(xué)習(xí)2.機(jī)器學(xué)習(xí)算法的技術(shù)分類(lèi)半監(jiān)督學(xué)習(xí)特點(diǎn)應(yīng)用樣本數(shù)據(jù)部分被標(biāo)識(shí)，部分沒(méi)有被標(biāo)識(shí)。這種學(xué)習(xí)模型可以用來(lái)進(jìn)行預(yù)測(cè)，但是模型首先需要學(xué)習(xí)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)以便合理地組織數(shù)據(jù)來(lái)進(jìn)行預(yù)測(cè)。(1)分類(lèi)問(wèn)題(2)回歸問(wèn)題機(jī)器學(xué)習(xí)2.機(jī)器學(xué)習(xí)算法的技術(shù)分類(lèi)半監(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)，既用到了標(biāo)簽數(shù)據(jù)，又用到了非標(biāo)簽數(shù)據(jù)，兼顧“有監(jiān)督學(xué)習(xí)”和“無(wú)監(jiān)督學(xué)習(xí)”二者的優(yōu)點(diǎn)。對(duì)半監(jiān)督學(xué)習(xí)的現(xiàn)實(shí)需求能收集到的標(biāo)簽數(shù)據(jù)非常有限，而手工標(biāo)記數(shù)據(jù)需要耗費(fèi)大量的人力物力成本；標(biāo)簽數(shù)據(jù)大量存在且觸手可及，這個(gè)現(xiàn)象在互聯(lián)網(wǎng)數(shù)據(jù)中更為凸顯。機(jī)器學(xué)習(xí)3.機(jī)器學(xué)習(xí)中的基礎(chǔ)知識(shí)數(shù)據(jù)：機(jī)器學(xué)習(xí)算法的“學(xué)習(xí)資料”A訓(xùn)練數(shù)據(jù),用來(lái)訓(xùn)練模型的，是算法的學(xué)習(xí)資料。B驗(yàn)證數(shù)據(jù)，用來(lái)評(píng)估不同參數(shù)下模型效果，選擇最優(yōu)模型。C測(cè)試數(shù)據(jù)，用來(lái)測(cè)試模型效果，評(píng)估泛化能力。訓(xùn)練數(shù)據(jù)是算法真正用來(lái)“學(xué)習(xí)”（擬合）的數(shù)據(jù)。機(jī)器學(xué)習(xí)3.機(jī)器學(xué)習(xí)中的基礎(chǔ)知識(shí)數(shù)據(jù)：三者的關(guān)系機(jī)器學(xué)習(xí)3.機(jī)器學(xué)習(xí)中的基礎(chǔ)知識(shí)數(shù)據(jù)：訓(xùn)練集和驗(yàn)證集的劃分方法將剩余的數(shù)據(jù)集按照一定的比例劃分出訓(xùn)練集和驗(yàn)證集，如將其70%作為訓(xùn)練集，30%作為驗(yàn)證集。“hold-out”交互檢驗(yàn)將剩余數(shù)據(jù)劃分為K等份，用K-1份作為訓(xùn)練集，剩余1份作為驗(yàn)證集，依次輪換訓(xùn)練集和驗(yàn)證集K次，直到找到預(yù)測(cè)誤差最小的模型認(rèn)為是所求模型，也被稱(chēng)為k折交叉驗(yàn)證。機(jī)器學(xué)習(xí)3.機(jī)器學(xué)習(xí)中的基礎(chǔ)知識(shí)目標(biāo)函數(shù)：機(jī)器學(xué)習(xí)算法學(xué)習(xí)的方向意義機(jī)器學(xué)習(xí)算法通過(guò)“學(xué)習(xí)”輸入數(shù)據(jù)，在求解目標(biāo)函數(shù)的極值的過(guò)程中，訓(xùn)練得到算法參數(shù)的最優(yōu)值，也即求解模型參數(shù)。舉例：邏輯回歸算法機(jī)器學(xué)習(xí)3.機(jī)器學(xué)習(xí)中的基礎(chǔ)知識(shí)基于梯度的參數(shù)優(yōu)化方法基于梯度的參數(shù)優(yōu)化方法指利用導(dǎo)數(shù)求目標(biāo)函數(shù)的極值（最值）。機(jī)器學(xué)習(xí)4.機(jī)器學(xué)習(xí)的“學(xué)習(xí)”過(guò)程BDFACEStep1：收集數(shù)據(jù)首先準(zhǔn)備用于機(jī)器學(xué)習(xí)算法的數(shù)據(jù)集，以二維矩陣形式表示，每行代表一條學(xué)習(xí)樣本，每列代表一個(gè)變量，包括特征自變量（X）及目標(biāo)變量（Y）；Step3：選擇模型選擇一種機(jī)器學(xué)習(xí)算法并確定其目標(biāo)函數(shù)；Step5：評(píng)估使用驗(yàn)證集評(píng)估不同超參數(shù)組合下的模型效果，選擇最優(yōu)模型；Step2：數(shù)據(jù)準(zhǔn)備將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集；Step4：訓(xùn)練、參數(shù)調(diào)整設(shè)定不同的算法超參數(shù)組合，在每組確定的超參數(shù)下，使用訓(xùn)練集進(jìn)行算法參數(shù)的尋優(yōu)，得到該組超參數(shù)下的最優(yōu)參數(shù)模型；Step6：預(yù)估使用測(cè)試集評(píng)估最優(yōu)模型的效果，即最終模型的泛化能力。機(jī)器學(xué)習(xí)(一)機(jī)器學(xué)習(xí)的概念(二)常見(jiàn)的機(jī)器學(xué)習(xí)算法(三)強(qiáng)化學(xué)習(xí)機(jī)器學(xué)習(xí)（二）常見(jiàn)的機(jī)器學(xué)習(xí)算法決策樹(shù)算法用樹(shù)的結(jié)構(gòu)來(lái)構(gòu)建分類(lèi)模型，每個(gè)節(jié)點(diǎn)代表著一個(gè)屬性，根據(jù)屬性的劃分，進(jìn)入這個(gè)節(jié)點(diǎn)的子節(jié)點(diǎn)直至葉子節(jié)點(diǎn)，每個(gè)葉子節(jié)點(diǎn)都代表一定的類(lèi)別，從而達(dá)到分類(lèi)的目的。概念如果要解決的問(wèn)題需要模型具備很好的可解釋性，可以考慮決策樹(shù)算法。應(yīng)用用于貸款審批的決策樹(shù)模型。舉例1.決策樹(shù)算法機(jī)器學(xué)習(xí)（二）常見(jiàn)的機(jī)器學(xué)習(xí)算法決策樹(shù)舉例：用于貸款審批的決策樹(shù)模型假設(shè)該模型通過(guò)年齡、學(xué)歷、是否擁有房產(chǎn)等特征，對(duì)貸款申請(qǐng)人做出批準(zhǔn)或拒絕的決策，如右圖所示。輸入的申請(qǐng)人特征會(huì)按照決策樹(shù)的結(jié)構(gòu)自上而下進(jìn)行條件判斷，最終分類(lèi)到某個(gè)葉子節(jié)點(diǎn)，根據(jù)模型對(duì)該葉子節(jié)點(diǎn)定義的屬性，來(lái)判斷是否通過(guò)該申請(qǐng)人的貸款。如，某申請(qǐng)人年齡為40歲，但沒(méi)有房產(chǎn)，若其月收入超過(guò)1.5萬(wàn)元，模型認(rèn)定可以通過(guò)其貸款申請(qǐng)。決策樹(shù)具有很好的可解釋性，銀行可以向被拒絕貸款的客戶(hù)解釋拒絕原因，例如該客戶(hù)沒(méi)有房產(chǎn)且月收入小于1.5萬(wàn)元。機(jī)器學(xué)習(xí)（二）常見(jiàn)的機(jī)器學(xué)習(xí)算法決策樹(shù)舉例：預(yù)測(cè)班車(chē)的到達(dá)時(shí)間每天早上7點(diǎn)半班車(chē)從A地發(fā)往B地，預(yù)測(cè)到達(dá)B地的時(shí)間。第一次乘坐，你的預(yù)測(cè)通常不太準(zhǔn)；一周之后，你大概能預(yù)測(cè)：班車(chē)8點(diǎn)左右能夠到達(dá)B地；一個(gè)月之后，隨著經(jīng)驗(yàn)的增加，你還會(huì)知道：周一常常堵車(chē)，會(huì)晚到10分鐘，下雨天常常堵車(chē)，會(huì)晚到20分鐘。一種簡(jiǎn)單的機(jī)器學(xué)習(xí)模型（決策樹(shù)模型）機(jī)器學(xué)習(xí)（二）常見(jiàn)的機(jī)器學(xué)習(xí)算法集成學(xué)習(xí)就是將多個(gè)弱監(jiān)督模型組合使用，以期得到一個(gè)更好更全面的模型。即便某一個(gè)弱模型得到了錯(cuò)誤的預(yù)測(cè)，其他的弱分類(lèi)器也可以將錯(cuò)誤糾正回來(lái)。概念集成學(xué)習(xí)在任何規(guī)模的數(shù)據(jù)集上都有很好的應(yīng)對(duì)策略。應(yīng)用Bagging和Boosting舉例2.集成學(xué)習(xí)算法利用Bootstrap方法從樣本數(shù)據(jù)中采取有放回抽樣，經(jīng)過(guò)訓(xùn)練得到一個(gè)模型

，如此重復(fù)進(jìn)行M次，得到M個(gè)獨(dú)立模型。最終的預(yù)測(cè)模型可以將所有M個(gè)模型的預(yù)測(cè)結(jié)果按照一定的方法綜合使用。通常，分類(lèi)問(wèn)題采用M個(gè)模型預(yù)測(cè)投票的方式；回歸問(wèn)題采用M個(gè)模型預(yù)測(cè)平均的方式。機(jī)器學(xué)習(xí)（二）常見(jiàn)的機(jī)器學(xué)習(xí)算法舉例：Bagging和BoostingBaggingBoosting隨機(jī)森林是Bagging方法的一種。BGM是Boosting方法的一種。Boosting（提升方法）是一種可以用來(lái)減少有監(jiān)督學(xué)習(xí)中偏差的機(jī)器學(xué)習(xí)算法。機(jī)器學(xué)習(xí)（二）常見(jiàn)的機(jī)器學(xué)習(xí)算法3.邏輯回歸算法邏輯回歸是一種基于線(xiàn)性回歸的經(jīng)典分類(lèi)模型。核心思想：將線(xiàn)性函數(shù)的結(jié)果映射到了sigmoid函數(shù)中。公式如下：其中：z是關(guān)于輸入變量的線(xiàn)性回歸。

機(jī)器學(xué)習(xí)（二）常見(jiàn)的機(jī)器學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)是將多個(gè)sigmoid函數(shù)單元通過(guò)某種方式疊加形成的機(jī)器學(xué)習(xí)算法。概念輸入層：輸入變量隱藏層：sigmoid函數(shù)輸出層：預(yù)測(cè)值結(jié)構(gòu)“隱藏層”多層的神經(jīng)網(wǎng)絡(luò)模型。深度神經(jīng)網(wǎng)絡(luò)4.神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)(一)機(jī)器學(xué)習(xí)的概念(二)機(jī)器學(xué)習(xí)的常見(jiàn)算法(三)強(qiáng)化學(xué)習(xí)機(jī)器學(xué)習(xí)（三）強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)的概念概念強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)重要分支，是受到行為主義心理學(xué)研究的啟發(fā)，產(chǎn)生的一種交互式學(xué)習(xí)方法，又稱(chēng)為增強(qiáng)學(xué)習(xí)或激勵(lì)學(xué)習(xí)。算法思想讓機(jī)器通過(guò)不斷嘗試，從錯(cuò)誤中學(xué)習(xí)，從一開(kāi)始完全隨機(jī)進(jìn)行操作，到最后找到規(guī)律，學(xué)會(huì)達(dá)到目的的方法?；疽丨h(huán)境，Agent，動(dòng)作，反饋。機(jī)器學(xué)習(xí)（三）強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)的概念強(qiáng)化學(xué)習(xí)介于監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)之間，是一種從環(huán)境狀態(tài)到行為映射的學(xué)習(xí)，目的是使動(dòng)作從環(huán)境中獲得的累積回報(bào)值最大?；驹砣缦聢D：例：在向用戶(hù)推薦新聞文章的任務(wù)中，無(wú)監(jiān)督學(xué)習(xí)會(huì)找到用戶(hù)先前已經(jīng)閱讀過(guò)類(lèi)似的文章，并向他們推薦其一。而強(qiáng)化學(xué)習(xí)將通過(guò)向用戶(hù)先推薦少量的新聞，并不斷獲得來(lái)自用戶(hù)的反饋，最后構(gòu)建用戶(hù)可能會(huì)喜歡的文章的“知識(shí)圖譜”。(環(huán)境)(動(dòng)作)(反饋)(狀態(tài))機(jī)器學(xué)習(xí)（三）強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)的概念A(yù)強(qiáng)化學(xué)習(xí)的輸入數(shù)據(jù)是序列的、交互的，并且還是有反饋的。而有監(jiān)督學(xué)習(xí)的輸入數(shù)據(jù)是多樣化的標(biāo)簽數(shù)據(jù)。輸入數(shù)據(jù)不同B強(qiáng)化學(xué)習(xí)是一個(gè)決策模型，有監(jiān)督學(xué)習(xí)更偏向模式挖掘。學(xué)習(xí)目標(biāo)不同C強(qiáng)化學(xué)習(xí)是agent自己去學(xué)習(xí)，有監(jiān)督學(xué)習(xí)是按照算法特點(diǎn)進(jìn)行參數(shù)最優(yōu)化求解。學(xué)習(xí)方式不同與監(jiān)督學(xué)習(xí)的區(qū)別深度學(xué)習(xí)二課程導(dǎo)入請(qǐng)告訴我這兩張照片分別是誰(shuí)？深度學(xué)習(xí)目前業(yè)界許多的圖像識(shí)別技術(shù)與語(yǔ)音識(shí)別技術(shù)的進(jìn)步都源于深度學(xué)習(xí)的發(fā)展，除了所提的Siri等語(yǔ)音助手，還包括一些圖像識(shí)別應(yīng)用，其中典型的代表就是下圖的百度識(shí)圖功能。深度學(xué)習(xí)動(dòng)手操作：利用百度識(shí)圖功能，對(duì)下面兩張圖片進(jìn)行識(shí)別。深度學(xué)習(xí)深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、人工智能三者關(guān)系深度學(xué)習(xí)(DL,DeepLearning)是機(jī)器學(xué)習(xí)(ML,MachineLearning)領(lǐng)域中一個(gè)新的研究方向，它被引入機(jī)器學(xué)習(xí)使其更接近于最初的目標(biāo)——人工智能(AI,ArtificialIntelligence)深度學(xué)習(xí)深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、人工智能三者關(guān)系人工智能是機(jī)器學(xué)習(xí)的父類(lèi)。深度學(xué)習(xí)則是機(jī)器學(xué)習(xí)的子類(lèi)。深度學(xué)習(xí)深度學(xué)習(xí)發(fā)展史：/video/av69372600/5分鐘快速了解深度學(xué)習(xí)：/video/BV1z64y1F7Q6/深度學(xué)習(xí)深度學(xué)習(xí)的概念：深度學(xué)習(xí)的概念由Hinton等人于2006年提出，深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。用官方的含義解釋就是：含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過(guò)組合低層特征形成更加抽象的高層表示屬性類(lèi)別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。同機(jī)器學(xué)習(xí)方法一樣，深度學(xué)習(xí)方法也有監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)之分，不同的學(xué)習(xí)框架下建立的學(xué)習(xí)模型很是不同。深度學(xué)習(xí)(一)算法基礎(chǔ)(二)卷積神經(jīng)網(wǎng)絡(luò)(CNN)(三)循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)深度學(xué)習(xí)（一）算法基礎(chǔ)感知器(決策模型)輸入幾個(gè)二進(jìn)制并生成一個(gè)二進(jìn)制的輸出原理一般，f(x)=1,表示‘是’，f(x)=0,表示‘否’。深度學(xué)習(xí)（一）算法基礎(chǔ)激活函數(shù)作用是將線(xiàn)性函數(shù)的結(jié)果映射后引入非線(xiàn)性的變換sigmoid函數(shù)深度學(xué)習(xí)（一）算法基礎(chǔ)激活函數(shù)作用是對(duì)輸入數(shù)據(jù)x,保留正數(shù)且以0代替負(fù)數(shù)ReLU函數(shù)深度學(xué)習(xí)（一）算法基礎(chǔ)激活函數(shù)作用是將輸入數(shù)據(jù)x的值變換到-1和1之間tanh函數(shù)深度學(xué)習(xí)（一）算法基礎(chǔ)神經(jīng)網(wǎng)絡(luò)指對(duì)神經(jīng)網(wǎng)絡(luò)沿著從輸入層到輸出層的順序，依次計(jì)算并存儲(chǔ)模型的中間變量（包括輸出）。前向傳播計(jì)算神經(jīng)網(wǎng)絡(luò)參數(shù)梯度的方法反向傳播深度學(xué)習(xí)(一)算法基礎(chǔ)(二)卷積神經(jīng)網(wǎng)絡(luò)(CNN)(三)循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)深度學(xué)習(xí)（二）卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)LeNetAelxNetGoogleNet深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)–很擅長(zhǎng)處理圖像深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用：人臉識(shí)別人臉識(shí)別已經(jīng)是一個(gè)非常普及的應(yīng)用了，在很多領(lǐng)域都有廣泛的應(yīng)用。典型場(chǎng)景：安防、金融、生活…深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用：圖像分類(lèi)、檢索圖像分類(lèi)是比較基礎(chǔ)的應(yīng)用，他可以節(jié)省大量的人工成本，將圖像進(jìn)行有效的分類(lèi)。對(duì)于一些特定領(lǐng)域的圖片，分類(lèi)的準(zhǔn)確率可以達(dá)到95%+，已經(jīng)算是一個(gè)可用性很高的應(yīng)用了深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用：目標(biāo)定位檢測(cè)可以在圖像中定位目標(biāo)，并確定目標(biāo)的位置及大小。典型場(chǎng)景：自動(dòng)駕駛、安防、醫(yī)療…深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用：目標(biāo)分割對(duì)前景和背景進(jìn)行像素級(jí)的區(qū)分、再高級(jí)一點(diǎn)還可以識(shí)別出目標(biāo)并且對(duì)目標(biāo)進(jìn)行分類(lèi)。典型場(chǎng)景：美圖秀秀、視頻后期加工、圖像生成…深度學(xué)習(xí)(一)算法基礎(chǔ)(二)卷積神經(jīng)網(wǎng)絡(luò)(CNN)(三)循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)深度學(xué)習(xí)（三）循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)通過(guò)使用帶自反饋的神經(jīng)元，能夠處理任意長(zhǎng)度的序列。循環(huán)神經(jīng)網(wǎng)絡(luò)比前饋神經(jīng)網(wǎng)絡(luò)更加符合生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。循神經(jīng)網(wǎng)絡(luò)已經(jīng)被廣泛應(yīng)用在語(yǔ)音識(shí)別、語(yǔ)言模型以及自然語(yǔ)言生成等任務(wù)上。深度學(xué)習(xí)循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)深度學(xué)習(xí)循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用：語(yǔ)音識(shí)別好φφ棒φφφφ好φφ棒φ棒φφ“好棒”“好棒棒”深度學(xué)習(xí)循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用：機(jī)器翻譯learningmachine機(jī)習(xí)器學(xué)。深度學(xué)習(xí)循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用：看圖說(shuō)話(huà)深度學(xué)習(xí)循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用：作詩(shī)人工智能算法的應(yīng)用三人工智能算法的應(yīng)用(一)智能推薦(二)計(jì)算機(jī)視覺(jué)(三)自然語(yǔ)言處理人工智能算法的應(yīng)用（一）智能推薦概念：智能推薦是一種基于計(jì)算機(jī)算法和機(jī)器學(xué)習(xí)技術(shù)的個(gè)性化信息推送方法。它的目標(biāo)是根據(jù)用戶(hù)的興趣、歷史行為和其他相關(guān)因素，提供與其偏好和需求相匹配的內(nèi)容、產(chǎn)品或服務(wù)建議。智能推薦系統(tǒng)可以在許多不同的領(lǐng)域中應(yīng)用，包括電子商務(wù)、社交媒體、音樂(lè)流媒體、視頻流媒體、新聞和內(nèi)容聚合等。目的對(duì)用戶(hù)提供決策支持，例如買(mǎi)什么物品、聽(tīng)什么歌曲或讀什么新聞。價(jià)值幫助用戶(hù)解決信息過(guò)載的問(wèn)題，做出最好的選擇。方法基于內(nèi)容的方法和協(xié)同過(guò)濾的方法。人工智能算法的應(yīng)用（一）智能推薦基于內(nèi)容的方法內(nèi)容過(guò)濾方法會(huì)分析項(xiàng)目的屬性和特征，然后根據(jù)用戶(hù)先前的偏好向其推薦具有類(lèi)似特征的項(xiàng)目。這通常需要對(duì)項(xiàng)目進(jìn)行標(biāo)簽或?qū)傩缘姆诸?lèi)。原則去識(shí)別那些有共同特征的項(xiàng)目（如電影、音樂(lè)等）。思路對(duì)某個(gè)用戶(hù)已經(jīng)評(píng)分過(guò)的項(xiàng)目分析其共同特點(diǎn)，然后將含有這些特點(diǎn)的新的項(xiàng)目推薦給該用戶(hù)。局限‘內(nèi)容分析限制’和‘過(guò)度專(zhuān)業(yè)化’人工智能算法的應(yīng)用（一）智能推薦協(xié)同過(guò)濾的方法這種方法依賴(lài)于用戶(hù)行為數(shù)據(jù)，如用戶(hù)的瀏覽歷史、購(gòu)買(mǎi)歷史或評(píng)分。系統(tǒng)會(huì)分析用戶(hù)與其他用戶(hù)的行為相似性，然后向用戶(hù)推薦與相似用戶(hù)喜歡的項(xiàng)目。特點(diǎn)：使用其他用戶(hù)對(duì)項(xiàng)目的評(píng)分信息思想：如果目標(biāo)用戶(hù)和某一用戶(hù)在某些項(xiàng)目評(píng)分上很相似，那么目標(biāo)用戶(hù)對(duì)新項(xiàng)目的評(píng)分與該用戶(hù)的評(píng)分也是相似的優(yōu)點(diǎn)：解決基于內(nèi)容的推薦方法存在的一些局限分類(lèi)：基于鄰域的方法和基于模型的方法基于模型的方法包括：括貝葉斯聚類(lèi)、潛在語(yǔ)義分析（LDA）、最大熵、玻爾茲曼機(jī)、支持向量機(jī)（SVM）和奇異值分解（SVD）智能推薦方法的評(píng)判標(biāo)準(zhǔn)：準(zhǔn)確率，效率，穩(wěn)定性，合理性，意外發(fā)現(xiàn)率010203040506人工智能算法的應(yīng)用（一）智能推薦近年來(lái)，深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)技術(shù)已經(jīng)在推薦系統(tǒng)中得到廣泛應(yīng)用。這些技術(shù)能夠處理大量復(fù)雜的數(shù)據(jù)和模式，以提供更準(zhǔn)確的個(gè)性化建議。相較于基于內(nèi)容與協(xié)同過(guò)濾算法而言，深度學(xué)習(xí)模型需要更大、更廣、更全面的數(shù)據(jù)量，以神經(jīng)網(wǎng)絡(luò)的層層學(xué)習(xí)遞進(jìn)與參數(shù)反向傳播不斷迭代優(yōu)化出最優(yōu)模型，從而實(shí)現(xiàn)對(duì)于產(chǎn)品的推薦與判斷人工智能算法的應(yīng)用（一）智能推薦神經(jīng)協(xié)同過(guò)濾（NeuralCollaborativeFiltering，NCF）：NCF是一種基于深度學(xué)習(xí)的協(xié)同過(guò)濾方法。它結(jié)合了傳統(tǒng)的協(xié)同過(guò)濾和深度神經(jīng)網(wǎng)絡(luò)，以學(xué)習(xí)用戶(hù)和項(xiàng)目之間的潛在表示。NCF模型可以捕捉到用戶(hù)和項(xiàng)目之間的復(fù)雜關(guān)系，從而提供更精確的推薦。深度學(xué)習(xí)排序模型（DeepLearningRankingModels）：這些模型使用深度神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)候選項(xiàng)目進(jìn)行排序，以便將最相關(guān)的項(xiàng)目呈現(xiàn)給用戶(hù)。例如，使用多層神經(jīng)網(wǎng)絡(luò)對(duì)項(xiàng)目進(jìn)行打分，然后按分?jǐn)?shù)進(jìn)行排序。循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetworks，RNN）：RNN可以用于序列型數(shù)據(jù)，例如用戶(hù)的瀏覽歷史或時(shí)間序列數(shù)據(jù)。通過(guò)使用RNN，系統(tǒng)可以更好地理解用戶(hù)的行為模式和趨勢(shì)，并提供與之匹配的建議。人工智能算法的應(yīng)用（一）智能推薦智能推薦的應(yīng)用場(chǎng)景例：網(wǎng)易云音樂(lè)1娛樂(lè)——電影、音樂(lè)、游戲的推薦；人工智能算法的應(yīng)用（一）智能推薦智能推薦的應(yīng)用場(chǎng)景例：今日頭條2內(nèi)容——個(gè)性化新聞、網(wǎng)頁(yè)的推薦；人工智能算法的應(yīng)用（一）智能推薦智能推薦的應(yīng)用場(chǎng)景例：京東3電子商務(wù)——消費(fèi)者商品購(gòu)買(mǎi)推薦；人工智能算法的應(yīng)用（一）智能推薦智能推薦的應(yīng)用場(chǎng)景例：旅游攻略4服務(wù)——旅游服務(wù)推薦、專(zhuān)家咨詢(xún)推薦等人工智能算法的應(yīng)用（一）智能推薦智能推薦的應(yīng)用場(chǎng)景例：抖音5社交——社交網(wǎng)絡(luò)中朋友的推薦和社會(huì)媒體網(wǎng)站中的內(nèi)容推薦；人工智能算法的應(yīng)用(一)智能推薦(二)計(jì)算機(jī)視覺(jué)(三)自然語(yǔ)言處理人工智能算法的應(yīng)用（二）計(jì)算機(jī)視覺(jué)概念圖像分類(lèi)、目標(biāo)檢測(cè)、目標(biāo)跟蹤、語(yǔ)義分割和實(shí)例分割五個(gè)方向.用攝影機(jī)和計(jì)算機(jī)代替人眼對(duì)目標(biāo)進(jìn)行識(shí)別、跟蹤和測(cè)量，并進(jìn)一步做圖形處理，使之成為更適合人眼觀(guān)察或傳送給儀器檢測(cè)的圖像。概念研究方向人工智能算法的應(yīng)用圖像分類(lèi)判斷一張圖像中是否包含某種物體，給輸入圖像分配標(biāo)簽算法：卷積神經(jīng)網(wǎng)絡(luò)案例：AlexNet、GoogLeNet應(yīng)用：百度圖片（二）計(jì)算機(jī)視覺(jué)人工智能算法的應(yīng)用目標(biāo)檢測(cè)確定某張給定圖像中是否存在給定類(lèi)別（比如人、車(chē)、自行車(chē)、狗和貓）的目標(biāo)實(shí)例。算法：卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用場(chǎng)景：智能視頻監(jiān)控，無(wú)人駕駛等（二）計(jì)算機(jī)視覺(jué)人工智能算法的應(yīng)用目標(biāo)跟蹤在特定場(chǎng)景跟蹤某一個(gè)或多個(gè)特定感興趣對(duì)象。算法：生成算法和判別算法例：主成分分析算法（PCA），卷積神經(jīng)網(wǎng)路（二）計(jì)算機(jī)視覺(jué)人工智能算法的應(yīng)用語(yǔ)義分割算法：完全卷積網(wǎng)絡(luò)將屬于同一類(lèi)的像素歸為一類(lèi)，屬于像素級(jí)別上的分類(lèi)。（二）計(jì)算機(jī)視覺(jué)人工智能算法的應(yīng)用實(shí)例分割實(shí)例分割：是一個(gè)綜合問(wèn)題，融合了目標(biāo)檢測(cè)，語(yǔ)義分割和圖像分類(lèi)的內(nèi)容。（二）計(jì)算機(jī)視覺(jué)人工智能算法的應(yīng)用(一)智能推薦(二)計(jì)算機(jī)視覺(jué)(三)自然語(yǔ)言處理人工智能算法的應(yīng)用（三）自然語(yǔ)言處理概念研究人際之間用自然語(yǔ)言通信的方法。概念Google搜索引擎,Amazon的Alexa語(yǔ)音助手，機(jī)器翻譯，對(duì)話(huà)生成等。應(yīng)用語(yǔ)音識(shí)別技術(shù)與基于文本的自然語(yǔ)言處理技術(shù)。研究?jī)?nèi)容人工智能算法的應(yīng)用（三）自然語(yǔ)言處理語(yǔ)音識(shí)別技術(shù)01讓計(jì)算機(jī)將人類(lèi)語(yǔ)音中的詞匯內(nèi)容轉(zhuǎn)換為計(jì)算機(jī)可讀的輸入，如二進(jìn)制編碼等。概念02“傳統(tǒng)”的識(shí)別方法和基于深度神經(jīng)網(wǎng)絡(luò)的“端到端”方法。方法03翻譯機(jī)(科大訊飛)應(yīng)用人工智能算法的應(yīng)用（三）自然語(yǔ)言處理基于文