人工智能與機(jī)器學(xué)習(xí)-202208212001098

1、第$章$!人工智能這章我們介紹人工智能與機(jī)器學(xué)習(xí)到底這兩個(gè)詞太火了!我們一樣是要弄清楚它們的定義 +之間的區(qū)分以及怎么通過(guò)去解釋人工智能提升自己的價(jià)值同時(shí)!還要介紹今后我們可能常會(huì)用到的一些方法!比如神經(jīng)網(wǎng)絡(luò) +貝葉斯 +馬爾可夫 +自然語(yǔ)言處理等 我們可以簡(jiǎn)潔地回答說(shuō)人工智能最直接的解釋就是不是人的智能!但能像人那樣思考!也可能超過(guò)人的智能 人工智能 &DI+)()-)D)*+,)B,*-,!;5被認(rèn)為是 !世紀(jì)三大尖端技術(shù) &人工智能 +基因工程+納米科學(xué) 之一!近幾 年來(lái)飛速進(jìn)展 !互聯(lián)網(wǎng) 科技巨頭 和很多中 小創(chuàng)業(yè)公司 投身其中!越來(lái)越多基于人工智能的應(yīng)用開(kāi)頭漸漸走進(jìn)我們的日常生活 先

2、舉幾個(gè)生活中常見(jiàn)的例子 導(dǎo)航幾乎是我們開(kāi)車(chē)出行的必備應(yīng)用之一 !以大數(shù)據(jù)和機(jī)器學(xué)習(xí)為基礎(chǔ) !是一種典型的地圖人工智能化 在車(chē)?yán)锎蜷_(kāi)導(dǎo)航時(shí) !地圖采集設(shè)備自動(dòng)識(shí)別景物和道路特征定位你所處的位置 !提取建筑輪廓并繪制外形!依據(jù)道路圖形標(biāo)牌 +電子眼 +警示牌等自動(dòng)挖掘出過(guò)期或新增的信息點(diǎn)以及道路變化!并且依據(jù)道路實(shí)時(shí)路況計(jì)算規(guī)劃出最優(yōu)出行路徑等 導(dǎo)航的整個(gè)過(guò)程不需要人工參與!機(jī)器依據(jù)算法和數(shù)據(jù)智能化輸出結(jié)果!是離我們最近的人工智能應(yīng)用之一 信息獵取是我們的基礎(chǔ)需求之一!百度搜尋和今日頭條共性化推舉就是人工智能在信息分發(fā)領(lǐng)域的實(shí)際應(yīng)用經(jīng)過(guò)深度學(xué)習(xí)的機(jī)器基于大數(shù)據(jù)依據(jù)你的檢索關(guān)鍵詞或者個(gè) 人屬性 +行

3、為記錄等從數(shù)據(jù)庫(kù)中自動(dòng)調(diào)取+匹配和呈現(xiàn)信息 今日頭條甚至已經(jīng)有了人工智能寫(xiě)稿機(jī)器人 !基于自然語(yǔ)言處理 +視覺(jué)圖形處理和機(jī)器學(xué)習(xí)技術(shù)等 !;5寫(xiě)稿機(jī)器人能夠依據(jù)網(wǎng)絡(luò)熱點(diǎn) +評(píng)論共享 +用戶(hù)喜好進(jìn)行文字編寫(xiě) +標(biāo)題封面圖選擇等 !并在兩秒鐘內(nèi)創(chuàng)作一篇效果不遜于人工編輯的稿件 ;5之所以重要 !是由于它解決了極其簡(jiǎn)單的問(wèn)題 !而這些問(wèn)題的解決方案可以應(yīng)用到對(duì)人類(lèi)福祉重要的領(lǐng)域. 從健康 +教育!到商業(yè) +交通!乃至于公用事業(yè)和消遣等那么!我們是不是說(shuō)人工智能將取代人類(lèi)或者就是災(zāi)難呢困難的問(wèn)題是簡(jiǎn)潔的 !簡(jiǎn)潔的問(wèn)題是困難的 其實(shí)!這里我們可以?huà)伋鲆粋€(gè)哲學(xué)一樣的話(huà)題&!年# 月注定也要載入人工智能的進(jìn)

4、展史冊(cè),來(lái)自 SFB, 的人工智能程序;R.DSF以總比分 $X!的成果戰(zhàn)勝了前世界冠軍李世石號(hào)稱(chēng)(人類(lèi)最終智力傲慢 )的圍棋也被人工智能攻破了!一時(shí)間人工智能與機(jī)器人威逼論刷爆了微博 +微信及各路新聞媒體 大家都在擔(dān)憂(yōu)著某一天自己的工作會(huì)被人工智能搶去 !又在某一天人類(lèi)會(huì)被人工智能機(jī)器人統(tǒng)治那場(chǎng)競(jìng)賽中有一個(gè)細(xì)節(jié)!不知大家是否留意 ,這個(gè)已經(jīng)在 (人類(lèi)最終智力傲慢)上碾壓人類(lèi)的;R.DSF!卻連挪動(dòng)一枚小小的棋子都需要人類(lèi)掛念才能完成可能有人會(huì)說(shuō) !這都不算事兒 !圍棋都已經(jīng)戰(zhàn)勝人類(lèi)了 !給 ;R.DSF裝上機(jī)械手讓它自己下棋也不過(guò)是分分鐘的事兒 然而!事實(shí)真的是這么簡(jiǎn)潔嗎 *讓計(jì)算機(jī)在智力測(cè)

5、試或者下棋中呈現(xiàn)出一個(gè)成年人的水平是相對(duì)簡(jiǎn)潔的 !但是要讓計(jì)算機(jī)有如一歲小孩般的感知和行動(dòng)力量卻是相當(dāng)困難甚至是不行能的 這便是在人工智能和機(jī)器人領(lǐng)域里有名的莫拉維克悖論 莫拉維克悖論指出 ,和傳統(tǒng)假設(shè)不同 !對(duì)計(jì)算機(jī)而言 !實(shí)現(xiàn)規(guī)律推理等人類(lèi)高級(jí)才智只需要相對(duì)很少的計(jì)算力量!而實(shí)現(xiàn)感知 +運(yùn)動(dòng)等低等級(jí)才智卻需要巨大的計(jì)算資源這個(gè)很類(lèi)似于數(shù)學(xué)進(jìn)展中的理論!我們要證明最前沿的各種定理可能不難!但是要證明最簡(jiǎn)潔的 !W!K可能卻是最難的 四歲小孩具有的本能. 辨識(shí)人臉 +舉起鉛筆 +在房間內(nèi)走動(dòng) +回答問(wèn)題等 !事實(shí)上卻是工程領(lǐng)域內(nèi)目前為止最難解的問(wèn)題 隨著新一代才智設(shè)備的消滅 !股票分析師 +石

6、化工程師和假釋委員會(huì)都要當(dāng)心他們的位置被取代 !但是園丁 +接待員和廚師至少 !& 年內(nèi)都不用有這種擔(dān)憂(yōu)或者不需要擔(dān)憂(yōu) $# 機(jī)器學(xué)習(xí)我們?cè)鯓尤ソ忉屓斯ぶ悄芎蜋C(jī)器學(xué)習(xí)的關(guān)系呢*人工智能的根本在于智能. 如何為機(jī)器賜予智能 而機(jī)器學(xué)習(xí)強(qiáng)調(diào)的是學(xué)習(xí)!或者說(shuō)算法 !是部署支持人工智能的計(jì)算方法或者說(shuō)人工智能是科學(xué)!機(jī)器學(xué)習(xí)是讓機(jī)器變得更加智能的算法 還記得我們強(qiáng)調(diào)的內(nèi)容和形式的關(guān)系嗎* 我們可以說(shuō)機(jī)器學(xué)習(xí)和人工智能是內(nèi)容和形式的關(guān)系 !或者說(shuō)機(jī)器學(xué)習(xí)成就了人工智能機(jī)器學(xué)習(xí)是從大量的數(shù)據(jù)中發(fā)覺(jué)規(guī)律 !提取 學(xué)問(wèn) !并在 實(shí)踐中不斷地完善和增加自我機(jī)器學(xué)習(xí)是機(jī)器獵取學(xué)問(wèn)的根本途徑!只有讓計(jì)算機(jī)系統(tǒng)具有類(lèi)

7、似人的學(xué)習(xí)力量!才可能實(shí)現(xiàn)人工智能的終極目標(biāo)可以這么說(shuō) !機(jī)器學(xué)習(xí)是人工智能爭(zhēng)辯的核心問(wèn)題之一! 也是當(dāng)前人工智能爭(zhēng)辯的一個(gè)熱門(mén)方向!同時(shí)也是人工智能理論爭(zhēng)辯和實(shí)際應(yīng)用的主要瓶頸之一 機(jī)器學(xué)習(xí)算法我們可以整體分為兩類(lèi)!不是依據(jù)有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)進(jìn)行分類(lèi)!而是依據(jù)簡(jiǎn)潔方法論的角度進(jìn)行分類(lèi)的一種是線(xiàn)性化思維 體現(xiàn)在線(xiàn)性和非線(xiàn)性思維的轉(zhuǎn)化中!比如線(xiàn)性回歸是把非線(xiàn)性的轉(zhuǎn)換成線(xiàn)性的進(jìn)行爭(zhēng)辯!同時(shí)也是把高維的轉(zhuǎn)換成低維的#支持 向量機(jī)&4:6其實(shí)就是反過(guò)來(lái)的 !把低維的轉(zhuǎn)換成高維的!把非線(xiàn)性的轉(zhuǎn)換成線(xiàn)性的另一種是分類(lèi)和聚類(lèi) 在生活中 !我們經(jīng)常沒(méi)有過(guò)多地去區(qū)分這兩個(gè)概念!覺(jué)得聚類(lèi)就是分類(lèi) !分類(lèi)也差不

8、多就是聚類(lèi)分類(lèi)與聚類(lèi)之間在機(jī)器學(xué)習(xí)中有本質(zhì)的區(qū)分第章人工智能與機(jī)器學(xué)習(xí)($(%量化投資與語(yǔ)言!分類(lèi)分類(lèi)是通過(guò)學(xué)習(xí)來(lái)得到樣本屬性與分析對(duì)象的關(guān)系具體來(lái)說(shuō) !就是我 們依據(jù)已知的一些樣本!來(lái)得到分類(lèi)模型&其實(shí)就是一種函數(shù)關(guān)系!然后通過(guò)目標(biāo)函數(shù)來(lái)對(duì)只包含屬性的樣本數(shù)據(jù)進(jìn)行分類(lèi) 分類(lèi)要求必需事先明確知道各個(gè)類(lèi) 別的信息!并且斷言全部待分類(lèi)項(xiàng)都有一個(gè)類(lèi)別與之對(duì)應(yīng) 但是很多 時(shí)候上述條件得不到滿(mǎn)足!尤其是在處理海量數(shù)據(jù)的時(shí)候!假如通過(guò)預(yù)處理使得數(shù) 據(jù)滿(mǎn)足分類(lèi)算法的要求!則代價(jià)格外大!這時(shí)候可以考慮使用聚類(lèi)算法 #聚類(lèi)聚類(lèi)指事先并不知道任何樣本的類(lèi)別標(biāo)號(hào) !期望通過(guò)某種算法來(lái)把一組未知類(lèi)別的樣本劃分成若干類(lèi)

9、別 聚類(lèi)的時(shí)候 !我們并不關(guān)懷某一類(lèi)是什么!我們需要實(shí)現(xiàn)的目標(biāo)只是把相像的東西聚到一起 !這在機(jī)器學(xué)習(xí)中被稱(chēng)作無(wú)監(jiān)督學(xué)習(xí)&G*PGR,IE)P,C,DI*)*B!前面的分 類(lèi)就被稱(chēng)作有監(jiān)督學(xué)習(xí) 通常!人們依據(jù)樣本間的某種距離或者相像性來(lái)定義聚類(lèi)!即把相像的 &或距離近的 樣本聚為同一類(lèi) !而把不相像的 &或距離遠(yuǎn)的 樣本歸在其他類(lèi) 聚類(lèi)的目標(biāo) ,組內(nèi)的對(duì)象相互之間是相像的&相關(guān)的 !而不同組中的對(duì)象是不同的&不相關(guān)的 組內(nèi)的相像性越大 !組間差別越大 !聚類(lèi)就越好 $分類(lèi)和聚類(lèi)的關(guān)系聚類(lèi)分析是爭(zhēng)辯如何在沒(méi)有訓(xùn)練的條件下把樣本劃分為若干類(lèi)在分類(lèi)中 !對(duì)于目標(biāo)數(shù)據(jù)庫(kù)中存在哪些類(lèi)是知道的!要做的就是

10、將每一條記錄分別屬于哪一類(lèi)標(biāo)記出來(lái) 聚類(lèi)需要解決的問(wèn)題是將已給定的若干無(wú)標(biāo)記的模式聚集起來(lái)!使之成為有意義的聚類(lèi)!聚類(lèi)是在預(yù)先不知道目標(biāo)數(shù)據(jù)庫(kù)到底有多少類(lèi)的狀況下!期望將全部的記錄組成不同的類(lèi)或者說(shuō)聚類(lèi) !并且使得在這種分類(lèi)狀況下!以某種度量 &如距離 為標(biāo)準(zhǔn)的相像性 ! 在同一聚類(lèi)之間最小化!而在不同聚類(lèi)之間最大化與分類(lèi)不同 !無(wú)監(jiān)督學(xué)習(xí)不依靠于預(yù)先定義的類(lèi)或帶類(lèi)標(biāo)記的訓(xùn)練實(shí)例!需要由聚類(lèi)學(xué)習(xí)算法自動(dòng)確定標(biāo)記!而分類(lèi)學(xué)習(xí)的實(shí)例或數(shù)據(jù)樣本有類(lèi)別標(biāo)記$機(jī)器學(xué)習(xí)的常用算法機(jī)器學(xué)習(xí)的常用算法很多!而且現(xiàn)在有很多已實(shí)現(xiàn)的機(jī)器學(xué)習(xí)開(kāi)源包可供我們調(diào)用 假如我們能對(duì)常見(jiàn)的算法嫻熟把握!比如通過(guò)使用 %J+.

11、F*實(shí)現(xiàn)算法 !加深對(duì)機(jī)器學(xué)習(xí)的 本質(zhì)理解 !那么!我們?cè)诹炕顿Y領(lǐng)域里面就會(huì)有更多機(jī)遇!線(xiàn)性回歸這里說(shuō)線(xiàn)性回歸是由于我們講的回歸基本上就是線(xiàn)性回歸!也就是用線(xiàn)性的方法去解決非線(xiàn)性的問(wèn)題 說(shuō)得更極端一些 !機(jī)器學(xué)習(xí)里面的全部算法都可以看作是學(xué)校學(xué)習(xí)的一次函數(shù)思想 !即 來(lái)看機(jī)器學(xué)習(xí)進(jìn)展過(guò)程中的各個(gè)理論或者算法#支持向量機(jī) &)*+4:6 的關(guān)鍵在于核函數(shù) 低維空間向量集通 常難于劃分 !解決的方法是將它們映射到高維空間 但這種方法帶來(lái)的困難就是計(jì)算簡(jiǎn)單度的增加!而核函數(shù)正好奇妙地解決了這個(gè)問(wèn)題 也就是說(shuō) !只要選用適當(dāng)?shù)暮撕瘮?shù)!就可以得到高維空間的分類(lèi)函數(shù)在4:6 理論中 !接受不同的核函數(shù)將

12、導(dǎo)致不 同的 4:6 算法 在確定了 核函數(shù)之后!由于確定核函數(shù)的已知數(shù)據(jù)也存在肯定的誤差!考慮到推廣性問(wèn)題 !因此引入了松弛系數(shù)以及懲處系數(shù)兩個(gè)參變量來(lái)加以校正在確定了核函數(shù)的基礎(chǔ)上!再經(jīng)過(guò)大量對(duì)比試驗(yàn)等取定這兩個(gè)系數(shù) !該項(xiàng)爭(zhēng)辯就基本完成了!適合相關(guān)學(xué)科或業(yè)務(wù)內(nèi)應(yīng)用!且有肯定力量的推廣性$聚類(lèi)所謂聚類(lèi) !就是將相像的事物聚集在一起 !而將不相像的事物劃分到不同的類(lèi)別的過(guò)程 !是機(jī)器學(xué)習(xí)中 格外重要的一種手段 比如古典生物學(xué)之中!人們通過(guò)物種的形貌特征將其分門(mén)別類(lèi) !可以說(shuō)就是一種樸實(shí)的人工聚類(lèi) 如此!我們就可以將世界上紛繁簡(jiǎn)單的信息 !簡(jiǎn)化 為少數(shù)便利人們理解的類(lèi)別!可以說(shuō)是人類(lèi)認(rèn)知這個(gè)世

13、界的最基本方式之一 在數(shù)據(jù)分析的術(shù)語(yǔ)之中 !分類(lèi)和聚類(lèi)是兩種技術(shù) 分類(lèi)是指我們已經(jīng)知道了事物的類(lèi)別!需要從樣品中學(xué)習(xí)分類(lèi)的規(guī)章 !是一種有指導(dǎo)學(xué)習(xí) #而聚類(lèi)則是由我們來(lái)給定簡(jiǎn)潔的規(guī)章 !從而得到分類(lèi) !是一種無(wú)指導(dǎo)學(xué)習(xí) 兩者可以說(shuō)是相反的過(guò)程 這里!我建議讀者需要嫻熟把握 6 算法最大期望算法 &,?R,-+D+)F*0HD?)H)QD+)F*DBFI)+.H!6!又稱(chēng)為期 望最大化算法!在統(tǒng)計(jì)中被用于查找 !依靠于不行觀(guān)看的隱性變量的概率模型中!參數(shù)的最大似然估量 在統(tǒng)計(jì)計(jì)算中 !最大期望 &6算法是在概率 &RIFADA)P+)-模型中 查找參 數(shù)最大似然估量或者 最大后驗(yàn)估量的算法!其中

14、概率模型依靠于 無(wú)法觀(guān)測(cè)的隱蔽變量 &D+,*+ EDI)DA,最大期望經(jīng)常用在機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)的數(shù)據(jù)聚類(lèi)&CD+D-GP+,I)*B領(lǐng)域 最大期望算法經(jīng)過(guò)兩個(gè)步驟交替進(jìn)行計(jì)算!第一步是計(jì)算期望 &!利用對(duì)隱蔽變量的現(xiàn) 有估量值 !計(jì)算其最大似然估量值#其次步是最大化 &6!最大化是在 步上求得的最大 似然值來(lái)計(jì)算參數(shù)的值6 步上找到的參數(shù)估量值被用于下一個(gè) 步計(jì)算中 !這個(gè)過(guò)程不斷交替進(jìn)行 Y0H,D*P是最為常用的聚類(lèi)方法之一!其實(shí)就是 6 算法的一種特例 %分類(lèi)貝葉斯是常見(jiàn)的分類(lèi)方法!它是在量化投資中應(yīng)用最多的一種策略貝葉斯算法的精髓在于其供應(yīng)了一種數(shù)學(xué)法則來(lái)解釋當(dāng)有一系列新證據(jù)消滅的狀況下!你該如何轉(zhuǎn)變自己現(xiàn)有的信念一個(gè)典型的例子就是 ,看到第一次日出時(shí) !接著會(huì)想知道太陽(yáng)是否會(huì)再次升起于是賜予兩個(gè)可能的結(jié)果同等的先驗(yàn)概率!并且在一個(gè)袋子 里面放入一顆白球 +一顆黑球 !分別代表太陽(yáng)會(huì)再次升起+太陽(yáng)不會(huì)再次升起 其次天 !當(dāng)太陽(yáng)再次升起的