機(jī)器學(xué)習(xí)的研究

機(jī)器學(xué)習(xí)的研究學(xué)號(hào)：1406110202姓名：曹塬班級(jí)：電信14-2學(xué)院：電子與信息工程學(xué)院2015.5.25【摘要】:本文首先簡(jiǎn)要概述機(jī)器學(xué)習(xí)的早期研究情況，接著介紹當(dāng)前機(jī)器學(xué)習(xí)的算法，并介紹幾個(gè)機(jī)器學(xué)習(xí)的例子?！厩把浴?機(jī)器學(xué)習(xí)是繼專家系統(tǒng)之后人工智能應(yīng)用的又一重要研究領(lǐng)域，也是人工智能和神經(jīng)計(jì)算的核心研究課題之一?，F(xiàn)有的計(jì)算機(jī)系統(tǒng)和人工智能系統(tǒng)沒(méi)有什么學(xué)習(xí)能力，至多也只有非常有限的學(xué)習(xí)能力，因而不能滿足科技和生產(chǎn)提出的新要求。對(duì)機(jī)器學(xué)習(xí)的討論和機(jī)器學(xué)習(xí)研究的進(jìn)展，必將促使人工智能和整個(gè)科學(xué)技術(shù)的進(jìn)一步發(fā)展。機(jī)器學(xué)習(xí)的發(fā)展1.1機(jī)器學(xué)習(xí)的背景及意義學(xué)習(xí)是人類具有的一種重要智能行為，但究竟什么是學(xué)習(xí)，長(zhǎng)期以來(lái)卻眾說(shuō)紛紜。社會(huì)學(xué)家、邏輯學(xué)家和心理學(xué)家都各有其不同的看法。按照人工智能大師西蒙的觀點(diǎn)，學(xué)習(xí)就是系統(tǒng)在不斷重復(fù)的工作中對(duì)本身能力的增強(qiáng)或者改進(jìn)，使得系統(tǒng)在下一次執(zhí)行同樣任務(wù)或相同類似的任務(wù)時(shí)，會(huì)比現(xiàn)在做得更好或效率更高。西蒙對(duì)學(xué)習(xí)給出的定義本身，就說(shuō)明了學(xué)習(xí)的重要作用。在人類社會(huì)中，不管一個(gè)人有多深的學(xué)問(wèn)，多大的本領(lǐng)，如果他不善于學(xué)習(xí)，我們都不必過(guò)于看重他。因?yàn)樗哪芰偸峭Ａ粼谝粋€(gè)固定的水平上，不會(huì)創(chuàng)造出新奇的東西。但一個(gè)人若具有很強(qiáng)的學(xué)習(xí)能力，則不可等閑視之了。機(jī)器具備了學(xué)習(xí)能力，其情形完全與人類似。什么是機(jī)器學(xué)習(xí)？迄今尚沒(méi)有統(tǒng)一的定義，由其名字可理解為機(jī)器學(xué)習(xí)是研究如何使用機(jī)器來(lái)模擬人類學(xué)習(xí)活動(dòng)的一門學(xué)科。稍微嚴(yán)格的提法是機(jī)器學(xué)習(xí)是一門研究機(jī)器獲取新知識(shí)和新技能，并識(shí)別現(xiàn)有知識(shí)的學(xué)問(wèn)。這里所說(shuō)的“機(jī)器”，指的就是計(jì)算機(jī)，現(xiàn)在是電子計(jì)算機(jī)，以后還可能是種子計(jì)算機(jī)、光子計(jì)算機(jī)或神經(jīng)計(jì)算機(jī)等等。機(jī)器能否像人類一樣能具有學(xué)習(xí)能力呢？1959年美國(guó)的塞繆爾(Samuel)設(shè)計(jì)了一個(gè)下棋程序，這個(gè)程序具有學(xué)習(xí)能力，它可以在不斷的對(duì)弈中改善自己的棋藝。4年后，這個(gè)程序戰(zhàn)勝了設(shè)計(jì)者本人。又過(guò)了3年，這個(gè)程序戰(zhàn)勝了美國(guó)一個(gè)保持8年之久的常勝不敗的冠軍。這個(gè)程序向人們展示了機(jī)器學(xué)習(xí)的能力，提出了許多令人深思的社會(huì)問(wèn)題與哲學(xué)問(wèn)題。機(jī)器的能力是否能超過(guò)人的，很多持否定意見的人的一個(gè)主要論據(jù)是：機(jī)器是人造的，其性能和動(dòng)作完全是由設(shè)計(jì)者規(guī)定的，因此無(wú)論如何其能力也不會(huì)超過(guò)設(shè)計(jì)者本人。這種意見對(duì)不具備學(xué)習(xí)能力的機(jī)器來(lái)說(shuō)的確是對(duì)的，可是它相當(dāng)于基于學(xué)習(xí)策略分類中的類比學(xué)習(xí)。在這一類型的學(xué)習(xí)中比較引人注目的研究是通過(guò)與過(guò)去經(jīng)歷的具體事例作類比來(lái)學(xué)習(xí)，稱為基于范例的學(xué)習(xí)(case_basedlearning)，或簡(jiǎn)稱范例學(xué)習(xí)。4）遺傳算法（geneticalgorithm）遺傳算法模擬生物繁殖的突變、交換和達(dá)爾文的自然選擇（在每一生態(tài)環(huán)境中適者生存）。它把問(wèn)題可能的解編碼為一個(gè)向量，稱為個(gè)體，向量的每一個(gè)元素稱為基因，并利用目標(biāo)函數(shù)（相應(yīng)于自然選擇標(biāo)準(zhǔn)）對(duì)群體（個(gè)體的集合）中的每一個(gè)個(gè)體進(jìn)行評(píng)價(jià)，根據(jù)評(píng)價(jià)值（適應(yīng)度）對(duì)個(gè)體進(jìn)行選擇、交換、變異等遺傳操作，從而得到新的群體。遺傳算法適用于非常復(fù)雜和困難的環(huán)境，比如，帶有大量噪聲和無(wú)關(guān)數(shù)據(jù)、事物不斷更新、問(wèn)題目標(biāo)不能明顯和精確地定義，以及通過(guò)很長(zhǎng)的執(zhí)行過(guò)程才能確定當(dāng)前行為的價(jià)值等。同神經(jīng)網(wǎng)絡(luò)一樣，遺傳算法的研究已經(jīng)發(fā)展為人工智能的一個(gè)獨(dú)立分支，其代表人物為霍勒德（J.H.Holland）。5）聯(lián)接學(xué)習(xí)典型的聯(lián)接模型實(shí)現(xiàn)為人工神經(jīng)網(wǎng)絡(luò)，其由稱為神經(jīng)元的一些簡(jiǎn)單計(jì)算單元以及單元間的加權(quán)聯(lián)接組成。6）增強(qiáng)學(xué)習(xí)（reinforcementlearning）增強(qiáng)學(xué)習(xí)的特點(diǎn)是通過(guò)與環(huán)境的試探性（trialanderror）交互來(lái)確定和優(yōu)化動(dòng)作的選擇，以實(shí)現(xiàn)所謂的序列決策任務(wù)。在這種任務(wù)中，學(xué)習(xí)機(jī)制通過(guò)選擇并執(zhí)行動(dòng)作，導(dǎo)致系統(tǒng)狀態(tài)的變化，并有可能得到某種強(qiáng)化信號(hào)（立即回報(bào)），從而實(shí)現(xiàn)與環(huán)境的交互。強(qiáng)化信號(hào)就是對(duì)系統(tǒng)行為的一種標(biāo)量化的獎(jiǎng)懲。系統(tǒng)學(xué)習(xí)的目標(biāo)是尋找一個(gè)合適的動(dòng)作選擇策略，即在任一給定的狀態(tài)下選擇哪種動(dòng)作的方法，使產(chǎn)生的動(dòng)作序列可獲得某種最優(yōu)的結(jié)果（如累計(jì)立即回報(bào)最大）。在綜合分類中,經(jīng)驗(yàn)歸納學(xué)習(xí)、遺傳算法、聯(lián)接學(xué)習(xí)和增強(qiáng)學(xué)習(xí)均屬于歸納學(xué)習(xí)，其中經(jīng)驗(yàn)歸納學(xué)習(xí)采用符號(hào)表示方式，而遺傳算法、聯(lián)接學(xué)習(xí)和加強(qiáng)學(xué)習(xí)則采用亞符號(hào)表示方式；分析學(xué)習(xí)屬于演繹學(xué)習(xí)。實(shí)際上，類比策略可看成是歸納和演繹策略的綜合。因而最基本的學(xué)習(xí)策略只有歸納和演繹。從學(xué)習(xí)內(nèi)容的角度看，采用歸納策略的學(xué)習(xí)由于是對(duì)輸入進(jìn)行歸納，所學(xué)習(xí)的知識(shí)顯然超過(guò)原有系統(tǒng)知識(shí)庫(kù)所能蘊(yùn)涵的范圍,所學(xué)結(jié)果改變了系統(tǒng)的知識(shí)演繹閉包,因而這種類型的學(xué)習(xí)又可稱為知識(shí)級(jí)學(xué)習(xí);而采用演繹策略的學(xué)習(xí)盡管所學(xué)的知識(shí)能提高系統(tǒng)的效率，但仍能被原有系統(tǒng)的知識(shí)庫(kù)所蘊(yùn)涵,即所學(xué)的知識(shí)未能改變系統(tǒng)的演繹閉包,因而這種類型的學(xué)習(xí)又被稱為符號(hào)級(jí)學(xué)習(xí)。2.2機(jī)器學(xué)習(xí)的十大經(jīng)典算法2.2.1C4.5算法：C4.5是機(jī)器學(xué)習(xí)算法中的一個(gè)分類決策樹算法，它是決策樹(決策樹也就是做決策的節(jié)點(diǎn)間的組織方式像一棵樹，其實(shí)是一個(gè)倒樹)核心算法。ID3的改進(jìn)算法，所以基本上了解了一半決策樹構(gòu)造方法就能構(gòu)造它。決策樹構(gòu)造方法其實(shí)就是每次選擇一個(gè)好的特征以及分裂點(diǎn)作為當(dāng)前節(jié)點(diǎn)的分類條件。C4.5相比于ID3改進(jìn)的地方有：用信息增益率來(lái)選擇屬性。ID3選擇屬性用的是子樹的信息增益，這里可以用很多方法來(lái)定義信息，ID3使用的是熵(entropy，熵是一種不純度度量準(zhǔn)則),也就是熵的變化值.而C4.5用的是信息增益率。對(duì)，區(qū)別就在于一個(gè)是信息增益，一個(gè)是信息增益率。一般來(lái)說(shuō)率就是用來(lái)取平衡用的，就像方差起的作用差不多，比如有兩個(gè)跑步的人，一個(gè)起點(diǎn)是10m/s的人、其10s后為20m/s；另一個(gè)人起速是1m/s、其1s后為2m/s。如果緊緊算差值那么兩個(gè)差距就很大了，如果使用速度增加率(加速度，即都是為1m/s^2)來(lái)衡量，2個(gè)人就是一樣的加速度。因此，C4.5克服了ID3用信息增益選擇屬性時(shí)偏向選擇取值多的屬性的不足。2)在樹構(gòu)造過(guò)程中進(jìn)行剪枝，在構(gòu)造決策樹的時(shí)候，那些掛著幾個(gè)元素的節(jié)點(diǎn)，不考慮最好，不然容易導(dǎo)致overfitting。3)對(duì)非離散數(shù)據(jù)也能處理。4)能夠?qū)Σ煌暾麛?shù)據(jù)進(jìn)行處理。2.2.2Thek-meansalgorithm即K-Means算法：k-meansalgorithm算法是一個(gè)聚類算法，把n的對(duì)象根據(jù)他們的屬性分為k個(gè)分割(k<n)。它與處理混合正態(tài)分布的最大期望算法(本十大算法第五條)很相似，因?yàn)樗麄兌荚噲D找到數(shù)據(jù)中自然聚類的中心。它假設(shè)對(duì)象屬性來(lái)自于空間向量，并且目標(biāo)是使各個(gè)群組內(nèi)部的均方誤差總和最小。2.2.3樸素貝葉斯算法：樸素貝葉斯法是基于貝葉斯定理與特征條件獨(dú)立假設(shè)的分類方法。算法的基礎(chǔ)是概率問(wèn)題，分類原理是通過(guò)某對(duì)象的先驗(yàn)概率，利用貝葉斯公式計(jì)算出其后驗(yàn)概率，即該對(duì)象屬于某一類的概率，選擇具有最大后驗(yàn)概率的類作為該對(duì)象所屬的類。樸素貝葉斯假設(shè)是約束性很強(qiáng)的假設(shè)，假設(shè)特征條件獨(dú)立，但樸素貝葉斯算法簡(jiǎn)單，快速，具有較小的出錯(cuò)率。在樸素貝葉斯的應(yīng)用中，主要研究了電子郵件過(guò)濾以及文本分類研究。2.2.4K最近鄰分類算法（KNN）分類思想比較簡(jiǎn)單，從訓(xùn)練樣本中找出K個(gè)與其最相近的樣本，然后看這k個(gè)樣本中哪個(gè)類別的樣本多，則待判定的值（或說(shuō)抽樣）就屬于這個(gè)類別。缺點(diǎn)：1）K值需要預(yù)先設(shè)定，而不能自適應(yīng)2）當(dāng)樣本不平衡時(shí)，如一個(gè)類的樣本容量很大，而其他類樣本容量很小時(shí)，有可能導(dǎo)致當(dāng)輸入一個(gè)新樣本時(shí)，該樣本的K個(gè)鄰居中大容量類的樣本占多數(shù)。該算法適用于對(duì)樣本容量比較大的類域進(jìn)行自動(dòng)分類。2.2.5EM最大期望算法EM算法是基于模型的聚類方法，是在概率模型中尋找參數(shù)最大似然估計(jì)的算法，其中概率模型依賴于無(wú)法觀測(cè)的隱藏變量。E步估計(jì)隱含變量，M步估計(jì)其他參數(shù)，交替將極值推向最大。EM算法比K-means算法計(jì)算復(fù)雜，收斂也較慢，不適于大規(guī)模數(shù)據(jù)集和高維數(shù)據(jù)，但比K-means算法計(jì)算結(jié)果穩(wěn)定、準(zhǔn)確。EM經(jīng)常用在機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺的數(shù)據(jù)集聚（DataClustering）領(lǐng)域。2.2.6PageRank算法是google的頁(yè)面排序算法，是基于從許多優(yōu)質(zhì)的網(wǎng)頁(yè)鏈接過(guò)來(lái)的網(wǎng)頁(yè)，必定還是優(yōu)質(zhì)網(wǎng)頁(yè)的回歸關(guān)系，來(lái)判定所有網(wǎng)頁(yè)的重要性。（也就是說(shuō)，一個(gè)人有著越多牛X朋友的人，他是牛X的概率就越大。）優(yōu)點(diǎn)：完全獨(dú)立于查詢，只依賴于網(wǎng)頁(yè)鏈接結(jié)構(gòu)，可以離線計(jì)算。缺點(diǎn)：1）PageRank算法忽略了網(wǎng)頁(yè)搜索的時(shí)效性。2）舊網(wǎng)頁(yè)排序很高，存在時(shí)間長(zhǎng)，積累了大量的in-links，擁有最新資訊的新網(wǎng)頁(yè)排名卻很低，因?yàn)樗鼈儙缀鯖](méi)有in-links。2.2.7AdaBoostAdaboost是一種迭代算法，其核心思想是針對(duì)同一個(gè)訓(xùn)練集訓(xùn)練不同的分類器(弱分類器)，然后把這些弱分類器集合起來(lái)，構(gòu)成一個(gè)更強(qiáng)的最終分類器(強(qiáng)分類器)。其算法本身是通過(guò)改變數(shù)據(jù)分布來(lái)實(shí)現(xiàn)的，它根據(jù)每次訓(xùn)練集之中每個(gè)樣本的分類是否正確，以及上次的總體分類的準(zhǔn)確率，來(lái)確定每個(gè)樣本的權(quán)值。將修改過(guò)權(quán)值的新數(shù)據(jù)集送給下層分類器進(jìn)行訓(xùn)練，最后將每次訓(xùn)練得到的分類器最后融合起來(lái)，作為最后的決策分類器。整個(gè)過(guò)程如下所示：1.先通過(guò)對(duì)N個(gè)訓(xùn)練樣本的學(xué)習(xí)得到第一個(gè)弱分類器；2.將分錯(cuò)的樣本和其他的新數(shù)據(jù)一起構(gòu)成一個(gè)新的N個(gè)的訓(xùn)練樣本，通過(guò)對(duì)這個(gè)樣本的學(xué)習(xí)得到第二個(gè)弱分類器；3.將和都分錯(cuò)了的樣本加上其他的新樣本構(gòu)成另一個(gè)新的N個(gè)的訓(xùn)練樣本，通過(guò)對(duì)這個(gè)樣本的學(xué)習(xí)得到第三個(gè)弱分類器；4.如此反復(fù)，最終得到經(jīng)過(guò)提升的強(qiáng)分類器。目前AdaBoost算法廣泛的應(yīng)用于人臉檢測(cè)、目標(biāo)識(shí)別等領(lǐng)域。2.2.8Apriori算法Apriori算法是一種挖掘關(guān)聯(lián)規(guī)則的算法，用于挖掘其內(nèi)含的、未知的卻又實(shí)際存在的數(shù)據(jù)關(guān)系，其核心是基于兩階段頻集思想的遞推算法。Apriori算法分為兩個(gè)階段：1）尋找頻繁項(xiàng)集2）由頻繁項(xiàng)集找關(guān)聯(lián)規(guī)則2.2.9SVM支持向量機(jī)支持向量機(jī)是一種基于分類邊界的方法。其基本原理是（以二維數(shù)據(jù)為例）：如果訓(xùn)練數(shù)據(jù)分布在二維平面上的點(diǎn)，它們按照其分類聚集在不同的區(qū)域?；诜诸愡吔绲姆诸愃惴ǖ哪繕?biāo)是，通過(guò)訓(xùn)練，找到這些分類之間的邊界（直線的――稱為線性劃分，曲線的――稱為非線性劃分）。對(duì)于多維數(shù)據(jù)（如N維），可以將它們視為N維空間中的點(diǎn)，而分類邊界就是N維空間中的面，稱為超面（超面比N維空間少一維）。線性分類器使用超平面類型的邊界，非線性分類器使用超曲面。支持向量機(jī)的原理是將低維空間的點(diǎn)映射到高維空間，使它們成為線性可分，再使用線性劃分的原理來(lái)判斷分類邊界。在高維空間中是一種線性劃分，而在原有的數(shù)據(jù)空間中，是一種非線性劃分。SVM在解決小樣本、非線性及高維模式識(shí)別問(wèn)題中表現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問(wèn)題中。2.2.2CART分類與回歸樹是一種決策樹分類方法，采用基于最小距離的基尼指數(shù)估計(jì)函數(shù)，用來(lái)決定由該子數(shù)據(jù)集生成的決策樹的拓展形。如果目標(biāo)變量是標(biāo)稱的，稱為分類樹；如果目標(biāo)變量是連續(xù)的，稱為回歸樹。分類樹是使用樹結(jié)構(gòu)算法將數(shù)據(jù)分成離散類的方法。3.機(jī)器學(xué)習(xí)在生活中的實(shí)例機(jī)器學(xué)習(xí)問(wèn)題到處都是，它們組成了日常使用的網(wǎng)絡(luò)或桌面軟件的核心或困難部分。推特上“想來(lái)試試嗎”的建議和蘋果的Siri語(yǔ)音理解系統(tǒng)就是實(shí)例。以下，是十個(gè)真正有關(guān)機(jī)器學(xué)習(xí)到底是什么的的實(shí)例：1）垃圾郵件檢測(cè)：根據(jù)郵箱中的郵件，識(shí)別哪些是垃圾郵件，哪些不是。這樣的模型，可以程序幫助歸類垃圾郵件和非垃圾郵件。這個(gè)例子，我們應(yīng)該都不陌生。2)信用卡欺詐檢測(cè)：根據(jù)用戶一個(gè)月內(nèi)的信用卡交易，識(shí)別哪些交易是該用戶操作的，哪些不是。這樣的決策模型，可以幫助程序退還那些欺詐交易。3)數(shù)字識(shí)別：根據(jù)信封上手寫的郵編，識(shí)別出每一個(gè)手寫字符所代表的數(shù)字。這樣的模型，可以幫助程序閱讀和理解手寫郵編，并根據(jù)地利位置分類信件。4）語(yǔ)音識(shí)別：從一個(gè)用戶的話語(yǔ)，確定用戶提出的具體要求。這樣的模型，可以幫助程序能夠并嘗試自動(dòng)填充用戶需求。帶有Siri系統(tǒng)的iPhone就有這種功能。5）人臉識(shí)別：根據(jù)相冊(cè)中的眾多數(shù)碼照片，識(shí)別出那些包含某一個(gè)人的照片。這樣的決策模型，可以幫助程序根據(jù)人臉管理照片。某些相機(jī)或軟件，如iPhoto，就有這種功能。6）產(chǎn)品推薦：根據(jù)一個(gè)用戶的購(gòu)物記錄和冗長(zhǎng)的收藏清單，識(shí)別出這其中哪些是該用戶真正感興趣，并且愿意購(gòu)買的產(chǎn)品。這樣的決策模型，可以幫助程序?yàn)榭蛻籼峁┙ㄗh并鼓勵(lì)產(chǎn)品消費(fèi)。登錄Facebook或GooglePlus，它們就會(huì)推薦可能有關(guān)聯(lián)的用戶給你。7）醫(yī)學(xué)分析：根據(jù)病人的癥狀和一個(gè)匿名的病人資料數(shù)據(jù)庫(kù)，預(yù)測(cè)該病人可能患了什么病。這樣的決策模型，可以程序?yàn)閷I(yè)醫(yī)療人士提