機(jī)器學(xué)習(xí)算法及其應(yīng)用

1、-6 -機(jī)器學(xué)習(xí)方法及應(yīng)用1、機(jī)器學(xué)習(xí)學(xué)習(xí)是生物中樞神經(jīng)系統(tǒng)的高級(jí)整合技能之一，是人類(lèi)獲取知識(shí)的重要途徑和人類(lèi)智能的重要標(biāo)志,按照人工智能大師 H Simon的觀點(diǎn)1:學(xué)習(xí)就是系統(tǒng)在不斷重復(fù)的工作中對(duì)本 身能力的增強(qiáng)或改進(jìn)，使得系統(tǒng)在下一次執(zhí)行同樣或相類(lèi)似的任務(wù)時(shí)，會(huì)比原來(lái)做得更好或效率更高。機(jī)器學(xué)習(xí)則是計(jì)算機(jī)獲取知識(shí)的重要途徑和人工智能的重要標(biāo)志，是一門(mén)研究怎樣用計(jì)算機(jī)來(lái)模擬或?qū)崿F(xiàn)人類(lèi)學(xué)習(xí)活動(dòng)的學(xué)科，是研究如何使機(jī)器通過(guò)識(shí)別和利用現(xiàn)有知識(shí)來(lái)獲取新知識(shí)和新技能。一般認(rèn)為，機(jī)器學(xué)習(xí)是一個(gè)有特定目的的知識(shí)獲取過(guò)程，其內(nèi)部表現(xiàn)為從未知到已知這樣一個(gè)知識(shí)增長(zhǎng)過(guò)程，其外部表現(xiàn)為系統(tǒng)的某些性能和適應(yīng)性的改

2、善，使得系統(tǒng)能完成原來(lái)不能完成或更好地完成原來(lái)可以完成的任務(wù)。它既注重知識(shí)本身的增加，也注重獲取知識(shí)的技能的提高。1.1 機(jī)器學(xué)習(xí)基本模型以H Simon的學(xué)習(xí)定義作為出發(fā)點(diǎn)，建立如圖1的基本模型。在機(jī)器學(xué)習(xí)的過(guò)程中，首要的因素是外部環(huán)境向系統(tǒng)提供信息的質(zhì)量。外部環(huán)境是以某種形式表達(dá)的外界信息集合，它代表外界信息來(lái)源；學(xué)習(xí)是將外界信息加工為知識(shí)的過(guò)程，先從環(huán)境獲取外部信息，然后對(duì)這些信息加工形成知識(shí)，并把這些知識(shí)放入知識(shí)庫(kù)中；知識(shí)庫(kù)中存放指導(dǎo)執(zhí)行部分動(dòng)作的一 般原則，由于環(huán)境向?qū)W習(xí)系統(tǒng)提供的信息形形色色，信息質(zhì)量的優(yōu)劣直接影響到學(xué)習(xí)部分容易實(shí)現(xiàn)還是雜亂無(wú)章。而知識(shí)庫(kù)則是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第二個(gè)

3、因素，由于知識(shí)庫(kù)可能不同，表達(dá)方式各有特點(diǎn)，在選擇表示方式上要兼顧表達(dá)能力強(qiáng)、易于推理、易于完善及擴(kuò)展知識(shí) 表示等幾個(gè)方面的要求。執(zhí)行環(huán)節(jié)是利用知識(shí)庫(kù)中的知識(shí)完成某種任務(wù)的過(guò)程，并把完成任務(wù)過(guò)程中所獲得的一些信息反饋給學(xué)習(xí)環(huán)節(jié)，以指導(dǎo)進(jìn)一步的學(xué)習(xí)。外部環(huán)境，學(xué)習(xí)*知識(shí)庫(kù)，執(zhí)行圖1機(jī)器學(xué)習(xí)的基本模型1.2 機(jī)器學(xué)習(xí)的發(fā)展和研究目標(biāo)機(jī)器學(xué)習(xí)是人工智能研究較為年輕的分支，它的發(fā)展過(guò)程大體上分為四個(gè)時(shí)期2。第一階段是20世紀(jì)50年代中葉到60年代中葉，屬于熱烈時(shí)期。在這個(gè)時(shí)期，所研究的是“沒(méi)有知識(shí)”的學(xué)習(xí)，即“無(wú)知”學(xué)習(xí)。其研究目標(biāo)是各類(lèi)自組織系統(tǒng)和自適應(yīng)系統(tǒng)，其主要研究方法是不斷修改系統(tǒng)的控制參數(shù)和

4、改進(jìn)系統(tǒng)的執(zhí)行能力，不涉及與具體任務(wù)有關(guān)的知識(shí)。本階段的代表性工作是 ：塞繆爾(Samuel)的下棋程序。但這種學(xué)習(xí)的結(jié)果遠(yuǎn)不能滿(mǎn)足人 們對(duì)機(jī)器學(xué)習(xí)系統(tǒng)的期望。第二階段是在60年代中葉到70年代中葉，被稱(chēng)為機(jī)器學(xué)習(xí)的冷靜時(shí)期。本階段的研究 目標(biāo)是模擬人類(lèi)的概念學(xué)習(xí)過(guò)程，并采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為機(jī)器內(nèi)部描述。本階段的代 表性工作有溫斯頓(Winston)的結(jié)構(gòu)學(xué)習(xí)系統(tǒng)和海斯羅思 (Hayes-Roth)等的基本邏輯的歸納 學(xué)習(xí)系統(tǒng)。第三階段從20世紀(jì)70年代中葉到80年代中葉，稱(chēng)為復(fù)興時(shí)期。在此期間，人們從學(xué)習(xí) 單個(gè)概念擴(kuò)展到學(xué)習(xí)多個(gè)概念，探索不同的學(xué)習(xí)策略和方法，且在本階段已開(kāi)始把學(xué)習(xí)系統(tǒng)與

5、各種應(yīng)用結(jié)合起來(lái)，并取得很大的成功，促進(jìn)機(jī)器學(xué)習(xí)的發(fā)展。1980年，在美國(guó)的卡內(nèi)基一 梅隆(CMU話(huà)開(kāi)了第一屆機(jī)器學(xué)習(xí)國(guó)際研討會(huì),標(biāo)志著機(jī)器學(xué)習(xí)研究已在全世界興起。當(dāng)前機(jī)器學(xué)習(xí)圍繞三個(gè)主要研究方向進(jìn)行：1 .面向任務(wù)：在預(yù)定的一些任務(wù)中，分析和開(kāi)發(fā)學(xué)習(xí)系統(tǒng)，以便改善完成任務(wù)的水平 ，這 是專(zhuān)家系統(tǒng)研究中提出的研究問(wèn)題；2 .認(rèn)識(shí)模擬：主要研究人類(lèi)學(xué)習(xí)過(guò)程及其計(jì)算機(jī)的行為模擬，這是從心理學(xué)角度研究的問(wèn)題；3 .理論分析研究：從理論上探討各種可能學(xué)習(xí)方法的空間和獨(dú)立于應(yīng)用領(lǐng)域之外的各種 算法。這三個(gè)研究方向各有自己的研究目標(biāo)，每一個(gè)方向的進(jìn)展都會(huì)促進(jìn)另一個(gè)方向的研究。這三個(gè)方面的研究都將促進(jìn)各方面

6、問(wèn)題和學(xué)習(xí)基本概念的交叉結(jié)合，推動(dòng)了整個(gè)機(jī)器學(xué)習(xí)的研究。機(jī)器學(xué)習(xí)的研究目標(biāo)大致有三個(gè)方向，一個(gè)方向是基礎(chǔ)性訓(xùn)究，發(fā)展各種適合機(jī)器特點(diǎn)的學(xué)習(xí)理淪，探討所有可能的學(xué)習(xí)方法，比較人類(lèi)學(xué)習(xí)與機(jī)器學(xué)習(xí)的異同與聯(lián)系；一個(gè)方向是以模擬人類(lèi)的學(xué)習(xí)過(guò)程出發(fā) ，試圖建立學(xué)習(xí)的認(rèn)識(shí)生理學(xué)模型，這個(gè)方向與認(rèn)知科學(xué)的發(fā)展密切相關(guān)；一個(gè)方向是應(yīng)用研究，建立各種實(shí)用的學(xué)習(xí)系統(tǒng)或知識(shí)獲取輔助工具，在人工智能科學(xué)的應(yīng)用領(lǐng)域建立自動(dòng)獲取知識(shí)系統(tǒng)，積累經(jīng)驗(yàn)，完善知識(shí)庫(kù)與控制知識(shí)，進(jìn)而能使機(jī)器的智能水平像人類(lèi)一樣。2 .機(jī)器學(xué)習(xí)方法2.1 機(jī)械學(xué)習(xí)機(jī)械學(xué)習(xí)就是記憶，即把新的知識(shí)存儲(chǔ)起來(lái)，供需要時(shí)檢索調(diào)用，而無(wú)須計(jì)算和推理。任 何學(xué)習(xí)

7、系統(tǒng)都必須記住它們獲取的知識(shí)。在機(jī)械學(xué)習(xí)系統(tǒng)中，知識(shí)的獲取以較為穩(wěn)定和直接的方式進(jìn)行，不需要系統(tǒng)進(jìn)行過(guò)多的加工。而對(duì)于其他學(xué)習(xí)系統(tǒng)，需要對(duì)各種建議和訓(xùn)練例子等信息進(jìn)行加工處理后，才能存儲(chǔ)起來(lái)。當(dāng)機(jī)械學(xué)習(xí)系統(tǒng)的執(zhí)行部分解決好問(wèn)題之后，系統(tǒng)就記住該問(wèn)題及其解?？梢园褜W(xué)習(xí)系統(tǒng)的執(zhí)行部分抽象地看成某個(gè)函數(shù)，該函數(shù)在得到自變量輸入值(X1,X2, , ,Xn)之后，計(jì)算并輸出函數(shù)值(Y1,Y2, , ,Yp)。機(jī)械學(xué)習(xí)在存儲(chǔ)器中簡(jiǎn)單地 記憶存儲(chǔ)對(duì)(X1,X2, , ,Xn),(Y1,Y2, ,Yp)。當(dāng)需要f(X1,X2, , ,Xn)時(shí)，執(zhí)行部分就從存儲(chǔ)器中把(Y1,Y2, , ,Yp)簡(jiǎn)單地檢索出來(lái)

8、而不是重新計(jì)算它。這種簡(jiǎn)單的學(xué)習(xí)模式如下 ：(X兩,必工)退(兇 X,狗，(YhYjr-(Yp)對(duì)于機(jī)械學(xué)習(xí)，需要注意：采用適當(dāng)?shù)拇鎯?chǔ)方式，使檢索速度盡可能地快；保證所保存的 信息適應(yīng)于外界環(huán)境變化的需要；不能降低系統(tǒng)的效率。2.2 歸納學(xué)習(xí)歸納推理是應(yīng)用歸納方法 ，從足夠多的具體事例中D3納出一般性知識(shí)，提取事物的一般規(guī)律，是從個(gè)別到一般的推理。歸納學(xué)習(xí)是應(yīng)用歸納推理進(jìn)行學(xué)習(xí)的方法 ，根據(jù)歸納學(xué)習(xí)有無(wú) 教師指導(dǎo)，可分為示例學(xué)習(xí)和觀察與發(fā)現(xiàn)學(xué)習(xí)。前者屬于有師學(xué)習(xí)，后者屬于無(wú)師學(xué)習(xí)。歸納學(xué)習(xí)系統(tǒng)的模型如圖2所示。實(shí)驗(yàn)規(guī)劃過(guò)程通過(guò)對(duì)實(shí)例空間的搜索完成實(shí)例選擇，并將這些選中的活躍實(shí)例提交給解釋過(guò)程。

9、解釋過(guò)程對(duì)實(shí)例加以適當(dāng)轉(zhuǎn)換，把活躍實(shí)例變換為規(guī)則空間中的特定概念，以引導(dǎo)規(guī)則空間的搜索。_嚴(yán)想 1實(shí)刊函I 網(wǎng)-Law 廠圖2歸納學(xué)習(xí)系軌模，2.2.1 示例學(xué)習(xí)示例學(xué)習(xí)又稱(chēng)實(shí)例學(xué)習(xí)，是通過(guò)環(huán)境中若干與某概念有關(guān)的例子，經(jīng)歸納得出一般性概念的學(xué)習(xí)方法。在這種學(xué)習(xí)方法中，外部環(huán)境提供的是一組例子，每一個(gè)例子表達(dá)了僅適用于 該例子的知識(shí)。示例學(xué)習(xí)就是要從這些特殊知識(shí)中歸納出適用于更大范圍的一般性知識(shí)，以覆蓋所有的正例并排除所有反例。例如，如果用一批動(dòng)物作為示例，并且告訴學(xué)習(xí)系統(tǒng)哪一個(gè) 動(dòng)物是"馬"，哪一個(gè)動(dòng)物不是。當(dāng)示例足夠多時(shí)，學(xué)習(xí)系統(tǒng)就能概括出關(guān)于 "馬"

10、;的概念模型，使自己能夠識(shí)別馬，并且能將馬與其他動(dòng)物區(qū)別開(kāi)來(lái)。2.2.2 觀察發(fā)現(xiàn)學(xué)習(xí)觀察發(fā)現(xiàn)學(xué)習(xí)又稱(chēng)描述性概括，其目標(biāo)是確定一個(gè)定律或理論的一般性描述，刻畫(huà)觀察集，指定某類(lèi)對(duì)象的性質(zhì)。觀察發(fā)現(xiàn)學(xué)習(xí)可分為觀察學(xué)習(xí)與機(jī)器發(fā)現(xiàn)兩種。前者用于對(duì)事例 進(jìn)行聚類(lèi)，形成概念描述；后者用于發(fā)現(xiàn)規(guī)律，產(chǎn)生定律或規(guī)則。概念聚類(lèi)的基本思想是把事 例按照一定的方式和準(zhǔn)則分組 ，如劃分為不同的類(lèi)或不同的層次等，使不同的組代表不同的概念，并對(duì)每一個(gè)組進(jìn)行特征概括 ，得到一個(gè)概念的語(yǔ)義符號(hào)描述。 機(jī)器發(fā)現(xiàn)是指從觀察事例 或經(jīng)驗(yàn)數(shù)據(jù)中歸納出規(guī)律或規(guī)則的學(xué)習(xí)方法，也是最困難且最富創(chuàng)造性的一種學(xué)習(xí)。機(jī)器發(fā)現(xiàn)又可分為經(jīng)驗(yàn)發(fā)現(xiàn)與知

11、識(shí)發(fā)現(xiàn)兩種，前者是指從經(jīng)驗(yàn)數(shù)據(jù)中發(fā)現(xiàn)規(guī)律和定律，后者是指從已觀察的事例中發(fā)現(xiàn)新的知識(shí)。2.3 類(lèi)比學(xué)習(xí)類(lèi)比能清晰、簡(jiǎn)潔地描述對(duì)象間的相似性。類(lèi)比學(xué)習(xí)就是通過(guò)類(lèi)比，即通過(guò)對(duì)相似事物加以比較所進(jìn)行的一種學(xué)習(xí)。 例如，當(dāng)教師要向?qū)W生講授一個(gè)較難理解的新概念時(shí)，總是用一些學(xué)生已經(jīng)掌握且與新概念有許多相似之處的例子作為比喻，使學(xué)生通過(guò)類(lèi)比加深對(duì)新概念的理解。像這樣通過(guò)對(duì)相似事物的比較所進(jìn)行的學(xué)習(xí)就是類(lèi)比學(xué)習(xí)。類(lèi)比學(xué)習(xí)主要包括 4個(gè)過(guò)程：(1)輸入一組已知條件和一組未完全確定的條件。(2)對(duì)輸入的兩組條件，根據(jù)其描述，按某種相似性的定義尋找兩者可類(lèi)比的對(duì)應(yīng)關(guān)系。(3)根據(jù)相似變換的方法，將已有問(wèn)題的概念、

12、特性、方法、關(guān)系等映射到新問(wèn)題上，以獲得待求解新問(wèn)題所需的新知識(shí)。(4)對(duì)類(lèi)推得到的新問(wèn)題的知識(shí)進(jìn)行校驗(yàn)。驗(yàn)證正確的知識(shí)存入知識(shí)庫(kù)中，而暫時(shí)還無(wú)法驗(yàn)證的知識(shí)只能作為參考性知識(shí)，置于數(shù)據(jù)庫(kù)中。類(lèi)比學(xué)習(xí)的關(guān)鍵是相似性的定義與相似變換的方法。相似定義所依據(jù)的對(duì)象隨著類(lèi)比學(xué)習(xí)的目的發(fā)生變化，如果學(xué)習(xí)目的是獲得新事物的某種屬性，那么定義相似時(shí)應(yīng)依據(jù)新、 舊事物的其他屬性間的相似對(duì)應(yīng)關(guān)系。如果學(xué)習(xí)目的是獲得求解新問(wèn)題的方法，那么應(yīng)依據(jù)新問(wèn)題的各個(gè)狀態(tài)間的關(guān)系與老問(wèn)題的各個(gè)狀態(tài)間的關(guān)系來(lái)進(jìn)行類(lèi)比。相似變換一般要根據(jù)新、 老事物間以何種方式對(duì)問(wèn)題進(jìn)行相似類(lèi)比而決定2.4 解釋學(xué)習(xí)基于解釋的學(xué)習(xí)簡(jiǎn)稱(chēng)解釋學(xué)習(xí)。解

13、釋學(xué)習(xí)根據(jù)任務(wù)所在領(lǐng)域知識(shí)和正在學(xué)習(xí)的概念知識(shí)對(duì)當(dāng)前實(shí)例進(jìn)行分析和求解，得出一個(gè)表征求解過(guò)程的因果解釋樹(shù)，以獲取新的知識(shí)。在獲取新知識(shí)的過(guò)程中，通過(guò)對(duì)屬性、表征現(xiàn)象和內(nèi)在關(guān)系等進(jìn)行解釋而學(xué)習(xí)到新的知識(shí)。1986年Mitchell等人提出了基于解釋的概括方法,該算法建立了基于解釋的概括過(guò)程,并運(yùn)用知識(shí)的邏輯表示和演繹推理進(jìn)行問(wèn)題求解，如圖3所示?？珊?甥艇需;端|斯闞一圖3基于解狎的概括過(guò)程在解釋學(xué)習(xí)中，為了對(duì)某一目標(biāo)概念進(jìn)行學(xué)習(xí) ，從而得到相應(yīng)的知識(shí)，必須為學(xué)習(xí)系統(tǒng)提 供完善的領(lǐng)域知識(shí)以及能夠說(shuō)明目標(biāo)概念的一個(gè)訓(xùn)練實(shí)例。在系統(tǒng)進(jìn)行學(xué)習(xí)時(shí)，首先運(yùn)用領(lǐng)域知識(shí)找出訓(xùn)練實(shí)例為什么是目標(biāo)概念之實(shí)例的證明

14、，然后根據(jù)操作準(zhǔn)則對(duì)證明進(jìn)行推廣從而得到關(guān)于目標(biāo)概念的一般性描述，即可供以后使用的形式化表示的一般性知識(shí)。2.5 基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的性質(zhì)主要取決于兩個(gè)因素：網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)；網(wǎng)絡(luò)的權(quán)值、工作規(guī)則。二者結(jié)合起來(lái)就可以構(gòu)成一個(gè)網(wǎng)絡(luò)的主要特征。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問(wèn)題就是網(wǎng)絡(luò)的權(quán)值調(diào)整問(wèn)題。神經(jīng)網(wǎng)絡(luò)的連接權(quán)值的確定一般有兩種方式：一種是通過(guò)設(shè)計(jì)計(jì)算確定即所謂死記式學(xué)習(xí)；另一種是網(wǎng)絡(luò)按一定的規(guī)則通過(guò)學(xué)習(xí)得到的。大多數(shù)神經(jīng)網(wǎng)絡(luò)使用后一種方法確定其網(wǎng)絡(luò)權(quán)值。比較出名的網(wǎng)絡(luò)模型和學(xué)習(xí)算法有反向傳播算法、Hopfield網(wǎng)絡(luò)等。2.5.1 基于反向傳播網(wǎng)絡(luò)的學(xué)習(xí)誤差反向傳播學(xué)習(xí)由兩次通過(guò)網(wǎng)絡(luò)不同層的傳播組成

15、：一次前向傳播和一次反向傳播。在前向彳播中，一個(gè)活動(dòng)模式作用于網(wǎng)絡(luò)感知結(jié)點(diǎn) ，它的影響通過(guò)網(wǎng)絡(luò)一層接一層地傳播 ，最 后產(chǎn)生一個(gè)輸出作為網(wǎng)絡(luò)的實(shí)際響應(yīng)。在前向傳播中，網(wǎng)絡(luò)的突觸權(quán)值全被固定了。在反向傳播中，突觸權(quán)值全部根據(jù)突觸修正規(guī)則來(lái)調(diào)整。特別是網(wǎng)絡(luò)的目標(biāo)響應(yīng)減去實(shí)際響應(yīng)而產(chǎn) 生誤差信號(hào)，這個(gè)誤差信號(hào)反向傳播通過(guò)網(wǎng)絡(luò) ，與突觸連接方向相反，因此叫"誤差反向傳播 "。突觸權(quán)值被調(diào)整使得網(wǎng)絡(luò)的實(shí)際響應(yīng)從統(tǒng)計(jì)意義上接近目標(biāo)響應(yīng)。誤差反向傳播算法通 常稱(chēng)為反向傳播算法，由算法執(zhí)行的學(xué)習(xí)過(guò)程稱(chēng)為反向傳播學(xué)習(xí)。反向傳播算法的發(fā)展是神 經(jīng)網(wǎng)絡(luò)發(fā)展史上的一個(gè)里程碑，因?yàn)榉聪騻鞑ニ惴橛?xùn)練

16、多層感知器提供了一個(gè)有效的計(jì)算 方法。2.5.2 基于Hopfield 網(wǎng)絡(luò)模型的學(xué)習(xí)前向神經(jīng)網(wǎng)絡(luò)，從學(xué)習(xí)的觀點(diǎn)看，是強(qiáng)有力的學(xué)習(xí)系統(tǒng)，結(jié)構(gòu)簡(jiǎn)單，易于編程。從系統(tǒng)的觀 點(diǎn)看，屬于靜態(tài)的非線(xiàn)性映射，通過(guò)簡(jiǎn)單非線(xiàn)性處理單元的復(fù)合映射可獲得復(fù)雜的非線(xiàn)性處 理能力，但它們因缺乏反饋，所以并不是一個(gè)強(qiáng)有力的動(dòng)力學(xué)系統(tǒng)。Hopfield模型屬于反饋型神經(jīng)網(wǎng)絡(luò)，從計(jì)算的角度講，具有很強(qiáng)的計(jì)算能力。系統(tǒng)著重關(guān)心的是系統(tǒng)的穩(wěn)定性問(wèn)題。穩(wěn)定性是這類(lèi)具有聯(lián)想記憶功能神經(jīng)網(wǎng)絡(luò)模型的核心，學(xué)習(xí)記憶的過(guò)程就是系統(tǒng)向穩(wěn)定狀態(tài)發(fā)展的過(guò)程。Hopfield網(wǎng)絡(luò)可用于解決聯(lián)想記憶和約束優(yōu)化問(wèn)題的求解。2.6 知識(shí)發(fā)現(xiàn)數(shù)據(jù)庫(kù)中的知

17、識(shí)發(fā)現(xiàn)是從大量數(shù)據(jù)中辨識(shí)出有效的、新穎的、潛在有用的、可被理解的模式的高級(jí)處理過(guò)程。知識(shí)發(fā)現(xiàn)過(guò)程如圖4所示：變換后 一 數(shù)據(jù)圖4知識(shí)強(qiáng)現(xiàn)過(guò)程數(shù)據(jù)選擇是根據(jù)用戶(hù)需求從數(shù)據(jù)庫(kù)中提取相關(guān)數(shù)據(jù)。數(shù)據(jù)預(yù)處理是對(duì)數(shù)據(jù)進(jìn)行再加工 檢查數(shù)據(jù)的完整性及一致性 ，對(duì)其中的噪音數(shù)據(jù)進(jìn)行處理 ，對(duì)丟失的數(shù)據(jù)利用統(tǒng)計(jì)方法進(jìn)行 填補(bǔ)，形成發(fā)掘數(shù)據(jù)庫(kù)。數(shù)據(jù)變換即從發(fā)掘數(shù)據(jù)庫(kù)里選擇數(shù)據(jù)。變換的方法主要是利用聚類(lèi) 分析和判別分析。數(shù)據(jù)挖掘是根據(jù)用戶(hù)要求，確定知識(shí)發(fā)現(xiàn)的目標(biāo)是發(fā)現(xiàn)何種類(lèi)型的知識(shí)運(yùn)用選定的知識(shí)發(fā)現(xiàn)算法，從數(shù)據(jù)庫(kù)中提取用戶(hù)所需要的知識(shí)。知識(shí)評(píng)價(jià)主要用于對(duì)所獲得 的規(guī)則進(jìn)行價(jià)值評(píng)定，以決定所得到的規(guī)則是否存入基礎(chǔ)知識(shí)庫(kù)

18、。上述知識(shí)發(fā)現(xiàn)過(guò)程可以進(jìn)一步歸納為3個(gè)步驟，即數(shù)據(jù)挖掘預(yù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)挖掘后處理。知識(shí)發(fā)現(xiàn)已在銀行業(yè)、保險(xiǎn)業(yè)、零售業(yè)、醫(yī)療保健、工程和制造業(yè)、科學(xué)研究、衛(wèi)星觀 察和娛樂(lè)業(yè)等行業(yè)和部門(mén)得到成功應(yīng)用，為人們的科學(xué)決策提供了很大幫助。3 .機(jī)器學(xué)習(xí)方法的應(yīng)用研究表明，目前在眾多涉及計(jì)算機(jī)處理的技術(shù)應(yīng)用中，機(jī)器學(xué)習(xí)在許多領(lǐng)域都取得了很大的進(jìn)步，如用于人工智能、數(shù)據(jù)挖掘、自然語(yǔ)言處理、漢字識(shí)別、機(jī)器翻譯、專(zhuān)家系統(tǒng)以 及商業(yè)領(lǐng)域等。可以說(shuō)，一個(gè)系統(tǒng)是否具有“學(xué)習(xí)”功能己成為是否具有“智能”的一個(gè)重 要標(biāo)志。20世紀(jì)90年代逐漸成熟的基于機(jī)器學(xué)習(xí)的文本分類(lèi)方法，更注重分類(lèi)器的模型自動(dòng)挖掘和生成及動(dòng)態(tài)優(yōu)

19、化能力，在分類(lèi)效果和靈活性上都比之前基于知識(shí)工程和專(zhuān)家系統(tǒng)的文本 分類(lèi)模式有所突破，成為相關(guān)領(lǐng)域研究和應(yīng)用的經(jīng)典范例3,4。近年來(lái)，機(jī)器學(xué)習(xí)與自然語(yǔ)言處理的結(jié)合越來(lái)越緊密，相應(yīng)的自然語(yǔ)言學(xué)習(xí)技術(shù)的發(fā)展也越來(lái)越快。在自然語(yǔ)言處理及機(jī) 器翻譯方而，比較流行和傳統(tǒng)的機(jī)器學(xué)習(xí)方法是基于實(shí)例的學(xué)習(xí)。這種方法給定一些有代表 性的實(shí)例，從中總結(jié)出一些規(guī)律，使其具有代表性和高精確度，并把學(xué)習(xí)得到的這些特性作為 系統(tǒng)，賦給另一個(gè)從未見(jiàn)過(guò)的新事物。比較典型的應(yīng)用有基于機(jī)器學(xué)習(xí)方法的自動(dòng)文摘問(wèn)題 以及用于進(jìn)行智能中文關(guān)聯(lián)詞語(yǔ)識(shí)別，中文語(yǔ)句生成和診斷系統(tǒng)等。機(jī)器學(xué)習(xí)方法在專(zhuān)家系統(tǒng)及智能決策系統(tǒng)方而的典型應(yīng)用也很普遍，

20、這方面的研究有：機(jī)械設(shè)備智能診斷系統(tǒng)的機(jī)器學(xué)習(xí)機(jī)制、故障診斷專(zhuān)家系統(tǒng)中機(jī)器學(xué)習(xí)方法的研究、基于機(jī)器學(xué)習(xí)理論的智能決策支持系統(tǒng)模型操縱方法的研究，智能制造系統(tǒng)中機(jī)器學(xué)習(xí)方法的應(yīng)用研究等。機(jī)器學(xué)習(xí)技術(shù)應(yīng)用于市場(chǎng)營(yíng)銷(xiāo)、金融、網(wǎng)絡(luò)分析和電信領(lǐng)域5。在市場(chǎng)營(yíng)銷(xiāo)領(lǐng)域，機(jī)器 學(xué)習(xí)技術(shù)較廣泛地應(yīng)用于分類(lèi)型和關(guān)聯(lián)型任務(wù)；在金融領(lǐng)域，機(jī)器學(xué)習(xí)技術(shù)較廣泛地應(yīng)用于預(yù)測(cè)型任務(wù)；在網(wǎng)絡(luò)分析領(lǐng)域，機(jī)器學(xué)習(xí)技術(shù)應(yīng)用較為廣泛的是關(guān)聯(lián)型任務(wù)。在電信領(lǐng)域，機(jī) 器學(xué)習(xí)技術(shù)在分類(lèi)、預(yù)測(cè)、偵查的任務(wù)方面均有廣泛的應(yīng)用。此外 , 機(jī)器學(xué)習(xí)應(yīng)用于數(shù)據(jù)挖掘領(lǐng)域5 或與其它應(yīng)用技術(shù)的結(jié)合, 比較典型的有基于機(jī)器學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)初始化方法、進(jìn)化計(jì)算

21、在機(jī)器學(xué)習(xí)中的應(yīng)用研究、層次分類(lèi)中的機(jī)器學(xué)習(xí)方法研究、基于Rough 集方法的數(shù)據(jù)約簡(jiǎn)與機(jī)器學(xué)習(xí)、預(yù)測(cè)支持系統(tǒng)中的人機(jī)界面Agent及其機(jī)器學(xué)習(xí)。目前 , 我們?cè)噲D把機(jī)器學(xué)習(xí)應(yīng)用到用戶(hù)模型的建立更新中。但仍然存在很多難點(diǎn), 如在用戶(hù)建模中需要什么樣的機(jī)器學(xué)習(xí)方法, 怎樣獲得大量的機(jī)器學(xué)習(xí)所需要的訓(xùn)練樣本, 怎樣既能提高用戶(hù)模型的精度又能降低運(yùn)算的復(fù)雜度等, 這些都還有待進(jìn)一步研究和探討。4 . 小結(jié)與展望機(jī)器學(xué)習(xí)是人工智能發(fā)展中一個(gè)十分活躍的領(lǐng)域, 其研究目的是希望計(jì)算機(jī)具有如同人類(lèi)一樣從現(xiàn)實(shí)世界中獲取知識(shí)的能力, 同時(shí) , 以模擬人類(lèi)的學(xué)習(xí)過(guò)程出發(fā)點(diǎn), 建立學(xué)習(xí)的計(jì)算理論 , 構(gòu)造各種學(xué)習(xí)系統(tǒng)并將之應(yīng)用到各個(gè)領(lǐng)域中去。發(fā)展各種適合機(jī)器特點(diǎn)的學(xué)習(xí)理論進(jìn)行基礎(chǔ)性研究。當(dāng)前 , 機(jī)器學(xué)習(xí)的研究仍繼續(xù)向縱深方向發(fā)展, 研究者從各自不同的研究環(huán)境和領(lǐng)域提出多種學(xué)習(xí)體制、學(xué)習(xí)方法。但總體來(lái)看, 為了使機(jī)器學(xué)習(xí)達(dá)到較高水平, 應(yīng)該采用多種學(xué)習(xí)體制下的集成學(xué)習(xí)系統(tǒng), 以便解決復(fù)雜任務(wù)和模擬人腦的思維過(guò)程, 同時(shí)在學(xué)習(xí)機(jī)制和學(xué)習(xí)方法上爭(zhēng)取有質(zhì)的突破。在算法研究方面，由于集成學(xué)習(xí)(Ensemble Learning) 可以有效地提高模型的推廣能力因此從 20 世紀(jì) 90 年代開(kāi)始, 對(duì)集成學(xué)習(xí)理論和算法的研究成為了機(jī)器學(xué)習(xí)的一個(gè)熱點(diǎn)。早在 1997年 , 國(guó)際