智能決策支持系統(tǒng)概述課件

1、 第四章智能決策支持技術(shù) 綱要智能決策支持系統(tǒng)概述人工智能專家系統(tǒng)神經(jīng)網(wǎng)絡(luò)遺傳算法機(jī)器學(xué)習(xí)IDSS成功實(shí)例 (1) 東海漁業(yè)資源評(píng)估專家系統(tǒng)這個(gè)系統(tǒng)是國(guó)家863高科技項(xiàng)目863-818-07專題的一個(gè)組成部分。本專題目標(biāo)任務(wù)是建立具有我國(guó)自主 知識(shí)產(chǎn)權(quán)的漁情分析專家系統(tǒng)和構(gòu)建一個(gè)以東海漁區(qū)（2534N，130E以西海區(qū))為示范海區(qū)，以 衛(wèi)星遙感漁業(yè)分析技術(shù)、海洋漁業(yè)服務(wù)地理信息系統(tǒng)技術(shù)和漁情分析專家系統(tǒng)技術(shù)為支撐的海洋漁業(yè)遙 感信息與資源評(píng)估服務(wù)系統(tǒng)。該項(xiàng)目獲得2001年度中科院科技進(jìn)步二等獎(jiǎng)，2002年度國(guó)家科技進(jìn)步二等獎(jiǎng)。 (2) 面向?qū)ο蟮闹悄芄收显\斷專家系統(tǒng)本系統(tǒng)用于設(shè)備自動(dòng)化測(cè)試時(shí)的

2、故障診斷，診斷軟件主要通過讀取數(shù)據(jù)庫(kù)獲得診斷所需數(shù)據(jù)，對(duì)測(cè)試過程 中出現(xiàn)的故障進(jìn)行診斷，如自動(dòng)化測(cè)試系統(tǒng)與主控計(jì)算機(jī)通信故障的診斷，對(duì)動(dòng)力系統(tǒng)的綜合控制裝置 故障進(jìn)行診斷，對(duì)設(shè)備上電氣系統(tǒng)中獨(dú)立的小元器件故障進(jìn)行診斷，最后對(duì)測(cè)試系統(tǒng)采集到的數(shù)據(jù)進(jìn)行分析， 包括繪制數(shù)據(jù)曲線，對(duì)曲線作定性分析，顯示分析結(jié)果。 (3) 工商行固定資產(chǎn)貸款風(fēng)險(xiǎn)決策系統(tǒng)本系統(tǒng)是一個(gè)交互式系統(tǒng)，即在決策過程中向用戶提出一些需要以數(shù)字回答的問題，界面簡(jiǎn)潔、友好。 在人機(jī)對(duì)話過程中，系統(tǒng)需要用戶以數(shù)值形式輸入一些供決策用的參數(shù)，如企業(yè)經(jīng)營(yíng)者素質(zhì)評(píng)估， 經(jīng)濟(jì)實(shí)力，資金結(jié)構(gòu)，經(jīng)濟(jì)效益，發(fā)展前景，信用等級(jí)系數(shù)，貸款金額，等等。同時(shí)

3、給出一些選項(xiàng) 供用戶選擇，如抵押貸款方式，保證貸款方式，信用貸款方式，以及貸款形態(tài)等。系統(tǒng)根據(jù)用戶提供 的信息計(jì)算出全部貸款資產(chǎn)風(fēng)險(xiǎn)權(quán)重額，全部固定資產(chǎn)貸款資產(chǎn)風(fēng)險(xiǎn)度，并結(jié)合企業(yè)的信用等級(jí)， 給出評(píng)估圖表，最后給出貸款與否的建議。 (4) 稅務(wù)稽查鑒于稽查工作的重要性和工作復(fù)雜性，手工稽查不足以勝任繁瑣的稽查任務(wù)，利用計(jì)算機(jī)進(jìn)行稽查 選案勢(shì)在必行。一個(gè)好的計(jì)算機(jī)選案系統(tǒng)能夠科學(xué)地、有效地確立稽查對(duì)象，從而使得集中力量重 點(diǎn)稽查成為可能。稅務(wù)稽查計(jì)算機(jī)選案系統(tǒng)即是為滿足這一需求而開發(fā)的。稅務(wù)稽查具體分為： 選案管理、計(jì)劃管理、稽查實(shí)施、案件審理、執(zhí)行分析這五個(gè)環(huán)節(jié)。 在此基礎(chǔ)上,建立智能的計(jì)算

4、機(jī)自動(dòng)選案系統(tǒng)，做到有法可依，有據(jù)可依、有的放矢擴(kuò)大選案，為稅務(wù)稽查工作提供科學(xué)、規(guī)范的依據(jù)。 DSS人 工 智 能專家系統(tǒng)機(jī)器學(xué)習(xí)人工神經(jīng)元網(wǎng)絡(luò)專家知識(shí)優(yōu)勢(shì)IDSSDSS+AI提高支持非結(jié)構(gòu)化決策能力知識(shí)獲取困難知識(shí)庫(kù)智能DSS的基本概念數(shù)據(jù)庫(kù)（DB）數(shù)據(jù)庫(kù)管理系統(tǒng)（DBMS）模型庫(kù)（MB）模型庫(kù)管理系統(tǒng)（MBMS）方法庫(kù)（MEB）方法庫(kù)管理系統(tǒng)（MEBMS）對(duì)話生成管理系統(tǒng)（DGMS）終端顯示器用戶數(shù)據(jù)庫(kù)模型庫(kù)人機(jī)接口方法庫(kù)管理系統(tǒng)模型庫(kù)管理系統(tǒng)用 戶數(shù)據(jù)庫(kù)管理系統(tǒng)方法庫(kù)知識(shí)庫(kù)知識(shí)庫(kù)管理系統(tǒng)自然語(yǔ)言處理系統(tǒng)問題處理系統(tǒng)推理機(jī)智能DSS的結(jié)構(gòu)IDSS： 更好地理解人 能積累已有知識(shí) 能獲得新

5、知識(shí) 提高分析和求解能力 自然語(yǔ)言處理系統(tǒng) 知識(shí)庫(kù) 推理機(jī) 問題處理系統(tǒng)智能DSS的結(jié)構(gòu)自然語(yǔ)言表達(dá)的決策問題系統(tǒng)能理解的方式表達(dá)的決策問題人機(jī)接口自然語(yǔ)言處理系統(tǒng)問題處理系統(tǒng)語(yǔ)法、語(yǔ)義結(jié)構(gòu)分析智能DSS的結(jié)構(gòu) 智能人機(jī)接口問題處理系統(tǒng)工作流程 問 題 求 解 器結(jié)構(gòu)化問題 ： 模型選擇或構(gòu)造 非結(jié)構(gòu)化問題 ： 推論或知識(shí)推理 問 題 分 析 器 問題描述 人 機(jī) 接 口自然語(yǔ)言處理系統(tǒng) 結(jié)果 四 庫(kù) 系 統(tǒng)求解資源智能DSS的結(jié)構(gòu) 問題處理系統(tǒng)回答知識(shí)請(qǐng)求回答知識(shí)庫(kù)維護(hù)請(qǐng)求知識(shí)庫(kù)知識(shí)庫(kù)管理系統(tǒng)推理機(jī)知識(shí)庫(kù)包含事實(shí)庫(kù)和規(guī)則庫(kù)兩部分從已知事實(shí)推出新事實(shí)智能DSS的結(jié)構(gòu) 知識(shí)庫(kù)子系統(tǒng) 知識(shí)庫(kù)子系統(tǒng)

6、： 獲取、解釋、表示、推理及管理與維護(hù)知識(shí) 知識(shí)的獲取知識(shí)的表示是知識(shí)的符號(hào)化過程常見的知識(shí)表示形式有：產(chǎn)生式規(guī)則語(yǔ)義網(wǎng)絡(luò)表示知識(shí)的框架表示腳本表示過程表示Petri網(wǎng)表示面向?qū)ο蟊硎局悄蹹SS的結(jié)構(gòu) 知識(shí)庫(kù)子系統(tǒng) 規(guī)則：標(biāo)準(zhǔn)形式： 如果 則 ; A-B實(shí)例：如果（植物正在枯萎）而且并非（葉子有黃斑） 則（植物缺少足夠的水）產(chǎn)生式規(guī)則a) 推理：是指從已知事實(shí)推出新事實(shí) (結(jié)論)的過程。b) 推理機(jī)：是一組程序，它針對(duì)用戶問題去處理知識(shí)庫(kù) (規(guī)則和事實(shí))。例：規(guī)則 拖債達(dá)3級(jí)及以上的客戶信用低 事實(shí) 該客戶拖債達(dá)4級(jí) 結(jié)論 該客戶信用低例：規(guī)則 與信用低的客戶做交易要謹(jǐn)慎 事實(shí) 該客戶信用低

7、結(jié)論 與該客戶做交易要謹(jǐn)慎智能DSS的結(jié)構(gòu) 推理機(jī)c) 推理原理如下： 若事實(shí)M為真，且有一規(guī)則“TF M THEN N”存在，則N為真。 事實(shí)“任務(wù)A是緊急訂貨”為真，且有一規(guī)則 “IF任務(wù)i是緊急訂貨THEN任務(wù)i按優(yōu)先安排計(jì)劃”存在，則任務(wù)A就應(yīng)優(yōu)先安排計(jì)劃。根據(jù)推理方向的不同：正向推理、反向推理智能DSS的結(jié)構(gòu) 推理機(jī)兩庫(kù)的初始狀態(tài) 1.AB-G 2.CD-A 3.E-D產(chǎn)生式規(guī)則庫(kù)B,C,E事實(shí)庫(kù)B,C,E,D,A,G事實(shí)庫(kù)的最后狀態(tài)人工智能（AI） 人工智能是計(jì)算機(jī)科學(xué)的一個(gè)分支，是一門研究機(jī)器智能的學(xué)科，即用人工的方法和技術(shù)，研制智能機(jī)器或智能系統(tǒng)來模仿、延伸和擴(kuò)展人的智能，實(shí)現(xiàn)

8、智能行為。（符號(hào)、連接和行為）人工智能的歷史背景人工智能在中國(guó)的歷史淵源:司辰、擊鼓、 報(bào)時(shí)的“機(jī)關(guān)人”會(huì)跳舞的“人形舞姬”，西周周穆王偃師能捕鼠的木制“鐘馗”會(huì)化緣的“木僧人”，等等.國(guó)際方面：英國(guó)科學(xué)家圖靈于1936 年提出“理論計(jì)算機(jī)”模型，被稱之為“圖靈機(jī)”( Turing Machine ) ，創(chuàng)立了“自動(dòng)機(jī)理論”。 1950 年，圖靈發(fā)表了著名論文 計(jì)算機(jī)能思維嗎？，明確地提出了“機(jī)器能思維”的觀點(diǎn)。1943 年，美國(guó)科學(xué)家麥卡洛克（W. S. McCulloch）、匹茨（W. H. Pitts）研制出世界上第一個(gè)人工神經(jīng)細(xì)胞模型，被稱之為“MP模型”。從仿生學(xué)觀點(diǎn)，以結(jié)構(gòu)模擬方法

9、，探討人工智能的途徑。 1948年，美國(guó)科學(xué)家維納等創(chuàng)立了“控制論” （Cybernetics）, 研究動(dòng)物與機(jī)器中的控制和通訊的共同規(guī)律，在生物科學(xué)與工程技術(shù)之間架起了學(xué)術(shù)橋梁，開拓了從行為模擬觀點(diǎn)研究人工智能的園地。 類人行為：圖靈測(cè)試(1950)圖靈建議：不是問“機(jī)器能否思考”，而是問“機(jī)器能否通過關(guān)于行為的智能測(cè)試”Alan Turing24AI成功的例子博弈：IBM公司的“深藍(lán)”成為第一個(gè)在國(guó)際象棋比賽中戰(zhàn)勝世界冠軍的計(jì)算機(jī)程序1997年，一次公開賽中3.5/2.5比分戰(zhàn)勝卡斯帕羅夫，他說從棋盤對(duì)面感到了“一種新智能”25AI成功的例子后勤規(guī)劃：1991年海灣戰(zhàn)爭(zhēng)中美國(guó)軍隊(duì)配備了一個(gè)

10、動(dòng)態(tài)分析和重規(guī)劃工具DART, 用于自動(dòng)后勤規(guī)劃與運(yùn)輸調(diào)度該系統(tǒng)同時(shí)涉及50000個(gè)車輛、貨物和人，而且要考慮起點(diǎn)、目的地、路徑，解決所有參數(shù)之間的沖突。使用AI技術(shù)使規(guī)劃在幾小時(shí)內(nèi)完成，而傳統(tǒng)方法需要幾個(gè)星期DARPA稱就此一項(xiàng)投資足以補(bǔ)償DARPA在AI方面30年的投資26搜索技術(shù)基本搜索法：廣度和深度優(yōu)先搜索法生成測(cè)試法爬山法啟發(fā)式搜索博弈算法761467146741268713426871342687134761467146741268713426871342687134761467146741268713426871342687134生成測(cè)試法生成一個(gè)可能狀態(tài)節(jié)點(diǎn)測(cè)試該狀態(tài)是否為目標(biāo)

11、狀態(tài)若是，則結(jié)束；否則回到第一步在搜索過程中，如果總是利用舊狀態(tài)生成所有可能的新狀態(tài)，而且狀態(tài)節(jié)點(diǎn)以從舊到新的順序逐個(gè)生成，這種生成測(cè)試法就是？如果總是利用剛生成的狀態(tài)來生成新狀態(tài)，則是？爬山法開始狀態(tài)作為一個(gè)可能狀態(tài)從一個(gè)可能狀態(tài)，應(yīng)用規(guī)則生成所有新的可能狀態(tài)集對(duì)該狀態(tài)集中的每一個(gè)狀態(tài)，進(jìn)行以下操作：對(duì)該狀態(tài)進(jìn)行測(cè)試，檢查是否為目標(biāo)，是則停止計(jì)算該狀態(tài)的好壞，或者比較各狀態(tài)的好壞取狀態(tài)集中的最好狀態(tài)，作為下一個(gè)可能狀態(tài)循環(huán)第二步啟發(fā)式搜索是對(duì)每個(gè)在搜索過程中遇到的新狀態(tài)，用一個(gè)估計(jì)函數(shù)（啟發(fā)式函數(shù)）并計(jì)算其值得大小，確定下一步將從哪個(gè)狀態(tài)開始繼續(xù)前進(jìn)一般以估計(jì)值小者為較優(yōu)的狀態(tài)，以此實(shí)行最優(yōu)

12、搜索和人工智能相關(guān)的社會(huì)倫理問題人們可能由于自動(dòng)化而失業(yè)人們可能擁有過多或過少的閑暇時(shí)間人們可能會(huì)失去作為人的獨(dú)一無二的感覺人們可能會(huì)失去一些個(gè)人隱私權(quán)人工智能系統(tǒng)的應(yīng)用可能會(huì)導(dǎo)致責(zé)任感的喪失人工智能的成功可能意味著人類種族的終結(jié)人工智能及其在決策系統(tǒng)中的應(yīng)用蔡自興 姚莉 國(guó)防科技大學(xué)出版社34專家系統(tǒng)專家系統(tǒng)是一種計(jì)算機(jī)程序，它使用知識(shí)及推理機(jī)制去解決需要專家才能解決的復(fù)雜問題。稀缺資源，讓專家的知識(shí)得到長(zhǎng)期保存和被更多的用戶所使用專家系統(tǒng)特點(diǎn)：運(yùn)用專家知識(shí)知識(shí)轉(zhuǎn)換為系統(tǒng)的內(nèi)部表示使用符號(hào)推理方法運(yùn)用啟發(fā)式規(guī)則具代表性的有醫(yī)藥專家系統(tǒng)MYCIN、探礦專家系統(tǒng)PROSPECTOR等。20世紀(jì)8

13、0年代，專家系統(tǒng)的開發(fā)趨于商品化，創(chuàng)造了巨大的經(jīng)濟(jì)效益。20世紀(jì)80年代以來，在知識(shí)工程的推動(dòng)下，涌現(xiàn)出了不少專家系統(tǒng)開發(fā)工具，例如EMYCIN、CLIPS(OPS5, OPS83)、G2、KEE、OKPS等。 第一個(gè)專家系統(tǒng)DENDRAL是化學(xué)分析專家系統(tǒng)，由美國(guó)科學(xué)家費(fèi)根鮑姆（E. A. Feigennbaum）于1965 年提出，1968年研制成功的。醫(yī)療專家系統(tǒng)MYCIN 是由斯坦福大學(xué)（Stanford University）肖特利夫( E. H. Shortliffe）等人于1971年開始研制，1974 年基本完成，1976年發(fā)表的，具有類似于內(nèi)科醫(yī)生的知識(shí)和經(jīng)驗(yàn)，可用于血液感染病

14、的診斷、治療和咨詢服務(wù)。地質(zhì)勘探專家系統(tǒng)（PROSPECTOR）。它是由斯坦福研究所（SRI）的杜達(dá)（R.O. Duda）等研制的，可用于地質(zhì)勘測(cè)數(shù)據(jù)分析，探查礦床的類型、蘊(yùn)藏量、分布。從1976 年開始研制，1981 年基本完成，其特點(diǎn)是具有多專家、多專業(yè)的知識(shí)和經(jīng)驗(yàn)。 國(guó)內(nèi)應(yīng)用早在1977年，中國(guó)科學(xué)院自動(dòng)化研究所就基于關(guān)幼波先生的經(jīng)驗(yàn)，研制成功了我國(guó)第一個(gè)“中醫(yī)肝病診治專家系統(tǒng)”。1985年10月中科院合肥智能所熊范綸建成“砂姜黑土小麥?zhǔn)┓蕦＜易稍兿到y(tǒng)”， 這是我國(guó)第一個(gè)農(nóng)業(yè)專家系統(tǒng)。中科院計(jì)算所史忠植與東海水產(chǎn)研究所等合作，研制了東海漁場(chǎng)預(yù)報(bào)專家系統(tǒng)。在專家系統(tǒng)開發(fā)工具方面，中科院數(shù)學(xué)

15、研究所研制了專家系統(tǒng)開發(fā)環(huán)境“天馬”，中科院合肥智能所研制了農(nóng)業(yè)專家系統(tǒng)開發(fā)工具“雄風(fēng)”，中科院計(jì)算所研制了面向?qū)ο髮＜蚁到y(tǒng)開發(fā)工具“OKPS”。 專家系統(tǒng)的類型解釋專家系統(tǒng)預(yù)測(cè)專家系統(tǒng)診斷專家系統(tǒng)設(shè)計(jì)專家系統(tǒng)規(guī)劃專家系統(tǒng)監(jiān)視專家系統(tǒng)控制專家系統(tǒng)調(diào)試專家系統(tǒng)教學(xué)專家系統(tǒng)修理專家系統(tǒng)Questions1能根據(jù)學(xué)生的特點(diǎn)、弱點(diǎn)和基礎(chǔ)知識(shí)，以最適當(dāng)?shù)慕贪负徒虒W(xué)方法對(duì)學(xué)生進(jìn)行教學(xué)和輔導(dǎo)的專家系統(tǒng)是：A解釋專家系統(tǒng)B調(diào)試專家系統(tǒng)C監(jiān)視專家系統(tǒng)D教學(xué)專家系統(tǒng)2用于尋找出某個(gè)能夠達(dá)到給定目標(biāo)的動(dòng)作序列或步驟的專家系統(tǒng)是：A設(shè)計(jì)專家系統(tǒng)B診斷專家系統(tǒng)C預(yù)測(cè)專家系統(tǒng)D規(guī)劃專家系統(tǒng)3能對(duì)發(fā)生故障的對(duì)象（系統(tǒng)或設(shè)備

16、）進(jìn)行處理，使其恢復(fù)正常工作的專家系統(tǒng)是：A修理專家系統(tǒng)B診斷專家系統(tǒng)C調(diào)試專家系統(tǒng)D規(guī)劃專家系統(tǒng)4能通過對(duì)過去和現(xiàn)在已知狀況的分析，推斷未來可能發(fā)生的情況的專家系統(tǒng)是：A修理專家系統(tǒng)B預(yù)測(cè)專家系統(tǒng)C調(diào)試專家系統(tǒng)D規(guī)劃專家系統(tǒng)知識(shí)庫(kù)是問題求解所需要的領(lǐng)域知識(shí)的集合，包括基本事實(shí)、規(guī)則和其他有關(guān)信息。知識(shí)庫(kù)中知識(shí)的質(zhì)量和數(shù)量決定著專家系統(tǒng)的質(zhì)量水平。用戶可以通過改變、完善知識(shí)庫(kù)中的知識(shí)內(nèi)容來提高專家系統(tǒng)的性能。推理機(jī)是實(shí)施問題求解的核心執(zhí)行機(jī)構(gòu)。推理機(jī)的程序與知識(shí)庫(kù)的具體內(nèi)容無關(guān)，即推理機(jī)和知識(shí)庫(kù)是分離的，這是專家系統(tǒng)的重要特征。知識(shí)獲取負(fù)責(zé)建立、修改和擴(kuò)充知識(shí)庫(kù)，是專家系統(tǒng)中把問題求解的各種專

17、門知識(shí)從人類專家的頭腦中或其他知識(shí)源那里轉(zhuǎn)換到知識(shí)庫(kù)中的一個(gè)重要機(jī)構(gòu)。人機(jī)界面是系統(tǒng)與用戶進(jìn)行交流時(shí)的界面。通過該界面，用戶輸入基本信息、回答系統(tǒng)提出的相關(guān)問題。系統(tǒng)輸出推理結(jié)果及相關(guān)的解釋也是通過人機(jī)交互界面。綜合數(shù)據(jù)庫(kù)也稱為動(dòng)態(tài)庫(kù)或工作存儲(chǔ)器，是反映當(dāng)前問題求解狀態(tài)的集合，用于存放系統(tǒng)運(yùn)行過程中所產(chǎn)生的所有信息，以及所需要的原始數(shù)據(jù)，包括用戶輸入的信息、推理的中間結(jié)果、推理過程的記錄等。解釋器用于對(duì)求解過程做出說明，并回答用戶的提問。兩個(gè)最基本的問題是“why”和“how”。解釋機(jī)制涉及程序的透明性，它讓用戶理解程序正在做什么和為什么這樣做，向用戶提供了關(guān)于系統(tǒng)的一個(gè)認(rèn)識(shí)窗口。在很多情況下

18、，解釋機(jī)制是非常重要的。為了回答“為什么”得到某個(gè)結(jié)論的詢問，系統(tǒng)通常需要反向跟蹤動(dòng)態(tài)庫(kù)中保存的推理路徑，并把它翻譯成用戶能接受的自然語(yǔ)言表達(dá)方式。專家系統(tǒng)的開發(fā)方式（1）直接買成品的專家系統(tǒng)（2）買外殼，由用戶輸入知識(shí)。 EMYCIN（3）自己建造：C+，LISP聯(lián)合國(guó)工資計(jì)算專家系統(tǒng)基本工資+“資格”IntelliCorp 公司的 PowerModel工具神經(jīng)科學(xué)：大腦是如何處理信息的？大腦的神經(jīng)元輸出W1W4W2W3X1 X2 X3 X4輸入加權(quán)傳遞加權(quán)和Y處理單元輸入層隱蔽層輸出層 神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型NN研究方面神經(jīng)網(wǎng)絡(luò)的基本理論研究神經(jīng)網(wǎng)絡(luò)模型的研究學(xué)習(xí)算法研究計(jì)算機(jī)模擬及硬件實(shí)現(xiàn)

19、應(yīng)用研究神經(jīng)網(wǎng)絡(luò)模型前向網(wǎng)絡(luò)模型:感知機(jī)反饋網(wǎng)絡(luò)模型:Hopfield網(wǎng)絡(luò),雙向聯(lián)想記憶網(wǎng)絡(luò)隨機(jī)網(wǎng)絡(luò)模型:Boltzmann機(jī)自組織網(wǎng)絡(luò)模型：ART(自適應(yīng)共振理論)成熟算法BP算法模擬退火算法競(jìng)爭(zhēng)學(xué)習(xí)與相互激勵(lì)學(xué)習(xí)算法Neural networkA neural network is a set of connected input/output units where each connection has a weight associated with it. During the learning phase, the network learns by adjusting the

20、weights so as to be able to predict the correct class label of the input samples.Also called connectionist learning.BP網(wǎng)絡(luò) 各種作用函數(shù)0,1階梯函數(shù) f(x)=1,(x0) f(x)= 0,(x=0)-1,1階梯函數(shù)(-1,1)S型函數(shù)(0,1)S型函數(shù)BP網(wǎng)絡(luò) InputlayerHidden layerOutput layerSteps of backpropagationInitialize the weights: each unit has a bias assoc

21、iated with it. The weights and biases are initialized to small random numbers. Each training sample X is processed by the following steps:the net input and output of each unit in the hidden and output layers are computed. unit j in the input layer: Oj=Ij Given a unit j in a hidden or output layer, t

22、he net input Ij is:A hidden or output layer unit joutputX0X1XnfActivationfunctionWeightedsumweightsInputs(outputsfrom previous layer)biasBackpropagation the error: the error is propagated backwards by updating the weights and biases to reflect the error of the networks prediction. For a unit j in th

23、e output layer, the error Errj : The error of a hidden layer unit j is:Tj is the true outputErrk is the error of unit k in the next higher layerThe weights and biases are updated to reflect the propagated errors:Terminating condition: training stops whenall in the previous epoch were so small as to

24、be below some specified threshold, orthe percentage of samples misclassified in the previous epoch is below some threshold, ora prespecified number of epochs has expired.123456Sample calculations for learning by the backpropagation algorithmX=1,0,1,class label=1,l=0.9Initial input, weight, and bias

25、valuesx1x2x3w14w15w24w25w34w35w46w561010.2-0.30.40.1-0.50.2-0.3-0.2-0.40.20.1The net input and output calculationsUnit j Net input, Ij Output, Oj40.2+0-0.5-0.4=-0.71/(1+e0.7)=0.3325-0.3+0+0.2+0.2=0.11/(1+e-0.1)=0.5256(-0.3)(0.332)-(0.2)(0.525)+0.1=-0.1051/(1+e0.105)=0.474Calculation of the error at

26、each nodeUnit jErrj6(0.474)(1-0.474)(1-0.474)=0.13115(0.525)(1- 0.525)(0.1311)(-0.2)=-0.00654(0.332)(1-0.332)(0.1311)(-0.3)=-0.0087Calculations for weight and bias updatingWeight or biasNew valuew46-0.3+(0.9)(0.1311)(0.332)=-0.261w56-0.2+(0.9)(0.1311)(0.525)=-0.138w140.2+(0.9)(-0.0087)(1)=0.192w15-0

27、.3+(0.9)(-0.0065)(1)=-0.306w240.4+(0.9)(-0.0087)(0)=0.4w250.1+(0.9)(-0.0065)(0)=0.1w34-0.5 +(0.9)(-0.0087)(1)=-0.508w350.2+(0.9)(-0.0065)(1)=0.1940.1+(0.9)(0.1311)=0.2180.2+(0.9)(-0.0065)=0.194-0.4+(0.9)(-0.0087)=-0.408commentsDisadvantages:Involve long training timesRequire a number of parameters t

28、hat are typically best determined empirically.Poor interpretabilityAdvantages:High tolerance to noisy dataAbility to classify patterns on which they have not been trained遺傳算法（Genetic Algorithms）物競(jìng)天擇，適者生存遺傳算法（GA）根據(jù)適者生存，優(yōu)勝劣汰等自然進(jìn)化規(guī)則來進(jìn)行搜索計(jì)算和問題求解。全局優(yōu)化算法，適合于具有很大搜索空間的優(yōu)化問題遺傳算法的搜索機(jī)制 遺傳算法模擬自然選擇和自然遺傳過程中發(fā)生的繁殖、交

29、叉和基因突變現(xiàn)象，在每次迭代中都保留一組候選解，并按某種指標(biāo)從解群中選取較優(yōu)的個(gè)體，利用遺傳算子(選擇、交叉和變異)對(duì)這些個(gè)體進(jìn)行組合，產(chǎn)生新一代的候選解群，重復(fù)此過程，直到滿足某種收斂指標(biāo)為止。 基本概念染色體：由基因構(gòu)成的位串，是個(gè)體(Individual)的形式編碼：把解表示為位串的過程，編碼后的每個(gè)位串就表示一個(gè)個(gè)體，即問題的一個(gè)解種群：包含一組個(gè)體的群體，也是問題的解的集合。種群中個(gè)體的數(shù)量稱為群體大?。∟）。基因：串中的元素。例：串S = 1001 ，有四個(gè)基因1、0、0、1適應(yīng)度：評(píng)價(jià)群體中個(gè)體適應(yīng)能力的指標(biāo)，解的好壞，由評(píng)價(jià)函數(shù)F計(jì)算得到遺傳算子：產(chǎn)生新個(gè)體的操作選擇：將個(gè)體直

30、接復(fù)制到下一代群體中，個(gè)體適應(yīng)度。交叉：把兩個(gè)串的部分基因交換，產(chǎn)生兩個(gè)新串作為下一代的個(gè)體，交叉概率Pc決定兩個(gè)個(gè)體進(jìn)行交叉操作的可能性變異：隨機(jī)地改變?nèi)旧w的部分基因，Pm決定個(gè)體發(fā)生變異的可能性幾個(gè)術(shù)語(yǔ) 基因型：1000101110110101000111 編碼解碼個(gè)體（染色體）基因選擇(selection)算子 GA使用選擇運(yùn)算來實(shí)現(xiàn)對(duì)群體中的個(gè)體進(jìn)行優(yōu)勝劣汰操作：適應(yīng)度高的個(gè)體被遺傳到下一代群體中的概率大；適應(yīng)度低的個(gè)體，被遺傳到下一代群體中的概率小。選擇操作的任務(wù)就是按某種方法從父代群體中選取一些個(gè)體，遺傳到下一代群體。選擇選擇是用來確定重組或交叉?zhèn)€體，以及被選個(gè)體將產(chǎn)生多少個(gè)子代

31、個(gè)體首先計(jì)算適應(yīng)度：按比例的適應(yīng)度計(jì)算基于排序的適應(yīng)度計(jì)算等實(shí)際的選擇：輪盤賭選擇隨機(jī)遍歷抽樣局部選擇截?cái)噙x擇錦標(biāo)賽選擇等適應(yīng)值比例法 輪盤賭選擇又稱比例選擇算子，它的基本思想是：各個(gè)個(gè)體被選中的概率與其適應(yīng)度函數(shù)值大小成正比。設(shè)群體大小為n ，個(gè)體i 的適應(yīng)度為 Fi，則個(gè)體i 被選中遺傳到下一代群體的概率為： 輪盤賭選擇期望值方法計(jì)算群體中每個(gè)個(gè)體在下一代生存的期望數(shù)目：若某個(gè)個(gè)體被選中并要參與配對(duì)和交叉，則它在下一代中的生存的期望數(shù)目減去0.5；若不參與，則該個(gè)體的生存的期望數(shù)目減去1在上面兩種情況中，若一個(gè)個(gè)體的期望值小于0時(shí)，則該個(gè)體不參與選擇交叉(crossover)算子 所謂交叉

32、運(yùn)算，是指對(duì)兩個(gè)相互配對(duì)的染色體依據(jù)交叉概率 Pc 按某種方式相互交換其部分基因，從而形成兩個(gè)新的個(gè)體。交叉運(yùn)算是遺傳算法區(qū)別于其他進(jìn)化算法的重要特征，它在遺傳算法中起關(guān)鍵作用，是產(chǎn)生新個(gè)體的主要方法。交叉或基因重組基因重組是結(jié)合來自父代交配種群中的信息產(chǎn)生新的個(gè)體依據(jù)個(gè)體編碼表示方法不同：實(shí)值重組離散重組中間重組線性重組擴(kuò)展線性重組二進(jìn)制交叉單點(diǎn)交叉多點(diǎn)交叉均勻交叉洗牌交叉縮小代理交叉一點(diǎn)交叉 交叉前：00000|01110011100|000001交叉后：00000|00000111100|011100交叉點(diǎn)二點(diǎn)交叉?zhèn)€體A: 10|110|11個(gè)體B: 00|010|00新個(gè)體A: 10|

33、010|11新個(gè)體B: 00|110|00交叉點(diǎn)1交叉點(diǎn)2變異(mutation)算子 變異運(yùn)算，是指依據(jù)變異概率 Pm 將個(gè)體編碼串中的某些基因值用其它基因值來替換，從而形成一個(gè)新的個(gè)體。遺傳算法中的變異運(yùn)算是產(chǎn)生新個(gè)體的輔助方法，它決定了遺傳算法的局部搜索能力，同時(shí)保持種群的多樣性。二進(jìn)制變異變異前：11000000變異后：11000100變異點(diǎn)基本遺傳算法的組成 （1）編碼（產(chǎn)生初始種群）（2）適應(yīng)度函數(shù)（3）遺傳算子（選擇、交叉、變異）（4）運(yùn)行迭代產(chǎn)生初始群體是輸出結(jié)果并結(jié)束計(jì)算個(gè)體適應(yīng)度值選擇交叉變異否產(chǎn)生新一代群體遺傳算子滿意嗎？目標(biāo)映射為適應(yīng)值例子問題：求解f(X)=X2在0，

34、31上的最大值1 初始種群（1）編碼：用5位二進(jìn)制表示X，有 X=00000， X=11111（2）初始種群 隨機(jī)產(chǎn)生4個(gè)個(gè)體：13，24，8，19（二進(jìn)制）（3）適應(yīng)值fi直接用目標(biāo)函數(shù)： f(X)=X2 (4)選擇率和期望值(5) 實(shí)選值 期望值取整數(shù)編號(hào)初始種群參數(shù)x值適應(yīng)值f(x)選擇率期望值實(shí)選值1234011011100001000100111324819169576643610.140.490.060.310.581.970.221.231201總和平均值最大值11702935761.000.250.494.001.001.974.01.02.02 遺傳一代（初始種群遺傳過程）選

35、擇后的交配池（下劃線部分交叉）交叉對(duì)象（隨機(jī)選擇）交叉位置（隨機(jī)選擇）新的種群xf(x)=x201101110001100010011214344220110011001110111000012252716144625729256總和平均值最大值1754439729編號(hào)初始種群參數(shù)x值適應(yīng)值f(x)選擇率期望值實(shí)選值123401100110011101110000122527161446257292560.080.360.420.150.331.421.660.580121總和平均值最大000.250.424.001.001.664.01.02.03 遺傳二代（新種群

36、參數(shù)計(jì)算）選擇后的交配池（下劃線部分交叉）交叉對(duì)象（隨機(jī)選擇）交叉位置（隨機(jī)選擇）新的種群xf(x)=x211001110111101110000214311331101111001110001001127252419729625576361總和平均值最大值2291572729最優(yōu)值 ：31（11111）必須變異，第三位的0 變1TSP(旅行商)問題 設(shè)存在N個(gè)城市， Dij表示城i與城j之間的距離， Dij=Dji，現(xiàn)在要求一條遍歷所有N個(gè)城市，且不走重復(fù)路的最短路徑（最短哈密爾頓圈）。我們先采用十進(jìn)制編碼，每個(gè)染色體由按一定順序排列的N個(gè)城市的序號(hào)組成，表示一條可能的旅行路徑。適應(yīng)度為一條

37、旅行路徑對(duì)應(yīng)的距離，路徑越短的染色體適應(yīng)度越高。例如，取N=10，城市代號(hào)為1至10。 例如種群中的染色體：2 8 4 10 5 1 7 3 6 9 表示一條旅行路徑284105173692 其總路徑長(zhǎng) 我們可以采用非負(fù)變換，把最小化優(yōu)化目標(biāo)函數(shù)變換為以最大值為目標(biāo)的適應(yīng)度函數(shù)，可以如下定義： GA的應(yīng)用領(lǐng)域近年,GA在各應(yīng)用領(lǐng)域中得到極大重視,并廣泛應(yīng)用于各領(lǐng)域的優(yōu)化、搜索、問題求解中其它應(yīng)用領(lǐng)域：如函數(shù)優(yōu)化、生產(chǎn)調(diào)度、模式識(shí)別、NN、圖像處理、機(jī)器學(xué)習(xí)、工業(yè)優(yōu)化控制、自適應(yīng)控制、生物科學(xué)、社會(huì)科學(xué)等方面.遺傳算法的改進(jìn)研究方向參數(shù)的選擇(N=30-100,Pc=0.6-0.95,Pm=0.

38、001-0.1)編碼方法各種算子和其它算法的融合免疫遺傳算法傳統(tǒng)遺傳算法中，交叉、變異等是按一定概率隨機(jī)地、無指導(dǎo)的進(jìn)行引入免疫系統(tǒng)的工作原理：將問題的最優(yōu)解抽象為抗原，候選解抽象為抗體，將某些較好的路徑片斷作為疫苗蟻群優(yōu)化算法昆蟲群體，可以看成一個(gè)分布式系統(tǒng)。系統(tǒng)中個(gè)體非常簡(jiǎn)單，但整個(gè)系統(tǒng)呈現(xiàn)出一種高度結(jié)構(gòu)化的群體結(jié)構(gòu)，得以完成遠(yuǎn)超出單只螞蟻個(gè)體能力負(fù)荷的復(fù)雜工作。計(jì)算螞蟻的不同行為，已有若干種螞蟻算法： 覓食、孵化分類、勞動(dòng)分配、協(xié)作運(yùn)輸實(shí)驗(yàn)中的螞蟻依靠信息素來傳遞信息信息素越濃的路徑被螞蟻選擇的概率越大信息素隨著時(shí)間的推移而“揮發(fā)”網(wǎng)絡(luò)資源規(guī)則推理和遺傳神經(jīng)網(wǎng)絡(luò)結(jié)合的電廠事故自動(dòng)診斷電力

39、生產(chǎn)是各項(xiàng)工作的基礎(chǔ),一旦發(fā)生事故涉及面廣,影響大. 快速, 準(zhǔn)確的找出故障點(diǎn),分析故障類型,采取緊急處理措施,恢復(fù)電廠的正常運(yùn)行是目前火電廠急需解決的問題傳統(tǒng)的事故診斷方法是依靠有經(jīng)驗(yàn)的專業(yè)人員在緊急狀態(tài)下迅速判斷故障性質(zhì),但受心理和生理的限制,對(duì)比較復(fù)雜的故障,面對(duì)大量報(bào)警信息,專業(yè)分析人員也難于即刻判斷故障性質(zhì),迅速采取措施.事故診斷方法基于數(shù)學(xué)模型的方法:基于人工智能的方法:基于專家系統(tǒng)的診斷基于人工神經(jīng)網(wǎng)絡(luò)的診斷基于案例推理的診斷基于模糊數(shù)學(xué)的診斷基于故障樹的診斷.基于人工神經(jīng)網(wǎng)絡(luò)的診斷缺陷:忽視領(lǐng)域?qū)＜业慕?jīng)驗(yàn)知識(shí),而故障診斷有時(shí)是一項(xiàng)經(jīng)驗(yàn)性技術(shù)權(quán)重形式的知識(shí)表達(dá)方式難以理解,整個(gè)診

40、斷過程是一個(gè)”黑箱”梯度下降的網(wǎng)絡(luò)搜索算法,使網(wǎng)絡(luò)收斂速度慢且易陷入局部最小解決方案將規(guī)則推理和神經(jīng)網(wǎng)絡(luò)相結(jié)合,集成式診斷方法結(jié)合了領(lǐng)域?qū)＜业闹R(shí)和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的優(yōu)點(diǎn),克服單一故障診斷方法的缺陷,提高事故診斷的速度和精度.實(shí)證分析能夠達(dá)到預(yù)期的診斷效果.神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中采用遺傳算法對(duì)網(wǎng)絡(luò)權(quán)值進(jìn)行全局優(yōu)化,加快網(wǎng)絡(luò)的收斂速度,并避免網(wǎng)絡(luò)陷入局部極小點(diǎn)規(guī)則推理診斷模型全局?jǐn)?shù)據(jù)庫(kù)推理機(jī)規(guī)則庫(kù)規(guī)則調(diào)用匹配事實(shí)數(shù)據(jù)產(chǎn)生/修改數(shù)據(jù)規(guī)則解釋規(guī)則輸出事故診斷的規(guī)則推理過程:將事故的各種征兆作為初始條件,輸入到綜合數(shù)據(jù)庫(kù)中搜索事故診斷規(guī)則庫(kù),與綜合數(shù)據(jù)庫(kù)中的條件比較,如果規(guī)則的前提條件和數(shù)據(jù)庫(kù)中的值匹配,則該

41、產(chǎn)生式規(guī)則被激活計(jì)算被激活規(guī)則的可信度,選擇可信度大于給定閾值的規(guī)則,從而獲得某個(gè)結(jié)論,同時(shí)把結(jié)論存入數(shù)據(jù)庫(kù)中備用規(guī)則搜索完畢或沒有與條件匹配的規(guī)則,算法結(jié)束電廠事故集成診斷模型遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)初值:參數(shù)設(shè)置:確定種群大小N,遺傳算法的終止迭代次數(shù)T,交叉概率和變異概率染色體編碼:隨機(jī)產(chǎn)生初始權(quán)重種群P,種群中的每一條染色體由權(quán)重向量和閾值向量組成適應(yīng)度函數(shù)評(píng)價(jià):網(wǎng)絡(luò)優(yōu)化的目的是網(wǎng)絡(luò)學(xué)習(xí)能夠達(dá)到給定的精度,可以網(wǎng)絡(luò)的全局誤差作為適應(yīng)度函數(shù)設(shè)計(jì)的基礎(chǔ),某個(gè)體的適應(yīng)度值為:選擇 交叉 變異如果網(wǎng)絡(luò)的精度達(dá)到要求或達(dá)到一定的迭代次數(shù),則迭代停止電廠事故集成診斷模型規(guī)則推理診斷設(shè)定網(wǎng)絡(luò)精度,遺傳迭

42、代次數(shù)T初始化權(quán)重計(jì)算適應(yīng)度函數(shù)值ET是選擇交叉變異否將個(gè)體解碼為網(wǎng)絡(luò)權(quán)值調(diào)用BP網(wǎng)絡(luò)診斷事故類型輸出實(shí)例分析凝汽器是汽輪機(jī)的一個(gè)重要設(shè)備,也是一個(gè)薄弱環(huán)節(jié),事故發(fā)生率較高,對(duì)其進(jìn)行事故診斷對(duì)于提高機(jī)組性能具有重要的現(xiàn)實(shí)意義.凝汽器的典型事故類型:水泵嚴(yán)重故障y1,供汽中斷y2,管路破裂,真空系統(tǒng)不嚴(yán)密等11種類型判斷事故類型的征兆運(yùn)行參數(shù)有:排汽壓力x1,電機(jī)電流x2,出口壓力x3,溫差等13個(gè)指標(biāo),這些參數(shù)指標(biāo)可以從電廠的數(shù)據(jù)采集和監(jiān)控系統(tǒng)中直接提取.選擇30種典型事故數(shù)據(jù)集構(gòu)成網(wǎng)絡(luò)訓(xùn)練樣本x1x2x3x4x5x6x7x8x9x10 x11x12x138150.5

43、0.2560.230y12.y2y93078550.912.36189147.80.20.41351.240y3網(wǎng)絡(luò)的輸入層取13個(gè)節(jié)點(diǎn),隱含層取10個(gè)節(jié)點(diǎn),輸出層取11個(gè)節(jié)點(diǎn),E=0.05,學(xué)習(xí)率=0.5遺傳種群大小N=10,交叉概率Pc=0.5, 變異概率Pm=0.001, 經(jīng)過1532次滿足精度要求,網(wǎng)絡(luò)穩(wěn)定,得相應(yīng)的權(quán)值和閾值.取5組實(shí)際數(shù)據(jù)進(jìn)行測(cè)試,數(shù)據(jù)預(yù)處理后,輸入模型,輸出診斷結(jié)果,與實(shí)際進(jìn)行對(duì)比12345y10.00210.00010.11040.91250.0157y20.70130.0052y30.8421y4y50.5138.0.5150y100.11250.5254y1

44、10.00950.0051診斷類型y2y10y3y1y5 y9規(guī)則推理y2y10 y6y3y1y5 y9 y11實(shí)際類型y2y10y3y1y5機(jī)器學(xué)習(xí) 按照AI大師Simon的觀點(diǎn),學(xué)習(xí)就是系統(tǒng)在不斷重復(fù)的工作中對(duì)本身能力的增強(qiáng)或者改進(jìn),使得系統(tǒng)在下一次執(zhí)行同樣或相類似的任務(wù)時(shí),會(huì)比現(xiàn)在做得更好或效率更高.人類學(xué)習(xí)的特點(diǎn)過程緩慢會(huì)“忘記”知識(shí)傳授困難不斷地修改知識(shí)，變的聰明機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)正是解決知識(shí)獲取的有效途徑，能自動(dòng)獲取知識(shí)。機(jī)器學(xué)習(xí)就是讓機(jī)器（計(jì)算機(jī)）來模擬和實(shí)現(xiàn)人類的學(xué)習(xí),獲取知識(shí)。機(jī)器學(xué)習(xí)是計(jì)算機(jī)獲取知識(shí)的重要途徑和人工智能的重要標(biāo)志。數(shù)據(jù)挖掘?qū)嵱脵C(jī)器學(xué)習(xí)技術(shù)董琳等譯，機(jī)械工業(yè)出版

45、社，第二版20061959年Simuel設(shè)計(jì)了一個(gè)下棋程序,這個(gè)程序具有學(xué)習(xí)能力,它可以在不斷的對(duì)奕中改善自己的棋藝.4年后,該程序戰(zhàn)勝了設(shè)計(jì)者本人.又過了3年,該程序戰(zhàn)勝了美國(guó)一個(gè)保持8年之久的冠軍.這個(gè)程序向人們展示了機(jī)器學(xué)習(xí)的能力,提出了許多令人深思的社會(huì)問題與哲學(xué)問題.機(jī)器的能力是否能超過人？“士別三日,當(dāng)刮目相看”美國(guó)航空航天局JPL實(shí)驗(yàn)室的科學(xué)家在Science上撰文指出：機(jī)器學(xué)習(xí)對(duì)科學(xué)研究的整個(gè)過程正起到越來越大的支持作用，該領(lǐng)域在今后的若干年內(nèi)將取得穩(wěn)定而快速的發(fā)展重要性生物信息學(xué)計(jì)算金融學(xué)分子生物學(xué)行星地質(zhì)學(xué)工業(yè)過程控制機(jī)器人遙感信息處理信息安全機(jī) 器 學(xué) 習(xí)重要性：例子網(wǎng)絡(luò)

46、安全入侵檢測(cè)：是否是入侵？是何種入侵？如何檢測(cè)？歷史數(shù)據(jù)：以往的正常訪問模式及其表現(xiàn)、以往的入侵模式及其表現(xiàn)對(duì)當(dāng)前訪問模式分類這是一個(gè)典型的預(yù)測(cè)型機(jī)器學(xué)習(xí)問題常用技術(shù)：神經(jīng)網(wǎng)絡(luò) 決策樹支持向量機(jī) k近鄰序列分析 聚類 重要性：例子生物信息學(xué)常用技術(shù)：神經(jīng)網(wǎng)絡(luò) 支持向量機(jī)隱馬爾可夫模型k近鄰 決策樹序列分析 聚類 搜索引擎Google的成功，使得Internet搜索引擎成為一個(gè)新興的產(chǎn)業(yè)不僅有眾多專營(yíng)搜索引擎的公司出現(xiàn)（例如專門針對(duì)中文搜索的就有慧聰、百度等），而且Microsoft等巨頭也開始投入巨資進(jìn)行研發(fā)Google掘到的第一桶金，來源于其創(chuàng)始人Larry Page和Sergey Brin

47、提出的PageRank算法機(jī)器學(xué)習(xí)技術(shù)正在支撐著各類搜索引擎（尤其是貝葉斯學(xué)習(xí)技術(shù)）人工智能中最活躍、應(yīng)用潛力最明顯的領(lǐng)域（之一）T.G. Dietterich, AIMag 97美國(guó)、歐洲各國(guó)都投入了大量人力物力大型公司如波音、微軟、通用電器等都有研究課題已有一些研究成果進(jìn)入產(chǎn)品學(xué)習(xí)系統(tǒng)環(huán)境學(xué)習(xí)環(huán)節(jié)知識(shí)庫(kù)執(zhí)行環(huán)節(jié)環(huán)境：是學(xué)習(xí)系統(tǒng)所感知到的外界信息集合，也是學(xué)習(xí)系統(tǒng)的外界來源。信息的水平（一般化程度）和質(zhì)量（正確性）對(duì)學(xué)習(xí)系統(tǒng)影響較大。學(xué)習(xí)環(huán)節(jié)：對(duì)環(huán)境提供的信息進(jìn)行整理、分析歸納或類比，形成知識(shí)，并將其放入知識(shí)庫(kù)。知識(shí)庫(kù)：存儲(chǔ)經(jīng)過加工后的信息（即知識(shí)）。其表示形式是否合適非常重要。執(zhí)行環(huán)節(jié)：是

48、根據(jù)知識(shí)庫(kù)去執(zhí)行一系列任務(wù)，并將執(zhí)行結(jié)果或執(zhí)行過程中獲得的信息反饋給學(xué)習(xí)環(huán)節(jié)。學(xué)習(xí)環(huán)節(jié)利用反饋信息對(duì)知識(shí)進(jìn)行評(píng)價(jià)，在進(jìn)一步改善執(zhí)行環(huán)節(jié)的行為。 ML分類（P158）按推理策略分類：機(jī)械學(xué)習(xí)示教學(xué)習(xí)類比學(xué)習(xí)示例學(xué)習(xí)解釋學(xué)習(xí)機(jī)械學(xué)習(xí)機(jī)械學(xué)習(xí)(rote learning)就是記憶,是最簡(jiǎn)單的學(xué)習(xí)策略（死記硬背,生搬硬套）.雖然機(jī)械學(xué)習(xí)在方法上看來很簡(jiǎn)單,但由于計(jì)算機(jī)的存儲(chǔ)容量相當(dāng)大,檢索速度又相當(dāng)快,而且記憶精確、無絲毫誤差,所以也能產(chǎn)生人們難以預(yù)料的效果.Simuel的下棋程序就是采用了這種機(jī)械記憶策略. 例如： 某個(gè)計(jì)算的輸入是：( x1 , x2 , , xn ) ， 計(jì)算后輸出是：( y1

49、, y2 , , yn ), 如果經(jīng)評(píng)價(jià)后得知該結(jié)果正確，則把聯(lián)想對(duì): ( x1 , x2 , , xn ), ( y1 , y2 , , yn ) 存入知識(shí)庫(kù)，當(dāng)以后需要做同樣的計(jì)算時(shí)，只要從知識(shí)庫(kù)中檢索出來即可，而不需要重新計(jì)算了。 (2) 利弊 機(jī)械式學(xué)習(xí)實(shí)質(zhì)上是用存儲(chǔ)空間來?yè)Q取處理時(shí)間，雖然節(jié)省了計(jì)算時(shí)間，但卻多占了存儲(chǔ)空間。 當(dāng)因?qū)W習(xí)而積累的知識(shí)逐漸增多時(shí)，占用的空間就會(huì)越來越大，檢索的效率也就隨之下降。 示教學(xué)習(xí)（被告知學(xué)習(xí)）通過傳授學(xué)習(xí)策略：對(duì)于使用傳授學(xué)習(xí)策略的系統(tǒng)來說,外界輸入知識(shí)的表達(dá)方式與內(nèi)部表達(dá)方式不完全一致,系統(tǒng)在接受外部知識(shí)時(shí)需要一點(diǎn)推理,翻譯和轉(zhuǎn)化工作.例如：學(xué)生學(xué)習(xí)mycin, dendral等ES在獲取知識(shí)上都采用這種學(xué)習(xí)策略.類比學(xué)習(xí)若已知兩個(gè)事物 a 與 b 有 n 個(gè)屬性相同或相似 ，即： a 具有屬性 P1 ，b也有屬性 P1 a 具有屬性 P2 ，b也有屬性 P2 。 a 具有屬性 Pn ，b也有屬性 Pn 并且還發(fā)現(xiàn)， a 具有屬性 Pn+1 ，則當(dāng) n 足夠大時(shí)，可歸納出： b也有屬性 Pn+1 這一新知識(shí)。 例