人工智能原理及MATLAB實現 教案 第2章 機器學習

《人工智能算法》課程教案教學目的、要求：1.了解機器學習的概述2.掌握機器學習的主要策略和基本結構3.了解機器學習算法4.掌握貝葉斯網絡算法教學重點及難點：重點：機器學習的主要策略和基本結構難點：機器學習算法的原理教學基本內容教學過程設計§2機器學習§2.1機器學習概述學習是人類具有的一種重要智能行為。通過學習人類不斷取得科學與工程上的突破，同時也不斷提高自身的智力水平。人類一直試圖讓機器具有智能，也就是人工智能。當機器具備了學習能力（機器學習），能自動獲取知識時就完全與人類似。§2.2人工智能的技術特征不同的分類標準對機器學習方法有不同的分類。（1）按任務類型機器學習模型可以分為回歸模型、分類模型和結構化學習模型。（2）按方法的角度分機器學習可以分為線性模型和非線性模型。（3）按學習理論分機器學習模型可以分為有監(jiān)督學習、半監(jiān)督學習、無監(jiān)督學習、遷移學習和強化學習?！?.3機器學習的主要策略與基本結構§2.3.1機器學習的主要策略學習是一項復雜的智能活動，學習過程與推理過程緊密相連。根據學習中使用推理的多少，機器學習的策略可以分為機械學習、示教學習、類比學習和示例學習。學習中所用的推理越多，系統的能力就越強?！?.3.2機器學習的基本結構影響學習系統設計的最主要因素是環(huán)境向系統提供的信息的質量。知識庫是影響學習系統設計的第二個因素。知識的表達有多種形式，例如特征向量、一階邏輯語句、產生式規(guī)則、語義網絡和框架等。這些表示方式各有特點，在選擇表示方式時要兼顧以下四個方面：（1）表達能力強，即表達方式能很容易表達有關的知識。（2）易于推理，即表達方式能使推理較為容易。（3）容易修改知識庫。（4）知識易于擴展?！?.4機器學習算法機器學習是一些算法的總稱，這些算法企圖從大量歷史數據中挖掘出其中隱含的規(guī)律，并用于預測或分類。更具體的說，機器學習可以看作是尋找一個函數，輸入是樣本數據，輸出是期望的結果，只是這個函數過于復雜，以至于沒有明確的數學表達式。機器學習的目標是使尋找到的函數能不僅在訓練樣本上表現很好，而且也能很好地適用于新樣本，即很好的泛化能力。機器學習的基本步驟如下：①選擇一個適合的模型。②判斷一個函數的好壞。③找到最好的函數。④檢驗?！?.4.1決策樹算法決策樹利用特殊的樹形的決策模型來進行輔助決策，是模式識別中進行分類的一種有效的方法。利用樹分形器可以把一個復雜的多類問題轉化為若干個簡單分類問題來解決。決策樹是一種單分類器的分類技術，也是機器學習中的一種經典算法。一棵決策樹的內部結點是屬性或者屬性的集合，而葉結點就是學習劃分的類別或結論，內部結點的屬性稱為測試屬性或分裂屬性。決策樹基本算法ID3算法C4.5算法CART算法決策樹的評價標準對于一個決策樹算法，可以用以下一些性能或指標進行評價。正確性、過學習、有效性、交叉有效性、余一有效性、復雜度?！?.4.2貝葉斯網絡算法貝葉斯理論是一種研究不確定性的推理方法。不確定性常用貝葉斯概率表示，它是一種主觀概率。通常的經典概率代表事件的物理特性，是不隨人的意識變化的客觀存在，而貝葉斯概率則是人的認識，是個人主觀的估計，隨個人的主觀認識的變化而變化。如在投擲硬幣的實驗中，貝葉斯概率是指個人相信硬幣會正面向上的程度。使用p(X=x|A)或者p(x|A)表示給定知識A下的情形下對事件X=x的相信程度，即貝葉斯概率，它同時也是X的分布或分布密度。常用三種不同的方式來構造貝葉斯網絡。（1）由鄰域專家確定貝葉斯網絡的變量（有時也稱為影響因子），然后通過專家的知識來確定貝葉斯網絡的結構，并指定它的分布參數。（2）由領域專家確定貝葉斯網絡的特點，通過大量的訓練數據，來學習貝葉斯網絡的結構與參數。機器學習的不斷發(fā)展，使得這種方法更加普及。（3）由領域專家確定貝葉斯網絡的特點，通過專家的知識來指定網絡的結構，再通過機器學習的方法從數據中學習網絡的參數?！?.4.3支持向量機算法與神經網絡相比，SVM有堅實的統計學基礎，它具有以下的優(yōu)點：（1）以結構風險最小原理為基礎，減少推廣錯誤的上界，具有很好的推廣性能，解決了神經網絡的過擬合問題。（2）問題的求解等價于線性約束的凸二次規(guī)劃問題，具有全局最優(yōu)解，解決了神經網絡的局部極小問題。（3）把原問題映射到高維空間，通過在高維空間構造線性分類函數來實現原問題的劃分，引入核函數，解決了維數災難問題?！?.4.4K近鄰分類算法近鄰法是在數據挖掘中使用最早的技術之一。其基本思想是為了預測一個記錄中的預測值，或在歷史數據庫中尋找有相似預測值的記錄，可以使用未分類記錄中最接近的記錄值作為預測值，也即相互之間接近的對象會有相似的預測值?！?.4.5模糊聚類算法模糊聚類預測模型就是用模糊數學的方法對樣本進行分類，用聚類分析來實現預測。其基本思想是：把由待預測量和影響待預測量的環(huán)境因素的歷史值所構成的樣本按一定的方法進行分類，形成各類的環(huán)境因素特征和待預測量變化模式，這樣在待預測時段的環(huán)境狀態(tài)為已知點時，通過該環(huán)境與各歷史環(huán)境特征的比較，判斷出待預測量的環(huán)境與哪個歷史類最為接近，進而找出受環(huán)境影響的待預測量也與該歷史類所對應的預測變量同變化模式，從而達到預測的目的?！?.4.6隨機森林算法隨機森林的構建過程主要分為三步，即生成森林、決策分類和算法的產生?！?.4.7集成學習集成學習模型是機器學習的一種經典算法，屬于監(jiān)督學習的一種模式。主要形式是通過將幾個弱學習器串行結合形成強學習器而進行使用，能夠很好的平衡模型的偏差和方差，學習訓練效果好，應用的領域也比較廣泛，因此這類模型在這幾年里得到迅速發(fā)展?！?.4.8期望最大化（EM）算法期望最大化算法是1977年提出的，它是一類通過迭代計算進行極大似然估計的優(yōu)化算法，算法的每次迭代都包含一個期望步驟（ExpectationStep）和一個最大化步驟（MaximizationStep）。該算法的目的是解決不完全數據的極大似然估計問題。不完全數據是指含有隱變量的數據和缺失數據。當要對含有隱變量的數據或缺失數據進行極大似然估計時，傳統的極大似然估計方法已經不能發(fā)揮作用，而使用EM算法可以很好的解決該問題。3min引入：通過對科研領域的機器學習的實際應用引入。內容設計思路：對課堂內容進行分析，引導學生了解機器學習結構之間的相互聯系，并指出本節(jié)課的重點難點以及教學目的。核心是給學員講清楚機器學習的基本步驟10min強調：引導學生思考機器學習的原理，觸類旁通。分析：重點分析決策樹算法的原理。注意過渡：動畫演示：20min舉例分析：分析：重點分析貝葉斯網絡算法的原理。分析要點：貝葉斯算法的數學邏輯。讓學生進行總結：深刻理解人工智能分析：簡要分析K近鄰分類算法的原理。分析：簡要分析模糊聚類算法的原理。分析：簡要分析隨機森林算法的原理。分析：簡要分析集成學習的原理。分析：簡要