機器學習專題

1、序有一位計算機科學家曾經和很多其他學科的科學家們在一起合作，大家互相介紹各自的工作的時候，這位計算機科學家苦心構思了這么一個例子，他說：我的工作就是要讓計算機認識這個，然后他畫了下面這幅圖， 嚴格的說是寫了這組嚴格對齊的數字 0000000000000000000000000000000000000000011000000000110001100000000011000110000000001100011000000000110001100000000011000110000000001100011000000000111111111000000011111111100000000000011

2、000000000000001100000000000000110000000000000000000000000000000000000 ?？耍╯ank）：“一臺計算機若不能進行學習，就不能說它具有智能” Simon（1983）：學習就是系統(tǒng)中的變化，這種變化使系統(tǒng)比以前更有效地去做同樣的工作。無統(tǒng)一的機器學習定義。機器學習是研究如何使用機器來模擬人類學習活動的一門學科。稍嚴格的提法是:ML是一門研究機器獲得新知識和新技能，并識別現有知識的學問 1、機器學習的定義 人工智能主要是為了研究人的智能，模仿其機理將其應用于工程的科學。 在這個過程中必然會問道：“機器怎樣做才能像人類一樣具有學習能力

3、”。 機器學習廣泛應用于機器人、圖像處理、語音識別、數據挖掘等領域。機器學習的發(fā)展有利于推動其他領域的發(fā)展。2、為什么要研究機器學習？n預測難：學習后知識庫發(fā)生了什么變化，系統(tǒng)功能的變化的預測。n歸納推理：是論證的前提支持結論但不確保結論的推理過程(演繹推理保真);而且，歸納的結論是無限多的，其中相當多是假的，給生成的知識帶來不可靠性。n判斷難：機器目前很難觀察什么重要、什么有意義。 3、實現的困難54 系統(tǒng)學習性能評價 分類精度分類精度：是否能夠對輸入的數據進行正確、精確的分類。 解答的正確性和質量解答的正確性和質量：無論是用于分類的，還是解決問題的系統(tǒng)都有解答正確性問題。同時，正確性不一定

4、保證有好的質量，好的質量包括：可讀性、穩(wěn)定性等多方面的因素。 學習的速度學習的速度：學習速度是一個很重要的系統(tǒng)指標。它不僅僅影響系統(tǒng)的設計，同時，影響系統(tǒng)的實現。一個很費時的學習方法，某種意義上也是很難實現的。因為，通常花費大量時間所進行的操作表現在對學習樣本量的要求、系統(tǒng)空間的要求、系統(tǒng)硬件性能的要求上。 6環(huán)境環(huán)境學習環(huán)節(jié)學習環(huán)節(jié)知識庫知識庫 執(zhí)行環(huán)節(jié)執(zhí)行環(huán)節(jié)學習是建立理論、形成假設和進行歸納推理的過程。 n整個過程包括：信息的存儲、知識的處理兩部分 三、機器學習模型學習系統(tǒng)學習系統(tǒng)環(huán)境環(huán)境學習環(huán)節(jié)學習環(huán)節(jié)知識庫知識庫執(zhí)行環(huán)節(jié)執(zhí)行環(huán)節(jié)學習系統(tǒng)所感知學習系統(tǒng)所感知到的外界信息集到的外界信息集

5、合，也是學習系合，也是學習系統(tǒng)的外界來源統(tǒng)的外界來源對環(huán)境提供的信對環(huán)境提供的信息進行整理、分息進行整理、分析歸納或類比，析歸納或類比，形成知識，并將形成知識，并將其放入知識庫其放入知識庫存儲經過加工后存儲經過加工后的信息（即知識的信息（即知識） 根據知識庫去根據知識庫去執(zhí)行一系列任執(zhí)行一系列任務，并將執(zhí)行務，并將執(zhí)行結果或執(zhí)行過結果或執(zhí)行過程中獲得的信程中獲得的信息反饋給學習息反饋給學習環(huán)節(jié)環(huán)節(jié)學習模型學習模型輸入輸入x輸出輸出約約束束條條件件機器學習的分類機器學習的分類根據是否需要已知類別的樣本進行學習，機器學習可以分為兩大類： 有教師學習（監(jiān)督學習）無教師學習（非監(jiān)督學習和強化學習）監(jiān)督

6、學習監(jiān)督學習supervised learningsupervised learning利用已知類別的樣本去訓練算法從而調整分類器的參數，這樣的學習過程叫做監(jiān)督學習。監(jiān)督學習的任務是學習一個模型，使模型能夠對任意給定的輸入，對其相應的輸出做出一個很好的預測。常見的監(jiān)督學習算法有：決策樹adbost算法樸素貝葉斯算法回歸算法支持向量機訓練集學習系統(tǒng)測試系統(tǒng)測試集模型測試結果監(jiān)督學習示意圖監(jiān)督學習示意圖體重體重翼展翼展腳蹼腳蹼后背顏色后背顏色種屬種屬11000.1125.0無無棕色棕色紅尾鵟紅尾鵟23000.7200.0無無灰色灰色鷺鷹鷺鷹33300.0220.3無無灰色灰色鷺鷹鷺鷹44100.0

7、136.0有有黑色黑色普通潛鳥普通潛鳥53.011.0無無綠色綠色蜂鳥蜂鳥上表是用于區(qū)分不同鳥類需要使用的四個不同的屬性值，分別選取的是體重、翼展、腳蹼和后背顏色作為評測基準。這些測量的四種值成為特征，也叫屬性。數據X=x1,x2,x3,x4 表示一組數據標簽label Y=y1,y2,y3,y4訓練集 T=(x1,y1),(x2,y2),(x3,y3)測試集 (x4,y4)特征損失函數，訓練誤差，測試誤差經驗風險最小化與結構風險最小化交叉驗證 選取特定的機器學習算法進行分類，首先需要做的是訓練算法，既學習如何分類。通常我們?yōu)樗惴ㄝ斎氪罅恳逊诸悢祿鳛樗惴ǖ挠柧毤?。訓練集就是用于訓練機器學習算

8、法的數據樣本集合，表1是包含5個樣本集合的訓練集，每個訓練樣本有4中特征和一個目標變量，目標變量是機器學習算法的預測結果既F(x)，其中x為一組輸入樣本。損失函數損失函數在監(jiān)督學習中，給定x，根據F(x)給出相應的輸出，而這個輸出是預測輸出，和真實值y可能一致，也可能不一致。用一個損失函數或者代價函數來度量預測錯誤的程度。損失函數是F（x）和y的非負值函數，記做L(y,F(x)。 常用的損失函數常用的損失函數（1） 0-1損失函數（2） 平方損失函數 （3） 絕對損失函數 （4）對數損失函數)(,0)(,1)(,(xFyxFyxFyL2)()(,(xFyxFyL)()(,(xFyxFyL)|(

9、log)(,(xyPxFyL經驗風險最小化與結構風險最小化經驗風險最小化與結構風險最小化經驗風險最小化的策略認為，經驗風險最小的模型是最優(yōu)模型結構風險最小化 是為了防止過擬合而提出的策略。結構風險在經驗風險的上加上表示模型復雜度的正則化項或者說是懲罰項 min R(f)()(,(1)(1FJxFyLNfRNiii奧卡姆剃刀原理：在所有可能的模型中，能夠很好地解釋已知數據并且十分簡單的次啊是最好的模型，也是應該選擇的模型。 如果給定的樣本數據充足，進行模型選擇的一種簡單方法就是隨機地將數據切分成三部分，分別為訓練集，驗證集和測試集。訓練集用來訓練模型，驗證機用于模型選擇，測試集用于最終對學習方法

10、的評估。在學習到不同的復雜度的模型中，選擇對驗證集有最小預測誤差的模型。 但是，許多實際應用中數據并不是充分的，為了選擇好的模型，可以采用交叉驗證的方法。交叉驗證的基本思想是重復的使用數據；把給定的數據進行切分，將切分的數據集組合成訓練集與測試集，在此基礎上反復地進行訓練，測試以及模型的選擇。交叉驗證交叉驗證（1）簡單交叉驗證簡單交叉驗證：首先隨機地將已給數據分為兩部分，一部分作為訓練集，另一部分最為測試集；然后用訓練集在各種條件下訓練模型，從而得到不同的模型，在測試集上評價各個模型的測試誤差，選出測試誤差最小的模型（2）S折交叉驗證折交叉驗證：首先隨機的把已給的數據切分成s個互不相交的大小相

11、同的子集，然后利用s-1個子集的數據訓練模型，利用余下的自己測試模型；重復的隨機選擇訓練子集，最后選出評測中平均測試誤差最小的模型（3）留一交叉驗證留一交叉驗證：當S=N時，成為留一交叉驗證，這往往在數據缺乏的時候使用。交叉驗證交叉驗證樸素貝葉斯算法樸素貝葉斯算法貝葉斯分類是一類分類算法的總稱，這類算法均以貝葉斯定理為基礎，故統(tǒng)稱為貝葉斯分類假設一個樣本集的數據分類兩類。P1(x,y)表示數據點（x y）屬于類別1的概率，p2(x,y)表示數據點 （x y）屬于類別2的概率 如果p1(x,y)p2(x,y) 則數據（x y）屬于類別1 如果p1(x,y)p2(x,y) 則數據（x y）屬于類別

12、2貝葉斯分類的基礎貝葉斯分類的基礎貝葉斯定理貝葉斯定理)()()|()|(xPcPcxPxcPiii)|().|()|()|.,()|.,()|(11211121121capcapcapcaaapcaaaPcxPmmmi基本流程基本流程1、設 為一個待分類項，而每個a為x的一個特征屬性。2 有類別集合 3 計算4 求出最大的 則x劃分為類別 ., 2, 1maaax.,2, 1nyyyC )|(),.|(),|(21xyPxyPxyPn)|(xyPkky某個醫(yī)院早上收了六個門診病人，如下表。癥狀職業(yè) 疾病打噴嚏護士感冒打噴嚏農夫過敏頭痛建筑工人腦震蕩頭痛建筑工人感冒打噴嚏教師感冒頭痛教師腦震蕩

13、現在又來了第七個病人，是一個打噴嚏的建筑工人。請問他患上感冒的概率有多大？P(感冒|打噴嚏x建筑工人)= P(打噴嚏x建筑工人|感冒) x P(感冒)/ P(打噴嚏x建筑工人)打噴嚏和建筑工人這兩個特征是獨立的P(P(感冒感冒| |打噴嚏打噴嚏x x建筑工人建筑工人)= P(= P(打噴嚏打噴嚏| |感冒感冒) x P() x P(建筑工人建筑工人| |感冒感冒) x P() x P(感冒感冒) / ) / P(P(打噴嚏打噴嚏) x P() x P(建筑工人建筑工人) )P(感冒|打噴嚏x建筑工人)= 0.66 x 0.33 x 0.5 / 0.5 x 0.33= 0.66因此，這個打噴嚏的

14、建筑工人，有66%的概率是得了感冒。同理，可以計算這個病人患上過敏或腦震蕩的概率。比較這幾個概率，就可以知道他最可能得什么病。這就是貝葉斯分類器的基本方法：在統(tǒng)計資料的基礎上，依據某些特征，計算各個類別的概率，從而實現分類?；跇闼刎惾~斯的文本分類基于樸素貝葉斯的文本分類首先需要拆分文本以便從中獲取特征（詞條），一個詞條是任意字符的組合。my dog has flea problems help please 0(正常言論正常言論)maybe not take him to dog park stupid 1（侮辱性侮辱性）my dalmation is so cute i love him

15、0stop posting stupid worthless garbage 1mr licks ate my steak how to stop him 0quit buying worthless dog food stupid 1 )()()|()|(wpcpcwpwcpiii)|.,()|(4321inicwwwwwpcwp)|().|()|()|(321iniiicwpcwpcwpcwp 將W 作為一個個獨立的特征，上述公式可寫成假設所有詞都相互獨立（獨立性加色）訓練階段訓練階段創(chuàng)建包含所有文檔中出現的不重復的詞列表cute love help garbage quit I prob

16、lems is park stop flea dalmation licks food not him buying posting has worthless ate to maybe please dog how stupid so take mr steak my然后將每一個文本片段表示為一個詞條向量，1表示詞條出現在文檔中，0表示未出現。0 0 1 0 0 0 1 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 1 1 0 0 0 0 0 0 1給出一個新的文檔 ,計算testC通過訓練集，對算法進行訓練 得出P1，P2。 測試階段測試階段給定一個測試詞條，轉換成詞條向

17、量計算 = =比較 大小。 testw)()()|()|(111testtesttestwpcpcwpwcp)()()|().|()|(111211testtestntesttestwpcpcwpcwpcwp)()()|()|(222testtesttestwpcpcwpwcp)()()|().|()|(222221testtestntesttestwpcpcwpcwpcwp)|(1testwcp)|(2testwcp優(yōu)點： 在數據較少的情況下仍然有效，可以處理多類別問題缺點：對于輸入數據的準備方式比較敏感。決策樹學習決策樹學習決策樹決策樹在示例學習中，每一個概念實際上可以看成是例子中所屬的一

18、個類在示例學習中，每一個概念實際上可以看成是例子中所屬的一個類別別示例學習就可以轉化為對例子集進行分類的任務示例學習就可以轉化為對例子集進行分類的任務 體體形形(+ + + +)大大中中小小顏顏色色顏顏色色(- -)(+ -)(- -)(+ -)黑黑黑黑棕棕棕棕可以看做是一個對目可以看做是一個對目標分類的劃分和獲取標分類的劃分和獲取策略策略u由一個根結點，若干葉結點和非葉結點構成。u根結點對應于學習任務，分類的開始。u每個葉結點都包含一個分類名(概念)，表示一個實例的結束。u每個非葉結點都包含表示相應實例中的某一屬性。u邊代表某一屬性可能的屬性值。決策樹決策樹 體體形形(+ + + +)大大中

19、中小小顏顏色色顏顏色色(- -)(+ -)(- -)(+ -)黑黑黑黑棕棕棕棕l從根節(jié)點到葉節(jié)點的每一條路徑都代從根節(jié)點到葉節(jié)點的每一條路徑都代表一個具體的實例表一個具體的實例l同一路徑上的所有屬性之間為合取關同一路徑上的所有屬性之間為合取關系，不同路徑（即一個屬性的不同屬性系，不同路徑（即一個屬性的不同屬性值）之間為析取關系。值）之間為析取關系。l決策樹的分類過程就是從這棵樹的根決策樹的分類過程就是從這棵樹的根接點開始，按照給定的事例的屬性值去接點開始，按照給定的事例的屬性值去測試對應的樹枝，并依次下移，直至到測試對應的樹枝，并依次下移，直至到達某個葉節(jié)點為止。達某個葉節(jié)點為止。 l 體體形

20、形(+ + + +)大大中中小小顏顏色色顏顏色色(- -)(+ -)(- -)(+ -)黑黑黑黑棕棕棕棕關于決策樹：關于決策樹：鳥類鳥類家養(yǎng)家養(yǎng)可能是和平鴿可能是和平鴿可能是可能是信天翁信天翁游泳游泳可能是可能是企鵝企鵝可能是可能是鴕鳥鴕鳥一個簡單的鳥類識別決策樹一個簡單的鳥類識別決策樹會飛會飛不會飛不會飛是是不是不是會會不會不會可表示為如下規(guī)則集：可表示為如下規(guī)則集： IF 鳥類會飛鳥類會飛 AND 是家養(yǎng)的是家養(yǎng)的 THEN 該鳥類可能是和平鴿該鳥類可能是和平鴿 IF 鳥類會飛鳥類會飛 AND 不是家養(yǎng)的不是家養(yǎng)的 THEN 該鳥類可能是信天翁該鳥類可能是信天翁 IF 鳥類不會飛鳥類不會飛

21、 AND 會游泳會游泳 THEN 該鳥類可能是企鵝該鳥類可能是企鵝 IF 鳥類不會飛鳥類不會飛 AND 不會游泳不會游泳 THEN 該鳥類可能是鴕鳥該鳥類可能是鴕鳥 q 決策樹還可以表示成規(guī)則的形式決策樹還可以表示成規(guī)則的形式l昆蘭（昆蘭（J.R.Quinlan）于）于1979年提出的一種以年提出的一種以信息熵信息熵（entropy）的下降速度作為）的下降速度作為屬性選擇標準的一種學習算法。屬性選擇標準的一種學習算法。l輸入是一個用來描述各種已知類別的輸入是一個用來描述各種已知類別的例子集例子集l學習結果是一棵用于進行分類的學習結果是一棵用于進行分類的決策樹決策樹 ID3 算法算法 ：1.令根

22、結點包含例子集中所有實例。2.如果每個葉結點包含的例子都屬于同一分類，則停止劃分。3.否則需對葉結點進行進一步劃分： (1)需要進一步劃分的葉結點所包含的例子組成子例子集S。 (2)找出對S來說E值最小的屬性abest。 (3)根據屬性abest的值對S進行劃分，每個值將生成一個分枝。 (4) 執(zhí)行步驟2。 通過通過E值可以找出一個最有利于當值可以找出一個最有利于當前劃分的屬性前劃分的屬性 體體形形(+ + + +)大大中中小小顏顏色色顏顏色色(- -)(+ -)(- -)(+ -)黑黑黑黑棕棕棕棕ID3 ID3 算法算法 ：EaNNNNNNNNijjVjjjjjjji( )(loglog)1

23、22n E是一個基于是一個基于熵熵(平均信息量平均信息量)的函數，該函數評的函數，該函數評 價用價用各屬性進行分類所能獲得的信息量各屬性進行分類所能獲得的信息量，選擇，選擇E 值最小即獲得信息量最大的屬性。值最小即獲得信息量最大的屬性。 ID3 ID3 算法算法S中屬性中屬性ai的值為的值為vij的正例數目的正例數目Nj-為屬性為屬性ai的值為的值為vij的反例數目的反例數目熵熵熵是研究不確定人工智能的一個重要參數熵是研究不確定人工智能的一個重要參數QST 熵的歷史可以追溯到熵的歷史可以追溯到1919世紀。世紀。18641864年德國物理學家克勞修斯在年德國物理學家克勞修斯在研究熱力學時首先提

24、出熵的概念：研究熱力學時首先提出熵的概念：18771877年，玻爾茲曼又給出了熵的統(tǒng)計學新定義年，玻爾茲曼又給出了熵的統(tǒng)計學新定義玻爾茲曼玻爾茲曼公式，即公式，即S=klnW;kS=klnW;k為玻爾茲曼常數；為玻爾茲曼常數；W W是某一宏觀態(tài)所對應的微觀態(tài)數是某一宏觀態(tài)所對應的微觀態(tài)數目，即該微觀態(tài)的熱力學幾率目，即該微觀態(tài)的熱力學幾率19481948年，香農將熵的定義引入信息領域：年，香農將熵的定義引入信息領域：信息熵信息熵設一個系統(tǒng)設一個系統(tǒng)X由多個事件由多個事件|Xi|（i=1，2,n）組成，事件）組成，事件Xi的的概率為概率為p(Xi)，那么信息熵定義為：，那么信息熵定義為：信息熵信

25、息熵的定義：的定義：1()()log()niiiH Xp Xp X q 信息熵大，說明什么？信息熵大，說明什么？例：給出概率分布例：給出概率分布其信息熵分別為：其信息熵分別為：q 信息熵越大，不確定性程度越大信息熵越大，不確定性程度越大q 信息熵表示事件集信息熵表示事件集X X中事件出現的平均不確定性中事件出現的平均不確定性q 當當X X中事件出現的概率相等時，信息熵達到最大值中事件出現的概率相等時，信息熵達到最大值1()()log()niiiH Xp Xp X H(X)-P(x1)關系關系EaNNNNNNNNijjVjjjjjjji( )(loglog)122n E E是一個基于是一個基于熵

26、熵( (平均信息量平均信息量) )的函數，該函數評的函數，該函數評 價用各屬性進行分類所能獲得的信息量，選擇價用各屬性進行分類所能獲得的信息量，選擇E E 值最小即獲得信息量最大的屬性。值最小即獲得信息量最大的屬性。 ID3 ID3 算法：算法：S中屬性中屬性ai的值為的值為vij的正例數目的正例數目Nj-為屬性為屬性ai的值為的值為vij的反例數目的反例數目狗的例子集狗的例子集例子序號例子序號顏色顏色體形體形 毛型毛型 類別類別1 1黑黑大大卷毛卷毛2 2棕棕大大光滑光滑3 3棕棕中中卷毛卷毛4 4黑黑小小卷毛卷毛5 5棕棕中中光滑光滑6 6黑黑大大光滑光滑7 7棕棕小小卷毛卷毛8 8棕棕小

27、小光滑光滑9 9棕棕大大卷毛卷毛1010黑黑中中卷毛卷毛1111黑黑中中光滑光滑1212黑黑小小光滑光滑實例：實例：危險危險狗的例子集 例子序號例子序號顏色顏色體形體形 毛型毛型 類別類別1 1黑黑大大卷毛卷毛2 2棕棕大大光滑光滑3 3棕棕中中卷毛卷毛4 4黑黑小小卷毛卷毛5 5棕棕中中光滑光滑6 6黑黑大大光滑光滑7 7棕棕小小卷毛卷毛8 8棕棕小小光滑光滑9 9棕棕大大卷毛卷毛1010黑黑中中卷毛卷毛1111黑黑中中光滑光滑1212黑黑小小光滑光滑EaNNNNNNNNijjVjjjjjjji( )(loglog)122E顏色.棕色 E顏色.黑色444222425 51022loglog.

28、22244424551022loglog. E E顏色顏色5.5105.5105.5105.51011.02011.020顏色顏色=棕色的狗：棕色的狗：4只是危險的，只是危險的，2只不是危險的。只不是危險的。顏色顏色=黑色的狗：黑色的狗：2只是危險的，只是危險的，4只不是危險的。只不是危險的。E體形.大E體形.中E體形.小 111333133 24522loglog.111333133 24522loglog. E體形體形3.2453.2456.490 44400040022lo glo g體形體形=大的大的4條狗全是危險的；條狗全是危險的；體形體形=中中/小的狗：小的狗：1條是危險的；條是危

29、險的；3條不是危險的。條不是危險的。ID3 算法 E毛型.光滑 E毛型.卷毛 E毛型毛型6612 33333333622loglog33333333622loglog毛型毛型=光滑的狗：光滑的狗：3條是危險的；條是危險的；3條不是危險的。條不是危險的。毛型毛型=卷毛的狗：卷毛的狗：3條是危險的；條是危險的；3條不是危險的。條不是危險的。因此，因此， E體形體形 E E顏色顏色m）,輸入矩陣X不是滿秩矩陣，而非滿秩矩陣在求逆會出現問題。為了解決這個問題，引入了嶺回歸的概念。嶺回歸就是在矩陣 上加上一 個 矩陣，使其非奇異。矩陣I 是一個m*m的單位矩陣，對角線上為1，其他元素為0. 是自定義的一

30、個參數。 xxTIYXIXXTT1)(LogisticLogistic回歸回歸假設現在有一些數據點，我們用一條直線對這些點擬合（最佳擬合直線），這個擬合的過程就叫回歸。根據現有數據對分類邊界線簡歷回歸公式，以此進行分類，訓練分類器時的做法就是尋找最佳擬合參數。 我們想要的函數應該是能夠接受所有的輸入然后預測出類別。在兩類的情況下，函數應該輸出0或1.有很多單位躍階函數（海維賽德躍階函數）。然而，這種函數在跳躍點上從0瞬間跳到1上，這個瞬間躍階很難處理好Sigmoid函數 當x為0時，函數值為0.5，隨著x增大，函數值增大并逼近于1，x減小，函數值減小并逼近于0.ze11mmxxxxh.2211

31、00如果采用向量的方法寫如果采用向量的方法寫 xzTX就是輸入數據，就是輸入數據， 就是需要進行訓練的參數。就是需要進行訓練的參數。通過訓練后找到最優(yōu)化的參數通過訓練后找到最優(yōu)化的參數梯度上升法梯度上升法基本思想：想找到某函數的最大值，最好的方法是沿著該函數的梯度方向探尋。yyxfxyxfyxf),(),(),(梯度上升算法的迭代公式：梯度上升算法的迭代公式：)(f21)()()(21)(miiiyxhJ2)(21)(yxhJjj)(*)(21*2yxhyxhj)(*)(0yxyxhniiijjxyxh)()()()()(:ijiijjxxhy每個回歸系數初始化為每個回歸系數初始化為1重復重復

32、N次：次：計算整個數據集的梯度計算整個數據集的梯度使用使用 更新回歸系數更新回歸系數返回回歸系數返回回歸系數)(fW=4.120711455781440, 0.479779632289162, -0.616416051893343這個分類結果只錯分了4個點，分類精度相當不錯。但是這個方法需要大量的計算，不適用于大規(guī)模的數據。神經網絡神經網絡人工神經網絡（Artificial Neural Networks，簡寫為ANNs）也簡稱為神經網絡（NNs）或稱作連接模型（Connection Model），它是一種模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。這種網絡依靠系統(tǒng)的復雜程

33、度，通過調整內部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的。bxwfyniii1f1x2x1w2wnwnxby861x21w13w12w11wRx2x22w23w1Rw2Rw3Rw12f11sf11sn12n11f11n22sf22sn22f22n21f21n31f31n32f32n33sf33sn11sa12a11a22sa22a21a22sa22a21a連接權值連接權值87改變權值的過程就是學習改變權值的過程就是學習的過程的過程newijoldijwwijwij88 規(guī)律？規(guī)律？ijwijnewijoldijww89The Hebb RuleD. Hebb, 1904-1985.D

34、egree in English, 1925.Master degree in psychology at McGill University.Ph.D. from Harvard in 1936.Moved to Yerkes Lab in 1942.Published “The Organization of Behavior” in 1949.90Hebb Rulesynapse Hebb 規(guī)則是最早的神經網絡學習規(guī)則之一，規(guī)則是最早的神經網絡學習規(guī)則之一， 其最關鍵的一條假設：若一條突觸兩側的兩個神經元同時其最關鍵的一條假設：若一條突觸兩側的兩個神經元同時 被激活，那么突觸的強度將增大

35、。被激活，那么突觸的強度將增大。91wapoldwneww權值權值W 不僅僅在不僅僅在 a，p 全為正數增大，在全為正數增大，在 全為負數時也增全為負數時也增大大92Hebb 規(guī)則規(guī)則wapnewoldwwa p 如果兩個神經元的突觸同時激活，那么它們之間如果兩個神經元的突觸同時激活，那么它們之間的連接強度會增加的連接強度會增加93自聯想存儲器自聯想存儲器 學習規(guī)則學習規(guī)則p1t1, p2t2, pQtQ,1p21w13w12w11wsa2a1aRp2p22w23w1Rw2Rw3RwWt1p1Tt2p2TtQpQT+tqpqTq1=Q=Wne wWoldtqpqT+=newoldwwt p S

36、upervised Hebbian Learning94Wt1t2tQp1Tp2TpQTTPT=Tt1t2tQ=Pp1p2pQ=Matrix Form:Wt1p1Tt2p2TtQpQT+tqpqTq1=Q=(Zero InitialWeights)Wne wWoldtqpqT+=學習規(guī)則學習規(guī)則95P1 P2 P3 P？96211p11111p1111113pPP3P2P11111pInputs:Outputs:11t111t211t3Input:Output: ?97Wt1p1Tt2p2TtQpQT+tqpqTq1=Q=11113113332211TTTptptptW1t1122slimha

37、rd)Wp( slimharda基于基于hebheb神經網絡的神經網絡的PCAPCA傳統(tǒng)傳統(tǒng)PCA算法的缺點：算法的缺點： 需要大量的計算需要大量的計算 屬于批量學習屬于批量學習基于神經網絡的基于神經網絡的PCA的優(yōu)點：的優(yōu)點： 不需要計算協方差矩陣不需要計算協方差矩陣 屬于在線學習屬于在線學習 99)()()()()() 1(2kwkykxkykwkw()Nix(2)ix(1)ixnw2w1w( )1NnTniinyw xw x,1,iXxiK基于基于hebb規(guī)則的權值更新公式：規(guī)則的權值更新公式：數據集數據集 基于基于hebb規(guī)則的神經網絡已被證明規(guī)則的神經網絡已被證明 當迭代次數無窮大時

38、，方差趨向當迭代次數無窮大時，方差趨向于于1( )w kek 1nxxxx21yNNHigh dimensional dataOne dimensional data64 pages102Sanger proposed the Generalized Hebbian Algorithm (GHA) 多維壓縮多維壓縮xwyT22xwyT111xnx2xxwyTmm64 pages103GHA Learning Algorithm4 , 3 , 21 )()()()()() 1(1,jkykwkxkykwkwjsssjjj1x2y1y64x2x4y64 pages1042221122(1)( )(

39、 ) ( )( )( )( )( )w kw k y k x kw k y kw k y k)()()()()() 1(11111kykwkxkykwkw2維壓縮維壓縮xwyT22xwyT111xnx2x(Oja Algorithm based onHebb rules)第一個輸出神經元權值向量第一個輸出神經元權值向量11)(ekw第二個輸出神經元權值向量第二個輸出神經元權值向量22)(ekw64 pages105.409621 ,)(6421,kaaakx感知機感知機感知器是用于線性可分模式分類的最簡單的神經網絡.它由一個具有可調突觸權值和偏置的神經元組成。X1X2xmw1w2wm偏置bv（）輸出Ymiiibxwv1感知器權值自適應公式1.假如訓練成員第N個成員x(n)根據算法中的第N次迭代的權值向量w(n)能正確分類，那么感知器的權值向量不做修改2.否則，感知器的權值向量根據以下規(guī)則進行修改: w(n+1)=w(n)-(n)x(n) 假如預測結果為1，實際屬于類2 w(n+1)=w(n)+(n)x(n) 假如預測結果為2，實際屬于類1這里(n)是學習參數