歸納和分析學(xué)習(xí)的結(jié)合

歸納和分析學(xué)習(xí)的結(jié)合2003.12.181第1頁，共27頁，2023年，2月20日，星期四2003.12.182概述純粹的歸納學(xué)習(xí)方法通過在訓(xùn)練樣例中尋找經(jīng)驗(yàn)化的規(guī)律來形成一般假設(shè)純粹的分析方法使用先驗(yàn)知識(shí)演繹推導(dǎo)一般假設(shè)本章考慮將歸納和分析的機(jī)制結(jié)合起來的方法，并獲得兩者的優(yōu)點(diǎn)：有先驗(yàn)知識(shí)時(shí)獲得更高的泛化精度和依賴訓(xùn)練數(shù)據(jù)克服先驗(yàn)知識(shí)的不足所得到的結(jié)合的方法比純粹的歸納方法和分析方法的性能都要高第2頁，共27頁，2023年，2月20日，星期四2003.12.183動(dòng)機(jī)歸納學(xué)習(xí)尋找擬合訓(xùn)練數(shù)據(jù)的一般假設(shè)，分析學(xué)習(xí)尋找擬合先驗(yàn)知識(shí)的一般假設(shè)，同時(shí)使它覆蓋訓(xùn)練數(shù)據(jù)歸納方法和分析方法對(duì)假設(shè)的論證方法有根本區(qū)別，因此優(yōu)缺點(diǎn)互為補(bǔ)充，將它們結(jié)合起來有可能得到更強(qiáng)有力的學(xué)習(xí)方法純粹的分析學(xué)習(xí)方法的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：可用先驗(yàn)知識(shí)從較少的數(shù)據(jù)中更精確地泛化以引導(dǎo)學(xué)習(xí)缺點(diǎn)：當(dāng)先驗(yàn)知識(shí)不足或不正確時(shí)，可能產(chǎn)生誤導(dǎo)純粹的歸納學(xué)習(xí)方法的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：不需要顯示的先驗(yàn)知識(shí)，主要基于訓(xùn)練數(shù)據(jù)學(xué)習(xí)規(guī)律缺點(diǎn)：訓(xùn)練數(shù)據(jù)不足時(shí)，會(huì)失敗，會(huì)被其中隱式的歸納偏置所誤導(dǎo)第3頁，共27頁，2023年，2月20日，星期四2003.12.184表12-1純粹的分析學(xué)習(xí)和純粹的歸納學(xué)習(xí)的比較歸納學(xué)習(xí)分析學(xué)習(xí)目標(biāo)擬合數(shù)據(jù)的假設(shè)擬合領(lǐng)域理論的假設(shè)論證統(tǒng)計(jì)推理演繹推理優(yōu)點(diǎn)需要很少先驗(yàn)知識(shí)從稀少的數(shù)據(jù)中學(xué)習(xí)缺陷稀少的數(shù)據(jù)，不正確的偏置不完美的領(lǐng)域理論第4頁，共27頁，2023年，2月20日，星期四2003.12.185動(dòng)機(jī)（2）圖12-1概述了學(xué)習(xí)問題的分布范圍，它隨著可獲得的先驗(yàn)知識(shí)和訓(xùn)練數(shù)據(jù)不同而變化在一個(gè)極端，有大量的訓(xùn)練數(shù)據(jù)，但沒有先驗(yàn)知識(shí)在另一個(gè)極端，有很強(qiáng)的先驗(yàn)知識(shí)，但訓(xùn)練數(shù)據(jù)很少多數(shù)實(shí)際學(xué)習(xí)問題位于這兩個(gè)極端之間，通?？梢詮慕频南闰?yàn)知識(shí)開始本章考慮的問題是：什么樣的算法，使用近似的先驗(yàn)知識(shí)結(jié)合可用數(shù)據(jù)來形成一般的假設(shè)第5頁，共27頁，2023年，2月20日，星期四2003.12.186動(dòng)機(jī)（3）即使使用最純粹的歸納學(xué)習(xí)算法，仍有機(jī)會(huì)基于特定學(xué)習(xí)任務(wù)的先驗(yàn)知識(shí)來選擇設(shè)計(jì)方案通常設(shè)計(jì)者將領(lǐng)域特定的知識(shí)嵌入到學(xué)習(xí)算法中，但我們感興趣的是一個(gè)系統(tǒng)能將先驗(yàn)知識(shí)和訓(xùn)練數(shù)據(jù)作為顯示的輸入給學(xué)習(xí)器概括而言，我們感興趣的是領(lǐng)域無關(guān)算法，這種算法使用顯示輸入的領(lǐng)域相關(guān)的知識(shí)，這種算法具備以下的屬性：如果沒有領(lǐng)域理論，它至少能像純粹的歸納方法一樣有效學(xué)習(xí)如果沒有完美的領(lǐng)域理論，它至少能像純粹的分析方法一樣有效學(xué)習(xí)如果領(lǐng)域理論和訓(xùn)練數(shù)據(jù)都不完美，它應(yīng)能結(jié)合兩者的長(zhǎng)處，比單純的歸納或分析方法的性能要好它應(yīng)能處理訓(xùn)練數(shù)據(jù)中未知程度的差錯(cuò)它應(yīng)能處理領(lǐng)域理論中未知程度的差錯(cuò)這里列出的期望目標(biāo)很難達(dá)到，目前沒有算法能以一般化的方式滿足所有這些約束第6頁，共27頁，2023年，2月20日，星期四2003.12.187學(xué)習(xí)的歸納-分析途徑本章考慮的學(xué)習(xí)問題已知一個(gè)訓(xùn)練樣例集合D，可能包含差錯(cuò)一個(gè)領(lǐng)域理論B，可能包含差錯(cuò)候選假設(shè)的空間H求解一個(gè)最好地?cái)M合訓(xùn)練樣例和領(lǐng)域理論的假設(shè)最好地?cái)M合訓(xùn)練樣例和領(lǐng)域理論的確切定義第7頁，共27頁，2023年，2月20日，星期四2003.12.188學(xué)習(xí)的歸納-分析途徑（2）確定先驗(yàn)知識(shí)和數(shù)據(jù)權(quán)值的一種解決方法是使用貝葉斯觀點(diǎn)貝葉斯定律描述了怎樣計(jì)算給定訓(xùn)練數(shù)據(jù)D時(shí)假設(shè)h的后驗(yàn)概率貝葉斯定律基于觀察到的數(shù)據(jù)D以及先驗(yàn)知識(shí)計(jì)算后驗(yàn)概率，以P(h),P(D)和P(D|h)的形式表示我們可以把P(h),P(D)和P(D|h)看作是某種形式的背景知識(shí)貝葉斯理論可看作一種為領(lǐng)域理論加權(quán)的方法，它與觀察到的數(shù)據(jù)D一起，賦予h的后驗(yàn)概率為P(h|D)貝葉斯公式提供了為先驗(yàn)知識(shí)和觀察到數(shù)據(jù)的貢獻(xiàn)加權(quán)的方法但是，貝葉斯公式隱含假定了關(guān)于P(h),P(D),P(D|h)概率分布的完美知識(shí)貝葉斯公式?jīng)]有提供將這些近似已知的概率分布與觀察數(shù)據(jù)結(jié)合起來的方法第8頁，共27頁，2023年，2月20日，星期四2003.12.189假設(shè)空間搜索大多數(shù)學(xué)習(xí)任務(wù)可以刻畫為假設(shè)空間上的搜索任務(wù),而決定這個(gè)搜索任務(wù)的4個(gè)參數(shù)是：假設(shè)空間H搜索的初始假設(shè)h0定義單個(gè)搜索步的搜索算子集合O指定搜索目標(biāo)的判據(jù)G本章探索了3種方法，它們用先驗(yàn)知識(shí)來改變純歸納方法執(zhí)行的搜索使用先驗(yàn)知識(shí)推導(dǎo)出搜索起步的初始假設(shè)：Kbann使用先驗(yàn)知識(shí)來改變假設(shè)空間搜索的目標(biāo)：Ebnn使用先驗(yàn)知識(shí)改變可用的搜索步：Focl第9頁，共27頁，2023年，2月20日，星期四2003.12.1810使用先驗(yàn)知識(shí)得到的初始假設(shè)KBANN技術(shù)：一種使用先驗(yàn)知識(shí)的方法是將假設(shè)初始化為完美擬合領(lǐng)域理論，然后按照需要?dú)w納地精化初始假設(shè)以擬合訓(xùn)練數(shù)據(jù)這種技術(shù)的動(dòng)機(jī)是：如果領(lǐng)域理論是正確的，初始假設(shè)將正確分類所有訓(xùn)練樣例，而無需再修正；如果初始假設(shè)不能完美地分類訓(xùn)練樣例，那么它需要被歸納精華，以改進(jìn)它在訓(xùn)練樣例上的擬合度在純粹歸納的反向傳播算法中，權(quán)值一般被初始化為小的隨機(jī)值，KBANN的含義是：即使領(lǐng)域理論是近似正確的，將網(wǎng)絡(luò)初始化為擬合領(lǐng)域理論，比初始化為隨機(jī)值有更好的近似開端第10頁，共27頁，2023年，2月20日，星期四2003.12.1811KBANN算法KBANN假定領(lǐng)域理論用一組命題形式的非遞歸的Horn子句來表示，輸入和輸出如下：已知：一組訓(xùn)練樣例由非遞歸命題型Horn子句組成的領(lǐng)域理論求解：一個(gè)擬合訓(xùn)練樣例的被領(lǐng)域理論偏置的人工神經(jīng)網(wǎng)絡(luò)KBANN算法包含兩個(gè)階段創(chuàng)建一個(gè)完美擬合領(lǐng)域理論的人工神經(jīng)網(wǎng)絡(luò)使用反向傳播算法來精化初始網(wǎng)絡(luò)以擬合訓(xùn)練樣例第11頁，共27頁，2023年，2月20日，星期四2003.12.1812表12-2KBANN算法KBANN(Domain_Theory,Training_Examples)Domain_Theory：非遞歸命題型Horn子句集Training_Examples：目標(biāo)函數(shù)的<input,output>對(duì)的集合分析步：創(chuàng)建一個(gè)等價(jià)于領(lǐng)域理論的初始網(wǎng)絡(luò)對(duì)每個(gè)實(shí)例屬性創(chuàng)建一個(gè)網(wǎng)絡(luò)輸入對(duì)Domain_Theory的每個(gè)Horn子句，創(chuàng)建如下的網(wǎng)絡(luò)單元連接此單元的輸入到此子句的先行詞測(cè)試的屬性對(duì)子句的每個(gè)非負(fù)先行詞，賦予權(quán)值W給對(duì)應(yīng)的sigmoid單元輸入對(duì)子句的每個(gè)負(fù)先行詞，賦予權(quán)值-W給對(duì)應(yīng)的sigmoid單元輸入設(shè)置此單元的閾值w0為-(n-0.5)W，其中n為子句的非負(fù)先行詞的數(shù)目在網(wǎng)絡(luò)單元之間增加附加的連接，連接深度為i的每個(gè)網(wǎng)絡(luò)單元到深度為i+1的所有網(wǎng)絡(luò)單元的輸入層上，賦予這些附加的連接為接近0的隨機(jī)權(quán)值歸納步：精化此初始網(wǎng)絡(luò)應(yīng)用反向傳播算法來調(diào)整初始網(wǎng)絡(luò)權(quán)值以擬合Training_Examples第12頁，共27頁，2023年，2月20日，星期四2003.12.1813舉例表12-3Cup學(xué)習(xí)任務(wù)領(lǐng)域理論訓(xùn)練樣例在KBANN算法的第一步，構(gòu)建一個(gè)與領(lǐng)域理論一致的初始網(wǎng)絡(luò)，見圖12-2對(duì)領(lǐng)域理論中每個(gè)Horn子句建立一個(gè)sigmoid單元對(duì)該Horn子句的每個(gè)先行詞，建立其對(duì)應(yīng)的Sigmoid單元作為輸入對(duì)于每個(gè)對(duì)應(yīng)于非負(fù)先行詞的輸入，權(quán)值被設(shè)置為某正常量W，對(duì)每個(gè)對(duì)應(yīng)于負(fù)先行詞的輸入，權(quán)值為-W單元的閾值權(quán)w0設(shè)為-(n-0.5)W，其中n為非負(fù)先行詞的數(shù)目附加許多輸入到每個(gè)閾值單元，它們的權(quán)值設(shè)置為近似0，從而允許網(wǎng)絡(luò)能夠?qū)W習(xí)到超出領(lǐng)域理論的依賴關(guān)系在KBANN算法的第二步，使用訓(xùn)練樣例和反向傳播算法來精化網(wǎng)絡(luò)權(quán)值圖12-3在歸納步發(fā)現(xiàn)了全新的依賴關(guān)系第13頁，共27頁，2023年，2月20日，星期四2003.12.1814KBANN算法說明KBANN的好處和局限好處：在給定近似正確領(lǐng)域理論時(shí)，能夠比反向傳播有更高的泛化精度，特別是在訓(xùn)練數(shù)據(jù)稀少時(shí)局限：只能使用命題領(lǐng)域理論，如果給予很不精確的領(lǐng)域理論，KBANN也可能被誤導(dǎo)，從而其泛化精度變得低于反向傳播第14頁，共27頁，2023年，2月20日，星期四2003.12.1815使用先驗(yàn)知識(shí)改變搜索目標(biāo)將先驗(yàn)知識(shí)合并到梯度下降中需最小化的誤差判據(jù)，這樣網(wǎng)絡(luò)需要擬合的是訓(xùn)練數(shù)據(jù)和領(lǐng)域理論的組合函數(shù)TangentProp算法TangentProp算法接受的領(lǐng)域知識(shí)被表示為對(duì)應(yīng)于其輸入變換的目標(biāo)函數(shù)的導(dǎo)數(shù)例如，對(duì)每個(gè)實(shí)例xi描述為一個(gè)實(shí)數(shù)，那么每個(gè)訓(xùn)練樣例的形式可能是<xi,f(xi),>圖12-5，基于3個(gè)訓(xùn)練樣例學(xué)習(xí)目標(biāo)函數(shù)f，通過擬合訓(xùn)練值f(xi)的同時(shí)擬合相應(yīng)的導(dǎo)數(shù)，學(xué)習(xí)器能夠?qū)崿F(xiàn)更好的泛化概括而言，包含訓(xùn)練導(dǎo)數(shù)的效果是為了克服反向傳播算法中的歸納偏置，將其替換為所希望的導(dǎo)數(shù)的顯示輸入信息？？？P248-P249第15頁，共27頁，2023年，2月20日，星期四2003.12.1816TangentProp舉例Simardetal.提供了TangentProp的泛化精度與純歸納反向傳播之間的比較結(jié)果針對(duì)任務(wù)是為單個(gè)數(shù)字0到9的圖像做標(biāo)注給予TangentProp的先驗(yàn)知識(shí)是：數(shù)字的分類不因圖像的水平和垂直平移而改變表12-4，顯示TangentProp的泛化精度高于純反向傳播算法第16頁，共27頁，2023年，2月20日，星期四2003.12.1817TangentProp的說明TangentProp使用的先驗(yàn)知識(shí)形式為目標(biāo)函數(shù)對(duì)應(yīng)其輸入變換的所希望的導(dǎo)數(shù)TangentProp通過使一個(gè)指標(biāo)函數(shù)最小化來結(jié)合先驗(yàn)知識(shí)和觀察到的訓(xùn)練數(shù)據(jù)，這個(gè)指標(biāo)函數(shù)同時(shí)度量了網(wǎng)絡(luò)對(duì)應(yīng)訓(xùn)練樣例值的誤差和網(wǎng)絡(luò)對(duì)應(yīng)于導(dǎo)數(shù)的誤差值決定了網(wǎng)絡(luò)在中個(gè)誤差中擬合這兩部分的程度，它由設(shè)計(jì)者選擇TangentProp的不足：對(duì)于先驗(yàn)知識(shí)中的錯(cuò)誤健壯性不強(qiáng)，而且不能預(yù)先知道訓(xùn)練導(dǎo)數(shù)中的錯(cuò)誤出現(xiàn)程度，因而不能很好地選擇常量以確定擬合訓(xùn)練值和訓(xùn)練導(dǎo)數(shù)的相對(duì)重要程度第17頁，共27頁，2023年，2月20日，星期四2003.12.1818TangentProp的說明（2）TangentProp和反向傳播的搜索方法比較TangentProp通過改變梯度下降最小化的指標(biāo)函數(shù)來影響假設(shè)搜索，相當(dāng)于改變了搜索目標(biāo)如果訓(xùn)練樣例和先驗(yàn)知識(shí)都正確，并且目標(biāo)函數(shù)可用ANN精確表示，那么滿足TangentProp指標(biāo)的權(quán)向量集合將為滿足反向傳播指標(biāo)的權(quán)向量集合的子集，一些不正確的假設(shè)會(huì)被TangentProp剔除掉對(duì)目標(biāo)函數(shù)的訓(xùn)練導(dǎo)數(shù)擬合的另一種方法是，簡(jiǎn)單地將觀察到的訓(xùn)練樣例附近的附加訓(xùn)練樣例綜合起來，使用已知的訓(xùn)練導(dǎo)數(shù)來估計(jì)這些附近的實(shí)例的訓(xùn)練值第18頁，共27頁，2023年，2月20日，星期四2003.12.1819EBNN算法EBNN是基于解釋的神經(jīng)網(wǎng)絡(luò)，它用兩種方式改進(jìn)了TangentProp算法它不依靠用戶提供訓(xùn)練導(dǎo)數(shù)，而是對(duì)每個(gè)訓(xùn)練樣例自行計(jì)算訓(xùn)練導(dǎo)數(shù)，計(jì)算方法是通過用一套給定的領(lǐng)域理論來解釋每個(gè)訓(xùn)練樣例涉及了如何確定學(xué)習(xí)過程中歸納和分析部分相對(duì)重要程度的問題，的值是對(duì)每個(gè)訓(xùn)練樣例獨(dú)立選擇的，它基于一個(gè)啟發(fā)式規(guī)則，考慮領(lǐng)域理論能否精確預(yù)測(cè)特定樣例的訓(xùn)練值因此，對(duì)于那些能由領(lǐng)域理論正確解釋的訓(xùn)練樣例，學(xué)習(xí)的分析成分被強(qiáng)化，而對(duì)不能正確解釋的樣例，分析成分被弱化第19頁，共27頁，2023年，2月20日，星期四2003.12.1820EBNN算法（2）EBNN的輸入包括：形式為<xi,f(xi)>的一組訓(xùn)練樣例，不包含訓(xùn)練導(dǎo)數(shù)一組領(lǐng)域理論，表示為一組預(yù)先訓(xùn)練過的神經(jīng)網(wǎng)絡(luò)，而不是KBANN采用的Horn子句EBNN的輸出：一個(gè)能逼近目標(biāo)函數(shù)f的新的神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)到的網(wǎng)絡(luò)能夠擬合訓(xùn)練樣例以及從領(lǐng)域理論中抽取的f的訓(xùn)練導(dǎo)數(shù)圖12-7，圖的上面部分顯示的是目標(biāo)函數(shù)Cup的領(lǐng)域理論，每一方塊表示領(lǐng)域理論中一個(gè)神經(jīng)網(wǎng)絡(luò)，圖的下面是要學(xué)習(xí)的新神經(jīng)網(wǎng)絡(luò)，稱為目標(biāo)網(wǎng)絡(luò)第20頁，共27頁，2023年，2月20日，星期四2003.12.1821EBNN算法（3）EBNN通過執(zhí)行TangentProp算法來學(xué)習(xí)目標(biāo)網(wǎng)絡(luò)EBNN把接收到的輸入訓(xùn)練值<xi,f(xi)>和從領(lǐng)域理論中計(jì)算出的導(dǎo)數(shù)提供給TangentPropEBNN計(jì)算訓(xùn)練導(dǎo)數(shù)的方法？？？第21頁，共27頁，2023年，2月20日，星期四2003.12.1822EBNN算法的說明概括地說，EBNN算法使用的領(lǐng)域理論被表示為一組預(yù)先學(xué)習(xí)到的神經(jīng)網(wǎng)絡(luò)，然后領(lǐng)域理論與訓(xùn)練樣例一起訓(xùn)練其輸出假設(shè)對(duì)每個(gè)訓(xùn)練樣例，EBNN使用其領(lǐng)域理論來解釋它，然后從此解釋中抽取訓(xùn)練導(dǎo)數(shù)對(duì)實(shí)例的每個(gè)屬性計(jì)算出一個(gè)訓(xùn)練導(dǎo)數(shù)，以描述按照領(lǐng)域理論，目標(biāo)函數(shù)值是怎樣被屬性值的微小變化影響的Prolog-EBG與EBNN的區(qū)別EBNN能夠處理不完美的領(lǐng)域知識(shí)，而Prolog-EBG不能Prolog-EBG學(xué)習(xí)到逐漸增長(zhǎng)的Horn子句集，而EBNN學(xué)習(xí)到固定大小的神經(jīng)網(wǎng)絡(luò)第22頁，共27頁，2023年，2月20日，星期四2003.12.1823使用先驗(yàn)知識(shí)來擴(kuò)展搜索算子FOCL是純歸納算法FOIL的一個(gè)擴(kuò)展，它們的區(qū)別在于：搜索單個(gè)Horn子句的一般到特殊過程中候選假設(shè)生成的方法FOIL生成每個(gè)候選特化式是通過加入一個(gè)新文字到子句前件中得到的FOCL使用同樣的方法產(chǎn)生候選特化式，但還基于領(lǐng)域理論生成了附加的特化式操作型文字和非操作型文字操作型文字：當(dāng)一個(gè)文字可被用于描述一個(gè)輸出假設(shè)非操作型文字：只出現(xiàn)在領(lǐng)域理論中作為中間特征但不是實(shí)例的原子屬性的文字第23頁，共27頁，2023年，2月20日，星期四2003.12.1824FOCL算法FOCL使用下面兩種算子擴(kuò)展當(dāng)前假設(shè)h對(duì)不是h一部分的每個(gè)操作型文字，創(chuàng)建h的一個(gè)特化式，方法是加入文字到前件中按照領(lǐng)域理論，創(chuàng)建一個(gè)操作型的且是目標(biāo)概念的邏輯充分條件，將這組文字加入到h的當(dāng)前前件中，最后修剪h的前件，移去對(duì)于訓(xùn)練數(shù)據(jù)不需要的文字，具體過程如下：首先選擇一條領(lǐng)域理論子句，它的頭部匹配目標(biāo)概念，如果有多個(gè)這樣的子句，選擇其中子句體關(guān)于訓(xùn)練樣例有最高信息增益的所選子句的前件形成了目標(biāo)概念的一個(gè)邏輯充分條件，在這些充分條件中，再次使用領(lǐng)域理論，每個(gè)非操作型文字被替換掉，將子句前件代入到子句后件中這個(gè)展開的過程持續(xù)到充分條件被表述為操作型文字，如果有多個(gè)可選的展開，那么用貪婪法選擇有最大信息增益的一個(gè)最后，修剪充分條件。對(duì)表達(dá)式中的每個(gè)文字，除非文字的移除會(huì)降低訓(xùn)練樣例上的分類精度，否則它被移去上面的討論很容易擴(kuò)展到一階表示中，類似第10章第24頁，共27頁，2023年，2月20日，星期四2003.12.1825FOCL的說