機(jī)器學(xué)習(xí)研究關(guān)系學(xué)習(xí)

中國(guó)科學(xué)院自動(dòng)化研究所提綱什么是關(guān)系學(xué)習(xí)？關(guān)系學(xué)習(xí)中的一階邏輯方法。關(guān)系學(xué)習(xí)中的概率方法?？偨Y(jié)。中國(guó)科學(xué)院自動(dòng)化研究所概述關(guān)系學(xué)習(xí)，譯自RelationalLearning.最近十年發(fā)展起來(lái)的一類機(jī)器學(xué)習(xí)問(wèn)題及其方法的統(tǒng)稱。關(guān)系學(xué)習(xí)中同一樣本的各個(gè)屬性之間有著復(fù)雜的關(guān)系，或者不同樣本相互之間不獨(dú)立，這表明了樣本集上的某種結(jié)構(gòu)．復(fù)雜內(nèi)在結(jié)構(gòu)的問(wèn)題：文本數(shù)據(jù)挖掘，生物信息學(xué)，交通工程等。中國(guó)科學(xué)院自動(dòng)化研究所譯作關(guān)系學(xué)習(xí)不妥。誤解：代數(shù)里的關(guān)系（甚至是二元關(guān)系）。RelationalLearning中的關(guān)系:一種關(guān)聯(lián)，用一階邏輯的語(yǔ)言就是謂詞。為方便起見仍稱為關(guān)系學(xué)習(xí)。概述中國(guó)科學(xué)院自動(dòng)化研究所概述與其他能用屬性-值方式表示的機(jī)器學(xué)習(xí)問(wèn)題不同，關(guān)系學(xué)習(xí)中的問(wèn)題一般無(wú)法如此表示：a.每個(gè)樣本不僅由屬性描述，而且其中還要用關(guān)系描述b.屬性不等長(zhǎng)。中國(guó)科學(xué)院自動(dòng)化研究所CC土壤沉積物空氣水結(jié)構(gòu)決定性質(zhì)中國(guó)科學(xué)院自動(dòng)化研究所屬性屬性之間的關(guān)系預(yù)測(cè)值單表中國(guó)科學(xué)院自動(dòng)化研究所C(1)C(2)H(8)Cl(7)Cl(3)Cl(4)H(5)Cl(6)中國(guó)科學(xué)院自動(dòng)化研究所中國(guó)科學(xué)院自動(dòng)化研究所形式化描述中國(guó)科學(xué)院自動(dòng)化研究所形式化描述中國(guó)科學(xué)院自動(dòng)化研究所形式化描述中國(guó)科學(xué)院自動(dòng)化研究所顧客類別預(yù)測(cè)中國(guó)科學(xué)院自動(dòng)化研究所提綱中國(guó)科學(xué)院自動(dòng)化研究所形式化描述中國(guó)科學(xué)院自動(dòng)化研究所中國(guó)科學(xué)院自動(dòng)化研究所

傳統(tǒng)機(jī)器學(xué)習(xí)不易融入背景知識(shí)樣本來(lái)自同一模型樣本之間i.i.d屬性順序固定屬性數(shù)目固定

實(shí)際問(wèn)題易于融入背景知識(shí)樣本可以來(lái)自不同模型不一定i.i.d屬性順序不定屬性數(shù)目不定

引發(fā)困難效果差，可理解性差得到錯(cuò)誤模型得到錯(cuò)誤模型組合爆炸無(wú)法解決中國(guó)科學(xué)院自動(dòng)化研究所關(guān)系學(xué)習(xí)中的一階邏輯方法中國(guó)科學(xué)院自動(dòng)化研究所ILP（歸納邏輯程序）是關(guān)系學(xué)習(xí)領(lǐng)域的研究人員最先采用的解決方法。中國(guó)科學(xué)院自動(dòng)化研究所中國(guó)科學(xué)院自動(dòng)化研究所以下討論涉及到一階邏輯中的基本定義,請(qǐng)參閱《機(jī)器學(xué)習(xí)》(TomM.Mitchell)第204頁(yè)表10-3中國(guó)科學(xué)院自動(dòng)化研究所每個(gè)良構(gòu)的表達(dá)式由常量（如Joe,23),變量（如x），謂詞（如在Female(Mary)中的Female）和函數(shù)（age(Mary)中的age)組成。項(xiàng)（term）為任意常量，任意變量或任意應(yīng)用到項(xiàng)集合上的函數(shù)，例如：Mary,x,age(Mary),age(x).文字（literal）是應(yīng)用到項(xiàng)集合上的任意謂詞或其否定。例如：Female(Mary),~Female(x),Greater_than(age(Mary),20)基本文字（groundliteral）是不包含任何變量的文字（如，~Female(Joe)）負(fù)文字（negativeliteral）是包含任何否定謂詞的文字（如：～Female(Joe)）正文字（positiveliteral）是不包含否定符號(hào)的文字（如：Female(Joe)）一階邏輯中的基本定義中國(guó)科學(xué)院自動(dòng)化研究所子句（clause）是多個(gè)文字的析取式，M1∨M2∨…∨Mn，其中的所有變量是全稱量化的。Horn子句是一個(gè)如下形式的表達(dá)式：H(L1∧L2∧…∧Ln),其中L1,L2,…Ln為正文字，可以等價(jià)地寫為析取式：

H∨~L1∨~L2∨…∨~Ln置換（substitution）是一個(gè)將某些變量替換為某些項(xiàng)的函數(shù)。例如：置換{x/3,y/z}把變量x替換為項(xiàng)3并把變量y替換為項(xiàng)z。給定一個(gè)置換

和一個(gè)文字L，使用L表示應(yīng)用置換后的結(jié)果。邏輯程序（LogicProgram）：是一階邏輯的一個(gè)子集，邏輯程序由子句構(gòu)成，即一系列的if/then規(guī)則ILP的任務(wù)便是通過(guò)歸納學(xué)習(xí)的方法學(xué)習(xí)到用邏輯程序表達(dá)的概念。中國(guó)科學(xué)院自動(dòng)化研究所中國(guó)科學(xué)院自動(dòng)化研究所學(xué)習(xí)規(guī)則集合學(xué)習(xí)能表示為if-then規(guī)則的集合。其中最重要的一種是學(xué)習(xí)包含變量的規(guī)則集合，或者稱為一階Horn子句集，由于該集合可被解釋為邏輯編程語(yǔ)言PROLOG中的程序，學(xué)習(xí)的過(guò)程常被稱為歸納邏輯程序（ILP）。PROLOG是一個(gè)與通用圖靈機(jī)等價(jià)的編程語(yǔ)言。學(xué)習(xí)規(guī)則集合的一種方法是學(xué)習(xí)決策樹，然后轉(zhuǎn)化為等價(jià)的規(guī)則集合；或者是遺傳算法中，用位串編碼每個(gè)規(guī)則集合，然后用遺傳搜索算子來(lái)探索整個(gè)假設(shè)空間。在一階規(guī)則學(xué)習(xí)中直接學(xué)習(xí)規(guī)則，如：

IFParent(x,y)THENAncestor(x,y)IFParent(x,z)andAncestor(z,y)THENAncestor(x,y)

以上兩條規(guī)則緊湊地描述了一個(gè)遞歸函數(shù)，很難用決策樹或者其他的命題方法表示，決策樹一般只能學(xué)到特殊的規(guī)則。中國(guó)科學(xué)院自動(dòng)化研究所序列覆蓋算法該算法學(xué)習(xí)規(guī)則集的策略為：學(xué)習(xí)一個(gè)規(guī)則，移去它覆蓋的數(shù)據(jù)，再重復(fù)這一過(guò)程，被稱為序列覆蓋(sequentialcovering)算法。假設(shè)已有一個(gè)子程序LEARN-ONE-RULE,它的輸入為正例和反例，然后輸出單個(gè)規(guī)則，它能夠覆蓋許多正例而覆蓋很少的反例。要求有較高的精確度，但是不必有較高的覆蓋度。在所有可用訓(xùn)練樣本上執(zhí)行LEARN-ONE-RULE子程序，再移去由其學(xué)習(xí)到的規(guī)則覆蓋的正例，然后在剩余的訓(xùn)練樣本上執(zhí)行，學(xué)習(xí)第二個(gè)規(guī)則。該過(guò)程重復(fù)多次，直到最后學(xué)習(xí)到析取規(guī)則集。它們共同覆蓋正例，覆蓋程度達(dá)到所希望的比例。將學(xué)習(xí)析取規(guī)則集的問(wèn)題化簡(jiǎn)為一系列更簡(jiǎn)單的問(wèn)題，每個(gè)子問(wèn)題只需要學(xué)習(xí)單個(gè)合取規(guī)則。貪婪搜索，沒有回溯，結(jié)果不一定最佳。中國(guó)科學(xué)院自動(dòng)化研究所LEARN-ONE-RULE實(shí)現(xiàn)LEARN-ONE-RULE的一個(gè)有效途徑是將假設(shè)空加搜索過(guò)程設(shè)計(jì)成與ID3算法相似的方式，但是每一步只沿著最有希望的分支進(jìn)行。搜索開始于最一般的規(guī)則前件，然后加入那些在訓(xùn)練樣例上性能改進(jìn)最大的屬性測(cè)試。然后重復(fù)該過(guò)程，貪婪地加入第二個(gè)屬性測(cè)試，依此類推。每個(gè)合取假設(shè)對(duì)應(yīng)于待學(xué)習(xí)規(guī)則的候選前件集合，由其覆蓋的樣例的熵來(lái)評(píng)估。中國(guó)科學(xué)院自動(dòng)化研究所FOIL(Quinlan,1990)

序列覆蓋和LEARN-ONE-RULE算法在一階表示上的自然擴(kuò)展。FOIL學(xué)習(xí)的假設(shè)為一階規(guī)則集的子集，類似Horn子句，但有兩個(gè)不同：文字不允許含有函數(shù)符號(hào)（減小了假設(shè)空間搜索的復(fù)雜度）；規(guī)則體中的文字可為負(fù)文字?？梢詫W(xué)習(xí)快速排序算法QUICKSORT的遞歸定義，以及學(xué)習(xí)從合法棋盤狀態(tài)中區(qū)分出非法狀態(tài)。FOIL算法由兩層循環(huán)構(gòu)成，外層循環(huán)對(duì)應(yīng)于序列覆蓋算法，每次學(xué)習(xí)一個(gè)新規(guī)則，將此規(guī)則覆蓋的正例移去，再學(xué)習(xí)下一規(guī)則。內(nèi)層循環(huán)是LEARN-ONE-RULE的另一種形式。中國(guó)科學(xué)院自動(dòng)化研究所中國(guó)科學(xué)院自動(dòng)化研究所候選特化式的生成中國(guó)科學(xué)院自動(dòng)化研究所編碼正例所需的最小位數(shù),隨著規(guī)則越來(lái)越強(qiáng),所需位數(shù)越來(lái)越少中國(guó)科學(xué)院自動(dòng)化研究所空規(guī)則,對(duì)于一切x,y,都有daughter(x,y)成立中國(guó)科學(xué)院自動(dòng)化研究所左圖是一個(gè)有向圖；下圖是在命題邏輯中表示“twonodesarelinkedtoEachother”的概念。中國(guó)科學(xué)院自動(dòng)化研究所中國(guó)科學(xué)院自動(dòng)化研究所中國(guó)科學(xué)院自動(dòng)化研究所中國(guó)科學(xué)院自動(dòng)化研究所＋中國(guó)科學(xué)院自動(dòng)化研究所＋中國(guó)科學(xué)院自動(dòng)化研究所＋注：到此已學(xué)習(xí)到所有正樣本，而且不覆蓋負(fù)樣本，算法結(jié)束。中國(guó)科學(xué)院自動(dòng)化研究所FOIL的特點(diǎn)搜索子句的過(guò)程完全由數(shù)據(jù)驅(qū)動(dòng)，不需要邏輯證明。采用貪婪搜索策略，且每次只考慮當(dāng)前的一個(gè)最優(yōu)解。可以使用遞歸定義，但會(huì)出現(xiàn)無(wú)限遞歸，無(wú)法徹底避免。采用function-freeHorn子句，限制了表達(dá)能力。無(wú)法假設(shè)新的謂詞，但I(xiàn)NDUCE(Michalski,1980)和GIGOL(MuggletonandBuntine,1988)中有引入新謂詞的機(jī)制，當(dāng)該謂詞對(duì)簡(jiǎn)化定義有幫助時(shí)。中國(guó)科學(xué)院自動(dòng)化研究所小結(jié)邏輯僅僅是一種表達(dá)語(yǔ)言，真正的人工智能必須能理解語(yǔ)義，我們?cè)谶x擇背景知識(shí)，假設(shè)空間和搜索路徑時(shí)其實(shí)已經(jīng)把語(yǔ)義隱含其中。ILP研究領(lǐng)域中的問(wèn)題和我們目前碰到的問(wèn)題不同，ILP中的數(shù)據(jù)形式復(fù)雜，但是規(guī)則相對(duì)簡(jiǎn)單，往往可以加入領(lǐng)域知識(shí)，而且可以被人理解。中國(guó)科學(xué)院自動(dòng)化研究所關(guān)系學(xué)習(xí)中的概率方法中國(guó)科學(xué)院自動(dòng)化研究所領(lǐng)域知識(shí)已知時(shí),往往可以確定結(jié)構(gòu),這時(shí)估計(jì)參數(shù)就可以了,但盡管如此,仍是一個(gè)NP難題,只能得到近似最優(yōu)解中國(guó)科學(xué)院自動(dòng)化研究所中國(guó)科學(xué)院自動(dòng)化研究所血型M-染色體P-染色體污染血型M-染色體P-染色體血型M-染色體P-染色體結(jié)果人人人母親父親測(cè)試條件概率密度CPD中國(guó)科學(xué)院自動(dòng)化研究所BayesianLogicPrograms

BLPs的構(gòu)成：一個(gè)由Bayesian子句構(gòu)成的有限集。每個(gè)Bayesian子句上都定義一個(gè)條件轉(zhuǎn)移概率。

properrandomvariables:LH(B).dependencygraph.CPDs.中國(guó)科學(xué)院自動(dòng)化研究所BayesianLogicPrograms把每個(gè)基本原子映射成隨機(jī)變量，且該映射是一一的。分為參數(shù)學(xué)習(xí)和結(jié)構(gòu)學(xué)習(xí)兩部分。輸入是數(shù)據(jù)和初始的貝葉斯網(wǎng)絡(luò)（需要細(xì)化）。以下是例子。中國(guó)科學(xué)院自動(dòng)化研究所BayesianLogicPrograms

中國(guó)科學(xué)院自動(dòng)化研究所BayesianLogicPrograms

中國(guó)科學(xué)院自動(dòng)化研究所BayesianLogicPrograms

中國(guó)科學(xué)院自動(dòng)化研究所BayesianLogicPrograms

中國(guó)科學(xué)院自動(dòng)化研究所BayesianLogicPrograms

中國(guó)科學(xué)院自動(dòng)化研究所BayesianLogicPrograms

中國(guó)科學(xué)院自動(dòng)化研究所BayesianLogicPrograms

中國(guó)科學(xué)院自動(dòng)化研究所總結(jié)中國(guó)科學(xué)院自動(dòng)化研究所如：給出個(gè)樣本，每個(gè)樣本都由這六個(gè)量（對(duì)象，對(duì)象間的關(guān)系，類別）描述，此處假設(shè)了樣本長(zhǎng)度相等。目標(biāo)是學(xué)出,此處是映射，不是狹義上的函數(shù)。每個(gè)由一系列的屬性描述。關(guān)系學(xué)習(xí)問(wèn)題的實(shí)質(zhì)中國(guó)科學(xué)院自動(dòng)化研究所假設(shè)樣本間滿足i.i.d.,則不會(huì)涉及到，所以很難直接應(yīng)用關(guān)系代數(shù)。除了一些很特殊的問(wèn)題，如：Bongard問(wèn)題，其中每個(gè)樣本都具有形式：每個(gè)樣本的n不必相等，.

關(guān)系學(xué)習(xí)問(wèn)題的實(shí)質(zhì)中國(guó)科學(xué)院自動(dòng)化研究所關(guān)系學(xué)習(xí)問(wèn)題的實(shí)質(zhì)一般的關(guān)系學(xué)習(xí)問(wèn)題就是給出n個(gè)樣本，每個(gè)都由下式描述：每個(gè)由一些屬性描述：目標(biāo)是找到映射關(guān)系。注意：是建立在對(duì)象上的，不是建立在對(duì)象的屬性上的，它們反映了對(duì)象的其他屬性。（請(qǐng)看下頁(yè)的例子）

中國(guó)科學(xué)院自動(dòng)化研究所舉例：Bongard問(wèn)題（分類）給定若干正負(fù)樣本，目標(biāo)規(guī)則：如果有一個(gè)紅色的圓套在一個(gè)藍(lán)色的方形內(nèi)，則該樣本是正樣本。中國(guó)科學(xué)院自動(dòng)化研究所舉例：Bongard問(wèn)題（分類）

注：沒有寫出的謂詞取值為False.

中國(guó)科學(xué)院自動(dòng)化研究所舉例：Bongard問(wèn)題（分類）

中國(guó)科學(xué)院自動(dòng)化研究所舉例：Bongard問(wèn)題（分類）

中國(guó)科學(xué)院自動(dòng)化研究所舉例：Bongard問(wèn)題（分類）

中國(guó)科學(xué)院自動(dòng)化研究所舉例：Bongard問(wèn)題（分類）

中國(guó)科學(xué)院自動(dòng)化研究所舉例：Bongard問(wèn)題（分類）

中國(guó)科學(xué)院自動(dòng)化研究所Bongard問(wèn)題的涵義

是建立在之間，但卻不是建立在的屬性（形狀，顏色）之間。其實(shí)是建立在一個(gè)“隱空間”上（坐標(biāo)），這也正是為什么謂詞不能由函數(shù)替代。人類可以知道該空間是什么（根據(jù)我們的先驗(yàn)知識(shí)），計(jì)算機(jī)卻無(wú)法理解，無(wú)法直接對(duì)計(jì)算，因此才需要引入一階邏輯（也就是謂詞）。中國(guó)科學(xué)院自動(dòng)化研究所一階邏輯帶來(lái)了什么？便于人理解，從人的角度抓住了問(wèn)題的本質(zhì)，數(shù)據(jù)提供，結(jié)果解釋都很方便。適合人的不一定適合計(jì)算機(jī)，如上例中計(jì)算機(jī)無(wú)法真正理解的語(yǔ)義，因?yàn)橐斫庹Z(yǔ)義，就必須有“隱空間”，這正是我們無(wú)法提供的。人：難度低；計(jì)算機(jī)：難度高中國(guó)科學(xué)院自動(dòng)化研究所提供“隱空間”？一般會(huì)變得更難。采用,我們其實(shí)是暗示給計(jì)算機(jī)解決問(wèn)題的思路，否則它還得從數(shù)據(jù)中提取出類似于的一種表達(dá)（要耗費(fèi)大量計(jì)算，而且不一定能成功）。而且結(jié)果不易解釋。人：難度高計(jì)算機(jī)：難度高中國(guó)科學(xué)院自動(dòng)化研究所關(guān)鍵是否存在一種中間地帶，使得計(jì)算機(jī)和人類對(duì)問(wèn)題的理解一致，讓計(jì)算機(jī)學(xué)會(huì)人處理問(wèn)題的方式？人：難度低計(jì)算機(jī)：難度低中國(guó)科學(xué)院自動(dòng)化研究所關(guān)系學(xué)習(xí)的難點(diǎn)認(rèn)知心理學(xué)理論：有效解決問(wèn)題往往需要加領(lǐng)域特異性知識(shí)。與空間中的機(jī)器學(xué)習(xí)相比，關(guān)系學(xué)習(xí)中不易加入領(lǐng)域特異性知識(shí)。中國(guó)科學(xué)院自動(dòng)化研究所幾何－－空間的領(lǐng)域特異性知識(shí)在空間的機(jī)器學(xué)習(xí)問(wèn)題中，我們可以充分利用幾何直觀，一切抽象方法都建立在幾何直觀的基礎(chǔ)上。（SVM，流形，統(tǒng)計(jì)方法，甚至是神經(jīng)網(wǎng)絡(luò)）。由此來(lái)設(shè)計(jì)可以在計(jì)算機(jī)上運(yùn)行的算法。幾何直觀也是一種領(lǐng)域特異性知識(shí)，因?yàn)槲覀兩钤诳臻g內(nèi)，導(dǎo)致數(shù)學(xué)建立在空間上，所以我們沒有意識(shí)到這種特異性。

中國(guó)科學(xué)院自動(dòng)化研究所關(guān)系學(xué)習(xí)的難點(diǎn)（續(xù)）但是在relationallearning中我們失去了先天的優(yōu)勢(shì)（想象一下人來(lái)求解BongardProblem,當(dāng)每個(gè)樣本中對(duì)象數(shù)目巨大時(shí)），只能無(wú)目的地搜索，又如何能去指導(dǎo)計(jì)算機(jī)？中國(guó)科學(xué)院自動(dòng)化研究所人如何解決關(guān)系學(xué)習(xí)的問(wèn)題？一個(gè)小游戲：紅色區(qū)域內(nèi)的數(shù)字應(yīng)該是幾？

中國(guó)科學(xué)院自動(dòng)化研究所我是如何解決該問(wèn)題的“一些多邊形，有凸有凹，莫非是多邊形邊數(shù)？”“不對(duì)。。。，想想也不會(huì)這么簡(jiǎn)單”“5出現(xiàn)的地方是最零亂的地方。”發(fā)呆5分鐘。。。做了一系列錯(cuò)誤嘗試?！霸瓉?lái)是這樣！”中國(guó)科學(xué)院自動(dòng)化研究所啟示人在解決問(wèn)題時(shí)首先會(huì)對(duì)問(wèn)題做表征，不同的表征會(huì)對(duì)應(yīng)不同的解決策略，然后在“策略空間”搜索。計(jì)算機(jī)科學(xué)：人首先把問(wèn)題做好表征，選好解決策略，交給計(jì)算機(jī)處理。機(jī)器學(xué)習(xí)：最好能由計(jì)算機(jī)根據(jù)數(shù)據(jù)性質(zhì)選擇解決策略。數(shù)據(jù)性質(zhì)反映了數(shù)據(jù)的產(chǎn)生機(jī)理，與其對(duì)應(yīng)的解決策略才能適應(yīng)問(wèn)題。中國(guó)科學(xué)院自動(dòng)化研究所啟示

空間的機(jī)器學(xué)習(xí)：數(shù)據(jù)的分布特性可由統(tǒng)計(jì)方法得知：線性或非線性？分布的性質(zhì)？然后選擇問(wèn)題求解策略：線性回歸？樹？流形？相應(yīng)于數(shù)據(jù)的kernel？可以看到，空間中的機(jī)器學(xué)習(xí)在逐漸把問(wèn)題求解策略交給計(jì)算機(jī)來(lái)做，這樣才是真正的機(jī)器學(xué)習(xí)。關(guān)系學(xué)習(xí)：我把這堆數(shù)據(jù)告訴你，你去搜吧！中國(guó)科學(xué)院自動(dòng)化研究所啟示因?yàn)闆]有通用的好的學(xué)習(xí)算法，因此需要讓計(jì)算機(jī)根據(jù)數(shù)據(jù)選擇模型（問(wèn)題求解策略）。在空間模型選擇問(wèn)題已經(jīng)得到了廣泛深入的研究，相比之下，關(guān)系學(xué)習(xí)中幾乎沒有人去研究。原因：需要多種領(lǐng)域特異性知識(shí)。而空間中只有一種：幾何。中國(guó)科學(xué)院自動(dòng)化研究所在關(guān)系學(xué)習(xí)中，我們失去了與生俱來(lái)的直觀，使得問(wèn)題求解策略選擇變?yōu)橐粋€(gè)難題。如何對(duì)關(guān)系學(xué)習(xí)中的問(wèn)題求解策略進(jìn)行分類，并根據(jù)數(shù)據(jù)選擇策略（如：中的線性，非線性）是這一領(lǐng)域發(fā)展的關(guān)鍵。否則關(guān)系學(xué)習(xí)將喪失理論價(jià)值，雖然很有實(shí)際意義。啟示中國(guó)科學(xué)院自動(dòng)化研究所總結(jié)本次討論首先探討了關(guān)系學(xué)習(xí)中存在的問(wèn)題和難點(diǎn)，然后討論了用于關(guān)系學(xué)習(xí)的邏輯方法和概率方法。如前所述，要較好地解決關(guān)系學(xué)習(xí)中的問(wèn)題需要考慮到領(lǐng)域特異性知識(shí)，概率方法就是這樣一種嘗試，但是目前概率方法只是用來(lái)做參數(shù)學(xué)習(xí)，而結(jié)構(gòu)學(xué)習(xí)才是這個(gè)問(wèn)題的本質(zhì)所在。不同的結(jié)構(gòu)，不同的領(lǐng)域特異性知識(shí)如何整合在一起：Bongard問(wèn)題，鄰域填數(shù)字問(wèn)題，分子性質(zhì)預(yù)測(cè)問(wèn)題……中國(guó)科學(xué)院自動(dòng)化研究所總結(jié)傳統(tǒng)機(jī)器學(xué)習(xí)無(wú)法解決的問(wèn)題都丟給關(guān)系學(xué)習(xí)。因此關(guān)系學(xué)習(xí)只是一個(gè)很模糊的概念，其中涵蓋了很多不同的問(wèn)題。如