周志華教授發(fā)表首屆國際學習與推理聯(lián)合大會IJCLR開場

2021/11/4下午2021/11/4下午3:12周志華教授發(fā)表首屆國際學習與推理聯(lián)合大會IJCLR開場Keynote：探索從純學習到學習+推理的AI/s/pkCIr092Oet3PJJ9jcDvJgPAGE/s/pkCIr092Oet3PJJ9jcDvJgPAGE10/15周志華教授發(fā)表首屆國際學習與推理聯(lián)合大會IJCLR開場Keynote：探索從純學習到學習+推理的AI首屆國際學習與推理聯(lián)合大會（IJCLR）已于10月25-27日在線上舉行，該會議代表了國際推理與學習相融合方面的重大趨勢，多位國內(nèi)外領(lǐng)域?qū)W者發(fā)表演講，其中，周志華教授作了大會的開場主旨報告，分享了題為《利用無標簽數(shù)據(jù)：從「純學習」到「學習+推理」》的主旨演講。學習和推理一直是人工智能中的核心研究內(nèi)容，諸多學者都認為，兩者的結(jié)合將具有解決當代人工智能方法缺點的潛力，包括深度學習的黑箱性質(zhì)等，然而這方面的工作極為困難，需要將人工智能中邏輯推理、知識表示、機器學習等多個領(lǐng)域打通。周志華教授演講內(nèi)容概要自訓練方法（Self-training）機器學習通常依賴大量的有標簽數(shù)據(jù)，而現(xiàn)實中很容易獲得大量無標簽數(shù)據(jù)，如何利用無標簽數(shù)據(jù)輔助少量有標簽數(shù)據(jù)進行學習，是一個重大挑戰(zhàn)問題。很容易想到的辦法有自訓練/自學習，用有標簽數(shù)據(jù)訓練一個模型，然后用模型來對無標簽數(shù)據(jù)提供偽標簽，然后基于偽標簽數(shù)據(jù)來更新模型。但這樣做不太“靠譜”，因為當初始有標簽數(shù)據(jù)很少時，訓練出的初始模型性能差，偽標簽中會有大量錯誤，導致學習性能越來越差。這樣的做法在很久以前就有所改進，例如對偽標簽數(shù)據(jù)進行數(shù)據(jù)編輯，對數(shù)據(jù)凈化之后再用于學習。編輯過程可以采用一些統(tǒng)計假設(shè)檢驗方法。然而總體上這樣的方法仍然是啟發(fā)式的，人們希望有一些有理論支撐的方法。主動學習（Activelearning）主動學習（Activelearning）是機器學習的一個分支，其主要思路是，從大量無標簽樣本中挑選少量樣本給人類專家進行標注，從而讓人類專家的力氣用在「最有價值」的地方。其目標是通過盡量少地選擇樣本給人類專家標注，能夠大幅度提升學習性能。典型的兩大類代表性方法是有選擇最informative的示例進行標注，和選擇最有代表性的示例進行標注。新的發(fā)展是同時兼顧informative和代表性。然而，主動學習假設(shè)了「人在環(huán)中」（human-in-the-loop），如果沒有人類專家的幫助，則必須考慮其他的辦法來利用無標簽數(shù)據(jù)，例如半監(jiān)督學習。半監(jiān)督學習半監(jiān)督學習具有代表性的方法包括生成式方法、半監(jiān)督SVM、基于圖的方法、基于分歧的方法?；诜制绲陌氡O(jiān)督學習是該領(lǐng)域的主流范型之一，通過訓練多個學習器，利用它們之間的分歧來對無標簽數(shù)據(jù)進行利用。協(xié)同訓練（Co-training）是基于分歧方法的代表，它最初是針對「多視圖」數(shù)據(jù)提出，多視圖數(shù)據(jù)是指一個樣本同時由多個屬性集合描述，每個屬性集合稱為一個「視圖」。協(xié)同訓練首先基于兩個視圖分別訓練一個分類器，然后每個分類器挑選一些可信度高的無標簽樣本，標注后提供給另一個分類器作為有標簽數(shù)據(jù)進行使用。由于這些分類器從不同角度訓練出來，可以形成一種互補，從而提高分類精度；就如同從不同角度可以更好地理解事物一樣。這個簡單的算法被廣泛應(yīng)用，在應(yīng)用中有令人驚訝的優(yōu)越性能。研究者們努力理解它為什么有效、在什么時候有效。機器學習領(lǐng)域奠基人、CMU的Mitchell教授等人證明，如果數(shù)據(jù)具有兩個滿足條件獨立性的視圖、且每個視圖都包含足夠產(chǎn)生最優(yōu)學習器的信息，則協(xié)同訓練能夠通過利用無標簽數(shù)據(jù)任意提升弱學習器的性能。然而這個理論條件在現(xiàn)實中并不成立，因為關(guān)聯(lián)到同一個樣本的兩個視圖通常并不滿足條件獨立性。此后有許多著名學者，如計算學習理論大會主席Balcan等人做了重要工作，最后周志華教授課題組在理論上最終給出了協(xié)同訓練能夠奏效的充分條件和充分必要條件。其理論揭示出只要兩個學習器有較大差異，就能通過協(xié)同訓練利用無標簽數(shù)據(jù)提升性能。該理論說明，「兩個視圖」并非必須，只要想辦法讓學習器之間具有較大差異即可。該理論結(jié)果導致了一系列「單視圖方法」，例如tri-training方法等，最近在深度學習領(lǐng)域也有基于tri-training的半監(jiān)督深度神經(jīng)網(wǎng)絡(luò)模型。然而，半監(jiān)督學習仍然需要一批有標簽數(shù)據(jù)，例如在半監(jiān)督SVM或基于分歧的方法中訓練初始分類器。如果既沒有「人在環(huán)中」的人類專家?guī)椭?、也沒有充分的有標簽數(shù)據(jù)，還有沒有辦法利用無標簽數(shù)據(jù)呢？周志華課題組提出，如果有「領(lǐng)域知識」，那么可以通過機器學習和邏輯推理的結(jié)合來做。機器學習和邏輯推理邏輯推理容易利用規(guī)則知識，機器學習容易利用數(shù)據(jù)事實，從人類決策來看，通常需要結(jié)合知識和事實以解決問題。研究一個能夠融合機器學習和邏輯推理并使其協(xié)同工作的統(tǒng)一框架，被視為人工智能界的圣杯挑戰(zhàn)。在人工智能研究的歷史中，機器學習和邏輯推理兩者基本是獨立發(fā)展起來的，1956~1990年是邏輯推理+知識工程作為人工智能主流的發(fā)展時期，但此時關(guān)心機器學習的人很少；1990年之后是機器學習作為人工智能主流的發(fā)展時期，但此時邏輯推理已經(jīng)相對冷門。目前流行的邏輯推理技術(shù)通?；谝浑A邏輯表示，而流行的機器學習一般基于特征表示。這兩者幾乎是基于完全不同的表示方式，難以相互轉(zhuǎn)化，使得兩者的結(jié)合極為困難。為了融合機器學習和邏輯推理，歷史上已經(jīng)有很多研究者在做努力。他們通常采用擴展其中一種技術(shù)來適應(yīng)另一種技術(shù)的方法。例如，概率邏輯程序（PLP）嘗試擴展一階邏輯以引入概率推理。而統(tǒng)計關(guān)系學習（SRL）基于領(lǐng)域知識構(gòu)建、初始化概率模型。前者「重推理、輕學習」，開頭引進了一點機器學習的成分，然后幾乎完全依賴邏輯推理解決問題；后者「重學習、輕推理」，開頭引進了一點邏輯推理的成分，然后幾乎完全依賴機器學習解決問題?？偸恰敢活^重、一頭輕」，意味著總有一端的能力沒有完全發(fā)揮出來。這就面臨一個問題，能不能有一個新的機制幫助我們把這兩大類技術(shù)的優(yōu)勢都充分地發(fā)揮起來、相對均衡地「互利式地」結(jié)合邏輯推理和機器學習呢？反繹學習的提出就是為了解決這個問題。反繹學習（abductivelearning）反繹學習，是一種將機器學習和邏輯推理聯(lián)系起來的新框架。在理解反繹學習之前，我們先來理解這個反繹的含義。在人類對現(xiàn)實問題的分析抽象上，通常有兩種典型方法論：演繹，從一個普遍的規(guī)則開始，到一個有保證的特定結(jié)論，這就是一個從一般到特殊的過程；歸納，從一些特定事實開始，然后我們從特定的事實中總結(jié)出一般的規(guī)律，這就是從特殊到一般。定理證明可以說是演繹的典型代表，而機器學習是歸納的典型代表。反繹則與兩者有所區(qū)別，其標準定義是首先從一個不完備的觀察出發(fā)，然后希望得到一個關(guān)于某一個我們特別關(guān)心的集合的最可能的解釋。周志華說他提出的反繹學習可大致理解為將演繹過程反過來嵌入到歸納過程中去，所以他提出「反繹」這個中文名字，而不是直接翻譯為「誘導」或「溯因」?，F(xiàn)在返回來看傳統(tǒng)的監(jiān)督學習。監(jiān)督學習首先需要有很多示例以及標簽，將它們結(jié)合起來進行監(jiān)督學習，訓練出一個分類器。反繹學習的設(shè)置不太一樣，反繹學習中假設(shè)有一個知識庫，以及一個初始分類器。在這個學習中，我們先把所有的數(shù)據(jù)提供給這個初始分類器，初始分類器猜測一個結(jié)果，得到結(jié)果之后就會把它轉(zhuǎn)化成一個知識推理系統(tǒng)能夠接受的符號表示。那么接下來這一步，我們就要根據(jù)知識庫里面的知識來發(fā)現(xiàn)有沒有什么東西是不一致的？如果有不一致，我們能不能找到某一個東西，一旦修改之后它就能變成一致？或者修改之后使得不一致程度大幅度降低？這就需要我們?nèi)フ易钚〉牟灰恢?。如下圖所示：假設(shè)我們現(xiàn)在找到，只要把這個非C改成C，那么你得到的事實就和知識都一致了。我們就把它改過來，這就是紅色的這個部分，這就是一個反繹的結(jié)果。而反繹出來的這個C，我們現(xiàn)在會回到原來的標簽中，把標簽改掉，接下來我們就用修改過的標簽和原來的數(shù)據(jù)一起來訓練一個新分類器。這個分類器可以代替掉舊的分類器。這個過程可以不斷地迭代下去。這個過程一直到分類器不發(fā)生變化，或者我們得到的偽事實和知識庫完全一致，這時候就停止了。從上圖可以看到，左半部在進行機器學習，而右半部在進行邏輯推理。機器學習和邏輯推理這兩者互相依賴，循環(huán)處理往復，直到分類器與知識庫一致（此時相當于分類器已經(jīng)「學到」了知識庫中的內(nèi)容）或者分類器連續(xù)數(shù)輪不再提升；如果允許對知識庫進行修改，還可以使得知識庫中的內(nèi)容可以被精化或更新（這是利用數(shù)據(jù)經(jīng)驗來改善知識的過程）。反繹學習不依賴于真實標簽，但如果存在有標簽數(shù)據(jù)，它也可以充分利用，例如可以生成更可靠的偽標簽等，從這個意義上說，反繹學習可以被視為一種更具一般性的弱監(jiān)督學習，其監(jiān)督信息不僅限于標簽，還可以是領(lǐng)域知識。初始分類器可以是預訓練好的深度模型或者遷移學習模型，甚至可以很簡單，例如基于聚類或最近鄰分類的預處理；其基本作用是讓整個過程「啟動」起來。在領(lǐng)域知識豐富可靠時，通過知識的利用可以使得整個過程并不依賴于初始分類器的強度。知識庫目前仍需要人工總結(jié)