機器學習與科學發(fā)現(xiàn)的邏輯芻議

1、機器學習與科學發(fā)現(xiàn)的邏輯芻議摘 要：是否存在科學發(fā)現(xiàn)的邏輯一直存在爭議，人工智能（AI）發(fā)展早期通過基于規(guī)則的和大規(guī)模數(shù)據(jù)挖掘 的方法探索自動科學發(fā)現(xiàn)存在局限，包括需要先驗知識或者只能發(fā)現(xiàn)特定領域的經(jīng)驗規(guī)律。通過近期兩個案 例分析介紹基于機器學習的研究可以不需要先驗知識就能發(fā)現(xiàn)科學概念甚至是簡單的理論，但仍然存在訓 練數(shù)據(jù)的來源、觀察和實驗的選擇、科學理論的構建以及因果建模等問題，需要結合科學哲學和哲學史做跨學 科的研究。關鍵詞：機器學習；自動科學發(fā)現(xiàn)；科學發(fā)現(xiàn)的邏輯；智能驅動；科學概念A Preliminary Study of Machine Learning andLogic of Sc

2、ientific DiscoveryAbstract: Whether there is the logic of scientific discovery has always been controversial. In the early development of artificial intelligence ( AI) , there were limitations in the research of automatic scientific discovery through rule-based and data mining methods, including the

3、 need for prior knowledge or only the discovery of empirical laws in specific fields. Through two case studies, it was shown that the recent research based on machine learning can find the concept of science and even a simple theory without prior knowledge. But there are still some problems such as

4、the source of training data, the choice of observation and experiment, the construction of scientific theory and the causal modeling which need interdisciplinary research combination with philosophy of science and history of philosophy. Keywords： machine learning; auto-discovery; logic of scientific

5、 discovery; AI-driven; scientific concept一、前言科學發(fā)現(xiàn)的過程中有沒有“邏輯”可循，能否通 過一系列能行方式自動獲得科學發(fā)現(xiàn)？過去半個世 紀這個問題在哲學家和科學家之間一直存在爭論。 早期的邏輯實證主義區(qū)分了發(fā)現(xiàn)的邏輯和辯護的邏 輯,其后很多科學哲學家（如亨普爾、勞丹等）認為 不存在一個特定的科學發(fā)現(xiàn)的邏輯;或者即使承認 根據(jù)已有的數(shù)據(jù)做一些經(jīng)驗規(guī)律的發(fā)現(xiàn)是可能的， 但仍然認為不過就是“曲線擬合”，而真正有意義的 科學發(fā)現(xiàn)是更加深一層次的背后的規(guī)律（如科學范 式的轉變），是“曲線擬合”不能達到的人工智 能（AI）先驅赫伯特西蒙（Herbert Simo

6、n）認為，科 學發(fā)現(xiàn)是一種特殊類型的問題求解，可以用計算機 程序實現(xiàn)。他通過啟發(fā)式搜索和基于規(guī)則的推理等 方法，與紐維爾構建了邏輯理論學家,證明了一些數(shù) 學定理;與蘭利等構造了 6代BACON系統(tǒng),重新發(fā) 現(xiàn)了物理和化學中的一些定律。但因為西蒙做 的是科學的再發(fā)現(xiàn)，沒有發(fā)現(xiàn)新的科學理論,被認為 在探索科學發(fā)現(xiàn)邏輯上并不成功。另外,AI學科 自20世紀50年代誕生之后就一直被運用于自動 （計算的）科學發(fā)現(xiàn)，早期在自動科學發(fā)現(xiàn)中主要是 針對特定領域的大規(guī)模系統(tǒng)搜索和數(shù)據(jù)挖掘（后 來一部分被稱之為“專家系統(tǒng)”），在不同領域都發(fā) 現(xiàn)了新的科學知識，但因為其基于數(shù)據(jù)發(fā)現(xiàn)的都是 “經(jīng)驗規(guī)律”，也被認為僅僅

7、是“曲線擬合”，是對 數(shù)據(jù)低層次的概括。隨著近十余年AI伴隨大數(shù)據(jù)的第三次崛起，機 器學習日益成為科學研究的重要工具，在一些數(shù)據(jù) 密集型科學研究中甚至扮演關鍵的角色，也自然被 用于研究自動科學發(fā)現(xiàn)和科學發(fā)現(xiàn)的邏輯。文章在 介紹兩個基于機器學習的自動科學發(fā)現(xiàn)研究案例基 礎上，分析機器學習（主要是其中的多層神經(jīng)網(wǎng)絡 方法）對科學發(fā)現(xiàn)邏輯研究的補充及其不足，并嘗 試結合科學哲學、哲學史和機器學習做進一步研究。二、基于機器學習的科學自動發(fā)現(xiàn)科學自動發(fā)現(xiàn)（計算的科學發(fā)現(xiàn)）一直是計算 機科學家和科學哲學家研究的對象，在20世紀 8090年代主要通過啟發(fā)式搜索和貝葉斯網(wǎng)絡方 法進行研究，其邏輯是基于規(guī)則的推

8、理，局限在于需 要預先輸入先驗知識和科學概念、預先確定好問題 域，目的主要是研究科學發(fā)現(xiàn)的邏輯。而近期機器 學習的發(fā)展讓在沒有先驗知識情況下基于原始數(shù)據(jù) 直接獲得科學發(fā)現(xiàn)成為可能，讓自動科學發(fā)現(xiàn)進入 實用階段。機器學習作為AI的一個分支在20世紀 80年代就已奠定理論基礎，并一直作為一種“自動 歸納”的方法被運用在科學研究當中（如在高能物 理中發(fā)現(xiàn)新粒子、天文學中對太陽黑子的研究 等），但局限于數(shù)據(jù)和算力一直沒有成為自動科 學發(fā)現(xiàn)研究的主流。隨著科學研究信息化和自動化 帶來的數(shù)據(jù)和計算力的不斷增長以及深度學習的發(fā) 展，對科學數(shù)據(jù)的計算處理開始顯現(xiàn)其作用一從 數(shù)據(jù)中挖掘規(guī)律和“模式”?？梢钥吹?，

9、幾乎在各個 學科領域機器學習都在快速普及，尤其在分子生物 學、天文學、氣象學等數(shù)據(jù)密集型領域，機器學習逐 步成為科學發(fā)現(xiàn)的一個“工具”。隨之而來的是用 機器學習方法研究科學發(fā)現(xiàn)的邏輯，看看除了發(fā)現(xiàn) 數(shù)據(jù)中的模式之外，能否構造AI科學家，能否僅僅 通過數(shù)據(jù)讓機器自動產(chǎn)生“科學概念”和“科學理 論”（而不是僅僅通過降維的方法來解決一些局部 的問題）。下文將先介紹和分析近期比較有代表性 的兩個研究。（一）科學概念的自動發(fā)現(xiàn)蘇黎世聯(lián)邦理工學院（ETH）理論物理研究所 的科學家構建了一個基于表征學習（Representation Learning）的神經(jīng)網(wǎng)絡結構，用阻尼擺、角動量守恒、 日心體系和量子比

10、特的表征這四個簡單系統(tǒng)作為研 究案例，嘗試不需要更多的先驗知識也可以僅僅從 原始數(shù)據(jù)中直接獲得物理學的概念和公式。他 們把構建的神經(jīng)網(wǎng)絡稱為“科學網(wǎng)”（SciNet），用來 模仿人類科學家的建模和科學發(fā)現(xiàn)過程一從觀察 和實驗數(shù)據(jù)中總結出理論（表征）并用于做出預測。 例如,物理學家面對在時空中運動的物體，會用該物 體的空間位置和瞬時速度來刻畫物體的運動，當求 得兩者的變化規(guī)律以后就可以預測物體后續(xù)運動狀 態(tài)。如果神經(jīng)網(wǎng)絡可以成功地把觀察和實驗數(shù)據(jù)壓 縮成幾個簡單且互不關聯(lián)的表征，并可以用這些簡 單的表征去對所要研究的物理系統(tǒng)做預測，就認為 神經(jīng)網(wǎng)絡“學習”到了相應的物理“概念”，如圖1囪 所示。

11、圖1“科學網(wǎng)結構“科學網(wǎng)”采用表征計算結構中的自動編碼方 法（Autoencoder）來實現(xiàn)上述把數(shù)據(jù)壓縮到少量表 征的功能，把神經(jīng)網(wǎng)絡結構分為編碼（Encoder E）和 解碼（Decoder F）兩個部分。編碼部分把輸入端高 維輸入數(shù)據(jù)通過多層遞減的神經(jīng)網(wǎng)絡映射到中間表 征層的低維的輸出，再用解碼部分通過多層神經(jīng)網(wǎng) 絡映射到高維的輸出，具體如圖1所示。自編碼 神經(jīng)網(wǎng)絡一般用編碼端輸入的訓練數(shù)據(jù)作為解碼端 輸出的目標數(shù)據(jù)，解碼端輸出與目標數(shù)據(jù)的差作為 總體損失(Lost)，通過多次迭代訓練后中間層就可 以看作是對于輸入數(shù)據(jù)的壓縮表征。而具體到“科 學網(wǎng)”，則是用物理對象的觀測(Observa

12、tion)和實驗 數(shù)據(jù)作為輸入，通過編碼部分壓縮到中間的表征層 (m)，并在解碼部分的第一層輸入需要預測的信息 (Question，如系統(tǒng)在其后某時間點的數(shù)據(jù))，通過 解碼部分的輸出(Answer)與需要預測信息的正確 答案之間的損失(Lost)來訓練。最后當訓練到能 夠精確地預測物理對象系統(tǒng)的行為后，通過看表 征層的神經(jīng)元是否與研究對象的某些特征有協(xié)變 關系，來決定是否學習到了物理學中的“概念”。研究人員用“科學網(wǎng)”及其變種(RNN變種)研 究了四個簡單的系統(tǒng)，第一個是預測一維阻尼擺并 嘗試找到彈性系數(shù)和阻尼系數(shù)這兩個“概念”，輸入 神經(jīng)網(wǎng)絡的數(shù)據(jù)為沿著一維軸擺動的阻尼擺在 等時序的坐標位置

13、(50個時間單位位置構成的向 量)，把阻尼系數(shù)和彈性系數(shù)作為不同的訓練數(shù)據(jù) 的變量。在沒有給出其他先驗物理概念的情況下， 神經(jīng)網(wǎng)絡經(jīng)過訓練后發(fā)現(xiàn)其表征層兩個神經(jīng)元的激 活值(Activations)分別與阻尼系數(shù)和彈性系數(shù)正相 關，這說明通過訓練神經(jīng)網(wǎng)絡獲得了阻尼系數(shù)與彈 性系數(shù)這個兩個科學概念。其余三個案例包括構建 一個旋轉物體與另一個物體的碰撞并發(fā)現(xiàn)角動量守 恒;從不帶有假設的地球為坐標原點而觀察到的天 文數(shù)據(jù)中構建出日心說系統(tǒng)而不是地心說;構建對 量子態(tài)的表征。上述研究除了涉及物理概念的自動發(fā)現(xiàn)這個方 法論問題,還涉及認識論的問題一人類構建的包 括量子力學在內的理論，是從已知的數(shù)據(jù)中能得

14、到 的最簡單和準確的理論么，其中是否包含人類的某 些偏見和預設，通過機器學習得到的結論和歷史上 人類得到的結論是否一致，人類關于量子力學的理 論是否是最優(yōu)的等，清華大學高研院和加州大學圣 迭戈分校物理學家和計算機科學家嘗試繼續(xù)回答這 個問題，他們構建RNN神經(jīng)網(wǎng)絡來學習基本粒子的 勢能與概率密度這兩個數(shù)據(jù)序列之間的關系，并最 終發(fā)現(xiàn)能夠學習到薛定諤方程，他們認為人類構建 的薛定諤方程就是從已知的數(shù)據(jù)中能夠得到的最好 的模型，而不存在人類的偏見。(二)科學理論的自動建構科學概念和經(jīng)驗規(guī)律的發(fā)現(xiàn)只是科學發(fā)現(xiàn)過程 中的一環(huán)，真實的科學發(fā)現(xiàn)過程還包括在不同的領 域發(fā)現(xiàn)不同的規(guī)律并最終整合為更加普世的科

15、學理 論。麻省理工大學物理系的吳泰林(Wu Tailin)與 泰格馬克(Tegmark)提出一個通過無監(jiān)督學習構建 AI物理學家的方法*，其目的不僅僅是構建AI物 理學家，還在于通過向歷史上真實的科學發(fā)現(xiàn)過程 學習從而改善無監(jiān)督學習算法來克服機器學習的 一些不足。機器學習與物理學家一樣，都力圖用最 簡潔的模型去預測和分析世界，物理學家在歷史上 多次成功地做到了這一點(如牛頓成功地對開普勒 和伽利略的理論做了綜合)，而當前的機器學習卻 很難做到，如機器學習難以用一個統(tǒng)一的模型去刻 畫不同領域的數(shù)據(jù)，同時其內部也缺乏可解釋性。 所以，吳泰林與泰格馬克借鑒歷史上一些物理學家 成熟的科學發(fā)現(xiàn)方法，構造

16、了一個AI物理學家的學 習框架，主要包含四個部分:分治算法(Divide-and- conquer)、奧卡姆剃刀(Occam , s Razor)、統(tǒng)一理論 (Unification)、終生學習(Lifelong Learning)，如 圖2所示。圖2 AI物理學家的學習架構rsi吳泰林與泰格馬克把“理論，定義為一個二元 組(m 為用來做預測的方程組,其中每個方程 都有其適用的定義域，當輸入的觀察數(shù)據(jù)落在某 個/的定義域中J才能正常工作，而二元組中的C 為子分類器，用來判定輸入值在方程組/中哪個 方程/的定義域中。對于要討論的物理學問題，如 在不同物理規(guī)律下運動的物體,可以把物體在N時 刻之前

17、一段時間長度范圍的空間坐標序列免作為輸 入而把物體在N時刻的狀態(tài)作為輸出為，由此對于 一個在時空中運動的物體，無監(jiān)督學習就可以轉化 為有監(jiān)督學習。AI物理學家框架中的“分治算法”模仿歷史上 科學家在面對紛雜世界時候的方式一每次只關注 世界的一個面向而忽略其他因素，用多個局部理論 去刻畫不同領域并得到在各自領域最精確的理論。 吳泰林與泰格馬克通過構建一個新的損失函數(shù)來實 現(xiàn)“分治算法”，新定義的損失函數(shù)（式1）可以同時 訓練多個不同的相互競爭的理論：= ） 5 ） 頃免），?n叮（#）式中:5為相互競爭理論的數(shù)目; 為單個理論的損 失函數(shù)。該損失函數(shù)式（1）可以做到當同時隨機初 始化多個預測方程

18、f.時，取參數(shù)！適當?shù)闹?最小化 損失/的結果就是能夠讓每個選取的理論/都能夠 最好地刻畫輸入的數(shù)據(jù)。當! 0時，對于那些 擬合的比較好的理論有更大的梯度，所以最小化Ly 的結果就是鼓勵在細分理論的基礎上去尋找局部數(shù) 據(jù)上擬合較好的理論。這樣不僅可以讓模型去刻畫 多樣的世界，同時可以找到能夠最精確刻畫對象的 那個理論。在“分治算法”找到多個子理論之后,AI物理學 家的“奧卡姆剃刀”運用最小描述復雜性方法去篩 選理論,AI物理學家的最終的目標是發(fā)現(xiàn)一個能夠 最小化式（2）的理論：DL（ T，D） = DL（ D） + ） DL（+）（ 2）式中:DL為描述復雜性;T為理論;+n為各理論T描 述數(shù)

19、據(jù)的誤差。通過第一步分治算法求得的理論再 通過“奧卡姆剃刀”的篩選，就可以得到相對比較簡 潔的符號化的理論?！敖y(tǒng)一理論”用于把簡單的理論綜合成為一個 更通用的理論（類似于開普勒定律可以綜合到牛頓 理論定律中），即尋找符號化的理論之間的相似性 構造統(tǒng)一的理論“終身學習”部分把前面三個步驟 得到的理論放到一個稱為“Theory Hub”的庫中，在 遇到新問題時首先用庫中的理論應對，如果不夠理 想則再根據(jù)一定的規(guī)則隨機生成新理論重新訓練， 并把訓練得到的較好的理論放入庫中，從而獲得 一個可以“終身學習”的理論庫。簡單地說“分治 算法”用來找到多個精確的子理論“奧卡姆剃刀” 用來篩選理論并符號化，“統(tǒng)

20、一理論”用來找到更一 般性的理論，而“終生學習”用來做可累積的進步。相比于第一個案例，吳泰林與泰格馬克的研究 更進一步，首先定義了 “理論”一有不同參數(shù)的神 經(jīng)網(wǎng)絡及其分類器，再通過對理論的符號化操作來 篩選理論。吳泰林與泰格馬克用兩個復雜環(huán)境作為 測試案例一個是在兩個臨近的電磁場中的帶電 雙擺，另一個是在四個不同環(huán)境區(qū)域（包括重力環(huán) 境、電磁環(huán)境等）穿梭運動的物體。后一個環(huán)境的 測試結果表明模型可以很好地區(qū)分不同的環(huán)境區(qū) 域，并對物體運動做出很好的預測，同時通過對訓練 后的神經(jīng)網(wǎng)絡參數(shù)進行分析，發(fā)現(xiàn)模型可以找到這 些環(huán)境中的某些物理規(guī)律，如可以發(fā)現(xiàn)“引力”，以 及簡諧運動規(guī)律。三、當前機器學

21、習用于自動科學發(fā)現(xiàn)的局限上述兩個研究從數(shù)值模擬上都能得到很好的結 果，達到了不給更多先驗知識（只有物體的時空坐 標數(shù)據(jù)）就能夠從數(shù)據(jù)中自動發(fā)現(xiàn)科學概念和部分 簡單科學理論的效果，這對于早期基于規(guī)則的自動 科學發(fā)現(xiàn)是一種很好的補充，但這是否預示著機器 學習能夠在真實的科學研究中學習到科學概念和科 學理論？從科學方法論角度看，至少還有四個問題 需要厘清和進一步解決:訓練數(shù)據(jù)的來源問題、觀察 和實驗的選擇問題、科學理論的構建問題以及因 果建模的問題。第一個是訓練數(shù)據(jù)的來源問題,對科學發(fā)現(xiàn)邏 輯的研究最終需要基于真實的觀察和實驗數(shù)據(jù)。當 前關于科學理論再發(fā)現(xiàn)研究的訓練數(shù)據(jù)主要是通過 計算模擬出來的（包

22、括文章第二節(jié)涉及的兩個研 究），即在已知科學理論的情況下反推（Simulate）出 “觀察數(shù)據(jù)”。例如，文章第二節(jié)第一個研究中關于 阻尼擺的觀察數(shù)據(jù)就是已知阻尼擺的微分方程后， 模擬多種不同阻尼系數(shù)和彈性系數(shù)阻尼擺而得到的 數(shù)據(jù)。雖然模擬的數(shù)據(jù)會加入隨機噪音（一般是高 斯分布），但理論上機器學習算法大概率能從數(shù)據(jù) 中學習到產(chǎn)生這些數(shù)據(jù)的理論。而科學理論之所以 難以發(fā)現(xiàn)，一個主要的原因就在于事先不知道哪些 數(shù)據(jù)是可能相關的，需要在先驗知識和理論的指導 下通過可控實驗去試錯。蘇黎世聯(lián)邦理工學院團隊 的研究中對于日心說的模擬使用了哥白尼生活時代 地球、太陽和火星三者之間的位置數(shù)據(jù)，但也是根據(jù) 已有的

23、理論和當代的觀測數(shù)據(jù)倒推到哥白尼時代而 得到的，并沒有用哥白尼當時已有的觀測數(shù)據(jù)（盡 管當時的數(shù)據(jù)目前無法全部獲得），也沒有考慮到 當時的觀測條件。吳泰林與泰格馬克的研究用的也 是模擬的數(shù)據(jù)，所以AI物理學家其實稱為AI數(shù)據(jù) 挖掘家更為合適,真正的AI物理學家需要在面對歷 史上真實數(shù)據(jù)和那個時代已知的科學理論的情況下 得出有意義的發(fā)現(xiàn)。第二個是觀察和實驗的選擇問題。實際的科學 實踐過程中數(shù)據(jù)獲得過程是復雜的，研究者面對的 一般是由多個變量構成的系統(tǒng)，哪些變量是需要納 入考慮而哪些是可以忽略的？這部分由已有的理論 決定，也會摻雜各種社會和個人因素,有時候也有巧 合和運氣的成分?？蒲匈Y源相對來說是

24、短缺的，即 使是在大數(shù)據(jù)時代也不可能得到所有的“相關”數(shù) 據(jù)，不可能去遍歷所有可能的實驗。所以基于已有 的理論和數(shù)據(jù)，下一步應該做什么樣的觀測和實驗， 應該去獲得什么樣的數(shù)據(jù)，這個決策過程對于科學 實踐非常重要，而目前的AI自動科學發(fā)現(xiàn)研究并沒 有體現(xiàn)出這個決策過程。吳泰林與泰格馬克的AI 物理學家做了一個有益的嘗試，讓模型去區(qū)分四種 不同的環(huán)境，但其局限在于只能區(qū)分在時間上順序 排列的不同環(huán)境，其模型的輸入是物體在四個不同 世界之間穿梭運動的時空坐標數(shù)據(jù)，而不是處于這 四個環(huán)境疊加的狀態(tài)數(shù)據(jù)。模擬的物體運動在某一 個時間段只有一個固定的規(guī)則，而真實的科學發(fā)現(xiàn) （如吳泰林與泰格馬克所舉伽利略的

25、例子）中科學 家面對復雜的世界是同時出現(xiàn)的，如研究帶電物體 在磁場中運動的時候重力場也是需要考慮進去的。 把研究對象從環(huán)境中剝離開來是真實科學發(fā)現(xiàn)重要 環(huán)節(jié),可控實驗是主要方法，這個過程本身能否被形 式化是一個需要繼續(xù)探討的問題。第三個是科學理論的構建問題。早期對科學發(fā) 現(xiàn)的計算研究主要通過啟發(fā)式搜索方法構建問題解 決空間來實現(xiàn)，需要預先有科學知識的預設,而機器 學習可以部分地彌補這個先驗知識的問題，即通過 對原始數(shù)據(jù)的模式發(fā)現(xiàn)來找到最初的“概念”，但如 何連接機器學習與其他基于規(guī)則的方法來進一步推 動AI科學發(fā)現(xiàn)需要繼續(xù)探索。吳泰林與泰格馬克 的工作也部分地推進了這個工作一不僅僅局限于 從數(shù)

26、據(jù)中提取概念，而是更進一步通過“奧卡姆剃 刀”和“統(tǒng)一理論”方法等通用的約束條件來選擇 “概念”和局域性理論，并組成更一般性的理論，另 外一些用遺傳算法自動構建理論的方法則是更進一 步。這些研究對于自動概念發(fā)現(xiàn)的操作、選擇以及 構建理論都是一種“可累積進步”的操作，即自動科 學發(fā)現(xiàn)的“科學理論”是建基在最初通過機器學習 自下而上從初始數(shù)據(jù)中得到的科學“概念”的基礎 上的。從歷史上看科學理論并不僅僅是累積進步 的,而是經(jīng)歷了至少兩次科學革命和范式轉換，科學 革命前后對一些概念（如時間和空間的概念）的理 解、測量和操作是不同的。目前的自動科學發(fā)現(xiàn)研 究部分模擬了庫恩所說的“常規(guī)科學階段”的科學 發(fā)現(xiàn),這個部分相對來說容易模擬,因為畢竟是在一 定的背景下的“解題”活動。而對于科學革命和科 學概念演化的模擬相對更重要，畢竟自動科學發(fā)現(xiàn) 不僅僅是解題和搜索答案的工具,更希望這種方法 能夠給人們提供概念變化的啟示。而一些科學哲學 家之所以認為人工智能沒法用于研究科學發(fā)現(xiàn)的邏 輯，也是基于其目前