機器學(xué)習(xí)模型的“可解釋性”的概念及其重要意義

機器學(xué)習(xí)模型的“可解釋性”的概念及其重要意義論文討論了機器學(xué)習(xí)模型的“可解釋性”的概念及其重要意義。7月17日，加州大學(xué)圣迭戈分校學(xué)（CMU）ZacharyC.Lipton在ACMQueueTheMythosofModelInterpretability》的文章，討論了監(jiān)督式機器學(xué)習(xí)預(yù)測模型的可解釋性問題。Lipton在文中試圖明確“可解釋性”的定義，并對“可解釋性”進行分類，并提出了一個重要觀點，認為線性模型的可解釋性并不一定高于深度神經(jīng)網(wǎng)絡(luò)（DNN）模型。以下是新智元對論文內(nèi)容的簡編。監(jiān)督式的機器學(xué)習(xí)模型具有卓越的預(yù)測能力。不過，機器學(xué)習(xí)模型不僅應(yīng)該可用，而且應(yīng)該是可解釋的，但“解釋機器學(xué)習(xí)模型”的任務(wù)定義似乎不夠明確。學(xué)術(shù)文獻中提出了為模型尋求可解釋性的許多動機，并提供了無數(shù)的技術(shù)來提供可解釋的模型。盡管存在這種模棱兩可的情況，但許多作者宣稱他們的模型在公理上是可解釋的，然而對此卻缺乏進一步的論證。問題是，目前尚不清楚這些技術(shù)的共同特性是什么。本文旨在完善關(guān)于可解釋性的表述。首先，文章回顧了以前論文接著討論了研究可解釋性的模型屬性和技術(shù)思路，以及模型對人而言的識別透明度，并引入了“事后可解釋性”的概念作為對比。文章討論了關(guān)于模型可解釋性概念的不同觀點的可行性和合理之處，對“線在過去的20應(yīng)用中，大多數(shù)基于機器學(xué)習(xí)的決策的運作方式是這樣的：用輸入數(shù)據(jù)訓(xùn)練機器學(xué)習(xí)算法，然后由算法預(yù)測相應(yīng)的輸出。例如，給定一組關(guān)于金融交易的屬性信息，機器學(xué)習(xí)算法可以預(yù)測長期的投資回報。給定來自CT概率。機器學(xué)習(xí)算法接收大量成對數(shù)據(jù)（輸入和輸出），為垃圾郵件（置信度超過某閾值）的電郵。什么是可解釋性，它為什么如此重要？目前機器學(xué)習(xí)在醫(yī)學(xué)、刑事司法系統(tǒng)和金融市場等關(guān)鍵領(lǐng)域的應(yīng)用越來越廣泛，但人類無法真正理解這些模型，這是個問題。一些人提出了模型的“可解釋性”作為一種補救措施，但在學(xué)術(shù)文獻中，很少有作者準確地闡明了“可解釋性”的含義，也沒有準確解釋他們提出的解決方案為何是有用的。盡管缺乏定義，但越來越多的文獻提出了據(jù)稱可解釋的算法。這樣來看我們似乎可以得出以下結(jié)論：要么是（1）人們對可解釋性的定義是普遍認同的，但沒人愿意費心以書面表達出來，要么就是（2）“可解釋性”的定義是不明確的，所以關(guān)于機器學(xué)習(xí)模型的可解釋性的觀點都顯得科學(xué)性不足。對相關(guān)文獻的研究表明，后者與實際情況相符合。關(guān)于模型可解釋性的文獻中提出的目標和方法多種多樣，這表明可解釋性不是一個單一概念，而是一些彼此迥然不同的觀點，有必要將這些觀點分開來討論。本文側(cè)重討論監(jiān)督式學(xué)習(xí)，而非強化學(xué)習(xí)和互動學(xué)習(xí)等其他機器學(xué)習(xí)范式。這是因為當前在實際應(yīng)用中，監(jiān)督式學(xué)習(xí)居于首要地位。同時給出了對“線性模型可解釋，而深層神經(jīng)網(wǎng)絡(luò)不可解釋”這個常見觀點的分析。首先需要明確的是，什么是可解釋性？可解釋性為什么如此重要？許多人提出，可解釋性就是對模型產(chǎn)生信任的方式。這又導(dǎo)致了另一個關(guān)于認識論的問題：什么是信任？是指對模型能夠表現(xiàn)良好的信任是否是一種主觀的定義？還有人認為，可解釋的模型就是可取的，因為它可能有助于揭示觀察數(shù)據(jù)中的因果結(jié)構(gòu)。而關(guān)于解釋權(quán)的法律概念為可解釋性一詞提供了另一個視角。有時，尋求可解釋性的目的，可能只是為了從模型中獲取更多有用的信息。本文討論了模型的哪些屬性可以讓它們變得可解釋。有些論文將可解釋性與可理解性或可理解性等同起來，在這些論文中，可理解的模型有時被稱為“透明”的，而難以理解的模型被稱為黑盒子。但是透明度是什么？算法本身會收斂嗎？有唯一解嗎？人們是否了解每個參數(shù)代表什么？或者考慮模型的復(fù)雜性：是否足夠簡單？其他內(nèi)容包括“事后可解釋”的概念。這種解釋可能解釋了預(yù)測或者用于分析深度神經(jīng)網(wǎng)絡(luò)的顯著性圖。因此，人類做出的決定可能會滿足“事后可解釋”，不過人類大腦的運作機制仍是個黑盒子，這表明兩種常見的可解釋性概念之間的矛盾。本論文的作者ZacharyC.Lipton線性模型和深度網(wǎng)絡(luò)模型的取舍可解釋性的概念很重要、也很棘手。本文分析了可解釋性的動機和研究界提出的一些嘗試?，F(xiàn)在讓我們考慮一下這種分析的含義并提供一些內(nèi)容。線性模型并不比深度神經(jīng)網(wǎng)絡(luò)具有更高的可解釋性。盡管這種說法很流行，但其真實價值取決于采用哪種可解釋性的概念。如果可解釋性指的是算法透明度，那么這種說法似乎沒有什么爭議，但對高維特征或經(jīng)大幅修正的特征而言，線性模型就分別不具備可模擬性和可分解性。在線性模型和深度模型之間進行選擇時，我們時常要在算法透明度和可分解性之間進行權(quán)衡。這是因為深度神經(jīng)網(wǎng)絡(luò)模型一般面向原始特征或輕度處理的特征。所以如果不出意外，這些特征都具有直觀的意義，因而采用“事后可解釋性”的概念是可以接受的。而線性模型則不同，為了獲得足夠的性能，通常必須面向大量經(jīng)人工設(shè)計的特征。ZacharyLipton曾與他人合作撰文指出，線性模型要想接近遞歸神經(jīng)網(wǎng)絡(luò)的性能，就必須以舍棄可分解性為代價。如果考察某些類型的“事后可解釋性”（post-hocinterpretable），深度神經(jīng)網(wǎng)絡(luò)具有明顯的優(yōu)勢。深度神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)豐富的表示，這些表示能夠可視化、用語言表達或用于聚類。如果考慮對可解釋性的需求，似乎線性模型在研究自然世界上的表現(xiàn)更好，但這似乎沒有理論上的原因。關(guān)于可解釋性的聲明必須是合格的?？山忉屝砸辉~并沒有一個整體概念。關(guān)于可解釋性的任何觀點都應(yīng)該首先為“可解釋性”確定一個特定的定義。如果模型滿足透明度的形式，則可解釋性可以直接體現(xiàn)出來。對于“事后可解釋性”，則應(yīng)確定一個明確的目標，并證明所提供的解釋形式能夠?qū)崿F(xiàn)這一目標。特別是在基于主觀目標對模型做特定優(yōu)化時。因為在這種情況下，人就像在招聘活動和大學(xué)錄取中的一些行為一樣。我們在努力推廣機器學(xué)習(xí)模型的應(yīng)用，模仿人類智能的過程中，更應(yīng)該小心不要重現(xiàn)大規(guī)模的不正常行為。未來方向未來有幾個有前途的方向。首先，對于某些問題，可以開發(fā)更豐富的損失函數(shù)和性能指標，降低現(xiàn)實與機器學(xué)習(xí)目標之間的差異。包括對稀疏誘導(dǎo)正則化因子（sparsity-inducingregularizers）和成本敏感學(xué)習(xí)（cost-sensitivelearning）的研究。其次，這種分析可以擴展到其他機器學(xué)習(xí)范式中，比如強化學(xué)習(xí)。強化學(xué)習(xí)模型可通過直接對模型與環(huán)境的交互進行建模，從而解決模型可解釋性研究中的一些問題。值得注意的是，強化學(xué)習(xí)模型能夠?qū)W習(xí)自身行為與現(xiàn)實世界的影響之間的因果關(guān)系。然而，與監(jiān)督式學(xué)習(xí)一樣，強化學(xué)習(xí)同樣依賴于（fairness）問題，這個我們正在努力精確定義的指標，機器學(xué)習(xí)范式可解釋度的提升則不大可能解決。觀點爭鳴不過，關(guān)于這個問題也有人提出了一些異議，谷歌大腦軟件工程AkshayAgrawal就對Lipton論文中的主要觀點進行了歸納，并提出了不少不同意見。對此文提出不同意見的AkshayAgrawalAgrawal認為Lipton的論文對模型可解釋性的定義分為三個方面：第一是透明度，其表現(xiàn)形式是“可模擬性”，即人類應(yīng)該可以手動模擬機器學(xué)習(xí)模型。第二是“可分解性”，即模型的每個部分都有直觀的解釋。第三是算法，算法應(yīng)該有獨一無二的解。Agrawal認為：第一點有些問題，因為計算機的目的是自動完成人類在合理的時間內(nèi)無法完成的任務(wù)。第二點講得很好。第三點也有問題，因為即使在凸面上甚至都不能保證有唯一解。而算法的確定性問題已經(jīng)不屬于機器學(xué)習(xí)的范圍。Agrawal表示，在可解釋性問題上，重要問題的有兩點：這個模型是否能推廣用在未見過的數(shù)據(jù)上面？如果在對某個推廣假