基于人工神經(jīng)網(wǎng)絡(luò)的知識(shí)獲取方法

1、基于人工神經(jīng)網(wǎng)絡(luò)的知 識(shí)獲取方法 目錄 1. 簡(jiǎn)介 2. 通過學(xué)習(xí)獲取知識(shí) 3. 基于神經(jīng)網(wǎng)絡(luò)的知識(shí)求精 4. 從神經(jīng)網(wǎng)絡(luò)中提取規(guī)則 5.總結(jié) Company Logo 1.簡(jiǎn)介 專家系統(tǒng)的力量在于它所擁有的知識(shí)，這 些知識(shí)使它能在專家水平上工作和解決問 題。但是知識(shí)不易獲取。 因?yàn)楹芏嘀R(shí)只有專家本人才擁有，而專家 可能比較忙、可能不合作、可能難于解釋他 自己在解決問題的思考過程中究竟使用了那 些知識(shí)，所以知識(shí)獲取被認(rèn)為是構(gòu)造專家系 統(tǒng)中最困難的步驟。 專家有時(shí)候也會(huì)出錯(cuò)，誤導(dǎo)知識(shí)工程師，使 專家系統(tǒng)獲取的知識(shí)出錯(cuò)。 人工神經(jīng)網(wǎng)絡(luò)是一種大規(guī)模并行分布處理 的系統(tǒng)，具有自組織、自學(xué)習(xí)和自適應(yīng)的

2、 特點(diǎn)，在只能系統(tǒng)中可用于自動(dòng)知識(shí)獲取。 目錄 1. 簡(jiǎn)介 2. 通過學(xué)習(xí)獲取知識(shí) 3. 基于神經(jīng)網(wǎng)絡(luò)的知識(shí)求精 4. 從神經(jīng)網(wǎng)絡(luò)中提取規(guī)則 5.總結(jié) Company Logo 2.通過學(xué)習(xí)獲取知識(shí) 神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí)訓(xùn)練實(shí)現(xiàn)知識(shí)獲取 首先應(yīng)根據(jù)應(yīng)用問題選擇并確定神經(jīng)網(wǎng)絡(luò)的 模型和結(jié)構(gòu)，再選擇學(xué)習(xí)算法，對(duì)與求解問 題有關(guān)的樣本進(jìn)行學(xué)習(xí)。通過學(xué)習(xí)調(diào)整神經(jīng) 網(wǎng)絡(luò)的聯(lián)接權(quán)值，完成知識(shí)的自動(dòng)獲取。 關(guān)于神經(jīng)網(wǎng)絡(luò)模型的選取，可以是自組織 神經(jīng)網(wǎng)絡(luò)模型，也可以是多層前饋神經(jīng)網(wǎng) 絡(luò)模型 前者根據(jù)學(xué)習(xí)算法和訓(xùn)練樣本確定神經(jīng)網(wǎng)絡(luò) 的權(quán)值，后者在學(xué)習(xí)過程中對(duì)整個(gè)訓(xùn)練樣本 集，根據(jù)神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出模式與期望輸 出模

3、式的誤差調(diào)整網(wǎng)絡(luò)的權(quán)值，直到誤差的 均方小于某一預(yù)訂的極小值，網(wǎng)絡(luò)達(dá)到穩(wěn)定 為止。 Company Logo 2.通過學(xué)習(xí)獲取知識(shí) 目前，在知識(shí)獲取中最常用的神經(jīng)網(wǎng)絡(luò)模 型是采用BP算法的多層前饋神經(jīng)網(wǎng)絡(luò) 由輸入層、隱含層和輸出成構(gòu)成，其中隱含 層可以有一層或多層，相鄰層的神經(jīng)元之間 相互聯(lián)接，但同一層的神經(jīng)元之間并不相聯(lián)。 輸入信號(hào)從輸入層經(jīng)隱含層向前傳播到輸出 成，成為輸出信號(hào)。 Company Logo 2.通過學(xué)習(xí)獲取知識(shí) 經(jīng)典的多層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法由 Rumelhart等人于1986年提出的反向傳播 （Back Propagation，BP）算法，故這種神 經(jīng)網(wǎng)絡(luò)也常成為BP神經(jīng)

4、網(wǎng)絡(luò)。 BP算法采用非線性優(yōu)化中的梯度下降法來對(duì) 網(wǎng)絡(luò)權(quán)值優(yōu)化，在進(jìn)行知識(shí)獲取中取得了一 些成果，但是也存在一些問題，如學(xué)習(xí)時(shí)間 較長(zhǎng)、難以確定合適的網(wǎng)絡(luò)結(jié)構(gòu)等。 解決這個(gè)問題的途徑是采用一些收斂速度快 的改進(jìn)BP算法或結(jié)構(gòu)學(xué)習(xí)算法等。 目錄 1. 簡(jiǎn)介 2. 通過學(xué)習(xí)獲取知識(shí) 3. 基于神經(jīng)網(wǎng)絡(luò)的知識(shí)求精 4. 從神經(jīng)網(wǎng)絡(luò)中提取規(guī)則 5.總結(jié) Company Logo 3.基于神經(jīng)網(wǎng)絡(luò)的知識(shí)求精 知識(shí)求精是知識(shí)獲取的必不可少的步驟。 一般來說，得到的初始知識(shí)庫(kù)常常有些問題， 比如知識(shí)不完全、知識(shí)之間不一致、有的知識(shí) 不正確等，因此需要調(diào)試、修改和補(bǔ)充。 實(shí)踐證明，初始知識(shí)庫(kù)求精后可以顯著地提

5、高 專家系統(tǒng)的運(yùn)行性能，比如利用知識(shí)求精系統(tǒng) SEEK2對(duì)風(fēng)濕病診斷專家系統(tǒng)EXPERT的知識(shí)庫(kù) 求精后，其診斷正確率提高了21.2%知識(shí)求 精收到專家系統(tǒng)研制者的極大重視。 Company Logo 3.基于神經(jīng)網(wǎng)絡(luò)的知識(shí)求精 將人工神經(jīng)網(wǎng)絡(luò)用于知識(shí)求精取得的一些進(jìn)展： 1990年，Towell和Shavlik提出了用于知識(shí)求精的基于知識(shí)的人工 神經(jīng)網(wǎng)絡(luò)(Knowledge Based Artificial Neural Network，簡(jiǎn)稱KBANN)， 并通過實(shí)例證明基于KBANN的知識(shí)求精方法比純符號(hào)求精系統(tǒng)要 好。 1993年，F(xiàn)u提出了與KBANN類似的KBCNN(Knowledg

6、e Based Conceptual Neural Network)用于知識(shí)求精。 Company Logo 3.基于神經(jīng)網(wǎng)絡(luò)的知識(shí)求精 一般來說，知識(shí)求精問題是指： 已知：(1)初始知識(shí)庫(kù)(指規(guī)則集)；(2)專家例證。 求解：用已知例證檢測(cè)初始知識(shí)庫(kù)，并對(duì)它進(jìn) 行修改、刪除和補(bǔ)充，使加工后的知識(shí)庫(kù)達(dá)到 預(yù)期的運(yùn)行性能。 Company Logo 3.基于神經(jīng)網(wǎng)絡(luò)的知識(shí)求精 基于神經(jīng)網(wǎng)絡(luò)的知識(shí)求精方法流程： 圖中的初始規(guī)則集即初始知識(shí)庫(kù)、訓(xùn)練樣本即 專家例證。 它由三個(gè)步驟組成： 1.轉(zhuǎn)化：將初始規(guī)則集轉(zhuǎn)化為初始神經(jīng)網(wǎng)絡(luò)； 2.訓(xùn)練：用訓(xùn)練樣本和學(xué)習(xí)算法訓(xùn)練初始神 經(jīng)網(wǎng)絡(luò)，即知識(shí)求精過程； 3

7、.提取規(guī)則：提取求精后的規(guī)則知識(shí)。 Company Logo 基于神經(jīng)網(wǎng)絡(luò)的知識(shí)求精方 法步驟 第一步：初始規(guī)則集轉(zhuǎn)化為神經(jīng)網(wǎng)絡(luò)，一 般通過以下映射關(guān)系： 1.最終結(jié)論-輸出節(jié)點(diǎn)；2.支持的事實(shí)-輸入節(jié) 點(diǎn)；3.中間結(jié)論-隱含節(jié)點(diǎn)；4.依賴關(guān)系-聯(lián)接 權(quán)值和閾值。 通過上述映射關(guān)系，可以將知識(shí)庫(kù)中的待求精 知識(shí)轉(zhuǎn)化為初始神經(jīng)網(wǎng)絡(luò)。但是，用來構(gòu)造神 經(jīng)網(wǎng)絡(luò)的規(guī)則必須滿足：無謂詞運(yùn)算變量；不 構(gòu)成回路。 構(gòu)造初始神經(jīng)網(wǎng)絡(luò)的方法很多，不同的方法產(chǎn) 生不同的拓?fù)浣Y(jié)構(gòu)、不同的初始網(wǎng)絡(luò)。 Company Logo 基于神經(jīng)網(wǎng)絡(luò)的知識(shí)求精方法步驟(續(xù)) 第二步：訓(xùn)練初始神經(jīng)網(wǎng)絡(luò) 現(xiàn)有方法(如KBANN和KB

8、CNN)都采用BP學(xué)校算法，而BP算法只能 對(duì)聯(lián)接權(quán)值進(jìn)行學(xué)習(xí)，不能改變網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)。在知識(shí)求精時(shí)， 由于初始規(guī)則集可能不完善或含有一些錯(cuò)誤的規(guī)則，這樣導(dǎo)致初 始神經(jīng)網(wǎng)絡(luò)缺少節(jié)點(diǎn)或包含一些錯(cuò)誤的聯(lián)接。 因?yàn)楸仨毷咕W(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)進(jìn)行合理變化，包括增加節(jié)點(diǎn)、聯(lián)接 以及刪除節(jié)點(diǎn)、聯(lián)接等。 Company Logo 基于神經(jīng)網(wǎng)絡(luò)的知識(shí)求精方法步驟(續(xù)) 第三步：提取求精后的規(guī)則知識(shí)。 通過上述算法訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)實(shí)際上是求精 的神經(jīng)網(wǎng)絡(luò)，其知識(shí)分布表示于網(wǎng)絡(luò)結(jié)構(gòu)和權(quán) 值中，是一種隱式表達(dá)，不易于理解。 Company Logo 3.基于神經(jīng)網(wǎng)絡(luò)的知識(shí)求精 u Towell和Shavlik提出一種從K

9、BANN提取求精規(guī)則的方法，即N of M方 法。這種方法提取的規(guī)則形式如下： If N of the following M antecedents are true then 這種規(guī)則實(shí)際上是神經(jīng)網(wǎng)絡(luò)隱式知識(shí)的另一只表 示形式，不能直接用于構(gòu)造專家系統(tǒng)的知識(shí)庫(kù)。 可以采用一些現(xiàn)有的規(guī)則提取方法，提取易于理 解的規(guī)則知識(shí)。 目錄 1. 簡(jiǎn)介 2. 通過學(xué)習(xí)獲取知識(shí) 3. 基于神經(jīng)網(wǎng)絡(luò)的知識(shí)求精 4. 從神經(jīng)網(wǎng)絡(luò)中提取規(guī)則 5.總結(jié) Company Logo 4.從神經(jīng)網(wǎng)絡(luò)中提取規(guī)則 通過神經(jīng)網(wǎng)絡(luò)獲取(或求精)的知識(shí)是隱式的、 分布式的，難以理解，因此從神經(jīng)網(wǎng)絡(luò)中 提取規(guī)則具有重要意義。 一個(gè)

10、典型的方法：1990年，Setito提出了一 種用神經(jīng)網(wǎng)絡(luò)獲取規(guī)則知識(shí)的方法。 Company Logo 4.從神經(jīng)網(wǎng)絡(luò)中提取規(guī)則 Company Logo 4.從神經(jīng)網(wǎng)絡(luò)中提取規(guī)則 Company Logo 4.從神經(jīng)網(wǎng)絡(luò)中提取規(guī)則 這種方法試圖通過分析三層BP神經(jīng)網(wǎng)絡(luò)輸入層 與隱含層之間的聯(lián)接權(quán)值矩陣，得到原始輸入 概念節(jié)點(diǎn)與附加輸入概念節(jié)點(diǎn)(對(duì)應(yīng)于結(jié)論概 念)之間的邏輯相關(guān)程度度量。 Company Logo 4.從神經(jīng)網(wǎng)絡(luò)中提取規(guī)則 上述方法忽略了概念之間的組合情況，即 如果原始輸入概念節(jié)點(diǎn)c、d的組合與b有相 關(guān)性，該方法無法對(duì)這種情況進(jìn)行分析(對(duì) 于無關(guān)程度度量的分析也存在同樣問題

11、)。 這實(shí)際上是忽略了BP神經(jīng)網(wǎng)絡(luò)隱含層中的非線 性變換所帶來的問題。因此這是一種不完備的 方法，還有待于進(jìn)一步完善。 Company Logo 4.從神經(jīng)網(wǎng)絡(luò)中提取規(guī)則 許多學(xué)者都研究了從神經(jīng)網(wǎng)絡(luò)中直接提取規(guī)則，這樣可 以將神經(jīng)網(wǎng)絡(luò)的“黑箱”知識(shí)表示為顯式規(guī)則形式，而 且能將這些顯式知識(shí)用于推理或解釋神經(jīng)網(wǎng)絡(luò)的行為 Company Logo 從神經(jīng)網(wǎng)絡(luò)中提取規(guī)則的方 法 眾所周知，從任意結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)中提取規(guī)則知識(shí)是機(jī) 器困難的，因此現(xiàn)有的方法都假定了一種專用的結(jié)構(gòu)， 大體上分為以下幾類： (1)把網(wǎng)絡(luò)結(jié)構(gòu)限制在多層前饋網(wǎng)絡(luò)，網(wǎng)絡(luò)中每層節(jié)點(diǎn)有固定的特 性。在一個(gè)已訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中，F(xiàn)u試圖

12、提取每層至多k個(gè)聯(lián) 接的規(guī)則；Hayashi等人試圖提取至多k個(gè)聯(lián)接的模糊規(guī)則； Denoeux試圖用Lukasiewicz邏輯提取規(guī)則。 (2)用遞歸神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)規(guī)則提取 (3)這一類方法包含有：以統(tǒng)計(jì)為基礎(chǔ)的規(guī)則提取；用2階函數(shù)聯(lián) 接網(wǎng)絡(luò)的規(guī)則提取方法，這是為了減輕由于網(wǎng)絡(luò)結(jié)構(gòu)造成的復(fù)雜 性。 Company Logo 4.從神經(jīng)網(wǎng)絡(luò)中提取規(guī)則 目前，人們研究較多的是從多層前饋神經(jīng)網(wǎng)絡(luò)中提取規(guī) 則的算法，典型方法之一KT算法。 KT算法由“規(guī)則生成”和“規(guī)則重寫”兩個(gè)步驟組成。 Company Logo KT算法 Company Logo KT算法 2規(guī)則重寫 從網(wǎng)絡(luò)的輸入層開始，對(duì)所有的

13、隱含層神經(jīng)元 進(jìn)行如下的規(guī)則改寫過程，直至輸入層結(jié)束： 對(duì)于隱含層神經(jīng)元Y，如果它在某條規(guī)則的前 提部分出現(xiàn)，則用以Y為結(jié)論的各條規(guī)則(假設(shè) 共有n條)分別取代前提中的Y，得到n條經(jīng)過改 寫的規(guī)則，并將該規(guī)則從規(guī)則集中去掉，將經(jīng) 過改寫的n條規(guī)則增加到規(guī)則集之中。 Company Logo 4.從神經(jīng)網(wǎng)絡(luò)中提取規(guī)則 近年來，人們又將規(guī)則提取和神經(jīng)網(wǎng)絡(luò)的 結(jié)構(gòu)學(xué)習(xí)相結(jié)合。 1994年，Yoon提出了一種采用網(wǎng)絡(luò)刪除學(xué) 習(xí)(Destructive Learning)的規(guī)則提取方法。 該方法利用了刪除后的網(wǎng)絡(luò)包含更精練的知識(shí) 這一思想，與其他算法不同之處在于增加了一 個(gè)網(wǎng)絡(luò)的刪除過程，不僅刪除多余的權(quán)值聯(lián)接 而且也刪除多余節(jié)點(diǎn)。 Yoon給出的三個(gè)實(shí)例(MONK1,MONK2,MONK3) 中，分別刪除了72.9%、55.9%和69.4%的權(quán)值 聯(lián)接，提取的規(guī)則準(zhǔn)確性均優(yōu)于傳統(tǒng)的機(jī)器學(xué) 習(xí)算法(如ID3、ID5R、AQ17-DCI和AQ-15GA等)。 uSetiono于1996年也提出了一個(gè)類似的規(guī)則提取算法，所給出的實(shí) 例中平均刪除