基于聚類(lèi)與分類(lèi)的自學(xué)習(xí)系統(tǒng)模型

1、基于聚類(lèi)與分類(lèi)的自學(xué)習(xí)系統(tǒng)模型 華中科技大學(xué)碩士學(xué)位論文基于聚類(lèi)與分類(lèi)的自學(xué)習(xí)系統(tǒng)模型姓名:龍碩柱申請(qǐng)學(xué)位級(jí)別:碩士專(zhuān)業(yè):計(jì)算機(jī)應(yīng)用技術(shù)指導(dǎo)教師:馬光志2003.5.9華中科技大學(xué)碩士學(xué)位論文摘要/,/知識(shí)獲取作為專(zhuān)家系統(tǒng)的核心,它能夠根據(jù)系統(tǒng)運(yùn)行的經(jīng)驗(yàn)自動(dòng)地修正和補(bǔ)充知識(shí)庫(kù)的內(nèi)容,理解專(zhuān)家或其他來(lái)源的知識(shí)并編輯形成知識(shí)的內(nèi)部表示形式。專(zhuān)家系統(tǒng)是否具有知識(shí)進(jìn)化能力成為其應(yīng)用成敗的關(guān)鍵,數(shù)據(jù)挖掘技術(shù)對(duì)于改進(jìn)專(zhuān)家系統(tǒng)的知識(shí)進(jìn)化能力提供了新的途徑?；诰垲?lèi)和分類(lèi)的知識(shí)獲取方法具有很好的知識(shí)進(jìn)化和知識(shí)鰣錯(cuò)能力。聚類(lèi)就是在未知分類(lèi)規(guī)則的情況下對(duì)樣本集進(jìn)行分群,分類(lèi)就是在特征空間中用已知的規(guī)則對(duì)樣本進(jìn)行判

2、剮或者預(yù)測(cè),兩者的結(jié)合可用予獲取未知知識(shí)和整理己經(jīng)獲得的知識(shí),從而使知識(shí)得到進(jìn)化或知識(shí)庫(kù)中的錯(cuò)誤得到糾正。通過(guò)詳細(xì)分析聚類(lèi)與分類(lèi)算法的性能、適用范圍以及優(yōu)缺點(diǎn),建立一個(gè)集成的自學(xué)習(xí)系統(tǒng)模型,采用集成聚類(lèi)與分類(lèi)的數(shù)據(jù)開(kāi)采方法,由此建立起知識(shí)獲取模型。該模型無(wú)需事先整理大量樣本作為訓(xùn)練集和測(cè)試集,能夠伴隨領(lǐng)域?qū)＜业娜粘９ぷ鱽?lái)學(xué)習(xí)專(zhuān)家的知識(shí),并自動(dòng)利用所學(xué)知識(shí)轆助專(zhuān)家工作。同時(shí)較好地解決了聚類(lèi)分析初始參數(shù)難以準(zhǔn)確估計(jì)的難題。在上述自學(xué)習(xí)系統(tǒng)模型中,通過(guò)聚類(lèi)分柝來(lái)發(fā)現(xiàn)和修正知識(shí)庫(kù)中的錯(cuò)誤知識(shí),并且僅對(duì)出錯(cuò)鄰類(lèi)進(jìn)行聚類(lèi)分析,從而減少聚類(lèi)分析的工作量,大大提高了系統(tǒng)的學(xué)習(xí)效率。實(shí)驗(yàn)系統(tǒng)基于面向?qū)ο蟮慕M件技

3、術(shù)開(kāi)發(fā),采用了具有良好的移植性和可維護(hù)性的語(yǔ)言實(shí)現(xiàn)。知識(shí)的獲取能力和進(jìn)化能力在實(shí)驗(yàn)系統(tǒng)中得以驗(yàn)證,說(shuō)明集成的自學(xué)習(xí)系統(tǒng)模型具有很高的分類(lèi)效率和系統(tǒng)性能。,/ / ,.關(guān)鍵詞:聚類(lèi)分類(lèi);近旃;均盾鑫法;知囊取天華中科技大學(xué)碩士學(xué)位論文.,.,. . ., ., ., . .華中科技大學(xué)碩士學(xué)位論文.:; :? ;?一一華中科技大學(xué)碩士學(xué)位論文緒論.課題背景本課題來(lái)源于荊門(mén)市第一人民醫(yī)院醫(yī)療輔助診斷系統(tǒng)?,該醫(yī)院為了加強(qiáng)醫(yī)療工作管理,提高工作效率與服務(wù)質(zhì)量,決定研制該系統(tǒng)。這一系統(tǒng)主要包括電子病歷、醫(yī)技管理以及智能診斷三個(gè)部分。而智能診斷部分的任務(wù)就是運(yùn)用專(zhuān)家系統(tǒng)的設(shè)計(jì)原理與方法,模擬醫(yī)學(xué)專(zhuān)家診斷

4、、治療疾病的思維過(guò)程編制的計(jì)算機(jī)程序,它可以幫助醫(yī)生解決復(fù)雜的醫(yī)學(xué)問(wèn)題晗,作為醫(yī)生診斷、治療的輔助工具,這是一個(gè)典型的機(jī)器學(xué)習(xí)過(guò)程,而學(xué)習(xí)過(guò)程的核心就是利用聚類(lèi)或者分類(lèi)理論,對(duì)已有樣本進(jìn)行資料挖掘或者構(gòu)造分類(lèi)器來(lái)對(duì)未知樣本進(jìn)行分類(lèi)判別。這樣的專(zhuān)家系統(tǒng)主要是通過(guò)構(gòu)造分類(lèi)器對(duì)樣本進(jìn)行分類(lèi)判別,對(duì)這個(gè)問(wèn)題的四十多年的研究產(chǎn)生了很多算法,如:基于最小錯(cuò)誤率的貝葉斯決策?豹,近鄰法挎,最近提出的支持向量機(jī)等。這些算法各有各自的優(yōu)點(diǎn),同時(shí)也各有自己的缺陷和局限性?；诜诸?lèi)理論的專(zhuān)家系統(tǒng)核心就是分類(lèi)器的構(gòu)造。分類(lèi)器一般由知識(shí)工程師負(fù)責(zé)構(gòu)造。知識(shí)工程師同有關(guān)領(lǐng)域的專(zhuān)家進(jìn)行交流,整理并形式化專(zhuān)家的經(jīng)驗(yàn)和知識(shí),然

5、后根據(jù)需求選擇適當(dāng)?shù)乃惴▽?shí)現(xiàn)分類(lèi)器。一般都需要一組訓(xùn)練集對(duì)其訓(xùn)練,還需要一組測(cè)試集防止訓(xùn)練過(guò)度。在構(gòu)造分類(lèi)器時(shí),通常不考慮知識(shí)的更新和變化,因此,這樣產(chǎn)生的分類(lèi)器具有以下缺陷:分類(lèi)器的知識(shí)結(jié)構(gòu)是靜態(tài)的,不能適應(yīng)知識(shí)更新。.不能自動(dòng)修正知識(shí)庫(kù)的錯(cuò)誤,而偶發(fā)性錯(cuò)誤常常會(huì)嚴(yán)重影響系統(tǒng)分類(lèi)的正確性。.需要大量的樣本作為訓(xùn)練集,這在很多情況下是很難甚至不能滿足的。.噪聲樣本對(duì)系統(tǒng)性能影響嚴(yán)重。聚類(lèi)理論作為數(shù)據(jù)挖掘的主要算法,根據(jù)算法的不同有著各自不同的缺陷。華中科技大學(xué)碩士學(xué)位論文一般都需要事先估計(jì)聚類(lèi)參數(shù),聚類(lèi)參數(shù)估計(jì)的準(zhǔn)確性對(duì)于聚類(lèi)效果影響嚴(yán)重。另外,聚類(lèi)算法計(jì)算量較大,不適合大數(shù)據(jù)集的情況】。在荊

6、門(mén)市第一人民醫(yī)院的實(shí)際應(yīng)用中,缺乏大量可用的樣本集作為訓(xùn)練樣本或者聚類(lèi)分析樣本,同醫(yī)院專(zhuān)家進(jìn)行交流整理專(zhuān)家經(jīng)驗(yàn)和知識(shí)從而構(gòu)造分類(lèi)器這一方法工作量過(guò)于巨大,而且每個(gè)科室的知識(shí)差異很大,而且構(gòu)造后的靜態(tài)知識(shí)顯然不能適應(yīng)當(dāng)今目新月異的科技進(jìn)步所帶來(lái)知識(shí)頻繁更新。本文的目的在于構(gòu)造一個(gè)自學(xué)習(xí)系統(tǒng)理論模型,使得它可以伴隨領(lǐng)域?qū)＜业娜粘９ぷ?不斷學(xué)習(xí)積累專(zhuān)家的專(zhuān)業(yè)知識(shí),構(gòu)造動(dòng)態(tài)的知識(shí)系統(tǒng),為了避免專(zhuān)家偶然性錯(cuò)誤帶來(lái)的嚴(yán)重后果,系統(tǒng)必須具備一定的糾錯(cuò)能力,在發(fā)現(xiàn)系統(tǒng)知識(shí)錯(cuò)誤時(shí)能夠輔助糾正錯(cuò)誤。同時(shí)還能利用所學(xué)知識(shí)盡可能的為專(zhuān)家提供診斷信息。本課題的研究,對(duì)于數(shù)據(jù)開(kāi)采,模式識(shí)別,圖像處理以及構(gòu)建高效的專(zhuān)家系統(tǒng)

7、等方面課題的研究成果具有較為廣泛的意義。.國(guó)內(nèi)外研究概況人工智能簡(jiǎn)稱(chēng)被譽(yù)為本世紀(jì)的三大科學(xué)技術(shù),原子能技術(shù),空間技術(shù)成就之一,受到了世界各國(guó)的普遍重視專(zhuān)家系統(tǒng)是入工智能的一個(gè)分支,產(chǎn)生于六十年代中期,專(zhuān)家系統(tǒng)的出現(xiàn)標(biāo)志著專(zhuān)家系統(tǒng)的誕生雖然它只有不到四十年的歷史,但其發(fā)展速度相當(dāng)驚人,它的應(yīng)用幾乎已滲透到自然科學(xué)界的各個(gè)領(lǐng)域門(mén)?加。它同自然語(yǔ)言理解、機(jī)器學(xué)習(xí)并列為人工智能的三大研究方向,并且是人工智能中最活躍的分支口”。專(zhuān)家系統(tǒng)是一種具有專(zhuān)家級(jí)水平的,基于知識(shí)的,智能化的計(jì)算機(jī)程序。是研究如何運(yùn)用專(zhuān)家知識(shí)來(lái)解決某專(zhuān)門(mén)問(wèn)題而建立的人機(jī)系統(tǒng)的方法和技術(shù)。它在某些特定領(lǐng)域內(nèi),能以人類(lèi)專(zhuān)家的水平動(dòng)態(tài)地建

8、立和解決該領(lǐng)域中的問(wèn)題。在某些方面甚至可以超過(guò)人類(lèi)專(zhuān)家,專(zhuān)家系統(tǒng)在許多領(lǐng)域得到了廣泛的應(yīng)用。華中科技大學(xué)碩士學(xué)位論文專(zhuān)家系統(tǒng)研究概況第一代專(zhuān)家系統(tǒng)?和出現(xiàn)。這兩個(gè)系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)完全是針對(duì)其應(yīng)用領(lǐng)域的,主要注意了系統(tǒng)的性能,而忽略了系統(tǒng)的透明性、靈活性等方面的問(wèn)題。七十年代專(zhuān)家系統(tǒng)趨于成熟.專(zhuān)家系統(tǒng)的觀點(diǎn)也開(kāi)始廣泛地被人們接受。七十年代中期先后出現(xiàn)了以、等為代表的一批卓有成效的專(zhuān)家系統(tǒng),其中斯坦福大學(xué)研究開(kāi)發(fā)的血液感染病診斷專(zhuān)家系統(tǒng)被國(guó)際上公認(rèn)為最有影響的專(zhuān)家系統(tǒng)。在第一次使用了目前專(zhuān)家系統(tǒng)中非常流行的知識(shí)庫(kù)概念,并在系統(tǒng)中使用了似然推理技術(shù)來(lái)模擬人類(lèi)的啟發(fā)式問(wèn)題求解方法昭蚰。它對(duì)專(zhuān)家系統(tǒng)的理

9、論和實(shí)踐都有很大的貢獻(xiàn)。系統(tǒng)是一個(gè)用于語(yǔ)音識(shí)別的專(zhuān)家系統(tǒng)。在一系統(tǒng)中提出的黑板系統(tǒng)結(jié)構(gòu)已成為當(dāng)今一種非常流行的系統(tǒng)構(gòu)造技術(shù)另外,七十年代出現(xiàn)的元知識(shí)概念口們、產(chǎn)生式系統(tǒng)¨¨、框架和語(yǔ)義網(wǎng)絡(luò)知識(shí)表達(dá)方式圳也被廣泛地應(yīng)用到了以后的專(zhuān)家系統(tǒng)中,知識(shí)工程概念的提出.宣告了專(zhuān)家系統(tǒng)已走向成熟。專(zhuān)家系統(tǒng)應(yīng)用領(lǐng)域迅速擴(kuò)大,處理問(wèn)題的難度也不斷增加。專(zhuān)家系統(tǒng)的開(kāi)發(fā)轉(zhuǎn)向?yàn)楣羌芟到y(tǒng)的開(kāi)發(fā)與設(shè)計(jì)。骨架系統(tǒng)就是在知識(shí)表達(dá),推理和執(zhí)行方式,解釋機(jī)構(gòu)以及學(xué)習(xí)機(jī)構(gòu)等方面形成一個(gè)基本固定的模式。骨架系統(tǒng)的出現(xiàn),使得專(zhuān)家系統(tǒng)的開(kāi)發(fā)速度大大提高,經(jīng)費(fèi)大幅下降。但是一個(gè)完善的骨架系統(tǒng)只能夠適用于與其相類(lèi)似的特定

10、領(lǐng)域的,有一定的專(zhuān)業(yè)領(lǐng)域使用范圍。使用局限性較大,靈活性較差。目前國(guó)內(nèi)外開(kāi)發(fā)的幾百種專(zhuān)家系統(tǒng)%都是采用骨架系統(tǒng)建成是美國(guó)斯坦福大學(xué)計(jì)算機(jī)系?等人用語(yǔ)言實(shí)現(xiàn)并在?機(jī)和機(jī)上通行的骨架系統(tǒng),它主要適用于解釋型的開(kāi)發(fā),特別適用于故障診斷這一類(lèi)演繹問(wèn)題。是美國(guó)斯坦福研究院中心的.。等人用語(yǔ)言實(shí)現(xiàn),并在機(jī)和機(jī)上運(yùn)行的基本規(guī)則的骨架系鉑。統(tǒng)。利用它可開(kāi)發(fā)診斷型、預(yù)測(cè)型?是美國(guó)軟件公司于年推出的基于規(guī)則的骨架系統(tǒng),華中科技大學(xué)碩士學(xué)位論文可容納規(guī)貝較少一般條之問(wèn),可在、微機(jī)上運(yùn)行,適用于構(gòu)造簡(jiǎn)單、小型預(yù)測(cè)型、決策診斷型。有三個(gè)窗口會(huì)話顯示窗口、推理搜索路徑顯示窗口、結(jié)論顯示窗口、有解釋推理過(guò)程能力、有接口良好

11、的鏈按功能、有文本編輯口、有自動(dòng)生成咨詢問(wèn)題、有圖形顯示搜索路徑、有數(shù)學(xué)函數(shù)浮點(diǎn)運(yùn)算、有執(zhí)行外部文件功能等。?有較強(qiáng)的生命力,有可能在今后幾年中占領(lǐng)小型開(kāi)發(fā)工具市場(chǎng)”。/是浙江大學(xué)研究所開(kāi)發(fā)的基于結(jié)構(gòu)規(guī)則的骨架系統(tǒng),它把全部規(guī)則分解成一組具有層次結(jié)構(gòu)的規(guī)則集。它能運(yùn)行于支持語(yǔ)言的機(jī)種上,是面向語(yǔ)言的骨架系統(tǒng)。它適用于開(kāi)發(fā)較復(fù)雜的中、大型超過(guò)條規(guī)則。不宜開(kāi)發(fā)簡(jiǎn)單小型。與數(shù)據(jù)庫(kù)、圖形庫(kù)、圖形處理有良好接口。提供了與語(yǔ)言標(biāo)準(zhǔn)接口。該校利用它開(kāi)發(fā)了汽輪機(jī)方案設(shè)計(jì)和液壓挖掘機(jī)方案設(shè)計(jì)等。華東工學(xué)院計(jì)算機(jī)系于年研制出通用機(jī)械設(shè)計(jì)骨架系統(tǒng)”。其主要特點(diǎn)為:.機(jī)械知識(shí)的集成表示方法即把規(guī)則表示、框架表示和過(guò)程

12、表示相結(jié)合,根據(jù)不同類(lèi)型特點(diǎn),采用不同的表示方法;.多級(jí)知識(shí)獲取策略分概念模型生成級(jí),屬性生成級(jí),依賴(lài)關(guān)系生成級(jí),無(wú)控制生成級(jí)等四組;.正向、反向、混合三種推理策略名多級(jí)模糊綜合評(píng)判和模糊決策等;.較理想的用戶接口。骨架系統(tǒng)對(duì)推動(dòng)我國(guó)實(shí)用的開(kāi)發(fā)和提高的質(zhì)量和效能有重要意義。.,目前系統(tǒng)的存在的問(wèn)題從第個(gè)專(zhuān)家系統(tǒng)的應(yīng)用到現(xiàn)在已經(jīng)有半個(gè)世紀(jì),對(duì)專(zhuān)家系統(tǒng)的理論以及應(yīng)用的研究依然如火如茶,但是專(zhuān)家系統(tǒng)在理論和實(shí)施過(guò)程中仍然有許多問(wèn)題沒(méi)有得到很好的解決。.推理分析理論還不夠完善?，F(xiàn)實(shí)的問(wèn)題十分復(fù)雜,影響因素很多,基于距離的分析理論容易引發(fā)“維數(shù)災(zāi)難”,基于布爾推理理論不能恰當(dāng)?shù)谋磉_(dá)現(xiàn)實(shí)問(wèn)題。同時(shí)由于現(xiàn)實(shí)

13、問(wèn)題本身具有很大的不確定性。使得現(xiàn)有推理分析理論在結(jié)論的準(zhǔn)確度和精確度方面還不盡人意酗。華中科技大學(xué)碩士學(xué)位論文.知識(shí)表達(dá)能力不夠。由于在很多實(shí)際問(wèn)題中常常不容易找到那些最重要的特征,或受條件限制不能對(duì)他們進(jìn)行測(cè)量,這就使特征選擇和提取的任務(wù)復(fù)雜化而成為構(gòu)造專(zhuān)家系統(tǒng)首先要面對(duì)的難題“”。.知識(shí)獲取能力不足。目前,知識(shí)獲取是由知識(shí)工程師來(lái)完成的。知識(shí)工程師是一個(gè)計(jì)算機(jī)方面的工程師,他從專(zhuān)家那里獲取知識(shí),并把它以正確的形式存儲(chǔ)到知識(shí)庫(kù)里去。由于專(zhuān)家所掌握的知識(shí)和存儲(chǔ)于計(jì)算機(jī)的知識(shí)形式之間通常存在較大的差別,所以,要建立一個(gè)成功的專(zhuān)家系統(tǒng),知識(shí)工程師與專(zhuān)家之間要多次交換意見(jiàn),以使知識(shí)庫(kù)能正確地反映專(zhuān)

14、家的知識(shí)。除此之外,知識(shí)工程師還需要選擇推理方法。知識(shí)獲取是建立專(zhuān)家系統(tǒng)過(guò)程當(dāng)中最為困難的階段之一。很多專(zhuān)家系統(tǒng)中缺少這種模塊,或者把它的功能簡(jiǎn)化成為一個(gè)“知識(shí)編輯器”,僅有較簡(jiǎn)單的知識(shí)編碼和保持知識(shí)庫(kù)的一致性的功能鍆。.知識(shí)獲取研究現(xiàn)狀知識(shí)獲取作為專(zhuān)家系統(tǒng)的核心模塊,它的功能在于根據(jù)系統(tǒng)運(yùn)行的經(jīng)驗(yàn)自動(dòng)地不斷修正和補(bǔ)充知識(shí)庫(kù)的內(nèi)容,或者能根據(jù)專(zhuān)家提供的知識(shí)經(jīng)過(guò)理解并編輯成所需的內(nèi)部形式,作為新知識(shí)加入知識(shí)庫(kù)。由于人類(lèi)認(rèn)識(shí)世界的不斷進(jìn)步,知識(shí)處于不斷進(jìn)化中,知識(shí)獲取模塊是否具有知識(shí)進(jìn)化能力成為專(zhuān)家系統(tǒng)應(yīng)用成敗的關(guān)鍵¨如。目前領(lǐng)域知識(shí)獲取主要采用以下兩種策略:手工輔助工具圖形用戶界面和自

15、動(dòng)/半自動(dòng)人工校對(duì)。前者相對(duì)簡(jiǎn)單一些,人工工作仍然為主體,知識(shí)為移植者提供了一些圖形化的輔助工具,以方便和加快領(lǐng)域知識(shí)獲取過(guò)程。后者采用有指導(dǎo)的,無(wú)指導(dǎo)的或者間接指導(dǎo)的機(jī)器學(xué)習(xí)技術(shù)從樣本中自動(dòng)或者半自動(dòng)獲取領(lǐng)域知識(shí),人工干預(yù)程度低。實(shí)際上這兩種策略并不是完全對(duì)立的。只是自動(dòng)化程度高低不同而已。某種意義上講,第一種策略仍然是一種人工編制知識(shí)庫(kù)的過(guò)程,知識(shí)瓶頸知識(shí)得到某種程度上的緩解。第二種策略才是解決知識(shí)獲取問(wèn)題的真正出路九。北京化工大學(xué)袁洪芳,江志農(nóng)提出了一種以融合多種學(xué)習(xí)策略為主題的集成式學(xué)習(xí)算法。其基本思想為將維修記錄庫(kù)中的特殊例子升華為知識(shí)庫(kù)中的規(guī)則,對(duì)于維修記錄中的人工診斷維修記錄利用

16、歸納學(xué)習(xí)分析實(shí)際例子,將滿足定條件的維華中科技大學(xué)碩士學(xué)位論文修實(shí)例首先通過(guò)發(fā)生故障的設(shè)備,故障類(lèi)型選出對(duì)應(yīng)的規(guī)則庫(kù)及概念庫(kù),將維修記錄中的故障原因與原知識(shí)庫(kù)中前提逐層進(jìn)行概念匹配,當(dāng)完全匹配即前提條件及其數(shù)量均相同,這時(shí)不必產(chǎn)生規(guī)則。自動(dòng)調(diào)整原規(guī)則置信度,在原來(lái)的基礎(chǔ)上附加步長(zhǎng),如果不匹配,即出現(xiàn)新的前提,包括前提或者屬性專(zhuān)家可適當(dāng)修改新概念的描述以確保普遍性,以啟發(fā)式提問(wèn)方式使專(zhuān)家給出基本事實(shí),讓新的節(jié)點(diǎn)位于概念網(wǎng)中合適的位置自動(dòng)生成傳播向量,形成新的概念庫(kù),然后再利用正向推理算法啟發(fā)式搜索策略從新的學(xué)習(xí)前提開(kāi)始至故障目標(biāo)形成規(guī)則鏈,并要求專(zhuān)家給出默認(rèn)較低前提與規(guī)則的置信度,所有產(chǎn)生的新的

17、規(guī)則自動(dòng)經(jīng)知識(shí)庫(kù)檢驗(yàn)放入推理規(guī)則庫(kù),完成機(jī)器學(xué)習(xí)。該例子學(xué)習(xí)需要有專(zhuān)家參與,實(shí)際上是一個(gè)例子學(xué)習(xí)與對(duì)專(zhuān)家啟發(fā)式提問(wèn)的方式相結(jié)合的學(xué)習(xí)。該系統(tǒng)需要專(zhuān)家定期通過(guò)知識(shí)管理系統(tǒng)來(lái)檢查和維護(hù)知識(shí)庫(kù)的完善性。其知識(shí)獲取屬于第一種知識(shí)獲取策略廈門(mén)大學(xué)的吳順祥將成熟的技術(shù)同結(jié)合,構(gòu)造了個(gè)高效的以數(shù)據(jù)庫(kù)為載體的知識(shí)獲取系統(tǒng),系統(tǒng)提供圖形化的規(guī)則編輯界面,采用前提結(jié)論形式表示規(guī)則。通過(guò)知識(shí)的可證明性檢測(cè),矛盾性檢測(cè),命題包含檢測(cè),命題冗余檢測(cè)來(lái)保證知識(shí)庫(kù)的簡(jiǎn)潔性和正確性。利用索引進(jìn)行快速規(guī)則匹配。利用數(shù)據(jù)庫(kù)事務(wù)管理來(lái)保證知識(shí)的一致性和完整性。該系統(tǒng)仍然屬于第一種知識(shí)獲取策略”“。提出基于粗集理論的規(guī)則獲取方法掣,

18、首先根據(jù)專(zhuān)家經(jīng)驗(yàn)和領(lǐng)域背景知識(shí)確定各個(gè)條件屬性的重要度,然后利用粗集方法分析數(shù)據(jù)之間的聯(lián)系。挖掘數(shù)據(jù)庫(kù)中重要知識(shí)和信息,根據(jù)概率最優(yōu)準(zhǔn)則,提取最有用的最優(yōu)規(guī)則用于構(gòu)建知識(shí)庫(kù)。該方法自動(dòng)化程度比較高,屬于第二種知識(shí)獲取策略。.關(guān)鍵技術(shù)分析隨著數(shù)據(jù)庫(kù)技術(shù)和人工智能的日新月異的發(fā)展,必然引起知識(shí)獲取方法的變革現(xiàn)簡(jiǎn)述如下。華中科技大學(xué)碩士學(xué)位論文.知識(shí)獲取關(guān)鍵技術(shù)人工智能與數(shù)據(jù)庫(kù)技術(shù)是計(jì)算機(jī)科學(xué)的兩大重要領(lǐng)域.越來(lái)越多的研究成果表明。這兩種技術(shù)的相互滲透將給計(jì)算機(jī)應(yīng)用帶來(lái)更廣闊的前景。結(jié)合數(shù)據(jù)庫(kù)技術(shù)以吸取對(duì)方經(jīng)驗(yàn)和長(zhǎng)處可克服人工智能短處,這也是人工智能成功的關(guān)鍵。知識(shí)獲取可借鑒數(shù)據(jù)庫(kù)關(guān)于信息存貯、共享

19、、并發(fā)控制和故障恢復(fù)技術(shù).對(duì)知識(shí)獲取后的知識(shí)庫(kù)管理、設(shè)計(jì)以及對(duì)大型知識(shí)庫(kù)、共享知識(shí)庫(kù)和分布式知識(shí)庫(kù)提供幫助,改善知識(shí)庫(kù)的特性,使之規(guī)模提高到實(shí)用水平。如數(shù)據(jù)庫(kù)的基本范例輸入、檢索、更新等可作為新的知識(shí)庫(kù)范例.數(shù)據(jù)庫(kù)的基本目標(biāo)共享性、獨(dú)立性、分布性等可作為新的知識(shí)庫(kù)基本目標(biāo),數(shù)據(jù)庫(kù)的三級(jí)表示與設(shè)計(jì)方法可用作新的知識(shí)庫(kù)設(shè)計(jì)方法”。.聚類(lèi)與分類(lèi)關(guān)鍵技術(shù)從人工智能技術(shù)產(chǎn)生以來(lái),對(duì)于它的一系列算法的改進(jìn)就從未止步。如:聚類(lèi)分析中理論上最為可靠,應(yīng)用最為廣泛的算法之一的均值算法。均值算法將個(gè)目標(biāo)分割到個(gè)聚類(lèi)中去。首先選擇個(gè)代表點(diǎn),其余目標(biāo)根據(jù)到代表點(diǎn)的距離劃分到個(gè)類(lèi)中。然后用每個(gè)類(lèi)的重心代表這個(gè)類(lèi),對(duì)目標(biāo)

20、進(jìn)行從新分割,這過(guò)程疊代進(jìn)行,直到收斂。均值算法的難點(diǎn)在于選擇初始值和代表點(diǎn):另外,在計(jì)算過(guò)程中,每次調(diào)整一個(gè)樣本的類(lèi)別,各類(lèi)的聚類(lèi)中心就要調(diào)整一次,所以計(jì)算量較大。文獻(xiàn)【】中對(duì)此提出了許多改進(jìn)算法,比較典型的改進(jìn)算法如法等。文獻(xiàn)】改進(jìn)近鄰法以減少計(jì)算量和存儲(chǔ)量,文獻(xiàn)【】采用數(shù)據(jù)標(biāo)準(zhǔn)化法來(lái)確定均值算法的初始劃分,通過(guò)計(jì)算一曲線的拐點(diǎn)取得最優(yōu)聚類(lèi)數(shù)【。為了解決維數(shù)災(zāi)難提出了支持向量機(jī)算法【。通過(guò)模糊集理論來(lái)提高現(xiàn)有算法的分類(lèi)效果,如模糊均值算法,模糊神經(jīng)網(wǎng)絡(luò)算法,模糊近鄰分類(lèi)法等們。波蘭的網(wǎng)來(lái)處理知針對(duì).的邊界區(qū)域思想提出了粗糙集理論識(shí)的不確定性和模糊性問(wèn)題。和曾分別將神經(jīng)網(wǎng)絡(luò)用于圖書(shū)分類(lèi)專(zhuān)家系

21、統(tǒng)試過(guò)感知器方法,無(wú)隱層和三層神經(jīng)網(wǎng)絡(luò)一華中科技大學(xué)碩士學(xué)位論文個(gè)隱層。只用了感知器方法。這些系統(tǒng)中為每個(gè)分類(lèi)建立一個(gè)神經(jīng)網(wǎng)絡(luò),通過(guò)學(xué)習(xí)得到從輸入單詞或者更復(fù)雜的特征詞向量到分類(lèi)的非線性映像。的,用于高層分類(lèi)和多個(gè)兩層神經(jīng)網(wǎng)實(shí)驗(yàn)建議將多層神經(jīng)網(wǎng)絡(luò)?絡(luò)?,用于最底層分類(lèi)混合起來(lái)九。.課題研究思路” 。從某種程度上說(shuō),集成的基本思想是“通過(guò)將分類(lèi)器和聚類(lèi)器集成起來(lái),并采用與領(lǐng)域?qū)＜医换サ姆绞?可將建立知識(shí)庫(kù)融于專(zhuān)家的正常工作中。知識(shí)庫(kù)系統(tǒng)自動(dòng)根據(jù)所學(xué)的知識(shí)對(duì)未知事物分類(lèi),如果系統(tǒng)不能分類(lèi)或者不能很有把握的分類(lèi),則繼續(xù)向領(lǐng)域?qū)＜覍W(xué)習(xí),并將所學(xué)知識(shí)存入知識(shí)庫(kù)。如果領(lǐng)域?qū)＜姨崾鞠到y(tǒng)自動(dòng)分類(lèi)有誤,則說(shuō)明原

22、有知識(shí)不正確,通過(guò)不斷的修正值,對(duì)所學(xué)樣本進(jìn)行均值分析,并將結(jié)果提請(qǐng)專(zhuān)家審核,最終選擇合適的值并更新知識(shí)庫(kù)。對(duì)于專(zhuān)家和系統(tǒng)都不能準(zhǔn)確分類(lèi)的事物,則利用近鄰法對(duì)其進(jìn)行分類(lèi),同時(shí)通過(guò)沖突檢測(cè)來(lái)剔除噪聲數(shù)據(jù)。這種學(xué)習(xí)方法符合人類(lèi)認(rèn)識(shí)世界的基本規(guī)律和思維習(xí)慣,并且符合知識(shí)的相對(duì)性和進(jìn)化性等特征。因此,在專(zhuān)家系統(tǒng)的知識(shí)學(xué)習(xí)過(guò)程中,對(duì)于不同時(shí)機(jī)采用不同算法,使得能夠互相補(bǔ)充,相得益彰。從而使得系統(tǒng)能夠自動(dòng)進(jìn)行知識(shí)更新,通過(guò)交互學(xué)習(xí)修正錯(cuò)誤并剔除噪聲樣本。.主要研究工作在詳細(xì)深入分析大量的聚類(lèi)與分類(lèi)算法的性能,適用范圍以及優(yōu)缺點(diǎn)的基礎(chǔ)上,給出了這兩類(lèi)獨(dú)立的數(shù)據(jù)開(kāi)采方法集成起來(lái)自學(xué)習(xí)系統(tǒng)模型,使兩類(lèi)方法能夠相

23、得益彰。由此建立的知識(shí)獲取模型無(wú)需事先整理大量樣本作為訓(xùn)練集和測(cè)試集,能夠伴隨領(lǐng)域?qū)＜业墓ぷ鲗W(xué)習(xí)專(zhuān)家的知識(shí),并自動(dòng)利用所學(xué)知識(shí)輔助專(zhuān)家工作。妥善的解決了聚類(lèi)分析初始參數(shù)難以準(zhǔn)確估計(jì)的難題。華中科技大學(xué)碩士學(xué)位論文給出了通過(guò)聚類(lèi)分析來(lái)發(fā)現(xiàn)和修正知識(shí)庫(kù)中的錯(cuò)誤知識(shí)的方法。給出了僅對(duì)出錯(cuò)鄰類(lèi)進(jìn)行聚類(lèi)分析的方法來(lái)減少聚類(lèi)分析工作量,從而提高系統(tǒng)效率的方法。?一華中科技大學(xué)碩士學(xué)位論文算法分析與設(shè)計(jì)聚類(lèi)和分類(lèi)理論中都有很多典型的算法,并不是所有聚類(lèi)算法都能和分類(lèi)算法集成,必須在對(duì)他們進(jìn)行詳細(xì)深入的性能分析,掌握其算法核心思想和實(shí)現(xiàn)細(xì)節(jié),從而尋找結(jié)合點(diǎn)。本章將根據(jù)智能診斷系統(tǒng)的應(yīng)用和荊門(mén)市第一人民醫(yī)院的現(xiàn)

24、實(shí)情況,深入討論聚類(lèi)和分類(lèi)理論中具有代表性的算法的性能。通過(guò)性能比較,在聚類(lèi)理論和分類(lèi)理論中各選擇一種作為集成系統(tǒng)的核心算法。.系統(tǒng)需求荊門(mén)市第一人民醫(yī)院雖然電子病例已經(jīng)使用一年多,但由于原來(lái)系統(tǒng)設(shè)計(jì)時(shí)沒(méi)有考慮到智能診斷系統(tǒng)的需要,其大量診療資料不能夠使用。因此沒(méi)有大量現(xiàn)成的樣本集可以用來(lái)構(gòu)建訓(xùn)練集。采用知識(shí)工程師同醫(yī)生交流的方式也變得不可行,這樣不但嚴(yán)重影響醫(yī)生的日常工作,而且巨大的工作量讓人無(wú)法承受。所以只能讓專(zhuān)家系統(tǒng)能夠伴隨醫(yī)生的日常工作,通過(guò)學(xué)習(xí)來(lái)逐漸積累專(zhuān)家的知識(shí)。醫(yī)學(xué)是知識(shí)更新迅速的學(xué)科,每天都有新的病情和新的診療手段出現(xiàn)。這就決定了專(zhuān)家系統(tǒng)必須能夠動(dòng)態(tài)調(diào)整知識(shí)庫(kù)。使得知識(shí)庫(kù)能夠適

25、應(yīng)不斷進(jìn)步的科學(xué)技術(shù)。由于人類(lèi)行為的主觀性,不可避免的出現(xiàn)錯(cuò)誤。為了避免系統(tǒng)錯(cuò)誤知識(shí)“污染”知識(shí)庫(kù),對(duì)專(zhuān)家系統(tǒng)的準(zhǔn)確率造成嚴(yán)重影晌。該系統(tǒng)必須能夠發(fā)現(xiàn)并糾正系統(tǒng)錯(cuò)誤。同時(shí)還必須在知識(shí)存入知識(shí)庫(kù)之前進(jìn)行檢查,使得知識(shí)庫(kù)不會(huì)出現(xiàn)互相矛盾的知識(shí)。當(dāng)然,作為個(gè)完整的專(zhuān)家系統(tǒng)還必須首先進(jìn)行特征提取,將病人病征向量空間轉(zhuǎn)化為歐幾里得空間等一系列工作。本文作為智能診斷系統(tǒng)的理論預(yù)研,目的是提出一個(gè)能夠滿足現(xiàn)實(shí)需求的模型。所以要設(shè)計(jì)的專(zhuān)家系統(tǒng)具有如下特征;.具有動(dòng)態(tài)知識(shí)庫(kù),能夠邊學(xué)習(xí)邊工作,從而不需要構(gòu)造大量的訓(xùn)練集。.具有自動(dòng)糾錯(cuò)能力,能夠?qū)χR(shí)進(jìn)行檢測(cè),防止沖突發(fā)生,在知識(shí)庫(kù)出現(xiàn)錯(cuò)華中科技大學(xué)碩士學(xué)位論文

26、誤后能夠幫助分析并糾正錯(cuò)誤。.分類(lèi)算法選擇.分類(lèi)算法概論分類(lèi)要解決的問(wèn)題是為一個(gè)事件或?qū)ο髿w類(lèi)。事實(shí)上,分類(lèi)器就是一個(gè)或一系列判別函數(shù)或決策面。基于分類(lèi)的專(zhuān)家系統(tǒng)需要由知識(shí)工程師和領(lǐng)域?qū)＜也粩嘟涣?總結(jié)專(zhuān)家知識(shí)并轉(zhuǎn)化為分類(lèi)規(guī)則。所以構(gòu)造分類(lèi)必須事先知道分類(lèi)規(guī)則。在使用上,既可以用此模型分析已有的樣本,也可以用它來(lái)預(yù)測(cè)未來(lái)的樣本。分類(lèi)器的基本構(gòu)造如圖.。決策圈.分類(lèi)器構(gòu)造圖分類(lèi)器的評(píng)價(jià)標(biāo)準(zhǔn)有三種尺度:預(yù)測(cè)準(zhǔn)確度;計(jì)算復(fù)雜度;模型描述的簡(jiǎn)潔度。值得注意的是,分類(lèi)的效果一般和樣本的特點(diǎn)有關(guān),目前普遍認(rèn)為不存在某種方法能適合于各種特點(diǎn)的數(shù)據(jù)集?？▋?nèi)基梅隆大學(xué)的在“文本分類(lèi)方法回顧”一文中對(duì)五種文本分類(lèi)

27、方法進(jìn)行了測(cè)試研究:支持向量機(jī),近鄰分類(lèi)法,神經(jīng)網(wǎng)絡(luò),線性最小平方擬合法和簡(jiǎn)單貝葉斯分類(lèi)法。側(cè)重于這些方法在華中科技大學(xué)碩士學(xué)位論文非均勻分類(lèi)分布上的健壯性及其性能。結(jié)果表明當(dāng)訓(xùn)練集中的正確樣本較少時(shí)少于,支持向量機(jī),近鄰分類(lèi)法和線性最小平方擬合法比神經(jīng)網(wǎng)絡(luò),簡(jiǎn)單貝葉斯分類(lèi)法顯然要好,而當(dāng)處理大分類(lèi)超過(guò)個(gè)樣本時(shí)性能相當(dāng)。.典型分類(lèi)算法性能分析.支持向量機(jī)支持向量機(jī) ,由在年提出,用于解決二分類(lèi)模式識(shí)別問(wèn)題。它是基于風(fēng)險(xiǎn)最小化原則,并由此引出錯(cuò)誤邊界分析理論.它在向量空間中找到一個(gè)決策平面 ,這個(gè)平面能“最好”地分割兩個(gè)分類(lèi)中的樣本點(diǎn)。為了定義“最好”分割,我們引入兩個(gè)分類(lèi)的邊界定義。通過(guò)圖.和

28、.予以說(shuō)明。圖.和.中的實(shí)線顯示了兩個(gè)決策平面,每個(gè)都可以正確分割兩組樣本。與實(shí)線平行的虛線表示決策平面可以平移的空間,這種平移不會(huì)造成樣本的分割錯(cuò)誤。并行線間的距離稱(chēng)為邊界。就是要在訓(xùn)練集中找到具有最大邊界的決策平面。決策平面可以寫(xiě)作:訪.?其中是要分類(lèi)的任意樣本點(diǎn),茹和常數(shù)通過(guò)訓(xùn)練獲得。令訓(xùn)練集弘,墨,±是對(duì)的分類(lèi)表示它是個(gè)正例子,.為負(fù)例子,問(wèn)題就是要找到滿足如下條件的謗和訪?,一 ,訪?舅,一一 ,。而且向量茹的模最小。華中科技大學(xué)碩士學(xué)位論文詈專(zhuān):?圖.具有較小邊界兩虛線問(wèn)的距離的決策線圖中實(shí)線圖.具有最大邊界韻決策線說(shuō)明:虛線所穿過(guò)的點(diǎn)為支持向量的一個(gè)有趣特性是決策平面只

29、是由那些剛好和決策面距離為百?魯?shù)臉颖?#168;點(diǎn)來(lái)決定,稱(chēng)為決策向量,刪除其它樣本點(diǎn)不會(huì)影響算法的結(jié)果即產(chǎn)生的決策函數(shù)不變。這個(gè)特性是與其它分類(lèi)方法不同之處。它是否會(huì)造成的性能發(fā)生顯著改變尚未可知。最近采用來(lái)進(jìn)行樣本分類(lèi),并聲稱(chēng)它比其它方法都好,但他的評(píng)價(jià)結(jié)果是非正式的。另外他的理論和算法還缺少完備測(cè)試,沒(méi)有對(duì)不同分類(lèi)分布進(jìn)行性能分析,特別是對(duì)那些極小分類(lèi),他報(bào)告的測(cè)試結(jié)果低于他人的結(jié)果。.近鄰法近鄰分類(lèi)法是著名的模式識(shí)別統(tǒng)計(jì)學(xué)方法,已經(jīng)有四十年歷史。它是分類(lèi)效果最好的分類(lèi)算法之一。近鄰分類(lèi)法相當(dāng)簡(jiǎn)單:給定一個(gè)測(cè)試樣本,系統(tǒng)在訓(xùn)練華中科技大學(xué)碩士學(xué)位論文集中查找離它最近的個(gè)鄰居,并根據(jù)這些

30、鄰居的分類(lèi)來(lái)給該樣本的候選分類(lèi)評(píng)分。把鄰居樣本和測(cè)試樣本的相似度作為鄰居樣本所在分類(lèi)的權(quán)重。如果這個(gè)鄰居中的部分樣本屬于同一個(gè)分類(lèi),則該分類(lèi)中的每個(gè)鄰居的權(quán)重求和并作為該分類(lèi)和測(cè)試樣本的相似度。通過(guò)對(duì)候選分類(lèi)評(píng)分的排序,然后給出個(gè)閾值,就可以判定測(cè)試樣本的分類(lèi)。中的決策規(guī)則可寫(xiě)作:, ,。 其中孑。,表示樣本是否屬于分類(lèi)為是,為否;砌,孑,表示測(cè)試樣本和訓(xùn)練樣本乏的相似度;屯則是二元決策的閾值。為了方便起見(jiàn),我們采用兩個(gè)向量的夾角余弦作為兩個(gè)樣本的相似度。各個(gè)分類(lèi)的閾值。則是通過(guò)訓(xùn)練獲得,這些閾值將能得到最好的評(píng)價(jià)。,.線性最小平方擬合線性最小平方擬合法是發(fā)明的映像方法。從訓(xùn)練集樣本和分類(lèi)中學(xué)

31、習(xí)得到的多元回歸模型 。訓(xùn)練樣本用輸入,輸出向量對(duì)表示,其中輸入向量用傳統(tǒng)向量空間模型表示的樣本值和權(quán)重,輸出向量則是樣本對(duì)應(yīng)的分類(lèi)帶有二元權(quán)重。通過(guò)求解這些向量對(duì)的線性最小平方擬合,可以得到一個(gè)樣本.分類(lèi)的回歸系數(shù)矩陣:一引民其中矩陣為求解矩陣,定義了從任意樣本到加權(quán)分類(lèi)向量的映像。對(duì)這些分類(lèi)權(quán)重排序,則可以得到輸入樣本可能分類(lèi)的列表。然后再指定閾值,就可以判別樣本的分類(lèi)。闞值同樣是從訓(xùn)練中學(xué)習(xí)獲取的,與近鄰分類(lèi)法相同。盡管線性最小平方擬合法與近鄰分類(lèi)法方法不同,但它們?cè)谖覀兯龅乃袦y(cè)試上性能都很相似除了在極小分類(lèi)上的健壯性比較。華中科技大學(xué)碩士學(xué)位論文.神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò),技術(shù)是人工智能中

32、的成熟技術(shù)。神經(jīng)網(wǎng)絡(luò)的基本思想是:如果神經(jīng)元接收到來(lái)自另一神經(jīng)元的輸出,則當(dāng)這個(gè)神經(jīng)元同時(shí)興奮時(shí),從到的權(quán)值.就得到加強(qiáng)。神經(jīng)網(wǎng)絡(luò)的一個(gè)重要特點(diǎn)就是它能夠較有效的解決很多非線性問(wèn)題,從而在很多工程應(yīng)用中取得成功。但另一方面,神經(jīng)網(wǎng)絡(luò)中很多重要的問(wèn)題尚沒(méi)有從理論上得到解決,因此實(shí)際應(yīng)用中仍有許多因素要憑經(jīng)驗(yàn)確定,比如如何選擇網(wǎng)絡(luò)節(jié)點(diǎn)數(shù),初始權(quán)值和學(xué)習(xí)步長(zhǎng)等;局部極小點(diǎn)問(wèn)題,過(guò)學(xué)習(xí)與欠學(xué)習(xí)問(wèn)題等也是很多神經(jīng)網(wǎng)絡(luò)方法中普遍存在的問(wèn)題。在實(shí)際應(yīng)用中,值得關(guān)注還有訓(xùn)練的開(kāi)銷(xiāo)。因?yàn)樯窠?jīng)網(wǎng)絡(luò)的訓(xùn)練需要大量樣本作為訓(xùn)練集和檢測(cè)集,而且所需時(shí)間開(kāi)銷(xiāo)要遠(yuǎn)遠(yuǎn)超過(guò)其它分類(lèi)方法。在荊門(mén)市第一人民醫(yī)院的實(shí)際應(yīng)用中,幾乎沒(méi)

33、有現(xiàn)成可用的數(shù)據(jù)集,無(wú)論是對(duì)于開(kāi)發(fā)人員還是對(duì)于用戶,構(gòu)造數(shù)據(jù)集的工作也過(guò)于龐大麗無(wú)法忍受。.分類(lèi)算法評(píng)價(jià)從算法的時(shí)間空間復(fù)雜度,分類(lèi)效果來(lái)看,支持向量機(jī)和近鄰分類(lèi)比其它方法要好。神經(jīng)網(wǎng)絡(luò)分類(lèi)效果同近鄰分類(lèi)法相當(dāng),但是訓(xùn)練的時(shí)間和空間消耗遠(yuǎn)遠(yuǎn)超過(guò)其它分類(lèi)方法。線性最小平方擬合法和近鄰法雖然實(shí)現(xiàn)方法不同,但在測(cè)試中各方面性能都相當(dāng),但線性最小平方擬合法在實(shí)現(xiàn)上較近鄰法要困難得多。由于支持向量機(jī)性能上尚有爭(zhēng)議,尚未經(jīng)過(guò)完備的測(cè)試,因此,在分類(lèi)算法的選擇上本文傾向于近鄰法。華中科技大學(xué)碩士學(xué)位論文.聚類(lèi)算法選擇.聚類(lèi)算法概論聚類(lèi)是把整個(gè)樣本分成不同的群組。它的目的是盡量使得群與群之間差別很明顯,而同一

34、個(gè)群之間的樣本盡量相似。聚類(lèi)分析主要是基于物以類(lèi)聚的樸素思想。與分類(lèi)不同,在開(kāi)始聚集之前你不知道要把樣本分成幾組,也不知道怎么分依照哪幾個(gè)變量。因此在聚集之后需要由領(lǐng)域?qū)＜襾?lái)解釋這樣分群的意義。很多情況下一次聚集你得到的分群對(duì)你的業(yè)務(wù)來(lái)說(shuō)可能并不好,這時(shí)你需要?jiǎng)h除或增加變量以影響分群的方式,經(jīng)過(guò)幾次反復(fù)之后才能最終得到一個(gè)理想的結(jié)果。均值法是比較常用的聚集算法。聚類(lèi)也可以視為相似樣本的分組表達(dá)方式。在向量空間模型中,用戶可以通過(guò)比較查詢向量和聚類(lèi)的中心進(jìn)行檢索,并在聚類(lèi)中進(jìn)一步檢索以找到壤相似的樣本。聚類(lèi)算法包括:分層次聚類(lèi)法最短距離法,最簡(jiǎn)單的聚類(lèi)方法,最大距離樣本,均值法距離平方和最小聚類(lèi)

35、法,疊代自組織聚類(lèi)法,法的改進(jìn),基于“核”的評(píng)估聚類(lèi)方法等。下面僅對(duì)前四種方法進(jìn)行討論。.典型聚類(lèi)算法分析.分層次聚類(lèi)法短距離法分層次聚類(lèi)法的基本思路是尋找“距離”最近的兩個(gè)樣本結(jié)合,事先給定值,即聚類(lèi)成類(lèi)。算法首先確定最近的兩個(gè)樣本,然后將這兩個(gè)樣本合并成類(lèi),重新計(jì)算新類(lèi)的中心,并將該中心代替這兩個(gè)樣本重新計(jì)算最近的兩個(gè)樣本,如此遞歸下去,知道只剩下個(gè)樣本為止。剩下的個(gè)樣本即為各類(lèi)的類(lèi)中心,被取代的即為每一類(lèi)的類(lèi)集。該算法簡(jiǎn)單有效,適用于類(lèi)內(nèi)距離小,類(lèi)間距離大的樣本集效果明顯,同時(shí)對(duì)于分布較為均勻的樣本集也可以取得較好的效果。分類(lèi)效果同取樣順序無(wú)關(guān)。但是華中科技大學(xué)碩士學(xué)位論文每?輪計(jì)算都需

36、要計(jì)算個(gè)樣本之間的距離,使得算法時(shí)間復(fù)雜度達(dá)到級(jí)。只適合于小樣本集。而且需要事先確定值,值估計(jì)的好壞對(duì)于算法聚類(lèi)效果影響很大。.最簡(jiǎn)單聚類(lèi)法最簡(jiǎn)單聚類(lèi)法不需要實(shí)現(xiàn)確定值:但需要事先給定相似性尺度距離閾值。,假定有個(gè)樣本, ?,給定一個(gè)閾值。任取一個(gè)樣本,例如,把作為第一個(gè)類(lèi)的中心,】。然后依次取,?,計(jì)算與的距離若,則判定。屬于。為中心的那個(gè)類(lèi);若,則把。作為新的類(lèi)中心。然后對(duì)剩下的樣本。分別計(jì)算與,:的距離¨,。若其中較小者,則判定,屬于較小的那一類(lèi)。否則,就把。作為新的一個(gè)類(lèi)的中心。如此,繼續(xù)?,直至對(duì)全體樣本做完處理。該算法特點(diǎn)是不需要事先決定類(lèi)數(shù)值。適用于類(lèi)內(nèi)距離小,類(lèi)間距離

37、大的情況,對(duì)于分布聚集度不是很好的樣本集分類(lèi)效果與取樣順序有關(guān),在實(shí)際應(yīng)用中,很多情況下很難估計(jì)閾值。算法復(fù)雜度為。.最大距離樣本法最大距離樣本法的基本思路是取盡可能離得遠(yuǎn)的樣本做中心。假定有個(gè)樣本,。,?,任取一個(gè)樣本,例如,把作為第一個(gè)類(lèi)的中心,屹。從集合中找出到距離最大的樣本作為對(duì)中剩余樣本,分別計(jì)算到,的距離。令其中較小的那個(gè)為。計(jì)算,若其值大于某一計(jì)算值或給厶定閾值,則取此為新的類(lèi)中心。計(jì)算值可取:大于等于】和間距離的/倍÷/。重復(fù)同樣的處理,直到再也找不到符合條件的新的類(lèi)中心。把剩華中科技大學(xué)碩士學(xué)位論文余樣本分配到離它最近的那個(gè)中心所屬的類(lèi)。該算法特點(diǎn)是不需要實(shí)現(xiàn)決定類(lèi)

38、數(shù)值,但需要確定閾值。算法性能和適用性同最簡(jiǎn)單聚類(lèi)法相同。但該算法分類(lèi)效果與首先選取哪個(gè)樣本有關(guān)。. .均值法均值法的基本原則就是使得類(lèi)內(nèi)距離平方和最小,所以該算法又名距離平方和最小聚類(lèi)法。算法通過(guò)人為確定個(gè)類(lèi)中心,?,初始分類(lèi)也可以通過(guò)如下算法確定:首先將樣本標(biāo)準(zhǔn)化,用表示標(biāo)準(zhǔn)化后第個(gè)樣本的第個(gè)坐標(biāo)。令粕。若欲將樣本集劃分為類(lèi),則對(duì)每個(gè)樣本計(jì)算足一加】.,.地一假設(shè)與這個(gè)計(jì)算值最接近的整數(shù)為,則將樣本劃分為第類(lèi)。.計(jì)算每個(gè)聚類(lèi)的均值,?,和。吣壽薈五,一,釅.選擇一個(gè)備選樣本,設(shè)現(xiàn)在在中。.若,則轉(zhuǎn),否則繼續(xù)。.計(jì)算?一?華中科技大學(xué)碩士學(xué)位論文?. ?, 虬一而.對(duì)于所有的,若一,則把從移

39、到中。.重新計(jì)算。和的值,并修改。.若連續(xù)迭代次五不改變,則停止,否則轉(zhuǎn)到。該算法只需要人為確定值,個(gè)類(lèi)中心可以通過(guò)計(jì)算取得,值的選擇以及最初選擇哪些樣本作為中心,將對(duì)疊代結(jié)果產(chǎn)生影響。算法通過(guò)多次疊代,多次修正類(lèi)中心。該算法適用于各種分布的樣本集,只要確定好值和個(gè)初始類(lèi)中心,對(duì)于類(lèi)間距離不是很顯著的樣本集也能很好適應(yīng),分類(lèi)效果十分穩(wěn)定,與樣本采樣順序無(wú)關(guān)。算法時(shí)間復(fù)雜度為.聚類(lèi)算法評(píng)價(jià)從分類(lèi)效果來(lái)看,顯然均值法優(yōu)于其它算法,該算法能夠從理論上保證分類(lèi)誤差最小。而其它算法只對(duì)于特殊分布的樣本集有著很好的分類(lèi)效果,對(duì)樣本集的適應(yīng)性不如均值法。但由于均值算法需要事先進(jìn)行初始分類(lèi),使得該算法在時(shí)間復(fù)

40、雜度和空間復(fù)雜度上都高于其它最簡(jiǎn)單聚類(lèi)法和最大距離樣本法,但仍然優(yōu)于最短距離法。幾乎所有聚類(lèi)算法都需要事先給定參數(shù),參數(shù)估計(jì)的好壞對(duì)于聚類(lèi)結(jié)果有著很大的影響,均值算法的值估計(jì)可以通過(guò)計(jì)算磊一曲線的拐點(diǎn)取得最優(yōu)聚類(lèi)數(shù)。但并非所有的樣本分布的五一曲線都能夠找到拐點(diǎn),這時(shí)只有通過(guò)對(duì)問(wèn)題的專(zhuān)業(yè)知識(shí)分析來(lái)確定不同的聚類(lèi)結(jié)果的好壞。華中科技大學(xué)碩士學(xué)位論文系統(tǒng)設(shè)計(jì)通過(guò)對(duì)典型的分類(lèi)和聚類(lèi)算法的性能分析,從分類(lèi)理論中選擇近鄰法,從聚類(lèi)理論中選擇均值法來(lái)參與集成系統(tǒng)。集成系統(tǒng)通過(guò)不斷向領(lǐng)域?qū)＜覍W(xué)習(xí)知識(shí)來(lái)提高自己的分類(lèi)能力,采用近鄰法對(duì)專(zhuān)家和知識(shí)庫(kù)均未知的樣本來(lái)提供分類(lèi)建議,采用均值法來(lái)對(duì)知識(shí)庫(kù)矢口識(shí)進(jìn)行糾錯(cuò)。這

41、樣使得集成系統(tǒng)相比采用單一算法韻專(zhuān)家系統(tǒng)具有更好的分類(lèi)能力和知識(shí)進(jìn)化能力。系統(tǒng)結(jié)構(gòu)如圖.。圖.系統(tǒng)設(shè)計(jì)圖.本章小結(jié)構(gòu)建一個(gè)基于聚類(lèi)和分類(lèi)的集成系統(tǒng),首先必須對(duì)聚類(lèi)和分類(lèi)算法進(jìn)行詳細(xì)深入的性能分析,在分類(lèi)算法中,具有代表性的算法有支持向量機(jī),近鄰法,線性華中科技大學(xué)碩士學(xué)位論文最小平方擬合法,神經(jīng)網(wǎng)絡(luò)等。支持向量機(jī)是新近提出的算法,該算法因能夠有效控制維數(shù)災(zāi)難而受到重視。但算法還需要進(jìn)行很多完備性測(cè)試。近鄰法是公認(rèn)的最好分類(lèi)算法之一,算法簡(jiǎn)單而且可靠。線性最小平方擬合法性能同近鄰法相當(dāng),但是實(shí)現(xiàn)要困難些。神經(jīng)網(wǎng)絡(luò)分類(lèi)效果同近鄰法相當(dāng),但是訓(xùn)練的時(shí)間和空間消耗遠(yuǎn)遠(yuǎn)超過(guò)其它分類(lèi)方法。在聚類(lèi)算法中,具

42、有代表性的算法最短距離法,最簡(jiǎn)單聚類(lèi)法,最大距離樣本法,均值算法。最短距離法算法實(shí)現(xiàn)簡(jiǎn)單,但是算法復(fù)雜度達(dá)到級(jí),最簡(jiǎn)單聚類(lèi)法,最大距離樣本法,均值法算法復(fù)雜度相當(dāng)。但均值法有更好的適應(yīng)性,能夠在理論上達(dá)到分類(lèi)誤差最小。根據(jù)以上性能分析,選擇近鄰法和均值法參與集成系統(tǒng)的構(gòu)建。?一一華中科技大學(xué)碩士學(xué)位論文基于聚類(lèi)和分類(lèi)的自學(xué)習(xí)系統(tǒng)模型通過(guò)上一章的討論,我們選擇了近鄰法和均值算法來(lái)分別代表分類(lèi)算法和聚類(lèi)算法來(lái)參與集成系統(tǒng),本章將根據(jù)荊門(mén)市第一人民醫(yī)院的實(shí)際情況構(gòu)造一個(gè)具有自學(xué)習(xí)能力的知識(shí)獲取模型,將詳細(xì)介紹集成系統(tǒng)的基本思想,自學(xué)習(xí)系統(tǒng)模型的構(gòu)造和算法。并且對(duì)算法的性能進(jìn)行了理論分析。.算法基本思

43、想通過(guò)將分類(lèi)器和聚類(lèi)器集成起來(lái),并采用與領(lǐng)域?qū)＜医换サ姆绞?可將建立知識(shí)庫(kù)融于專(zhuān)家的正常工作中。知識(shí)庫(kù)系統(tǒng)自動(dòng)根據(jù)所學(xué)的知識(shí)對(duì)未知事物分類(lèi),如果系統(tǒng)不能分類(lèi)或者不能很有把握的分類(lèi),則繼續(xù)向領(lǐng)域?qū)＜覍W(xué)習(xí),并將所學(xué)知識(shí)存入知識(shí)庫(kù)。如果領(lǐng)域?qū)＜姨崾鞠到y(tǒng)自動(dòng)分類(lèi)有誤,則說(shuō)明原有知識(shí)不正確,通過(guò)不斷的修正值,對(duì)所學(xué)樣本進(jìn)行均值聚類(lèi)分析,并將結(jié)果提請(qǐng)專(zhuān)家審核,最終選擇合適的值并更新知識(shí)庫(kù)。對(duì)于專(zhuān)家和系統(tǒng)都不能準(zhǔn)確分類(lèi)的事物,則利用近鄰法對(duì)其進(jìn)行分類(lèi),同時(shí)通過(guò)沖突檢測(cè)來(lái)剔除噪聲數(shù)據(jù)。這種學(xué)習(xí)方法符合人類(lèi)認(rèn)識(shí)世界的基本規(guī)律和思維習(xí)慣,并且符合知識(shí)的相對(duì)性和進(jìn)化性等特征。.命名約定為了便于表達(dá)和避免因?qū)Ω拍畈煌?/p>

44、定義而發(fā)生誤解,本文在集成算法中采用如下命名約定:知識(shí)庫(kù):為表結(jié)構(gòu),記錄每類(lèi)的類(lèi)重心位置和類(lèi)半徑,以及該類(lèi)所包含的樣本個(gè)數(shù)。類(lèi)重心:借用三角形重心的概念,把每一類(lèi)中所有樣本看作等重等權(quán)值的華中科技大學(xué)碩士學(xué)位論文剪點(diǎn)。其中.類(lèi),為該類(lèi)樣本數(shù)目,以下同。類(lèi)半徑:重心到該類(lèi)所有點(diǎn)的最大距離。,其中.?.,以下同。類(lèi)距離:類(lèi)的重心到類(lèi)的重心之間的距離成為類(lèi)到類(lèi)的距離。.,一最鄰類(lèi):到該類(lèi)距離最小的類(lèi)。如果,則稱(chēng)類(lèi)為到類(lèi)的最鄰類(lèi)最鄰類(lèi)距離:該類(lèi)到最鄰類(lèi)之間的距離。即:撒,:樣本到第類(lèi)重心的距離,采用歐幾里得空間距離度量。鄰類(lèi):某類(lèi)的鄰類(lèi)通過(guò)鄰類(lèi)掃描算法確定。第類(lèi)鄰類(lèi)掃描遞歸算法:說(shuō)明:為已分類(lèi)的類(lèi)別數(shù)

45、為結(jié)構(gòu)數(shù)組,數(shù)據(jù)結(jié)構(gòu)定義如下:; /,某類(lèi)到類(lèi)的距離,/某類(lèi)類(lèi)別標(biāo)識(shí);.計(jì)算所有類(lèi)中心到類(lèi)的距離,并按升序排列,記為數(shù)組.從數(shù)組第一個(gè)元素開(kāi)始,如果】.則該類(lèi)為類(lèi)的領(lǐng)域。.自學(xué)習(xí)系統(tǒng)算法初始狀態(tài):知識(shí)庫(kù)為空。.經(jīng)過(guò)如下過(guò)程的學(xué)習(xí)后,系統(tǒng)已知第類(lèi)的重心,?華中科技大學(xué)碩士學(xué)位論文為已知類(lèi)別數(shù)。.對(duì)于未知事物,如果,?,。.如果.,則判定類(lèi),如果被領(lǐng)域?qū)＜艺J(rèn)可說(shuō)明分類(lèi)正確,則調(diào)整類(lèi)重心和類(lèi)半徑,轉(zhuǎn)到;如果判定被專(zhuān)家否決,則說(shuō)明知識(shí)庫(kù)中的知識(shí)有錯(cuò)誤,轉(zhuǎn)到。.如果。,則根據(jù)判定可能性計(jì)算公式:令為已知類(lèi)別中類(lèi)半徑不等于的個(gè)數(shù)。,/爿號(hào)習(xí),?眇,?,/。,計(jì)算屬于類(lèi)的可能性供領(lǐng)域?qū)＜覅⒖?并提請(qǐng)專(zhuān)家判斷

46、。.如果專(zhuān)家判斷為類(lèi)很有可能就等于則調(diào)整類(lèi)重心和類(lèi)半徑。.重心的計(jì)算可以利用原先計(jì)算好的重心結(jié)果:×【/,計(jì)算新的類(lèi)半徑&,。.進(jìn)行分類(lèi)沖突檢測(cè):如果,&,說(shuō)明存在分類(lèi)沖突,即類(lèi)與類(lèi)之間的空間存在重疊,報(bào)告錯(cuò)誤并且返回,重額判斷。如果始終找不到合適的分類(lèi),則判斷該點(diǎn)為噪聲樣本。調(diào)整后的類(lèi)半徑和重心不存入知識(shí)庫(kù)。否則調(diào)整重心和類(lèi)半徑。更新知識(shí)庫(kù)中類(lèi)半徑和重心位置,轉(zhuǎn)到。.如果專(zhuān)家判斷為新類(lèi),則插入新類(lèi)到知識(shí)庫(kù),并設(shè)置類(lèi)半徑為,類(lèi)重心即為。轉(zhuǎn)到。.如果專(zhuān)家也未知,則采用中的可能性判據(jù)作為近鄰法的判別函數(shù)對(duì)進(jìn)行分類(lèi),但不將結(jié)果更新數(shù)據(jù)庫(kù)。轉(zhuǎn)到。.可以這樣認(rèn)為:領(lǐng)域?qū)＜业奶峁?/p>

47、的知識(shí)只是偶發(fā)性錯(cuò)誤或者局部錯(cuò)誤。在這種假設(shè)下,只需對(duì)犯錯(cuò)誤的類(lèi)的以及相應(yīng)的鄰類(lèi)用均值算法進(jìn)行聚類(lèi)分析就可以完善知識(shí)庫(kù)。該算法能夠保證誤差平方和最小。均值算法的關(guān)鍵在于初始值的選擇。與文獻(xiàn)】中的平均算法不同的是,在本算法中可以利用原來(lái)的分類(lèi)知識(shí)來(lái)對(duì)值較為準(zhǔn)確的選擇。值應(yīng)該在相鄰類(lèi)數(shù)±范圍之內(nèi)。選取值由專(zhuān)華中科技大學(xué)碩士學(xué)位論文:;家通過(guò)自己的專(zhuān)業(yè)知識(shí)分析后確定,也可以由系統(tǒng)自動(dòng)在±范圍之內(nèi)計(jì)算,函數(shù)拐點(diǎn)即為最佳值,也可由專(zhuān)家根據(jù)聚類(lèi)分析結(jié)果來(lái)判定適合的值。對(duì)樣本集作平均聚類(lèi)分析,并將結(jié)果提交專(zhuān)家判定,如果不滿意則重新選定值,再次進(jìn)行聚類(lèi)分析,知道找到滿意的結(jié)果為止。如果始終

48、不能夠找到滿意的劃分,則判斷該點(diǎn)為噪聲樣本。算法流程圖如圖.。.算法性能分析算法時(shí)間復(fù)雜度;知識(shí)庫(kù)知識(shí)分類(lèi)時(shí),近鄰分類(lèi)時(shí),聚類(lèi)糾錯(cuò)時(shí),其中為已知類(lèi)別數(shù)目,為錯(cuò)誤分類(lèi)類(lèi)以及鄰類(lèi)數(shù)目,為類(lèi)以及鄰類(lèi)中樣本數(shù)量。算法在學(xué)習(xí)初期犯錯(cuò)誤和無(wú)法確定分類(lèi)的幾率較大,但是在進(jìn)行大量學(xué)習(xí)后,可以達(dá)到較高的分類(lèi)準(zhǔn)確率。在計(jì)算鄰類(lèi)時(shí),如果樣本分布比較緊密,也就是類(lèi)之間的空隙很小,則鄰類(lèi)計(jì)算算法每次都會(huì)擴(kuò)散成全集,則對(duì)鄰類(lèi)進(jìn)行聚類(lèi)分析也就是對(duì)全集進(jìn)行聚類(lèi)分析,算法性能與其它基于均值的聚類(lèi)分析系統(tǒng)相同,但是該算法對(duì)于分布比較稀疏的樣本聚類(lèi)分析性能提升明顯,可以大大減少每次分析的工作量。該算法優(yōu)點(diǎn)在于無(wú)需大量的樣本集來(lái)作為

49、訓(xùn)練集,能跟隨專(zhuān)家的正常工作來(lái)不斷學(xué)習(xí),并且能夠邊學(xué)習(xí)邊工作,知識(shí)結(jié)構(gòu)是動(dòng)態(tài)的,具有很強(qiáng)的進(jìn)化能力,可以適應(yīng)未來(lái)不斷進(jìn)步的科學(xué)技術(shù)發(fā)展,該算法同其它大多數(shù)分類(lèi)聚類(lèi)算法一樣,是基于歐幾里得距離的,但實(shí)際應(yīng)用中有些問(wèn)題不是基于距離的,但人們可以通過(guò)提取特征向量和一些轉(zhuǎn)化手段來(lái)將這些問(wèn)題轉(zhuǎn)化為基于距離的,并且事先通過(guò)預(yù)處理使樣本“凈化”。該算法對(duì)于樣本分布為球形或者凸形的數(shù)值樣本能夠很好的分類(lèi),不適用于凹形或者符號(hào)形數(shù)據(jù)。華中科技大學(xué)碩士學(xué)位論文未知事物】計(jì)算,均,固判定為鞠類(lèi)計(jì)茸可能性判據(jù)卜一一,?.,.一蠢蘆對(duì)犯鍺誤的崩擬:受鄰類(lèi)調(diào)整洪重心和類(lèi)半徑進(jìn)行均值蘩類(lèi)分析卜煳嬲冬弄琴辮下類(lèi)半徑調(diào)整類(lèi)羹緗

50、類(lèi)半徑廣?張緋圖.自學(xué)習(xí)系統(tǒng)模型算法流程圖華中科技大學(xué)碩士學(xué)位論文.本章小結(jié)通過(guò)將近鄰法和均值法集成起來(lái),并采用與領(lǐng)域?qū)＜医换サ姆绞?可將建立知識(shí)庫(kù)融于專(zhuān)家的正常工作中。知識(shí)庫(kù)系統(tǒng)自動(dòng)根據(jù)所學(xué)的知識(shí)對(duì)未知事物分類(lèi),如果系統(tǒng)不能分類(lèi)或者不能很有把握的分類(lèi),則繼續(xù)向領(lǐng)域?qū)＜覍W(xué)習(xí),并將所學(xué)知識(shí)存入知識(shí)庫(kù)。如果領(lǐng)域?qū)＜姨崾鞠到y(tǒng)自動(dòng)分類(lèi)有誤,則說(shuō)明原有知識(shí)不正確,通過(guò)不斷的修正值,對(duì)所學(xué)樣本進(jìn)行均值分析,并將結(jié)果提請(qǐng)專(zhuān)家審核,最終選擇合適的值并更新知識(shí)庫(kù)。對(duì)于專(zhuān)家和系統(tǒng)都不能準(zhǔn)確分類(lèi)的事物,則利用近鄰法對(duì)其進(jìn)行分類(lèi),同時(shí)通過(guò)沖突檢測(cè)來(lái)剔除噪聲數(shù)據(jù)。華中科技大學(xué)碩士學(xué)位論文自學(xué)習(xí)系統(tǒng)模型的實(shí)現(xiàn)為了驗(yàn)證上述

51、自學(xué)習(xí)系統(tǒng)模型的有效性,驗(yàn)證算法是否符合當(dāng)初設(shè)計(jì)目標(biāo):自學(xué)習(xí)能力,分類(lèi)能力和糾錯(cuò)能力。系統(tǒng)設(shè)計(jì)也分為三個(gè)模塊:自學(xué)習(xí)模塊,分類(lèi)模塊和糾錯(cuò)模塊。本章將首先詳細(xì)介紹模型的總體結(jié)構(gòu)。然后討論知識(shí)庫(kù)的結(jié)構(gòu),最后討論實(shí)現(xiàn)方法以及所采用的技術(shù)。.系統(tǒng)總體結(jié)構(gòu)系統(tǒng)分為三個(gè)模塊:自學(xué)習(xí)模塊,分類(lèi)模塊,糾錯(cuò)模塊。自學(xué)習(xí)模塊包括用戶接口模塊和知識(shí)分析模塊。自學(xué)習(xí)模塊在系統(tǒng)知識(shí)庫(kù)不能夠?qū)ξ粗挛镞M(jìn)行分類(lèi)的情況下調(diào)用。分類(lèi)模塊用于對(duì)未知事物利用知識(shí)庫(kù)中知識(shí)進(jìn)行分類(lèi)。包括近鄰分類(lèi)模塊,知識(shí)庫(kù)知識(shí)分類(lèi)模塊和顯示模塊。糾錯(cuò)模塊在分類(lèi)模塊分類(lèi)結(jié)果沒(méi)有得到專(zhuān)家認(rèn)可時(shí)調(diào)用和沖突檢測(cè)模塊發(fā)現(xiàn)分類(lèi)沖突后,用于檢查知識(shí)庫(kù)的錯(cuò)誤。糾錯(cuò)模塊包括均值分析模塊和顯示模塊。知識(shí)修正模塊包括沖突檢測(cè)模塊和知識(shí)保存模塊