數(shù)據(jù)掘進與知識發(fā)現(xiàn)

數(shù)據(jù)掘進與知識發(fā)現(xiàn)

在網(wǎng)絡(luò)領(lǐng)域，廣告界和媒體面臨著信息過載的問題。人們一方面被信息淹沒,一方面卻饑餓于知識和有用信息。大量的信息不能進行及時有效的開發(fā)利用。面對信息爆炸,如何才能不被信息的汪洋大海所淹沒,從中及時發(fā)現(xiàn)知識、有用的信息、新聞、或新聞線索,使信息真正成為資源,正在成為各國研究的熱點。從技術(shù)上看,目前主要有種解決方案。一、知識發(fā)現(xiàn)與數(shù)據(jù)從何而來在某種意義上說目前我們不是缺少信息,而是被信息淹沒了。在因特網(wǎng)上有無窮的信息和數(shù)據(jù)。目前的數(shù)據(jù)庫系統(tǒng)和搜索引擎可以高效地實現(xiàn)數(shù)據(jù)的統(tǒng)計、查詢等功能,但是無法發(fā)現(xiàn)數(shù)據(jù)中存在的關(guān)系和規(guī)則,無法根據(jù)現(xiàn)有的數(shù)據(jù)預(yù)測未來的發(fā)展趨勢,缺乏挖掘數(shù)據(jù)背后隱藏的有用的信息、知識、新聞、或新聞線索的手段,導致了“數(shù)據(jù)爆炸但知識貧乏”的現(xiàn)象。人們需要有新的、更有效的手段對各種大量數(shù)據(jù)進行挖掘以發(fā)揮其潛能,數(shù)據(jù)挖掘正是在這樣的應(yīng)用需求環(huán)境下產(chǎn)生并迅速發(fā)展起來的,它的出現(xiàn)為自動和智能地把海量的數(shù)據(jù)轉(zhuǎn)化為知識、有用的信息、新聞、或新聞線索提供了手段。數(shù)據(jù)采掘與知識發(fā)現(xiàn)(KDD)一詞首次出現(xiàn)在1989年8月舉行的第11屆國際聯(lián)合人工智能學術(shù)會議上。知識發(fā)現(xiàn)(KnowledgeDiscovery)研究的主要目標是采用有效的算法,從大量現(xiàn)有或歷史數(shù)據(jù)集合中發(fā)現(xiàn)并找出最初未知、但最終可理解的有用知識,并用簡明的方式顯示出來。數(shù)據(jù)采掘(DataMining)就是從大量的、不完全的、有噪聲的、模糊的、隨機的原始數(shù)據(jù)中,提取隱含在其中的、先前未知的、但又是潛在有用的信息和知識的過程。數(shù)據(jù)采掘在一些文獻中有些相近似的名稱,如數(shù)據(jù)開采、發(fā)現(xiàn)知識(KDD)、知識采掘、知識抽取、知識考察、數(shù)據(jù)融合(DataFusion)等。知識發(fā)現(xiàn)是一個從數(shù)據(jù)中提取出有效的、新穎的、潛在有用的并能最終被人理解的知識、有用的信息、新聞、或新聞線索的過程。知識發(fā)現(xiàn)是從數(shù)據(jù)庫和中發(fā)現(xiàn)知識的整個過程,而數(shù)據(jù)挖掘是整個過程中的一個步驟。因為數(shù)據(jù)挖掘是知識發(fā)現(xiàn)整個過程中最重要的步驟,所以我們通常將知識發(fā)現(xiàn)和數(shù)據(jù)挖掘作為同義詞使用而不加區(qū)分。數(shù)據(jù)采掘的工具目前,國外有許多研究機構(gòu)、公司和學術(shù)組織從事數(shù)據(jù)采掘工具的研制和開發(fā)。這些工具主要采用基于人工智能的技術(shù),包括決策樹、規(guī)則歸納、神經(jīng)元網(wǎng)絡(luò)、可視化、模糊建模、簇聚等,另外也采用了傳統(tǒng)的統(tǒng)計方法。知識發(fā)現(xiàn)技術(shù)可以幫助我們從網(wǎng)上大量的原始數(shù)據(jù)和信息海洋中,挖掘出能反映其中規(guī)律的知識提供新聞工作者和網(wǎng)民。在知識發(fā)現(xiàn)的基礎(chǔ)上可以構(gòu)成虛擬知識共享系統(tǒng)。虛擬團體是一個分布式的組織,它的成員是一組在網(wǎng)絡(luò)上協(xié)同工作的同行,他們依靠網(wǎng)絡(luò)的支持相互合作、共享知識,可以快速有效地解決問題。新聞工作者之間、網(wǎng)民之間,新聞工作者與網(wǎng)民之間可以構(gòu)成虛擬團體,進行交互式信息傳播,進行新聞、信息、知識的交流與共享。虛擬知識共享系統(tǒng)包括:(1)先進的知識獲取技術(shù)。幫助成員搜索、處理知識,從中提煉專家經(jīng)驗。(2)支持多用戶的Web開發(fā),以使成員定制自己的Web站點。(3)可以自適應(yīng)團體需求的自組織式的新聞、信息、知識存儲。二、提高檢索精度和準確性HTML是目前因特網(wǎng)上廣泛應(yīng)用的標記語言。其優(yōu)點是非常簡單;固定的樣式;簡易且標準的連接;支持表格;編程簡單。但是也存在難以擴展;交互性差;語義性差;單向的超鏈接:鏈路丟失后不能自動糾正;動態(tài)內(nèi)容需要下載的部件太多;致使搜索引擎返回的結(jié)果過多;缺乏對雙字節(jié)或多國文字的支持等不足。尤其是目前基于HTML的搜索引擎存在著返回結(jié)果太多,檢索精度差的弊端。而XML可以有效地克服這些不足。XML句法可標注出文檔的結(jié)構(gòu)和目的,這樣就可縮小檢索范圍,提高提高檢索精度。例如,用戶想購買二手車,就可將查詢限制為用于描述“汽車銷售”的標識中。XM能幫助人們辨別模糊詞義。自然語言中的詞經(jīng)常多義、多指,網(wǎng)絡(luò)信息檢索系統(tǒng)不能分辨哪一種意思是查詢中的,哪一種是文檔中的。XML有助于解決詞義模糊問題,提高檢索的準確性。如,用戶使用“brown”作檢索詞,他有可能想查找由DonaldBrown所寫的論文,由BrownUniversity出版的論文,或有關(guān)brownbear的論文。如果用戶明確想查詢<author>Brown</author>,<university>Brown</university>,還是<subject>brown</subject>,就會提高檢索準確性。XML使得能用結(jié)構(gòu)相鄰關(guān)系來替代物理相鄰關(guān)系進行檢索結(jié)果相關(guān)性排序。XML可允許利用非文本數(shù)據(jù),如數(shù)值數(shù)據(jù)、地理位置、溫度值等進行檢索。三、互聯(lián)網(wǎng)搜索引擎系統(tǒng)的研究現(xiàn)狀目前,計算機信息檢索功能已經(jīng)從基本的布爾檢索、截詞檢索、鄰近檢索、短語檢索、字段檢索發(fā)展為高級的加權(quán)檢索、自然語言檢索、相關(guān)信息反饋檢索、模糊檢索和概念檢索。網(wǎng)絡(luò)信息檢索核心工具是搜索引擎。搜索引擎的目的是幫助新聞工作者和受眾尋找信息資源。在因特網(wǎng)環(huán)境下,其典型實現(xiàn)是基于關(guān)鍵詞匹配的信息檢索機制。搜索引擎主要由四部分組成:搜索器,索引器,檢索器,用戶接口。搜索器的功能是在互聯(lián)網(wǎng)中發(fā)現(xiàn)和搜索信息。它要盡可能快、盡可能多地搜集各種類型的信息,同時還要定期更新已有信息,避免死連接和無效連接。索引器的功能是理解搜索器所搜索的信息,從中抽取出索引項,用于表示文檔以及生成文檔庫的索引表,建立起自己的物理索引數(shù)據(jù)庫。一個搜索引擎的有效性在很大程度取決于索引的質(zhì)量。檢索器的功能是根據(jù)用戶的查詢在索引庫中快速檢出文檔,進行文檔與查詢的相關(guān)度評價,對將要輸出的結(jié)果進行排序,并實現(xiàn)某種用戶相關(guān)性反饋機制。用戶接口的作用是輸入用戶查詢、顯示查詢結(jié)果,提供用戶相關(guān)性反饋機制。搜索引擎的工作原理搜索引擎起源于傳統(tǒng)的信息全文檢索理論,即計算機程序通過掃描每一篇文章中的每一個詞,建立以詞為單位的倒排文件,檢索程序根據(jù)檢索詞在每一篇文章中出現(xiàn)的頻率和每一個檢索詞在一篇文章中出現(xiàn)的概率,對包含這些檢索詞的文章進行排序,最后輸出排序的結(jié)果。互聯(lián)網(wǎng)搜索引擎除了需要有全文檢索系統(tǒng)之外,還要有所謂的“蜘蛛”(SPIDER)系統(tǒng),即能夠從互聯(lián)網(wǎng)上自動收集網(wǎng)頁的數(shù)據(jù)搜集系統(tǒng)。蜘蛛將搜集所得的網(wǎng)頁內(nèi)容交給索引和檢索系統(tǒng)處理,就形成了我們常見的互聯(lián)網(wǎng)搜索引擎系統(tǒng)。當然,一個完整的搜索引擎系統(tǒng)還需要有一個搜索結(jié)果的頁面生成系統(tǒng),也就是要把檢索結(jié)果高效地組裝成互聯(lián)網(wǎng)頁面。當系統(tǒng)的訪問量(PAGEVIEW)變大時,頁面生成系統(tǒng)往往會成為整個系統(tǒng)的瓶頸。與傳統(tǒng)的信息檢索理論研究不同,搜索引擎的用戶看重的是系統(tǒng)的穩(wěn)定性、速度、易用性和返回的信息量及相關(guān)度。據(jù)專家評測,目前主要的搜索引擎返回的相關(guān)結(jié)果的比率不足45%,其原因是現(xiàn)有的Internet搜索引擎擁有極少量的知識,并且是面向最一般的用戶模型。不劃分知識領(lǐng)域,不對用戶建立任何描述以及使用關(guān)鍵詞匹配的交互方式,都限制了搜索引擎的使用效率。由此提出了智能搜索引擎的概念。智能搜索引擎應(yīng)具有的特點新一代中文智能搜索引擎是一個基于漢語語法、詞的上下文和語義等中文信息處理技術(shù),自動收集、識別Internet網(wǎng)上的WWW和News信息,智能化地提取摘要和關(guān)鍵詞、建立索引、提供查詢和對不良信息的監(jiān)控、報警功能和網(wǎng)絡(luò)信息自動發(fā)現(xiàn)和查詢系統(tǒng)。它以加權(quán)的啟發(fā)式搜索算法控制信息資源的搜集,采用了一種加權(quán)的啟發(fā)式搜索算法,系統(tǒng)根據(jù)用戶配置的領(lǐng)域?qū)蛟~和資源服務(wù)器所在地域信息,以啟發(fā)式函數(shù)計算每個URL的權(quán)值,并選擇權(quán)值高的URL優(yōu)先訪問。智能搜索引擎可以根據(jù)互聯(lián)網(wǎng)本身的鏈接結(jié)構(gòu)對相關(guān)網(wǎng)站用自動方法進行分類,再加上結(jié)構(gòu)嚴謹,萃取精華的開放式信息目錄,為每一個查詢迅速提供準確的結(jié)果。智能搜索引擎可以預(yù)期用戶的需求,并可有效地抑制關(guān)鍵詞的多義性。如Eastman、Kodak都在嘗試在它們的Intranet中使用更加智能化、知識化和專業(yè)化的搜索引擎。目前比較成功的智能搜索引擎有FSA,Eloise,InFind,CompassWare和FAQFinder。InFind是一個類似于元搜索引擎的產(chǎn)品,但支持自然語言、模糊檢索,可將結(jié)果自動去重、聚類,并可返回對所有搜索引擎并發(fā)查詢的結(jié)果,其檢索結(jié)果根據(jù)分類排列。芝加哥大學人工智能實驗室開發(fā)的FAQFinder。它是一個具有問答式界面的智能搜索引擎。在獲知用戶問題后,它查詢FAQ文件以給出比較合適的回答。FAQFinder的內(nèi)核由五個互聯(lián)聯(lián)系的技術(shù)環(huán)節(jié)構(gòu)成:(1)基于統(tǒng)計方法建立FAQ文件。這是由FAQFinder中的工具Smart完成的。(2)用一個由簡單名詞和動詞短語構(gòu)成的文法樹分析用戶的查詢,以得到一個用于支持內(nèi)容匹配的描述。(3)問題識別者(QuestionRecognizer)操作文法樹以辨識問題從屬的類別。(4)使用語義網(wǎng)分析與概念匹配技術(shù),找出與用戶查詢最近似的問題。(5)FAQFinder將得到的匹配返回給用戶。如果沒有近似的匹配,則將使用一個啟發(fā)式的策略。智能搜索引擎還可以采用協(xié)同式檢索方法。該方法一般用于一個特定的用戶(如一個或一組新聞工作者、一個新聞媒體、一個或一組受眾)。協(xié)同式方法有時又稱為公眾學習方法,它將其他用戶的反應(yīng)反饋給當前的用戶。系統(tǒng)不去計算分類項目的相似程度,而是計算用戶之間的相似程度。協(xié)同式方法不分析分類項目的內(nèi)容。協(xié)同式方法一般用于非文本化的數(shù)據(jù),如電影、音樂等,但是也有的系統(tǒng)將其用于文本數(shù)據(jù)的挖掘,如新聞過濾等。已有一些系統(tǒng)用于電子郵件處理、會議時序安排、電子新聞過濾和娛樂節(jié)目推薦。與智能搜索引擎技術(shù)相關(guān)的還有信息智能“推”技術(shù)和個性化檢索技術(shù)?；诰W(wǎng)民和新聞工作者訪問互聯(lián)網(wǎng)的特點,在用戶拉取信息的搜索過程中,根據(jù)其輸入的關(guān)鍵詞,通過機器學習,可以識別和預(yù)測其興趣或偏好,從而有針對性、及時地向網(wǎng)民和新聞工作者主動推送相關(guān)知識和最新信息、新聞和新聞線索。推送的形式可采用頻道式推送、郵件式推送、網(wǎng)頁式推送或?qū)Ｓ檬酵扑汀Ｄ壳耙延袠?gòu)造Web訪問模式樹(WAPtree)的算法,可從大量信息訪問日志中挖掘用戶訪問信息的模式。也可從用戶訪問文檔的超鏈接來預(yù)測用戶的訪問偏好,其知識發(fā)現(xiàn)采用關(guān)聯(lián)性法則。個性化檢索要求能夠網(wǎng)絡(luò)信息檢索系統(tǒng)能夠?qū)W習網(wǎng)民和新聞工作者的興趣、適應(yīng)其興趣的變化并提出檢索建議。一般采用分布式Agent技術(shù),例如在客戶機上運行用戶接口Agent,表示用戶個性化模式,在服務(wù)器上運行信息檢索管理Agent,相當于中介信息檢索代理服務(wù)器,實現(xiàn)與各引擎