數(shù)據(jù)挖掘重要知識(shí)點(diǎn)

1.數(shù)據(jù)、信息和知識(shí)是廣義數(shù)據(jù)表現(xiàn)的不同形式。2.主要知識(shí)模式類型有：廣義知識(shí)，關(guān)聯(lián)知識(shí)，類知識(shí)，預(yù)測(cè)型知識(shí)，特異型知識(shí)3.web挖掘研究的主要流派有：Web結(jié)構(gòu)挖掘、Web使用挖掘、Web內(nèi)容挖掘4.一般地說(shuō)，KDD是一個(gè)多步驟的處理過(guò)程，一般分為問(wèn)題定義、數(shù)據(jù)抽取、數(shù)據(jù)預(yù)處理，數(shù)據(jù)挖掘以及模式評(píng)估等基本階段。5.數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)處理過(guò)程模型有：階梯處理過(guò)程模型，螺旋處理過(guò)程模型，以用戶為中心的處理結(jié)構(gòu)模型，聯(lián)機(jī)KDD模型，支持多數(shù)據(jù)源多知識(shí)模式的KDD處理模型。6.粗略地說(shuō)，知識(shí)發(fā)現(xiàn)軟件或工具的發(fā)展經(jīng)歷了獨(dú)立的知識(shí)發(fā)現(xiàn)軟件、橫向的知識(shí)發(fā)現(xiàn)工具集和縱向的知識(shí)發(fā)現(xiàn)解決方案三個(gè)主要階段，其中后面兩種反映了目前知識(shí)發(fā)現(xiàn)軟件的兩個(gè)主要發(fā)展方向。7.決策樹(shù)分類模型的建立通常分為兩個(gè)步驟：決策樹(shù)生成，決策樹(shù)修剪。8.從使用的主要技術(shù)上看，可以把分類方法歸結(jié)為四種類型：基于距離的分類方法決策樹(shù)分類方法貝葉斯分類方法規(guī)則歸納方法9.關(guān)聯(lián)規(guī)則挖掘問(wèn)題可以劃分成兩個(gè)子問(wèn)題：發(fā)現(xiàn)頻繁項(xiàng)目集:通過(guò)用戶給定Minsupport，尋找所有頻繁項(xiàng)目集或者最大頻繁項(xiàng)目集。生成關(guān)聯(lián)規(guī)則:通過(guò)用戶給定Minconfidence，在頻繁項(xiàng)目集中，尋找關(guān)聯(lián)規(guī)則。10.數(shù)據(jù)挖掘是相關(guān)學(xué)科充分發(fā)展的基礎(chǔ)上被提出和發(fā)展的，主要的相關(guān)技術(shù)：數(shù)據(jù)庫(kù)等信息技術(shù)的發(fā)展統(tǒng)計(jì)學(xué)深入應(yīng)用人工智能技術(shù)的研究和應(yīng)用11.衡量關(guān)聯(lián)規(guī)則挖掘結(jié)果的有效性，應(yīng)該從多種綜合角度來(lái)考慮：準(zhǔn)確性：挖掘出的規(guī)則必須反映數(shù)據(jù)的實(shí)際情況。實(shí)用性：挖掘出的規(guī)則必須是簡(jiǎn)潔可用的。新穎性：挖掘出的關(guān)聯(lián)規(guī)則可以為用戶提供新的有價(jià)值信息。12.約束的常見(jiàn)類型有：?jiǎn)握{(diào)性約束;反單調(diào)性約束;可轉(zhuǎn)變的約束;簡(jiǎn)潔性約束.13.根據(jù)規(guī)則中涉及到的層次，多層次關(guān)聯(lián)規(guī)則可以分為：同層關(guān)聯(lián)規(guī)則：如果一個(gè)關(guān)聯(lián)規(guī)則對(duì)應(yīng)的項(xiàng)目是同一個(gè)粒度層次，那么它是同層關(guān)聯(lián)規(guī)則。層間關(guān)聯(lián)規(guī)則：如果在不同的粒度層次上考慮問(wèn)題，那么可能得到的是層間關(guān)聯(lián)規(guī)則。14.按照聚類分析算法的主要思路，聚類方法可以被歸納為如下幾種。劃分法：基于一定標(biāo)準(zhǔn)構(gòu)建數(shù)據(jù)的劃分。屬于該類的聚類方法有：k-means、k-modes、k-prototypes、k-medoids、PAM、CLARA、CLARANS等。層次法：對(duì)給定數(shù)據(jù)對(duì)象集合進(jìn)行層次的分解。密度法：基于數(shù)據(jù)對(duì)象的相連密度評(píng)價(jià)。網(wǎng)格法：將數(shù)據(jù)空間劃分成為有限個(gè)單元(Cell)的網(wǎng)格結(jié)構(gòu)，基于網(wǎng)格結(jié)構(gòu)進(jìn)行聚類。模型法：給每一個(gè)簇假定一個(gè)模型，然后去尋找能夠很好的滿足這個(gè)模型的數(shù)據(jù)集。15.類間距離的度量主要有：最短距離法：定義兩個(gè)類中最靠近的兩個(gè)元素間的距離為類間距離。最長(zhǎng)距離法：定義兩個(gè)類中最遠(yuǎn)的兩個(gè)元素間的距離為類間距離。中心法：定義兩類的兩個(gè)中心間的距離為類間距離。類平均法：它計(jì)算兩個(gè)類中任意兩個(gè)元素間的距離，并且綜合他們?yōu)轭愰g距離：離差平方和。16.層次聚類方法具體可分為：凝聚的層次聚類：一種自底向上的策略，首先將每個(gè)對(duì)象作為一個(gè)簇，然后合并這些原子簇為越來(lái)越大的簇，直到某個(gè)終結(jié)條件被滿足。分裂的層次聚類：采用自頂向下的策略，它首先將所有對(duì)象置于一個(gè)簇中，然后逐漸細(xì)分為越來(lái)越小的簇，直到達(dá)到了某個(gè)終結(jié)條件。層次凝聚的代表是AGNES算法。層次分裂的代表是DIANA算法。17.文本挖掘(TD)的方式和目標(biāo)是多種多樣的，基本層次有：關(guān)鍵詞檢索：最簡(jiǎn)單的方式，它和傳統(tǒng)的搜索技術(shù)類似。挖掘項(xiàng)目關(guān)聯(lián)：聚焦在頁(yè)面的信息(包括關(guān)鍵詞)之間的關(guān)聯(lián)信息挖掘上。信息分類和聚類：利用數(shù)據(jù)挖掘的分類和聚類技術(shù)實(shí)現(xiàn)頁(yè)面的分類，將頁(yè)面在一個(gè)更到層次上進(jìn)行抽象和整理。自然語(yǔ)言處理：揭示自然語(yǔ)言處理技術(shù)中的語(yǔ)義，實(shí)現(xiàn)Web內(nèi)容的更精確處理。18.在web訪問(wèn)挖掘中常用的技術(shù)：路徑分析：路徑分析最常用的應(yīng)用是用于判定在一個(gè)Web站點(diǎn)中最頻繁訪問(wèn)的路徑，這樣的知識(shí)對(duì)于一個(gè)電子商務(wù)網(wǎng)站或者信息安全評(píng)估是非常重要的。關(guān)聯(lián)規(guī)則發(fā)現(xiàn)：使用關(guān)聯(lián)規(guī)則發(fā)現(xiàn)方法可以從Web訪問(wèn)事務(wù)集中，找到一般性的關(guān)聯(lián)知識(shí)。序列模式發(fā)現(xiàn)：在時(shí)間戳有序的事務(wù)集中，序列模式的發(fā)現(xiàn)就是指找到那些如“一些項(xiàng)跟隨另一個(gè)項(xiàng)”這樣的內(nèi)部事務(wù)模式。分類：發(fā)現(xiàn)分類規(guī)則可以給出識(shí)別一個(gè)特殊群體的公共屬性的描述。這種描述可以用于分類新的項(xiàng)。聚類：可以從WebUsage數(shù)據(jù)中聚集出具有相似特性的那些客戶。在Web事務(wù)日志中，聚類顧客信息或數(shù)據(jù)項(xiàng)，就能夠便于開(kāi)發(fā)和執(zhí)行未來(lái)的市場(chǎng)戰(zhàn)略。19.根據(jù)功能和側(cè)重點(diǎn)不同，數(shù)據(jù)挖掘語(yǔ)言可以分為三種類型：數(shù)據(jù)挖掘查詢語(yǔ)言：希望以一種像SQL這樣的數(shù)據(jù)庫(kù)查詢語(yǔ)言完成數(shù)據(jù)挖掘的任務(wù)。數(shù)據(jù)挖掘建模語(yǔ)言：對(duì)數(shù)據(jù)挖掘模型進(jìn)行描述和定義的語(yǔ)言，設(shè)計(jì)一種標(biāo)準(zhǔn)的數(shù)據(jù)挖掘建模語(yǔ)言，使得數(shù)據(jù)挖掘系統(tǒng)在模型定義和描述方面有標(biāo)準(zhǔn)可以遵循。通用數(shù)據(jù)挖掘語(yǔ)言：通用數(shù)據(jù)挖掘語(yǔ)言合并了上述兩種語(yǔ)言的特點(diǎn)，既具有定義模型的功能，又能作為查詢語(yǔ)言與數(shù)據(jù)挖掘系統(tǒng)通信，進(jìn)行交互式挖掘。通用數(shù)據(jù)挖掘語(yǔ)言標(biāo)準(zhǔn)化是目前解決數(shù)據(jù)挖掘行業(yè)出現(xiàn)問(wèn)題的頗具吸引力的研究方向。20.規(guī)則歸納有四種策略：減法、加法，先加后減、先減后加策略。減法策略：以具體例子為出發(fā)點(diǎn)，對(duì)例子進(jìn)行推廣或泛化，推廣即減除條件(屬性值)或減除合取項(xiàng)(為了方便，我們不考慮增加析取項(xiàng)的推廣)，使推廣后的例子或規(guī)則不覆蓋任何反例。加法策略：起始假設(shè)規(guī)則的條件部分為空(永真規(guī)則)，如果該規(guī)則覆蓋了反例，則不停地向規(guī)則增加條件或合取項(xiàng)，直到該規(guī)則不再覆蓋反例。先加后減策略：由于屬性間存在相關(guān)性，因此可能某個(gè)條件的加入會(huì)導(dǎo)致前面加入的條件沒(méi)什么作用，因此需要減除前面的條件。先減后加策略：道理同先加后減，也是為了處理屬性間的相關(guān)性。21.數(shù)據(jù)挖掘定義有廣義和狹義之分。從廣義的觀點(diǎn)，數(shù)據(jù)挖掘是從大型數(shù)據(jù)集(可能是不完全的、有噪聲的、不確定性的、各種存儲(chǔ)形式的)中，挖掘隱含在其中的、人們事先不知道的、對(duì)決策有用的知識(shí)的過(guò)程。從這種狹義的觀點(diǎn)上，我們可以定義數(shù)據(jù)挖掘是從特定形式的數(shù)據(jù)集中提煉知識(shí)的過(guò)程。22.web挖掘的含義：針對(duì)包括Web頁(yè)面內(nèi)容、頁(yè)面之間的結(jié)構(gòu)、用戶訪問(wèn)信息、電子商務(wù)信息等在內(nèi)的各種Web數(shù)據(jù)，應(yīng)用數(shù)據(jù)挖掘方法以幫助人們從因特網(wǎng)中提取知識(shí)，為訪問(wèn)者、站點(diǎn)經(jīng)營(yíng)者以及包括電子商務(wù)在內(nèi)的基于因特網(wǎng)的商務(wù)活動(dòng)提供決策支持。23.K-近鄰分類算法(KNearestNeighbors，簡(jiǎn)稱KNN)的定義：通過(guò)計(jì)算每個(gè)訓(xùn)練數(shù)據(jù)到待分類元組的距離，取和待分類元組距離最近的K個(gè)訓(xùn)練數(shù)據(jù)，K個(gè)數(shù)據(jù)中哪個(gè)類別的訓(xùn)練數(shù)據(jù)占多數(shù)，則待分類元組就屬于哪個(gè)類別。24.K-means算法的性能分析：主要優(yōu)點(diǎn)：是解決聚類問(wèn)題的一種經(jīng)典算法，簡(jiǎn)單、快速；對(duì)處理大數(shù)據(jù)集，該算法是相對(duì)可伸縮和高效率的；當(dāng)結(jié)果簇是密集的，它的效果較好。主要缺點(diǎn)：在簇的平均值被定義的情況下才能使用，可能不適用于某些應(yīng)用；必須事先給出k(要生成的簇的數(shù)目)，而且對(duì)初值敏感，對(duì)于不同的初始值，可能會(huì)導(dǎo)致不同結(jié)果；不適合于發(fā)現(xiàn)非凸面形狀的簇或者大小差別很大的簇。而且，它對(duì)于“躁聲”和孤立點(diǎn)數(shù)據(jù)是敏感的。25.ID3算法的性能分析：ID3算法的假設(shè)空間包含所有的決策樹(shù)，它是關(guān)于現(xiàn)有屬性的有限離散值函數(shù)的一個(gè)完整空間。所以ID3算法避免了搜索不完整假設(shè)空間的一個(gè)主要風(fēng)險(xiǎn)：假設(shè)空間可能不包含目標(biāo)函數(shù)。ID3算法在搜索的每一步都使用當(dāng)前的所有訓(xùn)練樣例，大大降低了對(duì)個(gè)別訓(xùn)練樣例錯(cuò)誤的敏感性。因此，通過(guò)修改終止準(zhǔn)則，可以容易地?cái)U(kuò)展到處理含有噪聲的訓(xùn)練數(shù)據(jù)。ID3算法在搜索過(guò)程中不進(jìn)行回溯。所以，它易受無(wú)回溯的爬山搜索中的常見(jiàn)風(fēng)險(xiǎn)影響：收斂到局部最優(yōu)而不是全局最優(yōu)。26.Apriori算法有兩個(gè)致命的性能瓶頸:多次掃描事務(wù)數(shù)據(jù)庫(kù)，需要很大的I/O負(fù)載對(duì)每次k循環(huán)，侯選集Ck中的每個(gè)元素都必須通過(guò)掃描數(shù)據(jù)庫(kù)一次來(lái)驗(yàn)證其是否加入Lk。假如有一個(gè)頻繁大項(xiàng)目集包含10個(gè)項(xiàng)的話，那么就至少需要掃描事務(wù)數(shù)據(jù)庫(kù)10遍?？赡墚a(chǎn)生龐大的侯選集由Lk-1產(chǎn)生k-侯選集Ck是指數(shù)增長(zhǎng)的，例如104個(gè)1-頻繁項(xiàng)目集就有可能產(chǎn)生接近107個(gè)元素的2-侯選集。如此大的侯選集對(duì)時(shí)間和主存空間都是一種挑戰(zhàn)。a基于數(shù)據(jù)分割的方法：基本原理是“在一個(gè)劃分中的支持度小于最小支持度的k-項(xiàng)集不可能是全局頻繁的”。27.改善Apriori算法適應(yīng)性和效率的主要的改進(jìn)方法有：基于數(shù)據(jù)分割(Partition)的方法：基本原理是“在一個(gè)劃分中的支持度小于最小支持度的k-項(xiàng)集不可能是全局頻繁的”。基于散列的方法：基本原理是“在一個(gè)hash桶內(nèi)支持度小于最小支持度的k-項(xiàng)集不可能是全局頻繁的”。基于采樣的方法：基本原理是“通過(guò)采樣技術(shù)，評(píng)估被采樣的子集中，并依次來(lái)估計(jì)k-項(xiàng)集的全局頻度”。其他：如，動(dòng)態(tài)刪除沒(méi)有用的事務(wù)：“不包含任何Lk的事務(wù)對(duì)未來(lái)的掃描結(jié)果不會(huì)產(chǎn)生影響，因而可以刪除”。28.面向Web的數(shù)據(jù)挖掘比面向數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)挖掘要復(fù)雜得多：異構(gòu)數(shù)據(jù)源環(huán)境：Web網(wǎng)站上的信息是異構(gòu):每個(gè)站點(diǎn)的信息和組織都不一樣;存在大量的無(wú)結(jié)構(gòu)的文本信息、復(fù)雜的多媒體信息;站點(diǎn)使用和安全性、私密性要求各異等等。數(shù)據(jù)的是復(fù)雜性：有些是無(wú)結(jié)構(gòu)的(如Web頁(yè))，通常都是用長(zhǎng)的句子或短語(yǔ)來(lái)表達(dá)文檔類信息;有些可能是半結(jié)構(gòu)的(如Email，HTML頁(yè))。當(dāng)然有些具有很好的結(jié)構(gòu)(如電子表格)。揭開(kāi)這些復(fù)合對(duì)象蘊(yùn)涵的一般性描述特征成為數(shù)據(jù)挖掘的不可推卸的責(zé)任。動(dòng)態(tài)變化的應(yīng)用環(huán)境：Web的信息是頻繁變化的，像新聞、股票等信息是實(shí)時(shí)更新的。這種高變化也體現(xiàn)在頁(yè)面的動(dòng)態(tài)鏈接和隨機(jī)存取上。Web上的用戶是難以預(yù)測(cè)的。Web上的數(shù)據(jù)環(huán)境是高噪音的。29.簡(jiǎn)述知識(shí)發(fā)現(xiàn)項(xiàng)目的過(guò)程化管理I-MIN過(guò)程模型。MIN過(guò)程模型把KDD過(guò)程分成IM1、IM2、…、IM6等步驟處理，在每個(gè)步驟里，集中討論幾個(gè)問(wèn)題，并按一定的質(zhì)量標(biāo)準(zhǔn)來(lái)控制項(xiàng)目的實(shí)施。IM1任務(wù)與目的：它是KDD項(xiàng)目的計(jì)劃階段，確定企業(yè)的挖掘目標(biāo)，選擇知識(shí)發(fā)現(xiàn)模式，編譯知識(shí)發(fā)現(xiàn)模式得到的元數(shù)據(jù);其目的是將企業(yè)的挖掘目標(biāo)嵌入到對(duì)應(yīng)的知識(shí)模式中。IM2任務(wù)與目的：它是KDD的預(yù)處理階段，可以用IM2a、IM2b、IM2c等分別對(duì)應(yīng)于數(shù)據(jù)清洗、數(shù)據(jù)選擇和數(shù)據(jù)轉(zhuǎn)換等階段。其目的是生成高質(zhì)量的目標(biāo)數(shù)據(jù)。IM3任務(wù)與目的：它是KDD的挖掘準(zhǔn)備階段，數(shù)據(jù)挖掘工程師進(jìn)行挖掘?qū)嶒?yàn)，反復(fù)測(cè)試和驗(yàn)證模型的有效性。其目的是通過(guò)實(shí)驗(yàn)和訓(xùn)練得到濃縮知識(shí)(KnowledgeConcentrate)，為最終用戶提供可使用的模型。IM4任務(wù)與目的：它是KDD的數(shù)據(jù)挖掘階段，用戶通過(guò)指定數(shù)據(jù)挖掘算法得到對(duì)應(yīng)的知識(shí)。IM5任務(wù)與目的：它是KDD的知識(shí)表示階段，按指定要求形成規(guī)格化的知識(shí)。IM6任務(wù)與目的：它是KDD的知識(shí)解釋與使用階段，其目的是根據(jù)用戶要求直觀地輸出知識(shí)或集成到企業(yè)的知識(shí)庫(kù)中。30.改善Apriori算法適應(yīng)