數(shù)據(jù)挖掘算法介紹

數(shù)據(jù)挖掘算法介紹第1頁，課件共30頁，創(chuàng)作于2023年2月數(shù)據(jù)挖掘數(shù)據(jù)挖掘是從大量數(shù)據(jù)中提取出有效的、新穎的、有潛在作用的、可信的、并能最終被人理解的模式(pattern)的非平凡的處理過程。

KDDDM第2頁，課件共30頁，創(chuàng)作于2023年2月KDDKDD:knowledgediscoveryindatabase數(shù)據(jù)建模驗證應(yīng)用第3頁，課件共30頁，創(chuàng)作于2023年2月DMDM:dataming——KDD的一個階段KDD與DM等同第4頁，課件共30頁，創(chuàng)作于2023年2月DMislikesettinguparestaurantkitchen...StartingarestaurantkitchenDataMiningFood/InfoCooks/TeamKitchen/DWH第5頁，課件共30頁，創(chuàng)作于2023年2月數(shù)據(jù)挖掘與其他學(xué)科的關(guān)系DataMiningDatabaseTechnologyStatisticsOtherDisciplinesInformationScienceMachineLearning(AI)Visualization第6頁，課件共30頁，創(chuàng)作于2023年2月數(shù)據(jù)挖掘與OLAPOLAP（on-lineanalyticalprocessing）:只能限制于少量的維度和數(shù)據(jù)類型用戶控制的流程假設(shè)——驗證——結(jié)論DM：沒有明確假設(shè)的前提下去挖掘信息、發(fā)現(xiàn)知識——具有未知、有效、可實(shí)用三個特征能自動的發(fā)現(xiàn)隱藏在數(shù)據(jù)中的規(guī)律可以發(fā)現(xiàn)比OLAP更復(fù)雜而細(xì)致的信息未知——?dú)w納——結(jié)論聯(lián)系：OLAP——DMOLAM第7頁，課件共30頁，創(chuàng)作于2023年2月數(shù)據(jù)挖掘與統(tǒng)計學(xué)數(shù)據(jù)挖掘：數(shù)據(jù)挖掘利用了統(tǒng)計、人工智能、數(shù)據(jù)庫等技術(shù)，把這些高深復(fù)雜的技術(shù)封裝起來，使人們不用自己掌握這些技術(shù)也能完成同樣的功能，并且更專注于自己所要解決的問題；不僅僅是統(tǒng)計分析；統(tǒng)計分析：統(tǒng)計分析技術(shù)都基于完善的數(shù)學(xué)理論和高超的技巧，預(yù)測的準(zhǔn)確度還是令人滿意的，但對使用者的要求很高

聯(lián)系統(tǒng)計分析方法學(xué)的延伸和擴(kuò)展

很多的挖掘算法來源于統(tǒng)計學(xué)第8頁，課件共30頁，創(chuàng)作于2023年2月前景預(yù)言：著名的咨詢公司GartnerGroup在（2000年）一次高級技術(shù)調(diào)查將數(shù)據(jù)挖掘和人工智能列為“未來三到五年內(nèi)將對工業(yè)產(chǎn)生深遠(yuǎn)影響的五大關(guān)鍵技術(shù)”之首，并且還將并行處理體系和數(shù)據(jù)挖掘列為未來五年內(nèi)投資焦點(diǎn)的十大新興技術(shù)前兩位國外現(xiàn)狀：成熟、產(chǎn)品：SAS、CLEMENTINE、UNICA、各大數(shù)據(jù)庫國內(nèi)現(xiàn)狀：起步產(chǎn)品：大部分是實(shí)驗室產(chǎn)品第9頁，課件共30頁，創(chuàng)作于2023年2月數(shù)據(jù)挖掘分類挖掘?qū)ο蠡跀?shù)據(jù)庫的挖掘基于web的挖掘基于文本的挖掘其他：音頻、視頻等多媒體數(shù)據(jù)庫第10頁，課件共30頁，創(chuàng)作于2023年2月數(shù)據(jù)挖掘分類應(yīng)用響應(yīng)模型交叉銷售價值評估客戶分群第11頁，課件共30頁，創(chuàng)作于2023年2月數(shù)據(jù)挖掘分類挖掘模式預(yù)測型(Predictive)描述型(Descriptive)實(shí)際作用可分為以下幾種模式：分類：對沒有分類的數(shù)據(jù)進(jìn)行分類；預(yù)測：用歷史來預(yù)測未來；關(guān)聯(lián)分析：關(guān)聯(lián)規(guī)則；聚類：物以類聚；序列模式：在多個數(shù)據(jù)序列中發(fā)現(xiàn)共同的行為模式;描述和可視化：數(shù)據(jù)挖掘的結(jié)果的表示形式;偏差分析：從數(shù)據(jù)分析中發(fā)現(xiàn)異常情況。第12頁，課件共30頁，創(chuàng)作于2023年2月數(shù)據(jù)挖掘分類我的理解－挖掘的算法分為三個層次：模式：比如分類、聚類－》模型：決策樹、神經(jīng)網(wǎng)絡(luò)－》算法：ID3、CHAID、BP舉例：分類－決策樹－ID3、CHAID等；聚類－聚類分析－k-means、EM等。第13頁，課件共30頁，創(chuàng)作于2023年2月數(shù)據(jù)挖掘分類挖掘模型決策樹(decisiontree)關(guān)聯(lián)規(guī)則(associationrules)聚類(clustering)神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetworks，簡記作ANN)粗糙集(roughset)概念格(conceptlattice)遺傳算法(geneticalgorithms)序列模式(sequencepattern)貝葉斯(Bayes)支持向量機(jī)(supportvectormachine，簡記作SVM)模糊集(fuzzyset)基于案例的推理(case-basedreasoning，簡記作CBR)第14頁，課件共30頁，創(chuàng)作于2023年2月決策樹決策樹學(xué)習(xí)是以實(shí)例為基礎(chǔ)的歸納學(xué)習(xí)算法,著眼于從一組無次序/無規(guī)則的事例中推理出決策樹表示形式的分類規(guī)則；決策樹基本算法是:貪心算法,它以自頂向下遞歸、各個擊破方式構(gòu)造決策樹.第15頁，課件共30頁，創(chuàng)作于2023年2月關(guān)聯(lián)規(guī)則關(guān)聯(lián)規(guī)則是形式如下的一種規(guī)則，“在購買面包和黃油的顧客中，有90％的人同時也買了牛奶”（面包＋黃油→牛奶）；

關(guān)聯(lián)規(guī)則的“三度”：支持度、可信度、興趣度。第16頁，課件共30頁，創(chuàng)作于2023年2月聚類聚類是根據(jù)數(shù)據(jù)的不同特征,將其劃分為不同的簇（cluster）,目的是使得屬于同一個簇中的對象之間具有較高的相似度，而不同簇中的對象差別（相異度）較大；聚類技術(shù)大致分為五種：劃分方法（partitioningmethod）層次方法（hierarchicalmethod）基于密度的方法（density-basedmethod）基于網(wǎng)格的方法（grid-basedmethod）基于模型的方法（model-basedmethod）第17頁，課件共30頁，創(chuàng)作于2023年2月神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)，是對人類大腦系統(tǒng)的中模擬；神經(jīng)網(wǎng)絡(luò)是一組連接的輸入/輸出單元,其中每個連接都與一個權(quán)相關(guān)聯(lián),在學(xué)習(xí)階段,通過調(diào)整神經(jīng)網(wǎng)絡(luò)的權(quán),使得能夠預(yù)測輸入樣本的正確類標(biāo)號來學(xué)習(xí)。激勵函數(shù)的選擇和權(quán)值的調(diào)整第18頁，課件共30頁，創(chuàng)作于2023年2月粗糙集粗糙集理論是一種研究不精確、不確定性知識的數(shù)學(xué)工具；粗糙集對不精確概念的描述方法是：通過上近似概念和下近似概念這兩個精確概念來表示；一個概念（或集合）的下近似指的是其中的元素肯定屬于該概念；一個概念（或集合）的上近似指的是其中的元素可能屬于該概念。

粗糙集方法則有幾個優(yōu)點(diǎn)：不需要預(yù)先知道的額外信息，如統(tǒng)計中要求的先驗概率和模糊集中要求的隸屬度；算法簡單，易于操作。

粗糙集理論在知識發(fā)現(xiàn)研究中有著許多具體應(yīng)用，特別適合于數(shù)據(jù)之間（精確的或近似的）依賴關(guān)系發(fā)現(xiàn)、評價某一分類（屬性）的重要性、數(shù)據(jù)相似或差異發(fā)現(xiàn)、數(shù)據(jù)模式發(fā)現(xiàn)、從數(shù)據(jù)中產(chǎn)生一般決策規(guī)則、削減冗余對象與屬性、尋求屬性的最小子集以確保產(chǎn)生滿意的近似分類等等

第19頁，課件共30頁，創(chuàng)作于2023年2月粗糙集舉例第20頁，課件共30頁，創(chuàng)作于2023年2月概念格概念格描述的是對象和屬性之間的聯(lián)系和統(tǒng)一，表明概念之間的泛化和例化關(guān)系，相應(yīng)的Hasse圖實(shí)現(xiàn)數(shù)據(jù)的可視化。第21頁，課件共30頁，創(chuàng)作于2023年2月遺傳算法遺傳算法（GeneticAlgoritms，簡稱GA）是以自然選擇和遺傳理論為基礎(chǔ)，將生物進(jìn)化過程中“適者生存”規(guī)則與群體內(nèi)部染色體的隨機(jī)信息交換機(jī)制相結(jié)合的搜索算法；遺傳算法主要組成部分包括編碼方案、適應(yīng)度計算、父代選擇、交換算子和變異算子。第22頁，課件共30頁，創(chuàng)作于2023年2月序列模式是指在多個數(shù)據(jù)序列中發(fā)現(xiàn)共同的行為模式。通過時間序列搜索出重復(fù)發(fā)生概率較高的模式。這里強(qiáng)調(diào)時間序列的影響。例如，在所有購買了激光打印機(jī)的人中，半年后80%的人再購買新硒鼓，20%的人用舊硒鼓裝碳粉；在所有購買了彩色電視機(jī)的人中，有60%的人再購買VCD產(chǎn)品；在時序模式中，需要找出在某個最短時間內(nèi)出現(xiàn)比率一直高于某一最小百分比（閾值）的規(guī)則。第23頁，課件共30頁，創(chuàng)作于2023年2月貝葉斯貝葉斯分類是統(tǒng)計學(xué)的分類方法，其分析方法的特點(diǎn)是使用概率來表示所有形式的不確定性，學(xué)習(xí)或推理都用概率規(guī)則來實(shí)現(xiàn)；樸素貝葉斯分類：假定一個屬性值對給定類的影響?yīng)毩⒂谄渌麑傩缘闹?；貝葉斯網(wǎng)絡(luò)：是用來表示變量間連接概率的圖形模式,它提供了一種自然的表示因果信息的方法,用來發(fā)現(xiàn)數(shù)據(jù)間的潛在關(guān)系。第24頁，課件共30頁，創(chuàng)作于2023年2月支持向量機(jī)支持向量機(jī)（SupportVectorMachine,SVM）建立在計算學(xué)習(xí)理論的結(jié)構(gòu)風(fēng)險最小化(SRM)原則之上。其核心問題是尋找一種歸納原則，以實(shí)現(xiàn)最小化風(fēng)險，從而實(shí)現(xiàn)最佳的推廣能力。而且SVM一個重要的優(yōu)點(diǎn)是可以處理線性不可分的情況。以往的機(jī)器學(xué)習(xí)理論的核心是經(jīng)驗風(fēng)險最小化原則（ERM）第25頁，課件共30頁，創(chuàng)作于2023年2月模糊集模糊集：不同于經(jīng)典集合，沒有精確邊界的集合；定義：設(shè)X是對象x的集合，x是X的任一個元素。X上的模糊集合A定義為一組有序?qū)Γ篈＝{（x，uA(X)）|xX},其中uA(X)稱為模糊集合A的隸屬度函數(shù)（membershipfunction,MF）MF將集合中的元素映射為0到1之間的隸屬度；隸屬度為0，或者1，則A就退化為經(jīng)典集合。第26頁，課件共30頁，創(chuàng)作于2023年2月案例的推理案例是一段帶有上下文信息的知識,該知識表達(dá)了推理機(jī)在達(dá)到其目標(biāo)的過程中能起關(guān)鍵作用的經(jīng)驗

第27頁，課件共30頁，創(chuàng)作于2023年2月幾個概念的區(qū)別分類和聚類分類是指將數(shù)據(jù)歸于一系列已知類別之中的某個類的分類過程;聚類是根據(jù)客體屬性對一系列未分類的客體進(jìn)行類別的識別,把一組個體按照相似性歸成若干類。分類和預(yù)測是兩種數(shù)據(jù)分析形式.是兩類主要的預(yù)測問題