大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘與商務(wù)智能四

1大數(shù)據(jù)時(shí)代的

數(shù)據(jù)挖掘與商務(wù)智能2第四部分?jǐn)?shù)據(jù)管理與數(shù)據(jù)挖掘概論3數(shù)據(jù)挖掘概況從20世紀(jì)80年代中后期，知識(shí)發(fā)現(xiàn)的方法、技術(shù)和系統(tǒng)，從不同角度、不同領(lǐng)域和不同學(xué)科進(jìn)行了研究和實(shí)踐，主要的學(xué)科有數(shù)據(jù)庫(kù)、統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)。1989年在底特律第11屆IJCAI會(huì)議上的KDD研討會(huì)。1991年MIT出版社出版了一本書(shū)“KnowledgeDiscoveryinDatabases”。1994年召開(kāi)了一個(gè)國(guó)際會(huì)議(KDD94),并于1996年由MIT出版社又出版了一本書(shū)“AdvancesinKnowledgeDiscoveryandDataMining”。4數(shù)據(jù)挖掘概況1995年在加拿大的蒙特利爾召開(kāi)KDD95，作為第一屆國(guó)際KDD會(huì)議，以后每年一次，原為AAAI組織，1999年由ACM組織，改為SIGKDD。2006年、第12屆在美國(guó)費(fèi)城（Philadelphia）。2007年在美國(guó)加州圣何塞（SIGKDD07)2008年在美國(guó)LASVEGAS(SIGKDD08)。

“DataMiningandKnowledgeDiscovery”1997年創(chuàng)刊。(Springer，1997，2006）。國(guó)外相應(yīng)的研究小組的建立，接著數(shù)據(jù)挖掘公司風(fēng)起云涌。一些大公司建立數(shù)據(jù)挖掘小組和開(kāi)發(fā)各種產(chǎn)品。國(guó)內(nèi)研究小組的建立，一些公司也開(kāi)始了數(shù)據(jù)挖掘項(xiàng)目。5數(shù)據(jù)挖掘概況數(shù)據(jù)挖掘是20世紀(jì)80年代后期發(fā)展起來(lái)的一種新興技術(shù)。它是商業(yè)、企業(yè)競(jìng)爭(zhēng)和技術(shù)發(fā)展的需求的結(jié)果，數(shù)據(jù)挖掘技術(shù)是多種學(xué)科的交叉的產(chǎn)物。數(shù)據(jù)挖掘6數(shù)據(jù)挖掘任務(wù)數(shù)據(jù)挖掘任務(wù)技術(shù)分類(lèi)預(yù)測(cè)（Predication）：用歷史預(yù)測(cè)未來(lái)描述（Description）：了解數(shù)據(jù)中潛在的規(guī)律數(shù)據(jù)挖掘的具體任務(wù)關(guān)聯(lián)分析序列模式分類(lèi)（預(yù)測(cè)）聚集異常檢測(cè)7數(shù)據(jù)挖掘任務(wù)描述性分析聚類(lèi)分析關(guān)聯(lián)分析異常點(diǎn)分析、可視化……預(yù)測(cè)性分析分類(lèi)（離散）回歸分析（連續(xù)）時(shí)間序列分析……8數(shù)據(jù)挖掘概況數(shù)據(jù)挖掘技術(shù)基本內(nèi)容框架數(shù)據(jù)預(yù)處理（1）數(shù)據(jù)清理（2）數(shù)據(jù)變換（3）數(shù)據(jù)集成（4）數(shù)據(jù)歸約（5）數(shù)據(jù)離散化數(shù)據(jù)挖掘基本方法（1）關(guān)聯(lián)規(guī)則（2）分類(lèi)與預(yù)測(cè)（3）聚類(lèi)數(shù)據(jù)挖掘的深入內(nèi)容（1）時(shí)間序列和序列（2）空間數(shù)據(jù)挖掘（3）文本挖掘（4）Web挖掘（5）多媒體挖掘（6）可視化9數(shù)據(jù)挖掘概況由于任務(wù)不同，要求不同，數(shù)據(jù)不同，沒(méi)有單一的數(shù)據(jù)挖掘軟件可適用所有的情形。造成了各種方法都在快速發(fā)展，各種數(shù)據(jù)挖掘軟件不斷增多。但商家近年來(lái)有逐漸減少的趨勢(shì)，大公司的介入，一些大的有實(shí)力的公司開(kāi)始更多占領(lǐng)市場(chǎng)?；痉椒ㄈ缟纤?。軟件功能和性能有很大差異。選軟件應(yīng)考慮的因素很多。10數(shù)據(jù)挖掘概況

從問(wèn)題回答的角度：有些問(wèn)題可明確和準(zhǔn)確回答（要求這樣）有些問(wèn)題是給出可能的回答有些問(wèn)題可能給出不太明確的回答有些問(wèn)題可能給出可能錯(cuò)誤的回答。這些回答從數(shù)據(jù)的角度：有些是查詢(xún)，有些是統(tǒng)計(jì)，有些是歸納，有些是推斷，有些預(yù)測(cè)，有些是分析。數(shù)據(jù)挖掘要回答那些不是簡(jiǎn)單查詢(xún)和統(tǒng)計(jì)回答問(wèn)題。11數(shù)據(jù)挖掘掘概況無(wú)法準(zhǔn)確確回答的的問(wèn)題信貸中信信用評(píng)估估，信用用卡評(píng)級(jí)級(jí)，信用用卡欺詐詐銷(xiāo)售一個(gè)個(gè)產(chǎn)品廣廣告材材料郵郵寄給給誰(shuí)保留客戶(hù)戶(hù),爭(zhēng)取客戶(hù)戶(hù)交叉銷(xiāo)售售違規(guī)操作作，欺詐詐行為發(fā)發(fā)現(xiàn)，異異常發(fā)現(xiàn)現(xiàn)貨架貨物物的擺放放疾病,癥狀,藥物,療效之間的關(guān)系DNA序列的相似分析導(dǎo)致各種疾病的特定基因序列模式憑理論，經(jīng)驗(yàn)，群體分析，憑數(shù)據(jù)分析，挖掘12數(shù)據(jù)挖掘掘概況各種部門(mén)門(mén)都面臨臨不同的的挑戰(zhàn)一些面臨臨競(jìng)爭(zhēng)的的部門(mén)與與企業(yè)：：銀行，電電信，保保險(xiǎn)，證證券，商商場(chǎng)，各各種企業(yè)業(yè)。這些些企業(yè)關(guān)關(guān)心的問(wèn)問(wèn)題：爭(zhēng)爭(zhēng)取客戶(hù)戶(hù)，增大大銷(xiāo)售，，提高利利潤(rùn)。一些壟斷斷部門(mén)與與企業(yè)：：電力，稅稅務(wù)，社社保。面面對(duì)抱怨怨，面對(duì)對(duì)抗?fàn)?，，面?duì)欺欺詐。政府和企企業(yè)面臨臨科學(xué)決決策13數(shù)據(jù)挖掘掘概況數(shù)據(jù)倉(cāng)庫(kù)庫(kù)和數(shù)據(jù)據(jù)挖掘項(xiàng)項(xiàng)目提到到日程數(shù)據(jù)分析析、決策策支持系系統(tǒng)、商商業(yè)智能能（BI）、知知識(shí)管理理、客戶(hù)戶(hù)關(guān)系管管理(CRM)、物流與與供應(yīng)鏈鏈管理(SCM)、企業(yè)資資源計(jì)劃劃(ERP)、各種預(yù)預(yù)測(cè)。政府、科科技部門(mén)門(mén)、大型型企業(yè)（（工廠(chǎng)，，公司，，商場(chǎng)）），經(jīng)濟(jì)濟(jì)部門(mén)、、金融機(jī)機(jī)構(gòu)（銀銀行、證證券、保保險(xiǎn)）、、電子商商務(wù)、電電子政務(wù)務(wù)、各種種“金”工程。14數(shù)據(jù)挖掘掘概況數(shù)據(jù)倉(cāng)庫(kù)庫(kù)將不同數(shù)數(shù)據(jù)源、、多年的的數(shù)據(jù)經(jīng)經(jīng)“整合”成一個(gè)有有組織的的便于分分析的結(jié)結(jié)構(gòu)化的的數(shù)據(jù)環(huán)環(huán)境。組織數(shù)據(jù)據(jù)方法。。數(shù)據(jù)挖掘掘：從數(shù)據(jù)中中找出（（推出，，歸納出出，預(yù)測(cè)測(cè)、挖掘掘）有用用的信息息，規(guī)律律，知識(shí)識(shí)。分析數(shù)據(jù)據(jù)方法。。15數(shù)據(jù)庫(kù)集集成：數(shù)據(jù)倉(cāng)庫(kù)庫(kù)技術(shù)所有的數(shù)數(shù)據(jù)在物物理上集集中在一一起虛擬數(shù)據(jù)據(jù)庫(kù)技術(shù)術(shù)數(shù)據(jù)表面面上或者者在邏輯輯上是集集成在一一起，然然而它們們的物理理存貯則則是分散散在Internet不同的數(shù)數(shù)據(jù)服務(wù)務(wù)器上數(shù)據(jù)挖掘掘概況16從兩種數(shù)數(shù)據(jù)庫(kù)集集成技術(shù)術(shù)來(lái)看：：數(shù)據(jù)倉(cāng)庫(kù)庫(kù)技術(shù)實(shí)實(shí)用于數(shù)數(shù)據(jù)庫(kù)變變動(dòng)不太太頻繁、、數(shù)據(jù)庫(kù)庫(kù)中數(shù)據(jù)據(jù)類(lèi)型和和使用方方法比較較接近的的情況。。虛擬數(shù)據(jù)據(jù)庫(kù)技術(shù)術(shù)實(shí)用于于數(shù)據(jù)更更新速度度快、數(shù)數(shù)據(jù)類(lèi)型型和使用用方法完完全不一一樣的情情況。數(shù)據(jù)挖掘掘概況17聯(lián)機(jī)分析析處理60年代，關(guān)關(guān)系數(shù)據(jù)據(jù)庫(kù)之父父提出了關(guān)關(guān)系模型型，促進(jìn)進(jìn)了聯(lián)機(jī)機(jī)事務(wù)處處理(OLTP)的發(fā)展(數(shù)據(jù)以表表格的形形式而非非文件方方式存儲(chǔ)儲(chǔ))。1993年，提出了OLAP概念，認(rèn)認(rèn)為OLTP已不能滿(mǎn)滿(mǎn)足終端端用戶(hù)對(duì)對(duì)數(shù)據(jù)庫(kù)庫(kù)查詢(xún)分分析的需需要，SQL對(duì)大型數(shù)數(shù)據(jù)庫(kù)進(jìn)進(jìn)行的簡(jiǎn)簡(jiǎn)單查詢(xún)?cè)円膊荒苣軡M(mǎn)足終終端用戶(hù)戶(hù)分析的的要求。。用戶(hù)的的決策分分析需要要對(duì)關(guān)系系數(shù)據(jù)庫(kù)庫(kù)進(jìn)行大大量計(jì)算算才能得得到結(jié)果果，而查查詢(xún)的結(jié)結(jié)果并不不能滿(mǎn)足足決策者者提出的的需求。。因此，，提出了多多維數(shù)據(jù)據(jù)庫(kù)和多多維分析析的概念念，即OLAP。OLTP數(shù)據(jù)OLAP數(shù)據(jù)原始數(shù)據(jù)據(jù)導(dǎo)導(dǎo)出數(shù)據(jù)據(jù)細(xì)節(jié)性數(shù)數(shù)據(jù)綜綜合性和和提煉性性數(shù)據(jù)當(dāng)前值數(shù)數(shù)據(jù)歷歷史數(shù)據(jù)據(jù)可更新不不可可更新，，但周期期性刷新新一次處理理的數(shù)據(jù)據(jù)量小一一次處理理的數(shù)據(jù)據(jù)量大面向應(yīng)用用，事務(wù)務(wù)驅(qū)動(dòng)面面向分分析，分分析驅(qū)動(dòng)動(dòng)面向操作作人員，，支持日日常操作作面面向決策策人員，，支持管管理需要要18OLAP定義OLAP(聯(lián)機(jī)分析析處理)是使分析析人員、、管理人人員或執(zhí)執(zhí)行人員員能夠從從多種角角度對(duì)從從原始數(shù)數(shù)據(jù)中轉(zhuǎn)轉(zhuǎn)化出來(lái)來(lái)的、能能夠真正正為用戶(hù)戶(hù)所理解解的、并并真實(shí)反反映企業(yè)業(yè)維特性性的信息息進(jìn)行快快速、一一致、交交互地存存取，從從而獲得得對(duì)數(shù)據(jù)據(jù)的更深深入了解解的一類(lèi)類(lèi)軟件技技術(shù)。(OLAP委員會(huì)的的定義)OLAP的目標(biāo)是滿(mǎn)足決決策支持持或多維維環(huán)境特特定的查查詢(xún)和報(bào)報(bào)表需求求，它的的技術(shù)核核心是“維”這個(gè)概念念，因此此OLAP也可以說(shuō)說(shuō)是多維維數(shù)據(jù)分分析工具具的集合合。19數(shù)據(jù)倉(cāng)庫(kù)庫(kù)與數(shù)據(jù)據(jù)挖掘所所處地位位決策支持持系統(tǒng)OLAP數(shù)據(jù)挖掘掘數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)庫(kù)數(shù)據(jù)據(jù)庫(kù)庫(kù)各種信息息系統(tǒng)各種管理理系統(tǒng)搜索、抽抽取過(guò)濾萬(wàn)維網(wǎng)信息發(fā)布布信息檢索索ACRMCRM20數(shù)據(jù)挖掘掘發(fā)現(xiàn)知知識(shí)類(lèi)型型廣義型知知識(shí)：反反映同類(lèi)類(lèi)事物共共同性質(zhì)質(zhì)的知識(shí)識(shí)特征型知知識(shí)：反反映事物物各方面面特征的的的知識(shí)識(shí)差異型知知識(shí)：反反映不同同事物之之間屬性性差別的的知識(shí)關(guān)聯(lián)型知知識(shí)：反反映事物物之間依依賴(lài)和關(guān)關(guān)聯(lián)的知知識(shí)偏差型知知識(shí)：揭揭示事物物偏離常常規(guī)的異異?，F(xiàn)象象的知識(shí)識(shí)預(yù)測(cè)型知知識(shí)：根根據(jù)歷史史與當(dāng)前前數(shù)據(jù)推推測(cè)未來(lái)來(lái)數(shù)據(jù)21(B)DataInformation(A)Knowledge(Arrangement)(Transmit)Knowledgetransmittedbycharacter,sign,voice,etc.(B)DataarrangedtobeusefulfordecisionmakingINFORMATION(Recognition)(C)Knowledge(C)Recognitionmemorizedpersonallyorsocially(D)JudgmentorasystemofjudgmentwhichhasobjectivevalidityKNOWLEDGE(D)Knowledge(Judgment)(D)Knowledge(Judgment)Whatistheenergytobringsuchtransformation?(E)Computers’abilitytojudgethingsautomatically(F)People’sabilitytounderstandandlearnthingsINTELLIGENCEInformationScienceManagementScienceKnowledgeScience+Information,Knowledge,andIntelligence22Sharedmentalmodelsortechnicalskills1Metaphors,analogies,concepts,hypotheses,ormodels2Linkingexplicitknowledge3Learningbydoing4I.NonakaandH.TakeuchiTheKnowledge-CreatingCompany.HowJapaneseCompaniesCreatetheDynamicsofInnovation.OxfordUniversityPress,1995.GroupexplicitknowledgeIndividualexplicitknowledgeIndividualtacitknowledgeGrouptacitknowledgeCombinationInternalizationSocializationExternalizationKeyFactorinEstablishingtheSchoolProf.Nonaka23應(yīng)用用市場(chǎng)分析析、預(yù)測(cè)測(cè)和管理理行銷(xiāo)策略略,客戶(hù)關(guān)系系管理(CRM),購(gòu)貨籃分分析,市場(chǎng)分割割風(fēng)險(xiǎn)分析析、預(yù)測(cè)測(cè)和管理理風(fēng)險(xiǎn)預(yù)警警,客戶(hù)挽留留,改進(jìn)的保保險(xiǎn)業(yè),質(zhì)量控制制,競(jìng)爭(zhēng)分析析欺詐檢測(cè)測(cè)和管理理證券違規(guī)規(guī)操作，，稅務(wù)偷偷漏，瞞瞞報(bào)，信信用卡欺欺詐行為為判斷信用評(píng)估估銀行信貸貸評(píng)估，，信用卡卡評(píng)估24應(yīng)用用宏觀(guān)經(jīng)濟(jì)濟(jì)(指標(biāo)之間間關(guān)聯(lián),經(jīng)濟(jì)指標(biāo)標(biāo)的預(yù)測(cè)測(cè),預(yù)警)電信（客客戶(hù)細(xì)分分，客戶(hù)戶(hù)流失，，客戶(hù)挽挽留）金融（信信用評(píng)估估，洗錢(qián)錢(qián)，欺詐詐…)情報(bào)（文文本挖掘掘，新聞聞組,電子郵件件,文檔)Web挖掘（信信息過(guò)濾濾,個(gè)性化服服務(wù)，異異常行為為，…)DNA數(shù)據(jù)分析析（一些些引起疾疾病的DNA序列，…)人力資源源配置（（如何有有效進(jìn)行行人力分分配）醫(yī)療診斷斷中藥配伍伍規(guī)律零售業(yè)科學(xué)（天天氣預(yù)報(bào)報(bào)，災(zāi)難難預(yù)測(cè)…25KDnuggets對(duì)數(shù)據(jù)挖挖掘各種種情況進(jìn)進(jìn)行了調(diào)調(diào)查從應(yīng)用領(lǐng)領(lǐng)域使用工具具使用方法法數(shù)據(jù)挖掘掘組的地地位數(shù)據(jù)庫(kù)的的大?。ǎ?0G以上，100-1000G)數(shù)據(jù)格式式（文本本和工具具特定格格式居多多）26銀行17%生物/基因8%E商務(wù)/Web15%欺詐檢測(cè)測(cè)8%保險(xiǎn)6%投資/股票4%藥品5%零售業(yè)6%科學(xué)數(shù)據(jù)據(jù)8%電信11%其他11%應(yīng)用領(lǐng)域域情況（（2001）27應(yīng)用領(lǐng)域域情況200628應(yīng)用領(lǐng)域域情況（（2008）[170voters]29數(shù)據(jù)挖掘掘軟件(May2008)[347voters]30數(shù)據(jù)挖掘掘軟件(May2008)2012年R以30.7%的得票率率榮登榜榜首3132從技術(shù)看數(shù)據(jù)挖掘使用技術(shù)情況[784votestotal](Feb2005)

DecisionTrees/Rules(107)決策樹(shù)

14%Clustering(101)聚類(lèi)

13%Regression(90)回歸

11%Statistics(80)統(tǒng)計(jì)

10%Visualization(63)可視化

8%NeuralNets(61)神經(jīng)網(wǎng)絡(luò)

8%Associationrules(54)關(guān)聯(lián)規(guī)則

7%NearestNeighbor(34)最近鄰

4%SVM(Supportvectormachine)(31)支持向量機(jī)

4%Bayesian(30)貝葉斯

4%Sequence/Timeseriesanalysis(26)序列/時(shí)間序列分析

3%Boosting(25)增強(qiáng)

3%Hybridmethods(23)混合方法

3%Bagging(20)袋裝

3%Geneticalgorithms(19)遺傳算法

2%Other(20)其他

3%33數(shù)據(jù)挖掘掘任務(wù)類(lèi)類(lèi)型(Dec2007)[170voters]34數(shù)據(jù)類(lèi)型型(Sep2008)35數(shù)據(jù)挖掘掘系統(tǒng)的的典型架架構(gòu)數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)清理與數(shù)據(jù)集成過(guò)濾

數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)管理系統(tǒng)數(shù)據(jù)挖掘引擎模型、模式評(píng)價(jià)可視化用戶(hù)界面數(shù)據(jù)挖掘方法庫(kù)其它數(shù)據(jù)源用戶(hù)知識(shí)庫(kù)World-WideWebOtherInfoRepositories36各行業(yè)電子商務(wù)網(wǎng)站算法層商業(yè)邏輯層行業(yè)應(yīng)用層商業(yè)應(yīng)用商業(yè)模型挖掘算法CRM產(chǎn)品推薦客戶(hù)細(xì)分客戶(hù)流失客戶(hù)利潤(rùn)客戶(hù)響應(yīng)關(guān)聯(lián)規(guī)則、序列模式、分類(lèi)、聚集、神經(jīng)元網(wǎng)絡(luò)、偏差分析…WEB挖掘網(wǎng)站結(jié)構(gòu)優(yōu)化網(wǎng)頁(yè)推薦商品推薦。。?；蛲诰蚧虮磉_(dá)路徑分析基因表達(dá)相似性分析基因表達(dá)共發(fā)生分析。。。銀行電信零售保險(xiǎn)制藥生物信息科學(xué)研究。。。相關(guān)行業(yè)綜合的數(shù)數(shù)據(jù)挖掘掘解決方方案（復(fù)復(fù)旦）371.業(yè)務(wù)分析DataSourceDataSource

2.數(shù)據(jù)收集與整理3數(shù)據(jù)分析與處理4.財(cái)務(wù)指標(biāo)展示6.數(shù)據(jù)挖掘結(jié)果的解釋和展示7.系統(tǒng)建設(shè)8.嘗試應(yīng)用5.數(shù)據(jù)挖掘建模商業(yè)銀行行客戶(hù)違違約模型型建立數(shù)據(jù)挖掘掘在我國(guó)國(guó)的前景景國(guó)外數(shù)據(jù)據(jù)挖掘已已相當(dāng)普普遍，各各大數(shù)據(jù)據(jù)庫(kù)公司司與典型型產(chǎn)品（（IBM,Oracle,Microsoft…)SPSS,SAS,BO………國(guó)內(nèi)情況況如何：：應(yīng)用普遍遍性？對(duì)其相信信程度？？制約的因因素？（市場(chǎng)規(guī)規(guī)范程度度？消消費(fèi)者成成熟程度度？人人為因素素程度？？）國(guó)內(nèi)尚處處發(fā)展階階段，（（周期長(zhǎng)長(zhǎng)，效益益不明顯顯，數(shù)據(jù)據(jù)積累不不夠，人人的認(rèn)識(shí)識(shí)程度，，…）39為什么沒(méi)沒(méi)有廣泛泛使用？？數(shù)據(jù)挖掘掘正在快快速的發(fā)發(fā)展技術(shù)的研研究和開(kāi)開(kāi)發(fā)已經(jīng)經(jīng)走在很很前沿的的地方數(shù)據(jù)挖掘掘應(yīng)用面面已經(jīng)擴(kuò)擴(kuò)充了很很多但是仍然然沒(méi)有希希望的高高，為什什么？希望在多多少年內(nèi)內(nèi)達(dá)到數(shù)數(shù)十億元元的盈利利？是一種增增值服務(wù)務(wù)（Notbread-and-butter）不能認(rèn)為為高不可可攀，所所以不去去過(guò)問(wèn)是一門(mén)年年輕的技技術(shù)，需需要和實(shí)實(shí)際結(jié)合合，解決決現(xiàn)實(shí)問(wèn)問(wèn)題40數(shù)據(jù)挖掘掘國(guó)內(nèi)應(yīng)用用存在的的問(wèn)題數(shù)據(jù)積累累不充分分、不全全面業(yè)務(wù)模型型構(gòu)建困困難缺少有經(jīng)經(jīng)驗(yàn)的實(shí)實(shí)施者41數(shù)據(jù)挖掘掘的方法法論42知識(shí)發(fā)現(xiàn)現(xiàn)（KDD）的過(guò)程程431.數(shù)據(jù)的選選擇與抽抽樣根據(jù)用戶(hù)戶(hù)的需要要從數(shù)據(jù)據(jù)庫(kù)中選選擇或抽抽樣一部部分?jǐn)?shù)據(jù)據(jù)。2.數(shù)據(jù)預(yù)處處理（1）數(shù)據(jù)的的過(guò)濾：：除噪聲聲去冗余余（2）數(shù)據(jù)的的添補(bǔ)（3）數(shù)據(jù)歸歸約與約約簡(jiǎn)3.數(shù)據(jù)轉(zhuǎn)換換：數(shù)據(jù)轉(zhuǎn)換換的主要要目的是是消減數(shù)數(shù)據(jù)維數(shù)數(shù)或維數(shù)數(shù)縮減4.數(shù)據(jù)挖掘掘：挖掘掘方法的的使用5.結(jié)果的評(píng)評(píng)價(jià)（1）可視化化表示（2）解釋?zhuān)?）知識(shí)的的使用6.循環(huán)44KDD過(guò)程數(shù)據(jù)挖掘掘:KDD過(guò)程的核核心。DataCleaningDataIntegrationDatabasesDataWarehouseKnowledgeTask-relevantDataSelectionDataMiningPatternEvaluation45數(shù)據(jù)挖掘的的方法論有許多數(shù)據(jù)據(jù)挖掘的方方法論，比比較典型有有CRISP-DM（CrossIndustryStandardProcessforDataMining）SAS提出的數(shù)據(jù)據(jù)挖掘方法法論SEMMA(Sample,Explore,Modify,ModelAccess)IBM提出的通用用數(shù)據(jù)挖掘掘方法（（Thegenericdataminingmethod)46數(shù)據(jù)挖掘的的方法論KDnugets調(diào)查情況：：各組織機(jī)構(gòu)構(gòu)、公司、、個(gè)人進(jìn)行行數(shù)據(jù)挖掘掘時(shí)使用的的方法論(Aug2007)47CRISP-DMNCRSPSS等公司提供供CRISP-DM（跨行業(yè)數(shù)數(shù)據(jù)挖掘標(biāo)標(biāo)準(zhǔn)）數(shù)據(jù)據(jù)挖掘方法法論實(shí)現(xiàn)。。主要包括以以下六個(gè)主主要環(huán)節(jié)：：?jiǎn)栴}（業(yè)務(wù)務(wù)）理解(BusinessUnderstanding)數(shù)據(jù)理解(DataUnderstanding)數(shù)據(jù)準(zhǔn)備(DataPreparation)建立模型(Modeling)模型評(píng)估(Evaluation)方案實(shí)施(Deployment)48CRISP-DM1.業(yè)務(wù)問(wèn)題理解（（BusinessUnderstanding）要解決哪類(lèi)類(lèi)問(wèn)題：在數(shù)據(jù)挖掘掘之前，收收集與該項(xiàng)項(xiàng)目有關(guān)的的信息，確確定數(shù)據(jù)挖挖掘要解決決哪類(lèi)問(wèn)題題。并把要要解決的問(wèn)問(wèn)題轉(zhuǎn)化為為數(shù)據(jù)挖掘掘問(wèn)題。資源的評(píng)估估：硬件資源，，軟件資源源，數(shù)據(jù)資資源，人力資源（（管理人員員，業(yè)務(wù)人人員，技術(shù)術(shù)人員）數(shù)據(jù)評(píng)估：：數(shù)據(jù)數(shù)量，，數(shù)據(jù)質(zhì)量量評(píng)估。項(xiàng)目成功估估計(jì)：成功后的效效益，相應(yīng)應(yīng)人員（分分析、維護(hù)））的增加。。49如：一個(gè)電電信領(lǐng)域的的數(shù)據(jù)挖掘掘項(xiàng)目問(wèn)題可為：：一些優(yōu)質(zhì)客客戶(hù)有什么么特征？哪些是不良良客戶(hù)，他他們有什么么特征？在欠費(fèi)客戶(hù)戶(hù)中，哪些些是惡意的的欠費(fèi)，哪些是善意意的欠費(fèi)。。哪些客戶(hù)可可能會(huì)有最最好的潛力力？通過(guò)什么樣樣的標(biāo)準(zhǔn)來(lái)來(lái)細(xì)分客戶(hù)戶(hù)？如何來(lái)衡量量客戶(hù)帶來(lái)來(lái)的價(jià)值？？哪些是高價(jià)價(jià)值客戶(hù)？？如何去保保住他們。。50CRISP-DM2.理解數(shù)據(jù)（（DataUnderstanding）從哪里進(jìn)行行數(shù)據(jù)的收收集數(shù)據(jù)來(lái)源有有那些各數(shù)據(jù)源數(shù)數(shù)據(jù)描述：：格式，含含義數(shù)據(jù)質(zhì)量外來(lái)數(shù)據(jù)有有那些對(duì)數(shù)據(jù)的含含義一定要要有深刻的的理解才有有可能從中中找出（挖挖掘）規(guī)律律和知識(shí)。。51CRISP-DM3.準(zhǔn)備數(shù)據(jù)（（DataPreparation）數(shù)據(jù)選擇數(shù)據(jù)清理數(shù)據(jù)重構(gòu)數(shù)據(jù)整合規(guī)格化：定定出范圍標(biāo)準(zhǔn)化：解解決不一致致數(shù)據(jù)準(zhǔn)備會(huì)會(huì)占用整個(gè)個(gè)項(xiàng)目50%以上時(shí)間CRISP-DM4.建立模型（（Modeling）數(shù)據(jù)匯總概念描述關(guān)聯(lián)規(guī)則相關(guān)分析分類(lèi)與預(yù)測(cè)測(cè)聚類(lèi)53CRISP-DM5.方案評(píng)估（（Evaluation）挖掘結(jié)果（（獲得知識(shí)識(shí)的）評(píng)估挖掘過(guò)程的的評(píng)估來(lái)決定是否否要反復(fù)，，KDD是迭代過(guò)程程54迭代過(guò)程55CRISP-DM6.方案實(shí)施(Deployment)發(fā)布挖掘結(jié)結(jié)果（獲得得知識(shí)的））評(píng)估決定實(shí)施計(jì)計(jì)劃Crisp-DM1.0CRISP-DM2.0SIGWORKSHOPANNOUNCED–CHICAGO,SEPTEMBER26,200656CRISP-DM各階段占用用時(shí)間和重重要性1%10%方案實(shí)施5%10-20%建立模型和模型評(píng)估15%50%數(shù)據(jù)準(zhǔn)備

5%10-20%數(shù)據(jù)理解

70%10%問(wèn)題理解占項(xiàng)目成功的重要性花費(fèi)時(shí)間57數(shù)據(jù)挖掘需需要的人員員業(yè)務(wù)分析人人員：要求求精通業(yè)務(wù)務(wù)，能夠解解釋業(yè)務(wù)對(duì)對(duì)象，并根根據(jù)各業(yè)務(wù)務(wù)對(duì)象確定定出用于數(shù)數(shù)據(jù)定義和和挖掘算法法的業(yè)務(wù)需需求。數(shù)據(jù)分析人人員：精通通數(shù)據(jù)分析析技術(shù)，并并對(duì)統(tǒng)計(jì)學(xué)學(xué)有較熟練練的掌握，，有能力把把業(yè)務(wù)需求求轉(zhuǎn)化為數(shù)數(shù)據(jù)挖掘的的各步操作作，并為每每步操作選選擇合適的的技術(shù)。數(shù)據(jù)管理人人員：精通通數(shù)據(jù)管理理技術(shù)，并并從數(shù)據(jù)庫(kù)庫(kù)或數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)中收集集數(shù)據(jù)。58數(shù)據(jù)挖掘軟軟件59數(shù)據(jù)挖掘軟軟件的現(xiàn)狀狀（國(guó)外））DataMining/AnalyticSoftwareTools[534voters](May2007)60數(shù)據(jù)挖掘軟軟件的現(xiàn)狀狀（國(guó)內(nèi)））61數(shù)據(jù)挖掘軟軟件的發(fā)展展代特征數(shù)據(jù)挖掘算法集成分布計(jì)算模型數(shù)據(jù)模型第一代作為一個(gè)獨(dú)立的應(yīng)用支持一個(gè)或者多個(gè)算法獨(dú)立的系統(tǒng)單個(gè)機(jī)器向量數(shù)據(jù)第二代和數(shù)據(jù)庫(kù)以及數(shù)據(jù)倉(cāng)庫(kù)集成多個(gè)算法：能夠挖掘一次不能放進(jìn)內(nèi)存的數(shù)據(jù)數(shù)據(jù)管理系統(tǒng)，包括數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)同質(zhì)、局部區(qū)域的計(jì)算機(jī)群集有些系統(tǒng)支持對(duì)象,文本和連續(xù)的媒體數(shù)據(jù)第三代和預(yù)測(cè)模型系統(tǒng)集成

多個(gè)算法數(shù)據(jù)管理和預(yù)測(cè)模型系統(tǒng)intranet/extranet網(wǎng)絡(luò)計(jì)算支持半結(jié)構(gòu)化數(shù)據(jù)和web數(shù)據(jù)第四代和移動(dòng)數(shù)據(jù)/各種計(jì)算設(shè)備的數(shù)據(jù)聯(lián)合

多個(gè)算法數(shù)據(jù)管理、預(yù)測(cè)模型、移動(dòng)系統(tǒng)移動(dòng)和各種計(jì)算設(shè)備普遍存在的計(jì)算模型RobertGrossman的觀(guān)點(diǎn)(NationalCenterforDataMining,UniversityofIllinoisatChicago)62數(shù)據(jù)挖掘軟軟件的發(fā)展展第一代數(shù)據(jù)據(jù)挖掘軟件件63第一代數(shù)據(jù)據(jù)挖掘軟件件CBA新加坡國(guó)立立大學(xué)基于于關(guān)聯(lián)規(guī)則則的分類(lèi)算算法，能從從關(guān)系數(shù)據(jù)據(jù)或者交易易數(shù)據(jù)挖掘掘關(guān)聯(lián)規(guī)則則，使用關(guān)關(guān)聯(lián)規(guī)則進(jìn)進(jìn)行分類(lèi)和和預(yù)測(cè)64數(shù)據(jù)挖掘軟軟件的發(fā)展展第二代數(shù)據(jù)據(jù)挖掘軟件件特點(diǎn)與數(shù)據(jù)庫(kù)管管理系統(tǒng)（（DBMS）集成支持?jǐn)?shù)據(jù)庫(kù)庫(kù)和數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)，和它它們具有高高性能的接接口，具有有高的可擴(kuò)擴(kuò)展性能夠挖掘大大數(shù)據(jù)集、、以及更復(fù)復(fù)雜的數(shù)據(jù)據(jù)集通過(guò)支持?jǐn)?shù)數(shù)據(jù)挖掘模模式（dataminingschema）和數(shù)據(jù)挖挖掘查詢(xún)語(yǔ)語(yǔ)言增加系系統(tǒng)的靈活活性典型的系統(tǒng)統(tǒng)如DBMiner，能通過(guò)DMQL挖掘語(yǔ)言進(jìn)進(jìn)行挖掘操操作缺陷只注重模型型的生成，，如何和預(yù)預(yù)言模型系系統(tǒng)集成導(dǎo)導(dǎo)致了第三三代數(shù)據(jù)挖挖掘系統(tǒng)的的開(kāi)發(fā)65數(shù)據(jù)挖掘軟軟件的發(fā)展展第二代數(shù)據(jù)據(jù)挖掘軟件件DBMiner66數(shù)據(jù)挖掘軟軟件的發(fā)展展第二代軟件件SASEnterpriseMiner67數(shù)據(jù)挖掘軟軟件的發(fā)展展第三代數(shù)據(jù)據(jù)挖掘軟件件特點(diǎn)和預(yù)言模型型系統(tǒng)之間間能夠無(wú)縫縫的集成，，使得由數(shù)數(shù)據(jù)挖掘軟軟件產(chǎn)生的的模型的變變化能夠及及時(shí)反映到到預(yù)言模型型系統(tǒng)中由數(shù)據(jù)挖掘掘軟件產(chǎn)生生的預(yù)言模模型能夠自自動(dòng)地被操操作型系統(tǒng)統(tǒng)吸收，從從而與操作作型系統(tǒng)中中的預(yù)言模模型相聯(lián)合合提供決策策支持的功功能能夠挖掘網(wǎng)網(wǎng)絡(luò)環(huán)境下下（Internet/Extranet）的分布式式和高度異異質(zhì)的數(shù)據(jù)據(jù)，并且能能夠有效地地和操作型型系統(tǒng)集成成缺陷不能支持移移動(dòng)環(huán)境68數(shù)據(jù)挖掘軟軟件的發(fā)展展第三代軟件件SPSSClementine以PMML的格式提供供與預(yù)言模模型系統(tǒng)的的接口69數(shù)據(jù)挖掘軟軟件的發(fā)展展第四代數(shù)據(jù)據(jù)挖掘軟件件特點(diǎn)目前移動(dòng)計(jì)計(jì)算越發(fā)顯顯得重要，，將數(shù)據(jù)挖挖掘和移動(dòng)動(dòng)計(jì)算相結(jié)結(jié)合是當(dāng)前前的一個(gè)研研究領(lǐng)域。。第四代軟件件能夠挖掘掘嵌入式系系統(tǒng)、移動(dòng)動(dòng)系統(tǒng)、和和普遍存在在（ubiquitous）計(jì)算設(shè)備備產(chǎn)生的各各種類(lèi)型的的數(shù)據(jù)第四代數(shù)據(jù)據(jù)挖掘原型型或商業(yè)系系統(tǒng)剛剛起起步，PKDD2001上Kargupta發(fā)表了一篇篇在移動(dòng)環(huán)環(huán)境下挖掘掘決策樹(shù)的的論文，Kargupta是馬馬里里蘭蘭巴巴爾爾的的摩摩州州立立大大學(xué)學(xué)（（UniversityofMarylandBaltimoreCounty）正正在在研研制制的的CAREER數(shù)據(jù)據(jù)挖挖掘掘項(xiàng)項(xiàng)目目的的負(fù)負(fù)責(zé)責(zé)人人，，該該項(xiàng)項(xiàng)目目研研究究期期限限是是2001年4月到到2006年4月，，目目的的是是開(kāi)開(kāi)發(fā)發(fā)挖挖掘掘分分布布式式和和異異質(zhì)質(zhì)數(shù)數(shù)據(jù)據(jù)（（Ubiquitous設(shè)備備））的的第第四四代代數(shù)數(shù)據(jù)據(jù)挖挖掘掘系系統(tǒng)統(tǒng)。。70數(shù)據(jù)據(jù)挖挖掘掘軟軟件件的的發(fā)發(fā)展展第一一代代系系統(tǒng)統(tǒng)與與第第二二代代相相比比因因?yàn)闉椴徊痪呔哂杏泻秃蛿?shù)數(shù)據(jù)據(jù)管管理理系系統(tǒng)統(tǒng)之之間間有有效效的的接接口口，，所所以以在在數(shù)數(shù)據(jù)據(jù)預(yù)預(yù)處處理理方方面面有有一一定定缺缺陷陷第三三、、四四代代系系統(tǒng)統(tǒng)強(qiáng)強(qiáng)調(diào)調(diào)預(yù)預(yù)言言模模型型的的使使用用和和在在操操作作型型環(huán)環(huán)境境的的部部署署第二二代代系系統(tǒng)統(tǒng)提提供供數(shù)數(shù)據(jù)據(jù)管管理理系系統(tǒng)統(tǒng)和和數(shù)數(shù)據(jù)據(jù)挖挖掘掘系系統(tǒng)統(tǒng)之之間間的的有有效效接接口口第三三代代系系統(tǒng)統(tǒng)另另外外還還提提供供數(shù)數(shù)據(jù)據(jù)挖挖掘掘系系統(tǒng)統(tǒng)和和預(yù)預(yù)言言模模型型系系統(tǒng)統(tǒng)之之間間的的有有效效的的接接口口目前前，，隨隨著著新新的的挖挖掘掘算算法法的的研研究究和和開(kāi)開(kāi)發(fā)發(fā)，，第第一一代代數(shù)數(shù)據(jù)據(jù)挖挖掘掘系系統(tǒng)統(tǒng)仍仍然然會(huì)會(huì)出出現(xiàn)現(xiàn)，，第第二二代代系系統(tǒng)統(tǒng)是是商商業(yè)業(yè)軟軟件件的的主主流流，，部部分分第第二二代代系系統(tǒng)統(tǒng)開(kāi)開(kāi)發(fā)發(fā)商商開(kāi)開(kāi)始始研研制制相相應(yīng)應(yīng)的的第第三三代代數(shù)數(shù)據(jù)據(jù)挖挖掘掘系系統(tǒng)統(tǒng)，，比比如如IBMIntelligentScoreService。第第四四代代數(shù)數(shù)據(jù)據(jù)挖挖掘掘原原型型或或商商業(yè)業(yè)系系統(tǒng)統(tǒng)剛剛剛剛起起步步。。71數(shù)據(jù)據(jù)挖挖掘掘軟軟件件的的發(fā)發(fā)展數(shù)據(jù)據(jù)挖挖掘掘軟軟件件發(fā)發(fā)展展的的三三個(gè)個(gè)階階段段獨(dú)立立的的數(shù)數(shù)據(jù)據(jù)挖挖掘掘軟軟件件橫向向的的數(shù)數(shù)據(jù)據(jù)挖挖掘掘工工具具集集縱向向的的數(shù)數(shù)據(jù)據(jù)挖挖掘掘解解決決方方案案GregoryPiatetsky-Shapiro的觀(guān)觀(guān)點(diǎn)點(diǎn)（（thePresidentofKDnuggets）72數(shù)據(jù)據(jù)挖挖掘掘軟軟件件的的發(fā)發(fā)展展獨(dú)立立的的數(shù)數(shù)據(jù)據(jù)挖挖掘掘軟軟件件（95年以以前前））特點(diǎn)點(diǎn)獨(dú)立立的的數(shù)數(shù)據(jù)據(jù)挖挖掘掘軟軟件件對(duì)對(duì)應(yīng)應(yīng)第第一一代代系系統(tǒng)統(tǒng)，，出出現(xiàn)現(xiàn)在在數(shù)數(shù)據(jù)據(jù)挖挖掘掘技技術(shù)術(shù)發(fā)發(fā)展展早早期期，，研研究究人人員員開(kāi)開(kāi)發(fā)發(fā)出出一一種種新新型型的的數(shù)數(shù)據(jù)據(jù)挖挖掘掘算算法法，，就就形形成成一一個(gè)個(gè)軟軟件件。。這類(lèi)類(lèi)軟軟件件要要求求用用戶(hù)戶(hù)對(duì)對(duì)具具體體的的算算法法和和數(shù)數(shù)據(jù)據(jù)挖挖掘掘技技術(shù)術(shù)有有相相當(dāng)當(dāng)?shù)牡牧肆私饨?，，還還要要負(fù)負(fù)責(zé)責(zé)大大量量的的數(shù)數(shù)據(jù)據(jù)預(yù)預(yù)處處理理工工作作。。比比如如C4.5決策樹(shù)，平行坐標(biāo)可視視化（parallel-coordinatevisualization）。73橫向的數(shù)據(jù)挖挖掘工具集（（95年開(kāi)始）發(fā)展原因隨著數(shù)據(jù)挖掘掘應(yīng)用的發(fā)展展，人們逐漸漸認(rèn)識(shí)到數(shù)據(jù)據(jù)挖掘軟件需需要和以下三三個(gè)方面緊密密結(jié)合：1）數(shù)據(jù)庫(kù)和數(shù)數(shù)據(jù)倉(cāng)庫(kù)；2）多種類(lèi)型的的數(shù)據(jù)挖掘算算法；3）數(shù)據(jù)清洗、、轉(zhuǎn)換等預(yù)處處理工作。隨著數(shù)據(jù)量的的增加，需要要利用數(shù)據(jù)庫(kù)庫(kù)或者數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)技術(shù)進(jìn)行行管理，所以以數(shù)據(jù)挖掘系系統(tǒng)與數(shù)據(jù)庫(kù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)庫(kù)結(jié)合是自然然的發(fā)展?，F(xiàn)實(shí)領(lǐng)域的問(wèn)問(wèn)題是多種多多樣的，一種種或少數(shù)數(shù)據(jù)據(jù)挖掘算法難難以解決挖掘的數(shù)據(jù)通通常不符合算算法的要求，，需要有數(shù)據(jù)據(jù)清洗、轉(zhuǎn)換換等數(shù)據(jù)預(yù)處處理的配合，，才能得出有有價(jià)值的模型型74橫向的數(shù)據(jù)挖挖掘工具集（（95年開(kāi)始）發(fā)展過(guò)程隨著這些需求求的出現(xiàn)，1995年左右軟件開(kāi)開(kāi)發(fā)商開(kāi)始提提供稱(chēng)之為“工具集”的數(shù)據(jù)挖掘軟軟件特點(diǎn)此類(lèi)工具集的的特點(diǎn)是提供供多種數(shù)據(jù)挖挖掘算法包括數(shù)據(jù)的轉(zhuǎn)轉(zhuǎn)換和可視化化由于此類(lèi)工具具并非面向特特定