數(shù)據(jù)挖掘的標(biāo)準(zhǔn)流程與工具課件

1.數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)什么是數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織數(shù)據(jù)倉(cāng)庫(kù)體系化環(huán)境1.數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)1從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)——以單一的數(shù)據(jù)資源為中心，著重事務(wù)處理，競(jìng)爭(zhēng)環(huán)境要求科學(xué)、準(zhǔn)確、快速的決策。傳統(tǒng)數(shù)據(jù)庫(kù)不適宜DSS：處理的性能特性不同事務(wù)處理：數(shù)據(jù)的存取操作頻繁，響應(yīng)要求高、并發(fā)性好分析處理：占用系統(tǒng)資源多，運(yùn)行速度慢，用戶(hù)少數(shù)據(jù)集成問(wèn)題事務(wù)處理：只需與自己相關(guān)的數(shù)據(jù)分析處理：要求數(shù)據(jù)全面數(shù)據(jù)動(dòng)態(tài)集成問(wèn)題分析處理：需要數(shù)據(jù)動(dòng)態(tài)集成事務(wù)處理：只具備靜態(tài)集成、無(wú)法動(dòng)態(tài)集成歷史數(shù)據(jù)問(wèn)題事務(wù)處理：只處理當(dāng)前數(shù)據(jù)分析處理：必須對(duì)歷史數(shù)據(jù)進(jìn)行詳細(xì)分析數(shù)據(jù)的綜合問(wèn)題事務(wù)處理：涉及數(shù)據(jù)細(xì)節(jié)過(guò)多分析處理：需對(duì)數(shù)據(jù)進(jìn)行各種綜合從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)——以單一的數(shù)據(jù)資源為中心2從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)20世紀(jì)中后期開(kāi)始出現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)思想的萌芽1992年W.H.Inmon在BuildingtheDataWarehouse一書(shū)中提出數(shù)據(jù)倉(cāng)庫(kù)的概念。1992年，E.F.Codd提出數(shù)據(jù)倉(cāng)庫(kù)多維分析的概念，和12條OLAP的準(zhǔn)則各大數(shù)據(jù)庫(kù)廠商紛紛推出自己的產(chǎn)品IBMOracleInformixSybase從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)20世紀(jì)中后期開(kāi)始出現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)思想的萌芽3什么是數(shù)據(jù)倉(cāng)庫(kù)“數(shù)據(jù)倉(cāng)庫(kù)是作為DSS服務(wù)基礎(chǔ)的分析型DB，用于存放大容量的只讀數(shù)據(jù)，為制定決策提供所需的信息”“數(shù)據(jù)倉(cāng)庫(kù)是與操作型系統(tǒng)相分離的、基于標(biāo)準(zhǔn)企業(yè)模型集成的、帶有時(shí)間屬性的、面向主題及不可更新的數(shù)據(jù)集合?！睌?shù)據(jù)倉(cāng)庫(kù)將分布在企業(yè)網(wǎng)絡(luò)中不同信息島上的業(yè)務(wù)數(shù)據(jù)集成到一起，存儲(chǔ)在一個(gè)單一的集成關(guān)系型數(shù)據(jù)庫(kù)中，利用這種集成信息，可方便用戶(hù)對(duì)信息的訪問(wèn)，更可使決策人員對(duì)一段時(shí)間內(nèi)的歷史數(shù)據(jù)進(jìn)行分析，研究事物發(fā)展走勢(shì)數(shù)據(jù)倉(cāng)庫(kù)之父W.H.Inmon：”數(shù)據(jù)倉(cāng)庫(kù)是集成的面向主題的數(shù)據(jù)庫(kù)集合，用于支持決策支持功能，其中每個(gè)數(shù)據(jù)單位都與時(shí)間相關(guān)?！笔裁词菙?shù)據(jù)倉(cāng)庫(kù)“數(shù)據(jù)倉(cāng)庫(kù)是作為DSS服務(wù)基礎(chǔ)的分析型DB，用4操作型數(shù)據(jù)與分析型數(shù)據(jù)的區(qū)別操作型數(shù)據(jù)分析型數(shù)據(jù)細(xì)節(jié)的綜合的、或提煉的在存取瞬間是準(zhǔn)確的代表過(guò)去的數(shù)據(jù)可更新不可更新預(yù)先知道操作需求預(yù)先不知道生命周期符合SDLC聲明周期不同對(duì)性能要求高對(duì)性能要求寬松一個(gè)時(shí)刻操作一單元一個(gè)時(shí)刻操作一集合事務(wù)驅(qū)動(dòng)分析驅(qū)動(dòng)面向應(yīng)用面向分析一次操作數(shù)據(jù)量小一次操作數(shù)據(jù)量大支持日常操作支持管理需求操作型數(shù)據(jù)與分析型數(shù)據(jù)的區(qū)別操作型數(shù)據(jù)分析型數(shù)據(jù)細(xì)節(jié)的綜合的5數(shù)據(jù)倉(cāng)庫(kù)的四個(gè)基本特征數(shù)據(jù)是面向主題的什么是主題（是在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類(lèi)并進(jìn)行分析利用的抽象）面向主題的數(shù)據(jù)組織方式（是在較高層次上對(duì)分析對(duì)象的數(shù)據(jù)的完整、一致的描述，能完整、統(tǒng)一地刻畫(huà)各個(gè)分析對(duì)象所涉及地企業(yè)的各項(xiàng)數(shù)據(jù)以及數(shù)據(jù)之間的聯(lián)系）數(shù)據(jù)是集成的數(shù)據(jù)不可更新數(shù)據(jù)隨時(shí)間不斷變化數(shù)據(jù)倉(cāng)庫(kù)的四個(gè)基本特征數(shù)據(jù)是面向主題的6面向應(yīng)用進(jìn)行數(shù)據(jù)組織的特點(diǎn)對(duì)相關(guān)組織、部門(mén)進(jìn)行調(diào)查，收集數(shù)據(jù)庫(kù)的基礎(chǔ)數(shù)據(jù)及其處理過(guò)程，重點(diǎn)在于數(shù)據(jù)和處理反映一個(gè)部門(mén)內(nèi)數(shù)據(jù)的動(dòng)態(tài)特征，即表達(dá)數(shù)據(jù)流程數(shù)據(jù)庫(kù)中的數(shù)據(jù)模式與實(shí)際業(yè)務(wù)中的數(shù)據(jù)有很好的對(duì)應(yīng)關(guān)系數(shù)據(jù)的組織方式?jīng)]有體現(xiàn)數(shù)據(jù)庫(kù)的原本意圖——數(shù)據(jù)與處理的分離。面向應(yīng)用進(jìn)行數(shù)據(jù)組織的特點(diǎn)對(duì)相關(guān)組織、部門(mén)進(jìn)行調(diào)查，收集數(shù)據(jù)7面向主題的數(shù)據(jù)組織抽取主題確定每個(gè)主題所應(yīng)包含的數(shù)據(jù)內(nèi)容。面向主題的數(shù)據(jù)組織抽取主題8大綱

什么是數(shù)據(jù)挖掘數(shù)據(jù)挖掘的標(biāo)準(zhǔn)流程：CRISP－DM

數(shù)據(jù)挖掘工具——SPSSClementine簡(jiǎn)介大綱9第一部分：什么是數(shù)據(jù)挖掘？第一部分：什么是數(shù)據(jù)挖掘？10數(shù)據(jù)挖掘都干了些什么？英國(guó)電信需要發(fā)布一種新的產(chǎn)品，需要通過(guò)直郵的方式向客戶(hù)推薦這種產(chǎn)品。。。。。。使直郵的回應(yīng)率提高了100％數(shù)據(jù)挖掘都干了些什么？英國(guó)電信需要發(fā)布一種新的產(chǎn)品，需要通過(guò)11數(shù)據(jù)挖掘都干了些什么？GUS日用品零售商店需要準(zhǔn)確的預(yù)測(cè)未來(lái)的商品銷(xiāo)售量，降低庫(kù)存成本。。。。。。通過(guò)數(shù)據(jù)挖掘的方法使庫(kù)存成本比原來(lái)減少了3.8%數(shù)據(jù)挖掘都干了些什么？GUS日用品零售商店需要準(zhǔn)確的預(yù)測(cè)未來(lái)12數(shù)據(jù)挖掘都干了些什么？匯豐銀行需要對(duì)不斷增長(zhǎng)的客戶(hù)群進(jìn)行分類(lèi)，對(duì)每種產(chǎn)品找出最有價(jià)值的客戶(hù)。。。。。。營(yíng)銷(xiāo)費(fèi)用減少了30％數(shù)據(jù)挖掘都干了些什么？匯豐銀行需要對(duì)不斷增長(zhǎng)的客戶(hù)群進(jìn)行分類(lèi)13數(shù)據(jù)挖掘都干了些什么？美國(guó)國(guó)防財(cái)務(wù)部需要從每年上百萬(wàn)比的軍火交易中發(fā)現(xiàn)可能存在的欺詐現(xiàn)象。。。。。。發(fā)現(xiàn)可能存在欺詐的交易，進(jìn)行深入調(diào)查，節(jié)約了大量的調(diào)查成本數(shù)據(jù)挖掘都干了些什么？美國(guó)國(guó)防財(cái)務(wù)部需要從每年上百萬(wàn)比的軍火14數(shù)據(jù)挖掘都干了些什么？美國(guó)國(guó)內(nèi)稅務(wù)局需要提高對(duì)納稅人的服務(wù)水平。。。。。。合理安排稅務(wù)官的工作，為納稅人提供更迅捷、更準(zhǔn)確的服務(wù)數(shù)據(jù)挖掘都干了些什么？美國(guó)國(guó)內(nèi)稅務(wù)局需要提高對(duì)納稅人的服務(wù)水15通過(guò)數(shù)據(jù)挖掘您可以發(fā)現(xiàn)最有價(jià)值的客戶(hù)通過(guò)數(shù)據(jù)挖掘您可以發(fā)現(xiàn)最有價(jià)值的客戶(hù)16通過(guò)數(shù)據(jù)挖掘您可以使組合銷(xiāo)售更有效率通過(guò)數(shù)據(jù)挖掘您可以使組合銷(xiāo)售更有效率17通過(guò)數(shù)據(jù)挖掘您可以留住那些最有價(jià)值的客戶(hù)通過(guò)數(shù)據(jù)挖掘您可以留住那些最有價(jià)值的客戶(hù)18通過(guò)數(shù)據(jù)挖掘您可以用更小的成本發(fā)現(xiàn)欺詐現(xiàn)象通過(guò)數(shù)據(jù)挖掘您可以用更小的成本發(fā)現(xiàn)欺詐現(xiàn)象19通過(guò)采用自動(dòng)或半自動(dòng)的手段，在海量數(shù)據(jù)中發(fā)現(xiàn)有意義的行為和規(guī)則的探測(cè)和分析活動(dòng)。數(shù)據(jù)挖掘能夠幫助你選擇正確瞄準(zhǔn)潛在目標(biāo)，向現(xiàn)有的客戶(hù)提供額外的產(chǎn)品，識(shí)別那些準(zhǔn)備離開(kāi)的好客戶(hù)。什么是數(shù)據(jù)挖掘通過(guò)采用自動(dòng)或半自動(dòng)的手段，在海量數(shù)據(jù)中發(fā)現(xiàn)有意義的行為和規(guī)20電信

：流失銀行：聚類(lèi)（細(xì)分）,交叉銷(xiāo)售百貨公司/超市：購(gòu)物籃分析

（關(guān)聯(lián)規(guī)則）保險(xiǎn)：細(xì)分，交叉銷(xiāo)售，流失（原因分析）信用卡：

欺詐探測(cè)，細(xì)分電子商務(wù)：

網(wǎng)站日志分析稅務(wù)部門(mén)：偷漏稅行為探測(cè)警察機(jī)關(guān)：犯罪行為分析醫(yī)學(xué)：

醫(yī)療保健數(shù)據(jù)挖掘應(yīng)用領(lǐng)域電信：流失數(shù)據(jù)挖掘應(yīng)用領(lǐng)域21數(shù)據(jù)挖掘效益分析(直郵）(BigBank&CreditCardCompany)目的：發(fā)現(xiàn)新客戶(hù)數(shù)據(jù)挖掘以前數(shù)據(jù)挖掘以后差別發(fā)信的數(shù)量1,000,000750,000(250,000)成本$1,000,000$750,000($250,000)響應(yīng)的數(shù)量10,0009,000(1,000)每個(gè)響應(yīng)的毛利$125$125$0總毛利$1,250,000$1,125,000($125,000)凈利潤(rùn)$250,000$375,000$125,000建模的費(fèi)用040,000$40,000最終的利潤(rùn)$250,000$335,000$85,000數(shù)據(jù)挖掘效益分析(直郵）目的：發(fā)現(xiàn)新客戶(hù)數(shù)據(jù)挖掘以前數(shù)據(jù)挖掘22第二部分：數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程

——CRISP-DM第二部分：數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程23CRISP－DM簡(jiǎn)介

CRISP－DM是CRoss-IndustryStandardProcess－DataMining的縮寫(xiě)由SPSS、NCR、Daimler-Benz在1996年制定

CRISP是當(dāng)今數(shù)據(jù)挖掘業(yè)界通用流行的標(biāo)準(zhǔn)之一它強(qiáng)調(diào)數(shù)據(jù)挖掘在商業(yè)中的應(yīng)用，解決商業(yè)中存在的問(wèn)題，而不是把數(shù)據(jù)挖掘局限在研究領(lǐng)域CRISP－DM簡(jiǎn)介CRISP－DM是CRoss-Ind24CRISP－DM

商業(yè)理解數(shù)據(jù)理解數(shù)據(jù)準(zhǔn)備建立模型模型評(píng)估模型發(fā)布CRISP－DM商業(yè)理解25商業(yè)理解（BusinessUnderstanding)找問(wèn)題－確定商業(yè)目標(biāo)對(duì)現(xiàn)有資源的評(píng)估確定問(wèn)題是否能夠通過(guò)數(shù)據(jù)挖掘來(lái)解決確定數(shù)據(jù)挖掘的目標(biāo)制定數(shù)據(jù)挖掘計(jì)劃商業(yè)理解（BusinessUnderstanding)找26數(shù)據(jù)理解(DataUnderstanding)確定數(shù)據(jù)挖掘所需要的數(shù)據(jù)對(duì)數(shù)據(jù)進(jìn)行描述數(shù)據(jù)的初步探索檢查數(shù)據(jù)的質(zhì)量數(shù)據(jù)理解(DataUnderstanding)確定數(shù)據(jù)挖27數(shù)據(jù)準(zhǔn)備(DataPreparation)

選擇數(shù)據(jù)清理數(shù)據(jù)對(duì)數(shù)據(jù)進(jìn)行重建調(diào)整數(shù)據(jù)格式使之適合建模數(shù)據(jù)準(zhǔn)備(DataPreparation)選擇數(shù)據(jù)28建立模型（Modeling)對(duì)各個(gè)模型進(jìn)行評(píng)價(jià)選擇數(shù)據(jù)挖掘模型建立模型建立模型（Modeling)對(duì)各個(gè)模型進(jìn)行評(píng)價(jià)29模型評(píng)估(Evaluation)評(píng)估數(shù)據(jù)挖掘的結(jié)果對(duì)整個(gè)數(shù)據(jù)挖掘過(guò)程的前面步驟進(jìn)行評(píng)估確定下一步怎么辦？是發(fā)布模型？還是對(duì)數(shù)據(jù)挖掘過(guò)程進(jìn)行進(jìn)一步的調(diào)整，產(chǎn)生新的模型模型評(píng)估(Evaluation)評(píng)估數(shù)據(jù)挖掘的結(jié)果30模型發(fā)布（Deployment）把數(shù)據(jù)挖掘模型的結(jié)果送到相應(yīng)的管理人員手中對(duì)模型進(jìn)行日常的監(jiān)測(cè)和維護(hù)定期更新數(shù)據(jù)挖掘模型模型發(fā)布（Deployment）把數(shù)據(jù)挖掘模型的結(jié)果送到相31數(shù)據(jù)挖掘和數(shù)據(jù)倉(cāng)庫(kù)的關(guān)系數(shù)據(jù)源數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市數(shù)據(jù)挖掘集市數(shù)據(jù)挖掘和數(shù)據(jù)倉(cāng)庫(kù)的關(guān)系數(shù)據(jù)源數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市數(shù)據(jù)挖掘集市32數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的區(qū)別數(shù)據(jù)挖掘大部分需要把數(shù)據(jù)從數(shù)據(jù)倉(cāng)庫(kù)中抽出數(shù)據(jù)挖掘也可以通過(guò)把幾個(gè)事務(wù)數(shù)據(jù)庫(kù)導(dǎo)入一個(gè)只讀數(shù)據(jù)庫(kù)中進(jìn)行數(shù)據(jù)挖掘數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的區(qū)別數(shù)據(jù)挖掘大部分需要把數(shù)據(jù)從數(shù)據(jù)倉(cāng)庫(kù)中33數(shù)據(jù)挖掘和在線分析處理（OLAP）的關(guān)系OLAP是先建立一個(gè)假設(shè)，然后證實(shí)或者推翻這個(gè)假設(shè)，是演繹推理的過(guò)程數(shù)據(jù)挖掘通過(guò)探索和尋找模型，是歸納的過(guò)程二者具有互不性，OLAP通過(guò)對(duì)數(shù)據(jù)的深層分析使數(shù)據(jù)挖掘更為有效數(shù)據(jù)挖掘和在線分析處理（OLAP）的關(guān)系OLAP是先建立一個(gè)34數(shù)據(jù)挖掘的基本方法數(shù)據(jù)挖掘技術(shù)和算法數(shù)理統(tǒng)計(jì)方法決策樹(shù)：分類(lèi)神經(jīng)網(wǎng)絡(luò)：聚集，偏差分析…歸納邏輯程序遺傳算法模糊邏輯約略集roughsetconceptlearning概念學(xué)習(xí)簡(jiǎn)單的基于規(guī)則的推理數(shù)據(jù)挖掘的基本方法數(shù)據(jù)挖掘技術(shù)和算法35數(shù)理統(tǒng)計(jì)與數(shù)據(jù)挖掘數(shù)據(jù)挖掘的本質(zhì)是很偶然的發(fā)現(xiàn)非預(yù)期但很有價(jià)值的信息，其過(guò)程本質(zhì)上是實(shí)驗(yàn)性的數(shù)據(jù)挖掘是幾門(mén)學(xué)科的綜合，當(dāng)然包括數(shù)理統(tǒng)計(jì)數(shù)理統(tǒng)計(jì)的核心問(wèn)題就是在觀察了樣本的情況下如何去推斷總體數(shù)理統(tǒng)計(jì)與數(shù)據(jù)挖掘數(shù)據(jù)挖掘的本質(zhì)是很偶然的發(fā)現(xiàn)非預(yù)期但很有價(jià)36數(shù)理統(tǒng)計(jì)的幾個(gè)常用的方法回歸分析聚類(lèi)分析主成分分析數(shù)理統(tǒng)計(jì)的幾個(gè)常用的方法回歸分析37回歸分析回歸分析38數(shù)據(jù)挖掘的軟件實(shí)現(xiàn)數(shù)據(jù)挖掘的軟件實(shí)現(xiàn)39第三部分：數(shù)據(jù)挖掘工具—SPSSClementine簡(jiǎn)介Makeadifferencewiththepredictivepowerofdatamining第三部分：數(shù)據(jù)挖掘工具M(jìn)akeadifferencew40應(yīng)用Clementine達(dá)到你數(shù)據(jù)挖掘的目標(biāo)圖形化的界面、數(shù)據(jù)流的形式建立模型，保證了應(yīng)用Clementine進(jìn)行數(shù)據(jù)挖掘關(guān)注商業(yè)更甚于關(guān)注技術(shù)本身開(kāi)放式的技術(shù)是更好的保護(hù)您的投資的保障高度的擴(kuò)展性保證對(duì)數(shù)據(jù)庫(kù)中大量的數(shù)據(jù)進(jìn)行挖掘業(yè)界領(lǐng)先的發(fā)布技術(shù)使數(shù)據(jù)挖掘結(jié)果更好的傳遞到相應(yīng)管理人員手中應(yīng)用Clementine達(dá)到你數(shù)據(jù)挖掘的目標(biāo)圖形化的界面、41把你的商業(yè)經(jīng)驗(yàn)溶入數(shù)據(jù)挖掘過(guò)程是數(shù)據(jù)挖掘成功的關(guān)鍵Better

dataminingresults!InsightBusinessproblem?What

youknow把你的商業(yè)經(jīng)驗(yàn)溶入數(shù)據(jù)挖掘過(guò)程是數(shù)據(jù)挖掘成功的關(guān)鍵Bette42數(shù)據(jù)挖掘的標(biāo)準(zhǔn)流程與工具43豐富的數(shù)據(jù)挖掘算法Prediction

Neuralnet,C5.0Classification

Neuralnet,C5.0Segmentation

Kohonen,Kmeans,C5.0Association

Apriori,GRI,WebgraphSequence

CaprI,NeuralNet,Regression豐富的數(shù)據(jù)挖掘算法Prediction

Neuralnet44與SPSS及AnswerTree無(wú)縫集成提供更多的算法LogisticRegressionDiscriminantAnalysisFactorAnalysisManymore...C&RTCHAIDExhaustiveCHAIDQUEST與SPSS及AnswerTree無(wú)縫集成提供更多的算法Log45使你在數(shù)據(jù)倉(cāng)庫(kù)上的投資得到最大的回報(bào)SybaseDB2InformixOpenIngressOracleSQLServer+ODBCdriversforothers+ODBCsocketfornativedrivers使你在數(shù)據(jù)倉(cāng)庫(kù)上的投資得到最大的回報(bào)Sybase+ODBC46開(kāi)放的建模性能在Clementine中通過(guò)CEMI加入新的算法開(kāi)放的建模性能在Clementine中通過(guò)CEMI加入新的算47Clementine的系統(tǒng)結(jié)構(gòu)

1.Performmany

operationsin

thedatabase.2.Performtherest

onapowerful

server.3.Usetheclient

processorfor

viewingresults.Clementine的系統(tǒng)結(jié)構(gòu)1.Performmany48ClementineServerdelivershugeperformancegainsGeneratinga

distributiongraph995secondswhenprocessedonthedesktop69secondswhenprocessedontheserver19secondswhenpushedbackintothedatabase

ClementineServerdelivershug49In-databaseprocessingdeliversbetterperformanceasdatasetsgetlargerShedatabaseIn-databaseprocessingdeliver50ClementineServercuts

modelbuildingtimeupto90%ModelbuildingtimeneededforbuildingmodelsontheserverasapercentageofthetimeneededforbuildingthemodelonthedesktopClementineServercuts

model51ClementineSolutionPublisher:

領(lǐng)先的模型發(fā)布技術(shù)ModelexportClementineSolution

Publisher:model

andprocessingClementineSolutionPublisher:52SPSS為您提供全方位的服務(wù)，幫助您獲得商業(yè)成功

全方位的服務(wù)全球性的公司與業(yè)界領(lǐng)袖的伙伴關(guān)系SPSS為您提供全方位的服務(wù)，幫助您獲得商業(yè)成功全方位的服531.數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)什么是數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織數(shù)據(jù)倉(cāng)庫(kù)體系化環(huán)境1.數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)54從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)——以單一的數(shù)據(jù)資源為中心，著重事務(wù)處理，競(jìng)爭(zhēng)環(huán)境要求科學(xué)、準(zhǔn)確、快速的決策。傳統(tǒng)數(shù)據(jù)庫(kù)不適宜DSS：處理的性能特性不同事務(wù)處理：數(shù)據(jù)的存取操作頻繁，響應(yīng)要求高、并發(fā)性好分析處理：占用系統(tǒng)資源多，運(yùn)行速度慢，用戶(hù)少數(shù)據(jù)集成問(wèn)題事務(wù)處理：只需與自己相關(guān)的數(shù)據(jù)分析處理：要求數(shù)據(jù)全面數(shù)據(jù)動(dòng)態(tài)集成問(wèn)題分析處理：需要數(shù)據(jù)動(dòng)態(tài)集成事務(wù)處理：只具備靜態(tài)集成、無(wú)法動(dòng)態(tài)集成歷史數(shù)據(jù)問(wèn)題事務(wù)處理：只處理當(dāng)前數(shù)據(jù)分析處理：必須對(duì)歷史數(shù)據(jù)進(jìn)行詳細(xì)分析數(shù)據(jù)的綜合問(wèn)題事務(wù)處理：涉及數(shù)據(jù)細(xì)節(jié)過(guò)多分析處理：需對(duì)數(shù)據(jù)進(jìn)行各種綜合從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)——以單一的數(shù)據(jù)資源為中心55從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)20世紀(jì)中后期開(kāi)始出現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)思想的萌芽1992年W.H.Inmon在BuildingtheDataWarehouse一書(shū)中提出數(shù)據(jù)倉(cāng)庫(kù)的概念。1992年，E.F.Codd提出數(shù)據(jù)倉(cāng)庫(kù)多維分析的概念，和12條OLAP的準(zhǔn)則各大數(shù)據(jù)庫(kù)廠商紛紛推出自己的產(chǎn)品IBMOracleInformixSybase從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)20世紀(jì)中后期開(kāi)始出現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)思想的萌芽56什么是數(shù)據(jù)倉(cāng)庫(kù)“數(shù)據(jù)倉(cāng)庫(kù)是作為DSS服務(wù)基礎(chǔ)的分析型DB，用于存放大容量的只讀數(shù)據(jù)，為制定決策提供所需的信息”“數(shù)據(jù)倉(cāng)庫(kù)是與操作型系統(tǒng)相分離的、基于標(biāo)準(zhǔn)企業(yè)模型集成的、帶有時(shí)間屬性的、面向主題及不可更新的數(shù)據(jù)集合?！睌?shù)據(jù)倉(cāng)庫(kù)將分布在企業(yè)網(wǎng)絡(luò)中不同信息島上的業(yè)務(wù)數(shù)據(jù)集成到一起，存儲(chǔ)在一個(gè)單一的集成關(guān)系型數(shù)據(jù)庫(kù)中，利用這種集成信息，可方便用戶(hù)對(duì)信息的訪問(wèn)，更可使決策人員對(duì)一段時(shí)間內(nèi)的歷史數(shù)據(jù)進(jìn)行分析，研究事物發(fā)展走勢(shì)數(shù)據(jù)倉(cāng)庫(kù)之父W.H.Inmon：”數(shù)據(jù)倉(cāng)庫(kù)是集成的面向主題的數(shù)據(jù)庫(kù)集合，用于支持決策支持功能，其中每個(gè)數(shù)據(jù)單位都與時(shí)間相關(guān)?！笔裁词菙?shù)據(jù)倉(cāng)庫(kù)“數(shù)據(jù)倉(cāng)庫(kù)是作為DSS服務(wù)基礎(chǔ)的分析型DB，用57操作型數(shù)據(jù)與分析型數(shù)據(jù)的區(qū)別操作型數(shù)據(jù)分析型數(shù)據(jù)細(xì)節(jié)的綜合的、或提煉的在存取瞬間是準(zhǔn)確的代表過(guò)去的數(shù)據(jù)可更新不可更新預(yù)先知道操作需求預(yù)先不知道生命周期符合SDLC聲明周期不同對(duì)性能要求高對(duì)性能要求寬松一個(gè)時(shí)刻操作一單元一個(gè)時(shí)刻操作一集合事務(wù)驅(qū)動(dòng)分析驅(qū)動(dòng)面向應(yīng)用面向分析一次操作數(shù)據(jù)量小一次操作數(shù)據(jù)量大支持日常操作支持管理需求操作型數(shù)據(jù)與分析型數(shù)據(jù)的區(qū)別操作型數(shù)據(jù)分析型數(shù)據(jù)細(xì)節(jié)的綜合的58數(shù)據(jù)倉(cāng)庫(kù)的四個(gè)基本特征數(shù)據(jù)是面向主題的什么是主題（是在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類(lèi)并進(jìn)行分析利用的抽象）面向主題的數(shù)據(jù)組織方式（是在較高層次上對(duì)分析對(duì)象的數(shù)據(jù)的完整、一致的描述，能完整、統(tǒng)一地刻畫(huà)各個(gè)分析對(duì)象所涉及地企業(yè)的各項(xiàng)數(shù)據(jù)以及數(shù)據(jù)之間的聯(lián)系）數(shù)據(jù)是集成的數(shù)據(jù)不可更新數(shù)據(jù)隨時(shí)間不斷變化數(shù)據(jù)倉(cāng)庫(kù)的四個(gè)基本特征數(shù)據(jù)是面向主題的59面向應(yīng)用進(jìn)行數(shù)據(jù)組織的特點(diǎn)對(duì)相關(guān)組織、部門(mén)進(jìn)行調(diào)查，收集數(shù)據(jù)庫(kù)的基礎(chǔ)數(shù)據(jù)及其處理過(guò)程，重點(diǎn)在于數(shù)據(jù)和處理反映一個(gè)部門(mén)內(nèi)數(shù)據(jù)的動(dòng)態(tài)特征，即表達(dá)數(shù)據(jù)流程數(shù)據(jù)庫(kù)中的數(shù)據(jù)模式與實(shí)際業(yè)務(wù)中的數(shù)據(jù)有很好的對(duì)應(yīng)關(guān)系數(shù)據(jù)的組織方式?jīng)]有體現(xiàn)數(shù)據(jù)庫(kù)的原本意圖——數(shù)據(jù)與處理的分離。面向應(yīng)用進(jìn)行數(shù)據(jù)組織的特點(diǎn)對(duì)相關(guān)組織、部門(mén)進(jìn)行調(diào)查，收集數(shù)據(jù)60面向主題的數(shù)據(jù)組織抽取主題確定每個(gè)主題所應(yīng)包含的數(shù)據(jù)內(nèi)容。面向主題的數(shù)據(jù)組織抽取主題61大綱

什么是數(shù)據(jù)挖掘數(shù)據(jù)挖掘的標(biāo)準(zhǔn)流程：CRISP－DM

數(shù)據(jù)挖掘工具——SPSSClementine簡(jiǎn)介大綱62第一部分：什么是數(shù)據(jù)挖掘？第一部分：什么是數(shù)據(jù)挖掘？63數(shù)據(jù)挖掘都干了些什么？英國(guó)電信需要發(fā)布一種新的產(chǎn)品，需要通過(guò)直郵的方式向客戶(hù)推薦這種產(chǎn)品。。。。。。使直郵的回應(yīng)率提高了100％數(shù)據(jù)挖掘都干了些什么？英國(guó)電信需要發(fā)布一種新的產(chǎn)品，需要通過(guò)64數(shù)據(jù)挖掘都干了些什么？GUS日用品零售商店需要準(zhǔn)確的預(yù)測(cè)未來(lái)的商品銷(xiāo)售量，降低庫(kù)存成本。。。。。。通過(guò)數(shù)據(jù)挖掘的方法使庫(kù)存成本比原來(lái)減少了3.8%數(shù)據(jù)挖掘都干了些什么？GUS日用品零售商店需要準(zhǔn)確的預(yù)測(cè)未來(lái)65數(shù)據(jù)挖掘都干了些什么？匯豐銀行需要對(duì)不斷增長(zhǎng)的客戶(hù)群進(jìn)行分類(lèi)，對(duì)每種產(chǎn)品找出最有價(jià)值的客戶(hù)。。。。。。營(yíng)銷(xiāo)費(fèi)用減少了30％數(shù)據(jù)挖掘都干了些什么？匯豐銀行需要對(duì)不斷增長(zhǎng)的客戶(hù)群進(jìn)行分類(lèi)66數(shù)據(jù)挖掘都干了些什么？美國(guó)國(guó)防財(cái)務(wù)部需要從每年上百萬(wàn)比的軍火交易中發(fā)現(xiàn)可能存在的欺詐現(xiàn)象。。。。。。發(fā)現(xiàn)可能存在欺詐的交易，進(jìn)行深入調(diào)查，節(jié)約了大量的調(diào)查成本數(shù)據(jù)挖掘都干了些什么？美國(guó)國(guó)防財(cái)務(wù)部需要從每年上百萬(wàn)比的軍火67數(shù)據(jù)挖掘都干了些什么？美國(guó)國(guó)內(nèi)稅務(wù)局需要提高對(duì)納稅人的服務(wù)水平。。。。。。合理安排稅務(wù)官的工作，為納稅人提供更迅捷、更準(zhǔn)確的服務(wù)數(shù)據(jù)挖掘都干了些什么？美國(guó)國(guó)內(nèi)稅務(wù)局需要提高對(duì)納稅人的服務(wù)水68通過(guò)數(shù)據(jù)挖掘您可以發(fā)現(xiàn)最有價(jià)值的客戶(hù)通過(guò)數(shù)據(jù)挖掘您可以發(fā)現(xiàn)最有價(jià)值的客戶(hù)69通過(guò)數(shù)據(jù)挖掘您可以使組合銷(xiāo)售更有效率通過(guò)數(shù)據(jù)挖掘您可以使組合銷(xiāo)售更有效率70通過(guò)數(shù)據(jù)挖掘您可以留住那些最有價(jià)值的客戶(hù)通過(guò)數(shù)據(jù)挖掘您可以留住那些最有價(jià)值的客戶(hù)71通過(guò)數(shù)據(jù)挖掘您可以用更小的成本發(fā)現(xiàn)欺詐現(xiàn)象通過(guò)數(shù)據(jù)挖掘您可以用更小的成本發(fā)現(xiàn)欺詐現(xiàn)象72通過(guò)采用自動(dòng)或半自動(dòng)的手段，在海量數(shù)據(jù)中發(fā)現(xiàn)有意義的行為和規(guī)則的探測(cè)和分析活動(dòng)。數(shù)據(jù)挖掘能夠幫助你選擇正確瞄準(zhǔn)潛在目標(biāo)，向現(xiàn)有的客戶(hù)提供額外的產(chǎn)品，識(shí)別那些準(zhǔn)備離開(kāi)的好客戶(hù)。什么是數(shù)據(jù)挖掘通過(guò)采用自動(dòng)或半自動(dòng)的手段，在海量數(shù)據(jù)中發(fā)現(xiàn)有意義的行為和規(guī)73電信

：流失銀行：聚類(lèi)（細(xì)分）,交叉銷(xiāo)售百貨公司/超市：購(gòu)物籃分析

（關(guān)聯(lián)規(guī)則）保險(xiǎn)：細(xì)分，交叉銷(xiāo)售，流失（原因分析）信用卡：

欺詐探測(cè)，細(xì)分電子商務(wù)：

網(wǎng)站日志分析稅務(wù)部門(mén)：偷漏稅行為探測(cè)警察機(jī)關(guān)：犯罪行為分析醫(yī)學(xué)：

醫(yī)療保健數(shù)據(jù)挖掘應(yīng)用領(lǐng)域電信：流失數(shù)據(jù)挖掘應(yīng)用領(lǐng)域74數(shù)據(jù)挖掘效益分析(直郵）(BigBank&CreditCardCompany)目的：發(fā)現(xiàn)新客戶(hù)數(shù)據(jù)挖掘以前數(shù)據(jù)挖掘以后差別發(fā)信的數(shù)量1,000,000750,000(250,000)成本$1,000,000$750,000($250,000)響應(yīng)的數(shù)量10,0009,000(1,000)每個(gè)響應(yīng)的毛利$125$125$0總毛利$1,250,000$1,125,000($125,000)凈利潤(rùn)$250,000$375,000$125,000建模的費(fèi)用040,000$40,000最終的利潤(rùn)$250,000$335,000$85,000數(shù)據(jù)挖掘效益分析(直郵）目的：發(fā)現(xiàn)新客戶(hù)數(shù)據(jù)挖掘以前數(shù)據(jù)挖掘75第二部分：數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程

——CRISP-DM第二部分：數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程76CRISP－DM簡(jiǎn)介

CRISP－DM是CRoss-IndustryStandardProcess－DataMining的縮寫(xiě)由SPSS、NCR、Daimler-Benz在1996年制定

CRISP是當(dāng)今數(shù)據(jù)挖掘業(yè)界通用流行的標(biāo)準(zhǔn)之一它強(qiáng)調(diào)數(shù)據(jù)挖掘在商業(yè)中的應(yīng)用，解決商業(yè)中存在的問(wèn)題，而不是把數(shù)據(jù)挖掘局限在研究領(lǐng)域CRISP－DM簡(jiǎn)介CRISP－DM是CRoss-Ind77CRISP－DM

商業(yè)理解數(shù)據(jù)理解數(shù)據(jù)準(zhǔn)備建立模型模型評(píng)估模型發(fā)布CRISP－DM商業(yè)理解78商業(yè)理解（BusinessUnderstanding)找問(wèn)題－確定商業(yè)目標(biāo)對(duì)現(xiàn)有資源的評(píng)估確定問(wèn)題是否能夠通過(guò)數(shù)據(jù)挖掘來(lái)解決確定數(shù)據(jù)挖掘的目標(biāo)制定數(shù)據(jù)挖掘計(jì)劃商業(yè)理解（BusinessUnderstanding)找79數(shù)據(jù)理解(DataUnderstanding)確定數(shù)據(jù)挖掘所需要的數(shù)據(jù)對(duì)數(shù)據(jù)進(jìn)行描述數(shù)據(jù)的初步探索檢查數(shù)據(jù)的質(zhì)量數(shù)據(jù)理解(DataUnderstanding)確定數(shù)據(jù)挖80數(shù)據(jù)準(zhǔn)備(DataPreparation)

選擇數(shù)據(jù)清理數(shù)據(jù)對(duì)數(shù)據(jù)進(jìn)行重建調(diào)整數(shù)據(jù)格式使之適合建模數(shù)據(jù)準(zhǔn)備(DataPreparation)選擇數(shù)據(jù)81建立模型（Modeling)對(duì)各個(gè)模型進(jìn)行評(píng)價(jià)選擇數(shù)據(jù)挖掘模型建立模型建立模型（Modeling)對(duì)各個(gè)模型進(jìn)行評(píng)價(jià)82模型評(píng)估(Evaluation)評(píng)估數(shù)據(jù)挖掘的結(jié)果對(duì)整個(gè)數(shù)據(jù)挖掘過(guò)程的前面步驟進(jìn)行評(píng)估確定下一步怎么辦？是發(fā)布模型？還是對(duì)數(shù)據(jù)挖掘過(guò)程進(jìn)行進(jìn)一步的調(diào)整，產(chǎn)生新的模型模型評(píng)估(Evaluation)評(píng)估數(shù)據(jù)挖掘的結(jié)果83模型發(fā)布（Deployment）把數(shù)據(jù)挖掘模型的結(jié)果送到相應(yīng)的管理人員手中對(duì)模型進(jìn)行日常的監(jiān)測(cè)和維護(hù)定期更新數(shù)據(jù)挖掘模型模型發(fā)布（Deployment）把數(shù)據(jù)挖掘模型的結(jié)果送到相84數(shù)據(jù)挖掘和數(shù)據(jù)倉(cāng)庫(kù)的關(guān)系數(shù)據(jù)源數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市數(shù)據(jù)挖掘集市數(shù)據(jù)挖掘和數(shù)據(jù)倉(cāng)庫(kù)的關(guān)系數(shù)據(jù)源數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市數(shù)據(jù)挖掘集市85數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的區(qū)別數(shù)據(jù)挖掘大部分需要把數(shù)據(jù)從數(shù)據(jù)倉(cāng)庫(kù)中抽出數(shù)據(jù)挖掘也可以通過(guò)把幾個(gè)事務(wù)數(shù)據(jù)庫(kù)導(dǎo)入一個(gè)只讀數(shù)據(jù)庫(kù)中進(jìn)行數(shù)據(jù)挖掘數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的區(qū)別數(shù)據(jù)挖掘大部分需要把數(shù)據(jù)從數(shù)據(jù)倉(cāng)庫(kù)中86數(shù)據(jù)挖掘和在線分析處理（OLAP）的關(guān)系OLAP是先建立一個(gè)假設(shè)，然后證實(shí)或者推翻這個(gè)假設(shè)，是演繹推理的過(guò)程數(shù)據(jù)挖掘通過(guò)探索和尋找模型，是歸納的過(guò)程二者具有互不性，OLAP通過(guò)對(duì)數(shù)據(jù)的深層分析使數(shù)據(jù)挖掘更為有效數(shù)據(jù)挖掘和在線分析處理（OLAP）的關(guān)系OLAP是先建立一個(gè)87數(shù)據(jù)挖掘的基本方法數(shù)據(jù)挖掘技術(shù)和算法數(shù)理統(tǒng)計(jì)方法決策樹(shù)：分類(lèi)神經(jīng)網(wǎng)絡(luò)：聚集，偏差分析…歸納邏輯程序遺傳算法模糊邏輯約略集roughsetconceptlearning概念學(xué)習(xí)簡(jiǎn)單的基于規(guī)則的推理數(shù)據(jù)挖掘的基本方法數(shù)據(jù)挖掘技術(shù)和算法88數(shù)理統(tǒng)計(jì)與數(shù)據(jù)挖掘數(shù)據(jù)挖掘的本質(zhì)是很偶然的發(fā)現(xiàn)非預(yù)期但很有價(jià)值的信息，其過(guò)程本質(zhì)上是實(shí)驗(yàn)性的數(shù)據(jù)挖掘是幾門(mén)學(xué)科的綜合，當(dāng)然包括數(shù)理統(tǒng)計(jì)數(shù)理統(tǒng)計(jì)的核心問(wèn)題就是在觀察了樣本的情況下如何去推斷總體數(shù)理統(tǒng)計(jì)與數(shù)據(jù)挖掘數(shù)據(jù)挖掘的本質(zhì)是很偶然的發(fā)現(xiàn)非預(yù)期但很有價(jià)89數(shù)理統(tǒng)計(jì)的幾個(gè)常用的方法回歸分析聚類(lèi)分析主成分分析數(shù)理統(tǒng)計(jì)的幾個(gè)常用的方法回歸分析90回歸分析回歸分析91數(shù)據(jù)挖掘的軟件實(shí)現(xiàn)數(shù)據(jù)挖掘的軟件實(shí)現(xiàn)92第三部分：數(shù)據(jù)挖掘工具—SPSSClementine簡(jiǎn)介Makeadifferencewiththepredictivepowerofdatamining第三部分：數(shù)據(jù)挖掘工具M(jìn)akeadifferencew93應(yīng)用Clementine達(dá)到你數(shù)據(jù)挖掘的目標(biāo)圖形化的界面、數(shù)據(jù)流的形式建立模型，保證了應(yīng)用Clementine進(jìn)行數(shù)據(jù)挖掘關(guān)注商業(yè)更甚于關(guān)注技術(shù)本身開(kāi)放式的技術(shù)是更好的保護(hù)您的投資的保障高度的擴(kuò)展性保證對(duì)數(shù)據(jù)庫(kù)中大量的數(shù)據(jù)進(jìn)行挖掘業(yè)界領(lǐng)先的發(fā)布技術(shù)使數(shù)據(jù)挖掘結(jié)果更好的傳遞到相應(yīng)管理人員手中應(yīng)用Clementine達(dá)到你數(shù)據(jù)挖掘的目標(biāo)圖形化的界面、94把你的商業(yè)經(jīng)驗(yàn)溶入數(shù)據(jù)挖掘過(guò)程是數(shù)據(jù)挖掘成功的關(guān)鍵Better

dataminingresults!InsightBusinessproblem?What

youknow把你的商業(yè)經(jīng)驗(yàn)溶入數(shù)據(jù)挖掘過(guò)程是數(shù)據(jù)挖掘成功的關(guān)鍵Bette95數(shù)據(jù)挖掘的標(biāo)準(zhǔn)流程與工具96豐富的數(shù)據(jù)挖掘算法Prediction

Neuralnet,C5.0Classification

Neuralnet,C5.0Segmentation

Kohonen,Kmeans,C5.0Association

Apriori,GRI,WebgraphSequence

CaprI,NeuralNet,Regression豐富的數(shù)據(jù)挖掘算法Prediction

Neuralnet97與SPSS及AnswerTree無(wú)縫集成提供更多的算法LogisticRegressionDiscriminantAnalysisFactorAnalysisManymore...C&RTCHAIDExhaustiveCHAIDQUEST與SPSS及AnswerTree無(wú)縫集成提供更多的算法Log98