有了OLAP,為什么還需要數(shù)據(jù)挖掘

有了OLAP,為什么還需要數(shù)據(jù)挖掘?一、為什么需要數(shù)據(jù)挖掘？我們知道，BI可以輔助決策，BI應(yīng)用按照不同的程度可分為現(xiàn)狀分析、原因分析、預(yù)測(cè)分析?，F(xiàn)狀分析洞察發(fā)生了什么？例如企業(yè)運(yùn)營(yíng)好了還是壞了？經(jīng)營(yíng)指標(biāo)完成情況？業(yè)務(wù)構(gòu)成？各項(xiàng)業(yè)務(wù)構(gòu)成、發(fā)展及變動(dòng)等。原因分析進(jìn)一步洞察為什么會(huì)發(fā)生？例如去年利潤(rùn)環(huán)比下降10%什么原因?qū)е碌模磕甓鹊匿N(xiāo)售量目標(biāo)為什么未達(dá)成？預(yù)測(cè)分析洞察將來(lái)要發(fā)生什么？例如明年公司業(yè)績(jī)將會(huì)是多少？哪些客戶可能流失？不管是現(xiàn)狀分析，還是原因分析，通過(guò)OLAP都可以實(shí)現(xiàn)。但是，OLAP實(shí)現(xiàn)不了預(yù)測(cè)分析，而預(yù)測(cè)恰恰就是數(shù)據(jù)挖掘最擅長(zhǎng)的。二、什么是數(shù)據(jù)挖掘?數(shù)據(jù)挖掘是按照預(yù)定的規(guī)則對(duì)數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)中已有的數(shù)據(jù)進(jìn)行信息開(kāi)采、挖掘和分析，從中識(shí)別和抽取隱含的模式和有趣知識(shí),為決策者提供決策依據(jù)。數(shù)據(jù)挖掘的任務(wù)是從數(shù)據(jù)中發(fā)現(xiàn)模式。模式有很多種，按功能可分為兩大類(lèi)：預(yù)測(cè)型(Predictive)模式和描述型(Descriptive)模式。預(yù)測(cè)型模式是可以根據(jù)數(shù)據(jù)項(xiàng)的值精準(zhǔn)確定某種結(jié)果的模式。挖掘預(yù)測(cè)型模式所使用的數(shù)據(jù)也都是可以明確知道結(jié)果的。描述型模式是對(duì)數(shù)據(jù)中存在的規(guī)則做一種描述，或者根據(jù)數(shù)據(jù)的相似性把數(shù)據(jù)分組。描述型模式不能直接用于預(yù)測(cè)。在實(shí)際應(yīng)用中，根據(jù)模式的實(shí)際作用，可細(xì)分為分類(lèi)模式、回歸模式、時(shí)間序列模式、聚類(lèi)模式、關(guān)聯(lián)模式和序列模式6種。其中包含的具體算法有貨籃分析(MarketAnalysis)>聚類(lèi)檢測(cè)(ClusteringDetection)、神經(jīng)網(wǎng)絡(luò)(NeuralNetworks)、決策樹(shù)方法(DecisionTrees)、遺傳算法(GeneticAnalysis)、連接分析(LinkAnalysis)、基于范例的推理(CaseBasedReasoning)和粗集(RoughSet)以及各種統(tǒng)計(jì)模型。三、OLAP與數(shù)據(jù)挖掘的區(qū)別？OLAP與數(shù)據(jù)挖掘的區(qū)別是：OLAP側(cè)重于與用戶的交互、快速的響應(yīng)速度及提供數(shù)據(jù)的多維視圖，而數(shù)據(jù)挖掘則注重自動(dòng)發(fā)現(xiàn)隱藏在數(shù)據(jù)中的模式和有用信息，盡管允許用戶指導(dǎo)這一過(guò)程。OLAP的分析結(jié)果可以給數(shù)據(jù)挖掘提供分析信息作為挖掘的依據(jù)，數(shù)據(jù)挖掘可以拓展OLAP分析的深度，可以發(fā)現(xiàn)OLAP所不能發(fā)現(xiàn)的更為復(fù)雜、細(xì)致的信息。數(shù)據(jù)挖掘的研究重點(diǎn)則偏向數(shù)據(jù)挖掘算法以及數(shù)據(jù)挖掘技術(shù)在新的數(shù)據(jù)類(lèi)型、應(yīng)用環(huán)境中使用時(shí)所出現(xiàn)新問(wèn)題的解決上，如對(duì)各種非結(jié)構(gòu)化數(shù)據(jù)的挖掘、數(shù)據(jù)挖掘語(yǔ)言的標(biāo)準(zhǔn)化以及可視化數(shù)據(jù)挖掘等。簡(jiǎn)單來(lái)說(shuō)，OLAP揭示的是已知的、過(guò)去的數(shù)據(jù)關(guān)系，數(shù)據(jù)挖掘揭示的是未知的、將來(lái)的數(shù)據(jù)關(guān)系。所以，數(shù)據(jù)挖掘可以用來(lái)做預(yù)測(cè)!四、為什么需要數(shù)據(jù)挖掘？數(shù)據(jù)挖掘是如何做到預(yù)測(cè)的？因?yàn)閿?shù)據(jù)挖掘有一套標(biāo)準(zhǔn)的流程，可以對(duì)數(shù)據(jù)進(jìn)行各種科學(xué)的處理和測(cè)試，從而發(fā)現(xiàn)數(shù)據(jù)本身隱藏的規(guī)律。這套流程概括起來(lái)包括業(yè)務(wù)理解、數(shù)據(jù)準(zhǔn)備、建立模型和評(píng)估模型4個(gè)步驟，我們以“預(yù)測(cè)銀行零售客戶流失”這個(gè)應(yīng)用場(chǎng)景為例進(jìn)行說(shuō)明：第1步：業(yè)務(wù)理解確定目標(biāo)，明確分析需求預(yù)測(cè)哪些銀行零售客戶將會(huì)流失，提前做好營(yíng)銷(xiāo)挽留。第2步：數(shù)據(jù)準(zhǔn)備收集原始數(shù)據(jù)、檢驗(yàn)數(shù)據(jù)質(zhì)量、整合數(shù)據(jù)、格式化數(shù)據(jù)初步判斷客戶可能會(huì)流失的情況，如銀行卡交易量逐月下降、客戶投訴持續(xù)不斷，對(duì)跟這些情況有關(guān)的數(shù)據(jù)進(jìn)行采集、格式化。第3步：建立模型選擇建模技術(shù)、參數(shù)調(diào)優(yōu)、生成測(cè)試計(jì)劃、構(gòu)建模型客戶是否會(huì)流失，是一個(gè)分類(lèi)問(wèn)題，所以選擇分類(lèi)算法建立模型并進(jìn)行訓(xùn)練。第4步：評(píng)估模型對(duì)模型進(jìn)行全面的評(píng)估，評(píng)估結(jié)果、重審過(guò)程對(duì)建立好的模型進(jìn)行評(píng)估，并且要根據(jù)預(yù)測(cè)結(jié)果不斷調(diào)整模型參數(shù)，實(shí)現(xiàn)模型的最優(yōu)化。五、數(shù)據(jù)挖掘工具的使用整個(gè)數(shù)據(jù)挖掘流程最關(guān)鍵是模型的迭代優(yōu)化，模型算法有分類(lèi)算法、回歸算法、聚類(lèi)算法等，每種算法類(lèi)型又包含多種不同的算法，例如分類(lèi)算法，就包含邏輯回歸、樸素貝葉斯、決策樹(shù)等，使用的編程語(yǔ)言有Java語(yǔ)言、Python語(yǔ)言、R語(yǔ)言。挖掘挖掘不僅需要扎實(shí)的計(jì)算機(jī)知識(shí)，而且還涉及到統(tǒng)計(jì)學(xué)、模型算法等技術(shù)，學(xué)習(xí)門(mén)檻很高，一般是專業(yè)技術(shù)人員在使用。但是，借助市場(chǎng)上提供的數(shù)據(jù)挖掘工具，可以把數(shù)據(jù)挖掘的流程大大簡(jiǎn)化，讓普通的分析人員也可以快速掌握。例如，由思邁特軟件推出的數(shù)據(jù)挖掘工具SmartbiMining，以互聯(lián)網(wǎng)式用戶體驗(yàn)為設(shè)計(jì)目標(biāo)，極簡(jiǎn)風(fēng)格的流式建模，快速實(shí)現(xiàn)各種類(lèi)型的數(shù)據(jù)挖掘應(yīng)用，為個(gè)人、團(tuán)隊(duì)和企業(yè)所做的決策提供預(yù)測(cè)性分析。SmartbiMining具備流程化、可視化的建模界面，內(nèi)置實(shí)用的、經(jīng)典的統(tǒng)計(jì)挖掘算法和深度學(xué)習(xí)算法，這些算法配置簡(jiǎn)單降低了機(jī)器學(xué)習(xí)的使用門(mén)檻，大大節(jié)省了成本，業(yè)務(wù)人員可通過(guò)輕松拖拉拽組件的操作，進(jìn)行可視化建模，完成模型流程的搭建，并能將模型發(fā)布管理。六、數(shù)據(jù)挖掘的應(yīng)用場(chǎng)景數(shù)據(jù)挖掘可廣泛應(yīng)用于各個(gè)領(lǐng)域，包括企業(yè)運(yùn)營(yíng)、生產(chǎn)控制、市場(chǎng)分析、工程設(shè)計(jì)、城市規(guī)劃和科學(xué)探索等，下面是幾個(gè)在企業(yè)運(yùn)營(yíng)領(lǐng)域的典型應(yīng)用場(chǎng)景：1、精準(zhǔn)營(yíng)銷(xiāo)分析客戶的屬性和消費(fèi)行為，為客戶推薦最合適的產(chǎn)品信息，提高營(yíng)銷(xiāo)的效果。2、客戶保留分析客戶在購(gòu)買(mǎi)產(chǎn)品方面的行為變化和滿意度情況，預(yù)測(cè)可能會(huì)流失的客戶，提前做好挽留工作。3、銷(xiāo)量預(yù)測(cè)分析產(chǎn)品的歷史銷(xiāo)售數(shù)據(jù)，預(yù)測(cè)未來(lái)一段時(shí)間的產(chǎn)品銷(xiāo)量，為生產(chǎn)、庫(kù)存提前做好準(zhǔn)備。4、價(jià)格預(yù)測(cè)收集市場(chǎng)上影響產(chǎn)品價(jià)格的各種數(shù)據(jù)進(jìn)行分析，預(yù)測(cè)產(chǎn)品價(jià)格的發(fā)展趨勢(shì)，搶占市場(chǎng)先機(jī)。5、信用評(píng)分分析客戶的基本信息和消費(fèi)、還貸等記錄，對(duì)客戶信用進(jìn)行評(píng)分，防范信用風(fēng)險(xiǎn)，減少損失。不管