商務(wù)智能-數(shù)據(jù)挖掘原理

數(shù)據(jù)挖掘原理

趙衛(wèi)東博士

復(fù)旦大學(xué)軟件學(xué)院

商務(wù)智能-數(shù)據(jù)挖掘原理第1頁(yè)WhatisDataMining?AccordingtotheGartnerGroup,Dataminingistheprocessofdiscoveringmeaningfulnewcorrelations,patternsandtrendsbysiftingthroughlargeamountsofdatastoredinrepositories,usingpatternrecognitiontechnologiesaswellasstatisticalandmathematicaltechniques.Dataminingreferstotheworkofdiscoveringnewanduseful(business)knowledgefromlargerealdatabasesthroughanon-trivialprocessandusingasoundmethodologyandmultipledataprocessingandanalyticaltechniques.Examples:Detecttaxationfraud:notdeclaringallincomefortaxation;Fromthethousandsofmobilephonecustomers,predictwhichcustomersaregoingtoswitchtoacompetitor.商務(wù)智能-數(shù)據(jù)挖掘原理第2頁(yè)數(shù)據(jù)挖掘受多學(xué)科影響

數(shù)據(jù)挖掘是一個(gè)交叉科學(xué)領(lǐng)域，受多個(gè)學(xué)科影響，包含數(shù)據(jù)庫(kù)系統(tǒng)、統(tǒng)計(jì)、機(jī)器學(xué)習(xí)、可視化和信息科學(xué)。

商務(wù)智能-數(shù)據(jù)挖掘原理第3頁(yè)一個(gè)比較正式數(shù)據(jù)挖掘定義高層次上主動(dòng)式自動(dòng)發(fā)覺(jué)方法，被稱為發(fā)覺(jué)驅(qū)動(dòng)型知識(shí)發(fā)覺(jué)。從數(shù)據(jù)中提取正確、有用、未知和綜合信息并用它進(jìn)行決議過(guò)程。數(shù)據(jù)挖掘相關(guān)學(xué)科是統(tǒng)計(jì)理論、數(shù)據(jù)庫(kù)技術(shù)和人工智能。前BusinessObjectsToddRowe曾表示：“從技術(shù)上講，甚至只要有完備Excel數(shù)據(jù)就能用上BI?！?/p>

商務(wù)智能-數(shù)據(jù)挖掘原理第4頁(yè)過(guò)程數(shù)據(jù)挖掘并不是一個(gè)裝在軟件包裝盒中工具能夠簡(jiǎn)單買到并運(yùn)行在商業(yè)智能環(huán)境中，也不會(huì)自動(dòng)開(kāi)始產(chǎn)生值得注意商業(yè)規(guī)律。商務(wù)智能-數(shù)據(jù)挖掘原理第5頁(yè)正確提取信息應(yīng)該是正確，而且在統(tǒng)計(jì)上是主要以支持有依據(jù)決定。正確意味著確證性和完整性。不但需要從數(shù)據(jù)庫(kù)中得到正確客戶，還希望得到全部正確客戶。這就需要原始數(shù)據(jù)和數(shù)據(jù)挖掘過(guò)程都含有正確性。商務(wù)智能-數(shù)據(jù)挖掘原理第6頁(yè)有用數(shù)據(jù)挖掘過(guò)程可能會(huì)傳遞正確和主要結(jié)果，不過(guò)這些知識(shí)必須是對(duì)商業(yè)有用。如結(jié)果告訴你要在一個(gè)大量渠道上多樣化市場(chǎng)運(yùn)作，這可能會(huì)無(wú)法辦到。一樣結(jié)果必須使你能搶在競(jìng)爭(zhēng)對(duì)手之前行動(dòng)。商務(wù)智能-數(shù)據(jù)挖掘原理第7頁(yè)未知數(shù)據(jù)挖掘要產(chǎn)生新信息。假如過(guò)程只是傳遞一些無(wú)關(guān)緊要結(jié)果，那么數(shù)據(jù)挖掘商業(yè)動(dòng)力就會(huì)消失。這就是區(qū)分驗(yàn)證和探索性質(zhì)。商務(wù)智能-數(shù)據(jù)挖掘原理第8頁(yè)最小要求以上顯示了數(shù)據(jù)挖掘最小要求，能夠用它來(lái)評(píng)價(jià)數(shù)據(jù)挖掘是否對(duì)業(yè)務(wù)環(huán)境增加了附加價(jià)值其它要求商務(wù)智能-數(shù)據(jù)挖掘原理第9頁(yè)WhyDataMining?GainaninsightintobusinessdataIdentifyusefulpatterns,correlationsandmodelsfromdataautomaticallytoanswerquestionslike,Whichcustomerislikelytochurnintwomonths?Whichcustomerismycrossselltarget?Whatarethecharacteristicsofmyhighspendingandlowspendingcustomers?DataminingisacoretechnologyofbusinessintelligenceDataminingisacoreapplicationofdatawarehousesDataminingisthecoretechnologyofanalyticalCRMDataminingisthecoretechnologyofonlinerecommendationandpersonalizationine-commerceDatamininghasbecomeapartofbusinessfunctioninmanycompanies商務(wù)智能-數(shù)據(jù)挖掘原理第10頁(yè)Dataminingisregularlyusedin商務(wù)智能-數(shù)據(jù)挖掘原理第11頁(yè)經(jīng)典數(shù)據(jù)挖掘系統(tǒng)結(jié)構(gòu)

商務(wù)智能-數(shù)據(jù)挖掘原理第12頁(yè)Verification-DrivenAnalysisVerification-drivendataminingtoolsextractdata.Theuserisexpectedtogenerateinformationbasedonhisinterpretationofthereturneddata.商務(wù)智能-數(shù)據(jù)挖掘原理第13頁(yè)NewProcessWithDataMiningDiscovery-drivenComputersiftsthroughmillionsofhypothesesandonlypresentsthemostinteresting/validonesExample:Fromasamplegroupofclientsthathavedefectedtoacompetitivebank-identifyclientcharacteristicsthatarestronglycorrelated,andusingtheseattributes,scoretherestoftheclientandprospectpopulationandthestrengthoftheirrelationshipstosamplegroup.商務(wù)智能-數(shù)據(jù)挖掘原理第14頁(yè)WhatCanDataMiningDo?ClassificationandEstimationPredictionForecastingClusteringandSegmentationAssociationDiscoveryDescriptionandvisualizationMarketBasedAnalysisandUp-Selling/Cross-SellingPharmaceuticalIndustry:DrugEffectivenessbyPatientTypeDefectAnalysisinManufacturingUniversityandEmployeeRecruitmentEmployeeTurnoverPredictionsCreditRiskDeterminationCreditCardFraudCustomerGroupingandBehaviourPrediction商務(wù)智能-數(shù)據(jù)挖掘原理第15頁(yè)數(shù)據(jù)挖掘過(guò)程商務(wù)智能-數(shù)據(jù)挖掘原理第16頁(yè)占70%工作量，是最主要階段占25%工作量系統(tǒng)演示商務(wù)智能-數(shù)據(jù)挖掘原理第17頁(yè)EffortDistribution

商務(wù)智能-數(shù)據(jù)挖掘原理第18頁(yè)CRISP–DMisaniterative,adaptiveprocess.商務(wù)智能-數(shù)據(jù)挖掘原理第19頁(yè)IBMIntelligentMiner可視化界面商務(wù)智能-數(shù)據(jù)挖掘原理第20頁(yè)AlphaMiner界面商務(wù)智能-數(shù)據(jù)挖掘原理第21頁(yè)數(shù)據(jù)挖掘過(guò)程是循環(huán)過(guò)程上圖會(huì)輕易造成一個(gè)線性過(guò)程印象。實(shí)際上，每一步結(jié)果會(huì)導(dǎo)致這么一個(gè)結(jié)論：需要從前幾步中得到更多信息，并不停重復(fù)這一過(guò)程。這些循環(huán)確保了最終結(jié)果是完全為業(yè)務(wù)量身定制。商務(wù)智能-數(shù)據(jù)挖掘原理第22頁(yè)業(yè)務(wù)分析理想化地，企業(yè)中全部活動(dòng)都在不一樣程度上經(jīng)過(guò)策略和商業(yè)目標(biāo)與企業(yè)任務(wù)描述相關(guān)。數(shù)據(jù)挖掘使你能夠比以前在更高層次上控制你目標(biāo)。業(yè)務(wù)分析包括到領(lǐng)域教授和挖掘教授。前者專心于要求商業(yè)需求，而后者從數(shù)據(jù)挖掘觀點(diǎn)上確保這些要求可行性，而且詳細(xì)說(shuō)明滿足這些要求所需挖掘操作。商務(wù)智能-數(shù)據(jù)挖掘原理第23頁(yè)數(shù)據(jù)分析為了研究使用統(tǒng)計(jì)方法數(shù)據(jù)，可能有必要清理數(shù)據(jù)，添入缺損值，或者從幾個(gè)系統(tǒng)中將數(shù)據(jù)整合起來(lái)。數(shù)據(jù)分析將會(huì)對(duì)以后步驟中必須數(shù)據(jù)轉(zhuǎn)換提供一個(gè)初步了解，比如數(shù)據(jù)清理和整合?？赡芤矔?huì)指出獲取外部信息是必要，比如說(shuō)日常商業(yè)運(yùn)作中并不需要用戶人口統(tǒng)計(jì)數(shù)據(jù)。在這一步中包括到角色是挖掘教授，他們執(zhí)行大部分任務(wù)，還有數(shù)據(jù)庫(kù)管理員，他們將經(jīng)過(guò)提供數(shù)據(jù)訪問(wèn)權(quán)限來(lái)支持這些活動(dòng)。商務(wù)智能-數(shù)據(jù)挖掘原理第24頁(yè)數(shù)據(jù)準(zhǔn)備當(dāng)挖掘所需數(shù)據(jù)可供使用時(shí)，往往需要在真正進(jìn)行挖掘前做一些準(zhǔn)備工作。對(duì)于是否需要做這些準(zhǔn)備工作，大部分在數(shù)據(jù)分析步驟中進(jìn)行評(píng)定。商務(wù)智能-數(shù)據(jù)挖掘原理第25頁(yè)數(shù)據(jù)質(zhì)量數(shù)據(jù)顯示出一些特定值，叫做偏離點(diǎn)，它們遠(yuǎn)離預(yù)期正常范圍。這些值可用各種方法來(lái)處理：假如它們?nèi)栽诂F(xiàn)實(shí)中存在話，對(duì)這些數(shù)據(jù)取對(duì)數(shù)能夠?qū)⑺鼈冝D(zhuǎn)化到較小范圍。不然能夠?qū)@些值統(tǒng)計(jì)除去，或者將全部統(tǒng)計(jì)中相關(guān)屬性除去。商務(wù)智能-數(shù)據(jù)挖掘原理第26頁(yè)空缺值一個(gè)更常見(jiàn)問(wèn)題是空缺值。另外，有些統(tǒng)計(jì)值可能空缺，或者某一個(gè)屬性可能會(huì)有大量空缺值。對(duì)第一個(gè)情況，能夠不使用這些統(tǒng)計(jì)；對(duì)第二種情況，能夠丟棄這個(gè)屬性。商務(wù)智能-數(shù)據(jù)挖掘原理第27頁(yè)猜測(cè)空缺值另一個(gè)處理空缺值方法是歸咎（imputation）。能夠用幾個(gè)技術(shù)來(lái)猜測(cè)空缺值，下面是一些相關(guān)技術(shù)，復(fù)雜度逐步增加：從別統(tǒng)計(jì)中隨機(jī)抽取一個(gè)值添入。取其它統(tǒng)計(jì)中對(duì)應(yīng)屬性最頻值，中間數(shù)或平均數(shù)。對(duì)其它統(tǒng)計(jì)中這個(gè)屬性值分布做一個(gè)統(tǒng)計(jì)模型，然后依據(jù)分布情況，隨機(jī)選一個(gè)值。試圖用統(tǒng)計(jì)或挖掘技術(shù)從相同統(tǒng)計(jì)值中預(yù)估空缺值。商務(wù)智能-數(shù)據(jù)挖掘原理第28頁(yè)數(shù)據(jù)預(yù)處理

商務(wù)智能-數(shù)據(jù)挖掘原理第29頁(yè)數(shù)據(jù)中不一致性數(shù)據(jù)挖掘能夠有效地處理數(shù)據(jù)中不一致性。即使源數(shù)據(jù)是干凈、整合和經(jīng)過(guò)驗(yàn)證，它們?nèi)杂锌赡馨F(xiàn)實(shí)世界不真實(shí)數(shù)據(jù)。有效認(rèn)識(shí)和解決數(shù)據(jù)質(zhì)量相關(guān)問(wèn)題唯一辦法，就是企業(yè)對(duì)內(nèi)部處理流程進(jìn)行監(jiān)視、分析和報(bào)告。美國(guó)硬盤生產(chǎn)商Maxtor公司首期信息長(zhǎng)官斯考特.?？栒f(shuō)“商務(wù)智能最大困難在于需要確保用于總結(jié)性分析和儀表板中最底層數(shù)據(jù)永遠(yuǎn)干凈、一致并相關(guān)。我們需要數(shù)據(jù)倉(cāng)庫(kù)具備自我治療能力，能夠自動(dòng)地感應(yīng)、偵查、通告和維修任何不正確、缺失或未經(jīng)查對(duì)數(shù)據(jù)因素。但這至少需要一到兩年才會(huì)發(fā)生?！鄙虅?wù)智能-數(shù)據(jù)挖掘原理第30頁(yè)噪聲這種噪聲可能是由用戶錯(cuò)誤輸入或是用戶填寫問(wèn)卷時(shí)筆誤造成。假如這些錯(cuò)誤不是發(fā)生太頻繁，數(shù)據(jù)挖掘工具還是能夠忽略它們，而且找出數(shù)據(jù)中存在整體模式。商務(wù)智能-數(shù)據(jù)挖掘原理第31頁(yè)臟數(shù)據(jù)形成原因?yàn)E用縮寫詞數(shù)據(jù)輸入錯(cuò)誤不一樣慣用語(yǔ)（如：ASAP對(duì)“atfirstchance”)重復(fù)統(tǒng)計(jì)丟失值拼寫改變不一樣計(jì)量單位過(guò)時(shí)編碼商務(wù)智能-數(shù)據(jù)挖掘原理第32頁(yè)數(shù)據(jù)清洗(客戶數(shù)據(jù))Maggie.kline@future_MargaretSmith-KlinephdFUTUREElectronics5/23/031016thavemanhattanny10012001124367Salutation:Ms.Firstname:MargaretLastname:Smith-KlinePostname:Ph.D.Matchstandards:Maggie,Peg,PeggyGender:StrongFemaleCompanyname:FutureElectronicsAddress1:101AvenueoftheAmericasCity:NewYorkState:NYZIP+4:10013-1933Email:maggie.kline@future_SSN:001-12-4367DateMay23,輸入統(tǒng)計(jì)輸出統(tǒng)計(jì)商務(wù)智能-數(shù)據(jù)挖掘原理第33頁(yè)MsMargaretSmith-KlinePh.D.FutureElectronics101AvenueoftheAmericasNewYorkNY10013-1933maggie.kline@future_May23,姓名:Ms.MargaretSmith-KlinePh.D.企業(yè)名:FutureElectronicsCo.LLC社會(huì)保障號(hào):001-12-4367購(gòu)置日期:5/23/地址:101AvenueoftheAmericasNewYork,NY10013-1933緯度:40.722970經(jīng)度:-74.005035Fedcode:36061電話:(222)922-9922Email:maggie.kline@future_輸入紀(jì)錄合并紀(jì)錄MaggieSmithFutureElectronicsCo.LLC1016thAve.Manhattan,NY10012maggie.kline@future_001-12-4367Ms.PegKlineFutureElect.Co.1016thAve.NewYorkNY10013001-12-4367(222)922-99225/23/03匹配和