數(shù)據(jù)挖掘軟件clementine中文教程

1、 資料採礦在crm的應(yīng)用spss clementine 中文版中文版研討會內(nèi)容研討會內(nèi)容 一一 資料採礦的秘辛資料採礦的秘辛資料採礦觀念資料採礦到底是什麼？為什麼要做資料採礦？data mining 和統(tǒng)計(jì)及olap有什麼不同？data mining 和 data warehousing 的關(guān)係data mining 的方法與特徵怎麼做好data mining？何謂crisp-dm及其重要性研討會內(nèi)容研討會內(nèi)容二二 clementine中文版功能說明中文版功能說明clementine的工作環(huán)境及其方便容易的操作能力完全中文化的介面和crisp-dm的結(jié)合協(xié)助整理串流跟輸出的管理員用串流方式做資

2、料採礦超級節(jié)點(diǎn)研討會內(nèi)容研討會內(nèi)容二二 clementine中文版功能說明中文版功能說明對應(yīng)crisp-dm，clementine有哪些功能(一) clementine 在商業(yè)理解階段提供的功能(二) clementine 在資料理解階段提供的功能(三) clementine 在資料預(yù)備階段提供的功能(四) clementine 在塑模階段提供的功能(五) clementine 在評估階段提供的功能(六) clementine 在部署階段提供的功能資料採礦的秘辛data mining 是什麼？是什麼？data mining是從資料中找出有用珍貴知識的一個過程何謂珍貴？何謂過程？why whow

3、hat whenwhere how何謂過程？n 增加銷售n 交叉銷售n 減少流失n 降低成本n 忠誠的客戶n 警察找出罪犯n 醫(yī)學(xué)找出疾病n 國稅局找逃稅 何謂珍貴？許多技術(shù)知識的融合（統(tǒng)計(jì)、人工智慧、未來的基因演算法等），並非一個演算法就可以解決全部問題資料資料資訊資訊知識知識將沈睡的資料中的資訊轉(zhuǎn)變?yōu)榛畹闹R ，進(jìn)而成為決策的智慧為什麼要做為什麼要做 data mining？競爭日益劇烈，了解客戶需求才能佔(zhàn)有優(yōu)勢過去及現(xiàn)在和客戶互動方式的改變過去過去n互動單純n直接了解客戶個人化需求現(xiàn)在現(xiàn)在n互動複雜n難直接了解客戶個人化需求n電子化data mining 和統(tǒng)計(jì)不同？和統(tǒng)計(jì)不同？data

4、 mining沒有事先假設(shè)多數(shù)狀況下母體參數(shù)已知資料量越大越好，小資料也可以挖只是較不可靠融合各種知識，包括統(tǒng)計(jì)、machine learning、人工智慧、基因等統(tǒng)計(jì)統(tǒng)計(jì)先假設(shè)再檢定母體參數(shù)未知資料量不可太大data mining 和和 olap 不同？不同？data mining包括對手邊資料的呈現(xiàn)，以及olap無法呈現(xiàn)的隱藏行為模式除了分析過去資料，也可以預(yù)測未來olapon-line analytical process對手邊資料的多維度呈現(xiàn)，無法呈現(xiàn)隱藏行為模式對現(xiàn)有資料的分析data mining 和資料倉儲的關(guān)係和資料倉儲的關(guān)係何謂資料倉儲 (data warehousing)？

5、將現(xiàn)有資料、歷史資料、外部資料等經(jīng)過有系統(tǒng)的整合，把資料選取、分類、轉(zhuǎn)換達(dá)到最佳化後，融入一個設(shè)計(jì)好的關(guān)連式資料庫中，以利資料分析者存取，大量改進(jìn)效率。data mining 及 olap 都是由資料倉儲中取出資料分析data mining 為何要從資料倉儲開始？也可以從檔案、資料庫中存取資料資料倉儲提供的資料量更足夠從多種資料檔或資料庫中取出檔案可能遭遇格式不符不一致的問題，要多花時間在整合上，若有資料倉儲，可以省去不少麻煩。資料採礦的定位資料採礦的定位business valuetimequery &reportingolapdata miningreal-timepersonal

6、izationmeasurement (historical)prediction (future)我們流失了多少客戶?這些流失客戶是位於哪個地區(qū)?哪些是高風(fēng)險(xiǎn)客戶以及原因是?我們應(yīng)該即時提供這位客戶什麼服務(wù)?from spss white paperdata mining 的方法的方法classificationclusteringestimationpredictionmarket basket analysisdescription預(yù)測和分類推估類似，不同在於是預(yù)測未來，將新資料帶入既有資料建立的模型預(yù)測結(jié)果銀行新申請信用卡的客戶要給多少額度推估和分類的不同在於目標(biāo)變數(shù)為連續(xù)值，常和分類

7、配合用分類判斷為會貸款客戶後，再推估會貸款的金額群集非監(jiān)督式，未知有幾類，將性質(zhì)類似的資料加以區(qū)隔把顧客資料分群對不同群體採用不同推銷手法分類目標(biāo)變數(shù)（依變數(shù)、反應(yīng)變數(shù)）為類別的狀況信用卡公司將既有資料分為偽卡非偽卡找出偽卡的模式購物籃分析找出哪些事件會一起發(fā)生超級市場發(fā)現(xiàn)男性客戶會一起購買啤酒跟尿布描述增進(jìn)對於資料的認(rèn)識，圖形視覺化呈現(xiàn)，或規(guī)則、決策樹等相關(guān)技術(shù)相關(guān)技術(shù)類神經(jīng)決策樹 (c5.0 c&rt)logistic 迴歸等等相關(guān)技術(shù)相關(guān)技術(shù)k-means兩步驟kohonen等等相關(guān)技術(shù)相關(guān)技術(shù)迴歸c&rt等等相關(guān)技術(shù)相關(guān)技術(shù)分類跟估計(jì)的所有方法相關(guān)技術(shù)相關(guān)技術(shù)aprio

8、rigri等等相關(guān)技術(shù)相關(guān)技術(shù)決策樹規(guī)則各類圖表等等data mining 的其他特徵的其他特徵interactive 互動性automation 電腦自動化continuing 連續(xù)性，是動態(tài)的團(tuán)隊(duì)分工合作具有決策功能，使企業(yè)組織創(chuàng)新、再造目標(biāo)：一對一個人化（personalize）怎樣才能做好怎樣才能做好 data miningprocess符合 data mining 的程序，如 crisp-dmenvironment企業(yè)組織內(nèi)部要有共識從管理階層、資訊部門、行銷企劃單位、基層執(zhí)行單位等都要能分工合作tools好的 data mining 工具才能讓data mining發(fā)揮功效配合資料

9、倉儲crisp-dm 標(biāo)準(zhǔn)流程標(biāo)準(zhǔn)流程cross-industry standard process for data miningspss 和 ncr 在 1996 年為克萊斯勒做資料採礦時訂出的一套標(biāo)準(zhǔn)程序，並參加了專家意見修訂，目前版本為1.01.商業(yè)理解 (business understanding)2.資料理解 (data understanding)3.資料預(yù)備 (data preparation)4.塑模 (modeling)5.評估 (evaluation)6.部署(或佈署) (deployment)1. business understanding了解企業(yè)方針及要解決的問題

10、何在訂定 data mining 計(jì)畫2. data understanding收集初步資料簡單了解資料確認(rèn)資料品質(zhì)3. data preparation資料清理、整合格式設(shè)定，為下一步建立模型做準(zhǔn)備4. modeling選定要建立的模型用上一步驟的資料建立模型並測試5. evaluation評估模型及回顧整個過程決定是否進(jìn)入下一階段6. deployment計(jì)畫要怎麼部署監(jiān)控部署過程產(chǎn)出報(bào)告並檢討crisp-dm 流程圖流程圖以資料為中心不斷循環(huán)不是從頭做到尾，有需要時可以往回clementine 中文版中文版現(xiàn)代淘金者的最佳資料採礦工具功能介紹功能介紹工作環(huán)境工作環(huán)境完全中文化完全中文化工

11、作環(huán)境工作環(huán)境介面介紹介面介紹操作管理區(qū)：管理操作時期產(chǎn)生的stream, 輸出, 模型串流工作區(qū)：實(shí)際上用來建構(gòu)dm流程的所有的動作、設(shè)定的區(qū)域節(jié)點(diǎn)調(diào)色版：不同的node代表不同功能的工具，不同的活頁代表不同的dm 流程的工具集合專案管理區(qū)：以dm專案的角度來管理stream, 輸出, 模型工作環(huán)境工作環(huán)境專案管理專案管理一個專案可以包括多個串流、圖表、各種外部檔案，全部可以利用右下角的專案管理員整理起來。優(yōu)點(diǎn)：不用每次都去找要用的檔案跟相關(guān)串流，直接開啟專案，所有相關(guān)物件都會出現(xiàn)在專案管理員中。工作環(huán)境工作環(huán)境配合配合crisp-dm流程流程可將各種檔案及流程圖分門別類整理在六個crisp

12、-dm步驟的資料夾中，方便任何使用人員隨時存取。很清楚所做過的流程，有架構(gòu)不紊亂。即使非原始的建立者也可以迅速進(jìn)入狀況。也可依自己需求增減資料夾工作環(huán)境工作環(huán)境管理員管理員clementine會自動將所有流程放在串列區(qū)，跑出的圖表放在輸出區(qū)，建立的模型則放在模型區(qū)，隨時可以點(diǎn)選不用重跑一遍。且這些結(jié)果都可儲存保留。工作環(huán)境工作環(huán)境用串流方式呈現(xiàn)用串流方式呈現(xiàn)上使用者在工作區(qū)自由發(fā)揮，利用豐富的工具，設(shè)計(jì)出最符合實(shí)際需要的流程。彈性大、自由度高。工作環(huán)境工作環(huán)境 windows 作業(yè)環(huán)境作業(yè)環(huán)境配合基本的windows功能如剪貼、滑鼠拖曳、右鍵功能表、鍵盤快速鍵直接操作等，讓熟悉windows的

13、使用者可以馬上上手?；竟δ芑竟δ茏詣优渲米詣优渲没竟δ芑竟δ芗尤牍?jié)點(diǎn)註解加入節(jié)點(diǎn)註解加入註解，滑鼠游標(biāo)移過去就可以看到註解。基本功能基本功能超級節(jié)點(diǎn)超級節(jié)點(diǎn)基本功能基本功能超級節(jié)點(diǎn)超級節(jié)點(diǎn)crisp-dm 中的中的clementine功能功能clementine中文版在中文版在商業(yè)理解商業(yè)理解(i)提供的提供的功能功能把計(jì)畫、專業(yè)術(shù)語相關(guān)檔案直接存放在專案中，任何使用 clementine 7.2 中文版的人員都可以隨時輕鬆查閱。商業(yè)理解商業(yè)理解(i)外部檔案外部檔案把術(shù)語對照表、計(jì)畫專案文件等放入專案中，任何計(jì)畫參與者都可以隨時隨地開啟這些檔案查詢閱覽。crisp-dm 中的中的cl

14、ementine功能功能clementine中文版在中文版在資料理解資料理解(ii)提供提供的功能的功能各式各樣的前端資料輸入統(tǒng)計(jì)敘述、表格、標(biāo)記、檢查遺漏狀況豐富的圖形種類圖形多變化，依照所需呈現(xiàn)資料資料理解資料理解(ii)讀取資料讀取資料資料理解資料理解(ii)檢視資料檢視資料利用表格節(jié)點(diǎn)，可以隨時看見資料在串流中任何步驟的狀況。資料理解資料理解(ii)檢視資料檢視資料資料理解資料理解(ii)檢視資料檢視資料資料理解資料理解(ii)檢視資料檢視資料資料理解資料理解(ii)檢視資料檢視資料資料理解資料理解(ii)直方圖直方圖連續(xù)變數(shù)的分佈。資料理解資料理解(ii)散佈圖散佈圖兩個連續(xù)變數(shù)的分

15、佈。資料理解資料理解(ii)散佈圖散佈圖也可以用散佈圖畫類別變數(shù)資料理解資料理解(ii)分佈圖分佈圖資料理解資料理解(ii)關(guān)聯(lián)網(wǎng)關(guān)聯(lián)網(wǎng)類別變數(shù)間的關(guān)聯(lián)crisp-dm 中的中的clementine功能功能clementine中文版在中文版在資料預(yù)備資料預(yù)備(iii)提供提供的功能的功能列處理功能行處理功能設(shè)定全域變數(shù)供其他節(jié)點(diǎn)使用透過圖形產(chǎn)生衍生變數(shù)，省去自己撰寫的時間資料預(yù)備資料預(yù)備(iii)列處理列處理(選取選取)資料預(yù)備資料預(yù)備(iii)列處理列處理(抽樣抽樣)資料預(yù)備資料預(yù)備(iii)列處理列處理(平衡平衡)資料預(yù)備資料預(yù)備(iii)列處理列處理(整合整合)資料預(yù)備資料預(yù)備(iii)

16、列處理列處理(合併合併)資料預(yù)備資料預(yù)備(iii)行處理行處理(類型類型)資料預(yù)備資料預(yù)備(iii)行處理行處理(過濾器過濾器)資料預(yù)備資料預(yù)備(iii)行處理行處理(導(dǎo)出導(dǎo)出)資料預(yù)備資料預(yù)備(iii)行處理行處理(填入器填入器)資料預(yù)備資料預(yù)備(iii)行處理行處理(設(shè)成旗標(biāo)設(shè)成旗標(biāo))資料預(yù)備資料預(yù)備(iii)自動產(chǎn)生複雜節(jié)點(diǎn)自動產(chǎn)生複雜節(jié)點(diǎn)資料預(yù)備資料預(yù)備(iii)其他功能其他功能此外，資料預(yù)備階段還有提供以下功能：合併- 將這個月與下個月記錄合併排序- 將資料根據(jù)某些欄位排序整體- 將某個變數(shù)的值（最大值、平均數(shù)等）設(shè)定為global變數(shù)。歷史- 用於時間序列資料等等crisp-dm

17、中的中的clementine功能功能clementine中文版在中文版在塑模塑模(iv)提供的功能提供的功能多種群集、分類、預(yù)測、關(guān)聯(lián)規(guī)則模型分類樹一覽無遺的瀏覽器詳盡的統(tǒng)計(jì)報(bào)表將預(yù)測結(jié)果隨心所欲呈現(xiàn)混合式模型一點(diǎn)也不難塑模塑模(iv)關(guān)聯(lián)規(guī)則關(guān)聯(lián)規(guī)則塑模塑模(iv)kohonen塑模塑模(iv)k-means塑模塑模(iv)類神經(jīng)網(wǎng)路類神經(jīng)網(wǎng)路塑模塑模(iv)c5.0塑模塑模(iv)logistic 迴歸迴歸塑模塑模(iv)主成分主成分/因子因子塑模塑模(iv)混合式模型混合式模型crisp-dm 中的中的clementine功能功能clementine中文版在中文版在評估評估(v)提供的功

18、提供的功能能多樣化的評估圖形同時將多個模型的結(jié)果做比較評估評估(v)比較預(yù)測準(zhǔn)確度比較預(yù)測準(zhǔn)確度評估評估(v)評估圖形評估圖形crisp-dm 中的中的clementine功能功能clementine中文版在中文版在部署部署(vi)提供的功能提供的功能各種格式的檔案輸出自動化產(chǎn)生設(shè)計(jì)好的報(bào)告格式和 solution publisher 結(jié)合部署(vi)自動產(chǎn)生報(bào)告自動產(chǎn)生報(bào)告部署部署(vi)各種檔案輸出各種檔案輸出內(nèi)建應(yīng)用範(fàn)例說明內(nèi)建應(yīng)用範(fàn)例說明 catclementine application templatetelco(針對電信業(yè)所做的範(fàn)本)建立churn與cross-selling 模

19、型crm(針對百貨零售業(yè)所做的範(fàn)本)建立顧客價值區(qū)隔與特性、郵寄行銷的模型、顧客在不同區(qū)隔間變化的模型web-mining(針對電子商務(wù)網(wǎng)站所做的範(fàn)本)以瀏覽者與顧客不同層級的資料並結(jié)合多個web log的資料處理方法建立多個模組take a breakclementine中文版中文版在在data mining的應(yīng)用案例的應(yīng)用案例研討會內(nèi)容研討會內(nèi)容三三 clementine 中文版在中文版在data mining的應(yīng)用案例的應(yīng)用案例data mining的應(yīng)用範(fàn)疇clementine中文版如何應(yīng)用於crm?crm 的成長趨勢為什麼要進(jìn)行crm?何謂crm?clementine 對於crm的機(jī)

20、會點(diǎn)在哪裡?clementine 在crm中的應(yīng)用有哪些?各產(chǎn)業(yè)的應(yīng)用層面配合crisp-dm之應(yīng)用案例展示clementine豐富的部署應(yīng)用data mining 應(yīng)用於crm中產(chǎn)生的無形效益data mining的應(yīng)用範(fàn)疇的應(yīng)用範(fàn)疇客戶關(guān)係管理(crm)犯罪(criminal)教育(education)醫(yī)療(health care)科學(xué)研究(research)製程管理(process management)clementine中文版如何應(yīng)用於crm?crm 的成長趨勢的成長趨勢asia/pacific crm market ($m)02040608010012014016018020020

21、012007source: idc. 2003為什麼要進(jìn)行為什麼要進(jìn)行crm? ?過去購物以必要性為基準(zhǔn)現(xiàn)在心理因素逐漸影響顧客的消費(fèi)行為顧客的接觸管道多元化何謂何謂crm?發(fā)現(xiàn)需求 oltp = 企業(yè)/組織的眼與耳記憶偏好 database = 企業(yè)/組織的腦學(xué)習(xí) data mining = 企業(yè)/組織的智慧行動 marketing = 企業(yè)/組織的手與腳clementine 對對crm的機(jī)會在哪裡的機(jī)會在哪裡?crm 了解客戶(client)操作型操作型crm (operational crm)分析型分析型crm (analytical crm)( (分析測量分析測量, , 預(yù)測並最佳化客

22、戶關(guān)係預(yù)測並最佳化客戶關(guān)係) )具有智慧型判斷能力 了解客戶data mining 是crm的核心clementine 在在crm中的應(yīng)用有哪些中的應(yīng)用有哪些 ?潛在客戶分析 (customer acquisition)顧客區(qū)隔 (customer segmentation)交叉銷售再銷售 (cross-selling/up-selling)詐欺分析 (fraud detection)風(fēng)險(xiǎn)評估 (risk analysis)顧客挽留 (customer retention).各產(chǎn)業(yè)的應(yīng)用層面各產(chǎn)業(yè)的應(yīng)用層面電信業(yè)電信業(yè)客戶流失管理 顧客終身價值及利潤價值 行銷回應(yīng)預(yù)測交叉銷售/再銷售 電子商務(wù)

23、電子商務(wù)顧客終身價值 交叉銷售/再銷售 瀏覽行為分析政府機(jī)構(gòu)政府機(jī)構(gòu)員工流失管理犯罪偵測零售業(yè)零售業(yè) 忠誠度及通路忠誠度行銷回應(yīng)預(yù)測客戶產(chǎn)品偏好分析與鑑別 交叉銷售/再銷售 製造業(yè)製造業(yè)良率分析製程改善需求預(yù)測醫(yī)療業(yè)醫(yī)療業(yè) 病人流失管理 潛在新病人分析 病人屬性區(qū)隔各產(chǎn)業(yè)的應(yīng)用層面各產(chǎn)業(yè)的應(yīng)用層面生命科學(xué)生命科學(xué) 基因抗藥反應(yīng)分析 基因序列分析 藥物區(qū)隔分析 藥物市場風(fēng)險(xiǎn)評估娛樂業(yè)娛樂業(yè) 客戶流失管理 目標(biāo)客戶分析 客戶區(qū)隔 需求預(yù)測分析銀行銀行風(fēng)險(xiǎn)管理 行銷回應(yīng)預(yù)測維持顧客模型 顧客終身價值及利潤價值 多通路行為管理 信用卡冒用偵測 保險(xiǎn)業(yè)保險(xiǎn)業(yè)交叉通路銷售 顧客終身價值及利潤價值 維持顧客

24、模型 詐欺理賠分析配合配合crisp-dm之應(yīng)用案例展示之應(yīng)用案例展示clementine中文版與中文版與crisp-dm結(jié)合結(jié)合crisp-dm(cross-industry standard process for dm)專案目標(biāo)檔專案目標(biāo)檔資料理資料理解解exploring streams資料預(yù)備資料預(yù)備preparing streams塑塑模模、評估評估m(xù)odeling streams部署部署應(yīng)用應(yīng)用deploying streams案例展示：案例展示：crisp-dm中的資料採礦工作中的資料採礦工作clementine中文版在中文版在商業(yè)理解商業(yè)理解(i)階段：階段：將專案的目標(biāo)、資料 的定義等外部檔案存 放於此專案夾中原始購買資料分佈狀 況，協(xié)助了解專案目標(biāo)案例展示案例展示crisp-dm中的資料採礦工作中的資料採礦工作clementine中文版在中文版在資料理解資料理解(ii)階段：階段：欄位敘述、資料量、 類型定義、檢查遺漏 狀況各角度資料的圖 形分佈檢視各變數(shù)資料圖表分 佈，了解購買行為案例展示案例展示crisp-dm中的資料採礦工作中的資料採礦工作clementine中文版在中文版在資料預(yù)備資料預(yù)備(iii)階段：階段：產(chǎn)生衍生性變數(shù)並檢 視其分佈狀況整合總結(jié)、排序資料 並修改欄名稱篩選、切割並平衡資 料以提供模型建置使用