BI商務(wù)智能--數(shù)據(jù)迷霧中(PPT 46)

1、 “電子技術(shù)到來以后，人延伸出（或者說在體外建立了）一個活生生的中樞神經(jīng)系統(tǒng)。麥克盧漢，理解媒介1數(shù)據(jù)迷霧中迷茫2一個平常飲料店的故事 1993年前，店里賣的飲料只有啤酒、可口可樂和北冰洋汽水 進(jìn)貨出貨老板在一個舊本子上記錄一個平常飲料店的故事1995年，生意大了，各處開了分號，飲料多了，酒也多了，有幾十種。店里裝了自動柜員機(jī)，柜員機(jī)里記的賬天天都打印出來送給老板。老板看不過來，加個總數(shù)就算了，但生意該怎么做，老板還算清楚。 一個平常飲料店的故事1998年，經(jīng)營的品種過了百，店里連了網(wǎng)，用上了財務(wù)軟件。1999年又上了互聯(lián)網(wǎng)，客人來自四面八方。賬單每天打出厚厚一堆，老板瞧著密密麻麻的數(shù)字楞神，

2、直嚷嚷生意難做。 數(shù)據(jù)迷霧鋪天蓋地美國MCI是跨國的電信公司，長途電話客戶2億，電腦里數(shù)據(jù)存了5TB，每月還增加300GB。據(jù)美國加州一所大學(xué)研究，世界上每個人，不管死活，已經(jīng)產(chǎn)生或?qū)⒁a(chǎn)生250MB的數(shù)據(jù)，每年全球數(shù)據(jù)凈增21010GB。 如何應(yīng)對？商務(wù)智能7什么是商務(wù)智能商業(yè)智能是對商業(yè)信息的搜集、管理和分析過程，目的是使企業(yè)的各級決策者獲得知識或洞察力，促使他們做出對企業(yè)更有利的決策。 商業(yè)智能一般由數(shù)據(jù)倉庫（或數(shù)據(jù)場）、數(shù)據(jù)分析、數(shù)據(jù)挖掘、在線分析、數(shù)據(jù)備份和恢復(fù)等局部組成。 什么是商務(wù)智能商務(wù)智能是從累計的原始數(shù)據(jù)中提取有用信息的過程 商務(wù)智能為決策者在正確的時間, 地點(diǎn)提供關(guān)于企業(yè)

3、運(yùn)營情況的各項(xiàng)信息使之能夠做出準(zhǔn)確的決定背景商業(yè)智能（BI）的概念最早是Gartner Group于1996年提出 執(zhí)行信息系統(tǒng)（EIS）決策支持系統(tǒng)（DSS）。 為什么需要商務(wù)智能 促進(jìn)銷售 加深客戶關(guān)系 改進(jìn)產(chǎn)品 提供更好的效勞 協(xié)調(diào)企業(yè)運(yùn)營 降低本錢 提高決策水平Business Intelligence helps track what really works and what doesnt. Bill Gates, Chairman, Microsoft通過BI幫助我們提高企業(yè)效益 建立忠實(shí)的顧客群 增進(jìn)企業(yè)效率 做出明智的決策 商務(wù)智能內(nèi)容產(chǎn)品分析 哪種產(chǎn)品贏利情況最好? 哪種產(chǎn)

4、品贏利最差卻賣的最快? 哪種產(chǎn)品組合對一定收入的家庭最有吸引力? 商務(wù)智能內(nèi)容銷售分析 一家已開張兩年的分店銷售趨勢如何? 附近地區(qū)是否存在競爭者? 哪種產(chǎn)品的贏利有向上的趨勢及哪類顧客購置了這些產(chǎn)品? 商務(wù)智能內(nèi)容顧客分析 提供頭10%利潤的顧客有什么特點(diǎn)? 購置產(chǎn)品或效勞三個月后顧客的流失率是多少? 過去六個月里比平均消費(fèi)額高兩個百分點(diǎn)的都是誰? 眾多行業(yè)積極尋求BI解決方案的零售、保險、銀行、通信、離散制造、政府、醫(yī)療、分銷、流程制造、教育等。 商務(wù)智能如何工作 數(shù)據(jù): 把不同來源的數(shù)據(jù)匯總為一個數(shù)據(jù)倉庫 內(nèi)涵: 商務(wù)智能工具通過分析這些數(shù)據(jù)來幫助人們更好地了解企業(yè)情況 行動: 通過分析

5、來更有效地分配資源 商務(wù)智能系統(tǒng)結(jié)構(gòu)數(shù)據(jù)倉庫(Data Warehouse, DW)聯(lián)機(jī)分析處理(On-Line Analytical Processing, OLAP)數(shù)據(jù)挖掘(Data Mining, DM)數(shù)據(jù)倉庫(DW)數(shù)據(jù)倉庫，是在數(shù)據(jù)庫已經(jīng)大量存在的情況下，為了進(jìn)一步挖掘數(shù)據(jù)資源、為了決策需要而產(chǎn)生的，它決不是所謂的“大型數(shù)據(jù)庫。 W.H.Inmon關(guān)于數(shù)據(jù)倉庫的定義：面向主題的、集成的、與時間相關(guān)且不可修改的數(shù)據(jù)集合。 面向主題 傳統(tǒng)數(shù)據(jù)庫主要是為應(yīng)用程序進(jìn)行數(shù)據(jù)處理，未必按照同一主題存儲數(shù)據(jù)數(shù)據(jù)倉庫側(cè)重于數(shù)據(jù)分析工作，是按照主題存儲的 與時間相關(guān) 數(shù)據(jù)庫保存信息的時候，并不強(qiáng)調(diào)

6、一定有時間信息 數(shù)據(jù)倉庫則不同，出于決策的需要，數(shù)據(jù)倉庫中的數(shù)據(jù)都要標(biāo)明時間屬性不可修改 數(shù)據(jù)庫處理的是日常事務(wù)數(shù)據(jù)，有的需要不斷更新數(shù)據(jù)倉庫反映的是歷史信息 ，可以添加，但不可更改。數(shù)據(jù)倉庫生成 Extract, Transfer, and Load (ETL)ModelIntegrateDataETLData warehouse數(shù)據(jù)展現(xiàn) 面向高層決策者的主管信息系統(tǒng)(EIS)面向決策分析者的聯(lián)機(jī)分析系統(tǒng)(OLAP)決策者上的即席查詢系統(tǒng)(Ad Hoc)靈活報表系統(tǒng)(Reporting)數(shù)據(jù)展現(xiàn)采用多種靈活的方式，比方C/S模式或B/S模式 聯(lián)機(jī)分析處理(OLAP)OLAP委員會的定義：是使

7、分析人員、管理人員或執(zhí)行人員能夠從多種角度對從原始數(shù)據(jù)中轉(zhuǎn)化出來的、能夠真正為用戶所理解的、并真實(shí)反映企業(yè)維特性的信息進(jìn)行快速、一致、交互地存取，從而獲得對數(shù)據(jù)的更深入了解的一類軟件技術(shù)。OLAP的目標(biāo)：是滿足決策支持或多維環(huán)境特定的查詢和報表需求，它的技術(shù)核心是“維這個概念，因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合。開展背景60年代，關(guān)系數(shù)據(jù)庫之父E.F.Cdd提出了關(guān)系模型，促進(jìn)了聯(lián)機(jī)事務(wù)處理(OLTP)的開展(數(shù)據(jù)以表格的形式而非文件方式存儲)。1993年，E.F.Cdd提出了多維數(shù)據(jù)庫和多維分析的概念，即OLAP OLAP多維數(shù)據(jù)結(jié)構(gòu) 超立方結(jié)構(gòu)(Hypercube) 多立方結(jié)構(gòu)(

8、Multicube) OLAP多維數(shù)據(jù)分析 切片和切塊(Slice and Dice)：在多維數(shù)據(jù)結(jié)構(gòu)中,按二維進(jìn)行切片,按三維進(jìn)行切塊,可得到所需要的數(shù)據(jù) OLAP多維數(shù)據(jù)分析鉆取(Drill) ：鉆取包含向下鉆取(Drill-down)和向上鉆取(Drill-up)/上卷(Roll-up)操作 OLAP多維數(shù)據(jù)分析旋轉(zhuǎn)(Rotate)/轉(zhuǎn)軸(Pivot)：通過旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù) 數(shù)據(jù)挖掘(DM)一方面規(guī)模龐大、紛繁復(fù)雜的數(shù)據(jù)體系讓使用者漫無頭緒、無從下手；另一方面在這些大量數(shù)據(jù)的背后卻隱藏著很多具有決策意義的有價值的信息。數(shù)據(jù)挖掘(DM)如何發(fā)現(xiàn)這些有用的知識，使之為管理決策和經(jīng)營

9、戰(zhàn)略開展效勞？數(shù)據(jù)挖掘（Data Mining）。 DM應(yīng)用實(shí)例(購物環(huán)境設(shè)計) 某超市，需要設(shè)計一個吸引客人購置商品的最正確環(huán)境。通過對客人的采購路線和消費(fèi)記錄的挖掘發(fā)現(xiàn)：美國女性的視線高度是150cm左右，而男性是163cm左右，最適宜的視線角度是視線高度以下15度。因此，最好的貨品擺設(shè)位置是在130到135厘米之間。按照DM找出的特別信息，該超市里的主打產(chǎn)品，總是擺在最容易發(fā)現(xiàn)的高度區(qū)內(nèi)。 DM應(yīng)用實(shí)例(客戶購置模式識別 )Safeway是英國的第三大連鎖超市，年銷售額超過一百億美元 運(yùn)用傳統(tǒng)的方法降低價位、擴(kuò)充店面以及增加商品種類，若想在競爭中取勝已經(jīng)越來越困難了 必須以客戶為導(dǎo)向，了

10、解六百萬客戶所做的每一筆交易以及這些交易彼此之間的關(guān)聯(lián)性 DM應(yīng)用實(shí)例(客戶購置模式識別 )Safeway首先根據(jù)客戶的相關(guān)資料，將客戶分為150類，再用關(guān)聯(lián)（Association）的技術(shù)列出產(chǎn)品相關(guān)度的清單。比方：“在購置烤肉炭的客戶中，75%的人也會購置打火機(jī)燃料 。DM應(yīng)用實(shí)例(客戶購置模式識別 )Safeway還需要對商品的利潤進(jìn)行細(xì)分。例如，Safeway發(fā)現(xiàn)某一種乳酪產(chǎn)品雖然銷售額排名第209位，可是消費(fèi)額最高的客戶中有25%都常常買這種乳酪。Safeway 知道客戶每次采購時會買哪些產(chǎn)品以后，就可以利用Data Mining中的 Sequence Discovery 功能，找出

11、長期的經(jīng)常性購置行為，進(jìn)而促銷。數(shù)據(jù)挖掘(DM)學(xué)科背景統(tǒng)計學(xué)計算機(jī)科學(xué)人工智能領(lǐng)域的廣泛運(yùn)用數(shù)據(jù)挖掘(DM)常用方法分類（classification）：依照所分析對象的屬性分門別類、加以定義、建立類組（class）。比方，將信用卡申請人分為低、中、高風(fēng)險群，或是將顧客分到事先定義好的族群。 數(shù)據(jù)挖掘(DM)常用方法估計（estimation）：根據(jù)既有的連續(xù)性數(shù)值相關(guān)屬性資料，求得某一屬性的未知值。比方，估計家中小孩的數(shù)量、一個家庭的總收入或是不動產(chǎn)的價值。所使用的技巧有相關(guān)分析、回歸分析及類神經(jīng)網(wǎng)絡(luò)方法。數(shù)據(jù)挖掘(DM)常用方法預(yù)測（prediction）：根據(jù)對象屬性過去的觀察值來估計

12、此屬性未來的值。比方，預(yù)測哪些顧客會在未來的半年內(nèi)取消該公司的效勞，或是預(yù)測哪些電話用戶會申請增值效勞，如三方通話、語音信箱等。所使用的技巧有回歸分析、時間序列分析及類神經(jīng)網(wǎng)絡(luò)方法。 數(shù)據(jù)挖掘(DM)常用方法關(guān)聯(lián)分組（affinity grouping）：從所有對象來決定哪些相關(guān)對象應(yīng)該放在一起。比方，在超市中，哪些物品會一起被購置，零售商可以利用關(guān)聯(lián)分組來規(guī)劃店內(nèi)商品的擺設(shè)位置，把會被一起購置的商品擺在一起。在客戶的營銷系統(tǒng)上，此種功能可用來確認(rèn)交叉銷售（cross-selling）的時機(jī)以設(shè)計出更吸引人的產(chǎn)品群組。 聚類、群集化（clustering）：將不同的母體區(qū)隔為較具同構(gòu)型的群組（

13、cluster），換句話說，其目的是將組與組之間的差異分辨出來，并對個別組內(nèi)的相似樣本進(jìn)行挑選。在群集化技術(shù)中，沒有預(yù)先定義好的類別和訓(xùn)練樣本存在，所有紀(jì)錄都根據(jù)彼此相似程度來加以歸類。比方，在市場營銷調(diào)查前，先將顧客群集化，再來分析每群顧客最喜歡哪一類促銷，而不是對每個顧客都用相同的標(biāo)準(zhǔn)規(guī)則來分析。所使用的技巧有k-means法及agglomeration法。 SCORING &MODELINGPORTALSDSSEISANALYSESQUERIESSCORESAPPLICATIONSDATA HANDLEDATASTORESLOADTRANSFORMEXTRACTSTANDARD TEMPLATEOLAPAgentDMWAREHOUSECRM ERP SCM Policy F&A O