大數(shù)據(jù)時代下的商業(yè)智能課件

1、大數(shù)據(jù)時代下的商業(yè)智能大數(shù)據(jù)時代下的商業(yè)智能目 錄BI行業(yè)的發(fā)展前景BI的歷史、現(xiàn)在和未來主要BI廠商傳統(tǒng)商業(yè)智能和未來商業(yè)智能的區(qū)別大數(shù)據(jù)與商業(yè)智能的結(jié)合大數(shù)據(jù)時代下的商業(yè)智能從全球范圍來看，商業(yè)智能(BI)已經(jīng)成為最具有前景的IT領(lǐng)域。2010年中國大陸地區(qū)的BI市場份額約為46億元人民幣，同比2009年增長27%BI的人才目前在IT行業(yè)并不是很多, BI人員發(fā)展的機(jī)遇很大。BI行業(yè)的發(fā)展前景大數(shù)據(jù)時代下的商業(yè)智能BI從業(yè)人員的關(guān)注點(diǎn)設(shè)計、開發(fā)架構(gòu)、咨詢數(shù)據(jù)倉庫模型設(shè)計ETL設(shè)計、開發(fā)報表設(shè)計和開發(fā)對業(yè)務(wù)的理解數(shù)據(jù)架構(gòu)的思想案例關(guān)注點(diǎn)關(guān)注點(diǎn)數(shù)據(jù)倉庫模型設(shè)計ETL設(shè)計、開發(fā)對業(yè)務(wù)的理解數(shù)據(jù)倉

2、庫的環(huán)境難點(diǎn)難點(diǎn)大數(shù)據(jù)時代下的商業(yè)智能 商業(yè)智能是從許多來自不同系統(tǒng)的數(shù)據(jù)中提取出有用的數(shù)據(jù),并進(jìn)行清理，以保證數(shù)據(jù)的正確性，然后經(jīng)過抽取、轉(zhuǎn)換和裝載的過程，合并到一個企業(yè)級的數(shù)據(jù)倉庫里，從而得到企業(yè)數(shù)據(jù)的一個全局視圖。 在此基礎(chǔ)上利用合適的查詢和分析工具、數(shù)據(jù)挖掘工具、OLAP工具等對其進(jìn)行分析和處理，最后將知識呈現(xiàn)給管理者，為管理者的決策過程提供支持。商業(yè)智能的概念數(shù)據(jù)信息知識企業(yè)的利潤大數(shù)據(jù)時代下的商業(yè)智能經(jīng)歷一輪并購潮之后，BI廠商分為兩類，一類是綜合性BI提供商。例如IBM、 Oracle 、SAP和Microsoft等。另一類是專業(yè)化BI提供商，例如Teradata和SAS。IBM

3、在BI領(lǐng)域有許多發(fā)展，先后并購了Datastage,Cognos和SPSS，最近又提出了業(yè)務(wù)分析（BA)。Oracle收購海波龍(Hyperion)之后，Oracle的BI排名大大提升，而BEA的中間件更是加強(qiáng)了Oracle的BI戰(zhàn)略。SAP收購Business Objects之后，在BI產(chǎn)品的易用性上下足功夫。Teradata精于數(shù)據(jù)倉庫技術(shù)，而SAS在數(shù)據(jù)挖掘分析方面見長。BI的現(xiàn)在大數(shù)據(jù)時代下的商業(yè)智能IBM - DB2 、 DataStage 、 Cognos 、 SPSS ，覆蓋BI全部領(lǐng)域 Oracle - Oracle、BIEE/Hyperion，覆蓋BI全部領(lǐng)域，數(shù)據(jù)挖掘有待加

4、強(qiáng) Microsoft - SQL Server ，覆蓋BI全部領(lǐng)域，適合中小型企業(yè)，性價比高 SAP - Business Objects、Crystal Reports，主要是OLAP和報表領(lǐng)域 Informatica - Informatica，主要是數(shù)據(jù)集成領(lǐng)域 Teradata - Teradata，主要是數(shù)據(jù)倉庫領(lǐng)域 Sybase - Sybase IQ，主要是數(shù)據(jù)倉庫領(lǐng)域 SAS - SAS，數(shù)據(jù)挖掘領(lǐng)域領(lǐng)先主要BI廠商大數(shù)據(jù)時代下的商業(yè)智能傳統(tǒng)商業(yè)智能和未來商業(yè)智能的區(qū)別有一種觀點(diǎn)：預(yù)測未來分析歷史未來商業(yè)智能傳統(tǒng)商業(yè)智能大數(shù)據(jù)時代下的商業(yè)智能傳統(tǒng)商業(yè)智能的使用情況固定報表：目

5、前中國市場上的商業(yè)智能應(yīng)用停留在這個層面，主要過程是通過ETL工具，將業(yè)務(wù)系統(tǒng)源數(shù)據(jù)抽取到數(shù)據(jù)倉庫中，在裝載到數(shù)據(jù)集市，建立模型，利用前端工具將數(shù)據(jù)展現(xiàn)出來。OLAP分析：生成OLAP多維模型，實(shí)現(xiàn)多指標(biāo)分析。數(shù)據(jù)挖掘：通過分析具體數(shù)據(jù)，發(fā)現(xiàn)潛在的、有價值的信息，例如啤酒和尿布。分析應(yīng)用：與業(yè)務(wù)信息系統(tǒng)相結(jié)合。例如企業(yè)績效管理。大數(shù)據(jù)時代下的商業(yè)智能第一階段：查詢。第二階段：報表。第三階段：多維分析和統(tǒng)計分析。第四個階段：數(shù)據(jù)挖掘。傳統(tǒng)商業(yè)智能的幾個階段：未來商業(yè)智能的方向：建立實(shí)時動態(tài)數(shù)據(jù)倉庫。傳統(tǒng)數(shù)據(jù)倉庫是基于歷史數(shù)據(jù)分析，動態(tài)數(shù)據(jù)倉庫支持前端應(yīng)用，利用分析結(jié)果發(fā)起業(yè)務(wù)流程。(2) 增加對

6、非結(jié)構(gòu)化數(shù)據(jù)的處理 。(3) 縮短響應(yīng)時間。大數(shù)據(jù)時代下的商業(yè)智能操作型商業(yè)智能。BI用戶群也會相應(yīng)地從現(xiàn)在的后臺管理決策層向前端業(yè)務(wù)操作型用戶延伸。2. 交互式商業(yè)智能。預(yù)測、分?jǐn)?、假設(shè)模擬、數(shù)據(jù)挖掘等技術(shù)應(yīng)用將會越來越普遍。3. 可視化商業(yè)智能。越來越多的用戶不再滿足于傳統(tǒng)的圖像展現(xiàn)，而要求數(shù)據(jù)的進(jìn)一步可視化。4. 實(shí)時商業(yè)智能。由于BI應(yīng)用將向操作型發(fā)展的特點(diǎn)，也導(dǎo)致了用戶對BI應(yīng)用的實(shí)時性需求。5. 移動商業(yè)智能。將原來人們依賴于電腦的商業(yè)智能搬到了手機(jī)或者黑莓上。6. SaaS商業(yè)智能。商業(yè)智能作為云計算，作為服務(wù)來使用。未來商業(yè)智能的發(fā)展大數(shù)據(jù)時代下的商業(yè)智能為了滿足未來商業(yè)智能的

7、發(fā)展，應(yīng)該將大數(shù)據(jù)技術(shù)和商業(yè)智能技術(shù)結(jié)合起來大數(shù)據(jù)(Big Data)是對你在數(shù)據(jù)倉庫技術(shù)中現(xiàn)有投資的補(bǔ)充主要的商業(yè)智能 （BI）供應(yīng)商都宣布對大數(shù)據(jù)技術(shù)的支持，或在解決方案中使用大數(shù)據(jù)技術(shù)數(shù)據(jù)海洋中的大數(shù)據(jù)要做的事不僅要對大規(guī)模的信息運(yùn)行分析而且也成為數(shù)據(jù)倉庫的一種來源大數(shù)據(jù)有益于大型分析以及長期的戰(zhàn)略方向大數(shù)據(jù)是傳統(tǒng)數(shù)據(jù)庫、數(shù)據(jù)倉庫、BI概念外延的擴(kuò)展，手段的擴(kuò)充，不存在取代的關(guān)系，也并不是互斥的關(guān)系大數(shù)據(jù)時代下的商業(yè)智能大數(shù)據(jù)概念的提出最早提出“大數(shù)據(jù)”時代已經(jīng)到來的機(jī)構(gòu)是全球知名咨詢公司麥肯錫。2011年，麥肯錫出版了研究報告大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個新領(lǐng)域，產(chǎn)學(xué)研界對“大數(shù)據(jù)

8、”的關(guān)注達(dá)到歷史性新高度。麥肯錫在研究報告中指出，數(shù)據(jù)已經(jīng)滲透到每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)因素；而人們對于海量數(shù)據(jù)的運(yùn)用將預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來?；ヂ?lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算的快速興起以及移動智能終端的快速普及，正使得當(dāng)前人類社會的數(shù)據(jù)增長比以往任何一個時期都要快。越來越大、越來越快、越來越復(fù)雜，數(shù)據(jù)特性的演變和發(fā)展，催生了一個全新的概念大數(shù)據(jù)。大數(shù)據(jù)時代下的商業(yè)智能結(jié)構(gòu)化數(shù)據(jù)：存在于關(guān)系數(shù)據(jù)庫中，多年來一直主導(dǎo)著IT應(yīng)用；半結(jié)構(gòu)化數(shù)據(jù)：包括電子郵件、文字處理文件以及大量發(fā)布在網(wǎng)絡(luò)上的新聞等，以內(nèi)容為基礎(chǔ)，這也是谷歌和百度存在的理由；非結(jié)構(gòu)化數(shù)據(jù)：

9、廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、電子商務(wù)之中。伴隨著社交網(wǎng)絡(luò)、移動計算和傳感器等新技術(shù)不斷產(chǎn)生，有報告稱，超過80%的數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)。更廣的信息范圍新的數(shù)據(jù)與分析類型實(shí)時信息來自新技術(shù)的數(shù)據(jù)非傳統(tǒng)形式的媒體大數(shù)據(jù)量社交媒體數(shù)據(jù)最新流行詞定義大數(shù)據(jù)* 2012年IBM對95個國家中26個行業(yè)的1144名專業(yè)人員調(diào)查結(jié)果大數(shù)據(jù) 是一個涵蓋多種技術(shù)的概念，簡單地說，是指無法在一定時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。IBM將“大數(shù)據(jù)”理念定義為4個V，即數(shù)量（Volume）、多樣性（Variety）、速度（Velocity）及數(shù)據(jù)的準(zhǔn)確性（Veracity）。大數(shù)據(jù)時代下的商

10、業(yè)智能數(shù)據(jù)規(guī)模TB 至PB 級數(shù)據(jù)數(shù)據(jù)的多種形式結(jié)構(gòu)化、非結(jié)構(gòu)化、文本、多媒體數(shù)據(jù)的運(yùn)動分析流數(shù)據(jù)，在不到一秒內(nèi)做出決策數(shù)據(jù)的不確定性管理數(shù)據(jù)的可靠性和可預(yù)測性，盡管原生數(shù)據(jù)內(nèi)生性的不精確多樣性（Variety）精確性（Veracity）速度（Velocity）數(shù)量（Volume）大數(shù)據(jù)時代下的商業(yè)智能大數(shù)據(jù)和商業(yè)智能結(jié)合已應(yīng)用于各行各業(yè)能源與公用事業(yè)智能電表分析資產(chǎn)管理零售全渠道營銷實(shí)時促銷司法執(zhí)法多點(diǎn)監(jiān)測網(wǎng)絡(luò)安全檢測交通運(yùn)輸物流優(yōu)化緩解交通擁堵金融服務(wù)業(yè)欺詐檢測360客戶視圖數(shù)字媒體 實(shí)時廣告定位屬性分析健康與生命科學(xué)病歷分析疾病監(jiān)測通訊 客戶資料貨幣化網(wǎng)絡(luò)分析&優(yōu)化大數(shù)據(jù)時代下的商業(yè)智能

11、在大數(shù)據(jù)領(lǐng)域，不能充分形成大數(shù)據(jù)使用能力的競爭者將被淘汰大數(shù)據(jù)時代下的商業(yè)智能大數(shù)據(jù)的使用情況大數(shù)據(jù)時代下的商業(yè)智能大數(shù)據(jù)涉及的關(guān)鍵技術(shù)需求大數(shù)據(jù)涉及的關(guān)鍵技術(shù)描述技術(shù)海量數(shù)據(jù)存儲技術(shù)分布式文件系統(tǒng)實(shí)時數(shù)據(jù)處理技術(shù)Streaming Data流計算引擎數(shù)據(jù)分析技術(shù)Text Analytics EngineVisual Data Modeling自然語言處理、文本情感分析、機(jī)器學(xué)習(xí)、聚類關(guān)聯(lián)、數(shù)據(jù)模型數(shù)據(jù)高速傳輸技術(shù)服務(wù)器/存儲間高速通信Infini BandHadoop，x86/MPPMap Reduce搜索技術(shù)文本檢索、智能搜索、實(shí)時搜索Enterprise Search大數(shù)據(jù)時代下的商業(yè)智

12、能建立對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行SQL語法查詢的支持，實(shí)現(xiàn)與結(jié)構(gòu)化數(shù)據(jù)的集成關(guān)聯(lián)（key）非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)獲取結(jié)構(gòu)化數(shù)據(jù)分析應(yīng)用數(shù)據(jù)集市數(shù)據(jù)集市EDW結(jié)構(gòu)化元數(shù)據(jù)Hadoop建立非結(jié)構(gòu)化信息的標(biāo)簽、摘要、索引、日志、內(nèi)容等提取結(jié)構(gòu)化的元數(shù)據(jù)信息，如類別、標(biāo)引、摘要等；實(shí)現(xiàn)與結(jié)構(gòu)化數(shù)據(jù)的整合ODSSQL大數(shù)據(jù)下的商業(yè)智能架構(gòu)大數(shù)據(jù)時代下的商業(yè)智能大數(shù)據(jù)BI系統(tǒng)的演變過程第一階段OLTP&OLAP第二階段Materialized View（物化視圖）,Stage、ODS、DWD（細(xì)節(jié)數(shù)據(jù)層）、DWA（衍生匯總層）第三階段一體機(jī)，MPP (大規(guī)模并行處理)DW，MPP(大規(guī)模并行處理) DM大數(shù)據(jù)時代下的商業(yè)智能大數(shù)據(jù)下的BI系統(tǒng)不僅僅是數(shù)據(jù)展現(xiàn)1 能夠掌握情況，分析問題，找到答案。2 前端系統(tǒng)的交互和分析能力要強(qiáng)大。3 數(shù)據(jù)挖掘、預(yù)測變成重要的需求。大