大數(shù)據(jù)導(dǎo)論1.1.2進(jìn)入大數(shù)據(jù)時代-大數(shù)據(jù)的發(fā)展課件

1、大數(shù)據(jù)導(dǎo)論大數(shù)據(jù)的發(fā)展第1頁，共19頁。一、導(dǎo)入如果僅僅是從數(shù)據(jù)量的角度來看的話，大數(shù)據(jù)在過去就已經(jīng)存在了。（1）波音的噴氣發(fā)動機(jī)（2）生物技術(shù)領(lǐng)域中的基因組分析第2頁，共19頁?，F(xiàn)在和過去的區(qū)別之一，就是大數(shù)據(jù)已經(jīng)不僅產(chǎn)生于特定領(lǐng)域中，而且還產(chǎn)生于我們每天的日常生活中，臉書、推特、領(lǐng)英（LinkedIn）、微信、QQ等社交媒體上的文本數(shù)據(jù)就是最好的例子。而且，盡管我們無法得到全部數(shù)據(jù)，但大部分?jǐn)?shù)據(jù)可以通過公開的API（應(yīng)用程序編程接口）相對容易地進(jìn)行采集。在B2C（商家對顧客）企業(yè)中，使用文本挖掘（text mining）和情感分析等技術(shù)，就可以分析消費(fèi)者對于自家產(chǎn)品的評價。二、大數(shù)據(jù)的發(fā)展

2、第3頁，共19頁。1. 硬件性價比提高與軟件技術(shù)進(jìn)步二、大數(shù)據(jù)的發(fā)展1. 硬件性價比提高與軟件技術(shù)進(jìn)步第4頁，共19頁。（1）計算機(jī)性價比的提高二、大數(shù)據(jù)的發(fā)展1. 硬件性價比提高與軟件技術(shù)進(jìn)步第5頁，共19頁。（2）磁盤價格的下降。二、大數(shù)據(jù)的發(fā)展1. 硬件性價比提高與軟件技術(shù)進(jìn)步第6頁，共19頁。（3）大規(guī)模數(shù)據(jù)分布式處理技術(shù)Hadoop。最大特征，就是能夠?qū)Υ罅糠墙Y(jié)構(gòu)化數(shù)據(jù)進(jìn)行高速處理。二、大數(shù)據(jù)的發(fā)展1. 硬件性價比提高與軟件技術(shù)進(jìn)步第7頁，共19頁。2. 云計算的普及二、大數(shù)據(jù)的發(fā)展2. 云計算的普及第8頁，共19頁。（1）網(wǎng)絡(luò)廣告公司Razorfish（2）提供預(yù)測航班起飛晚點(diǎn)等“

3、航班預(yù)報”服務(wù)的FlightCaster（3）對消費(fèi)電子產(chǎn)品價格走勢進(jìn)行預(yù)測的D等。二、大數(shù)據(jù)的發(fā)展2. 云計算的普及第9頁，共19頁。3. 大數(shù)據(jù)作為BI的進(jìn)化形式二、大數(shù)據(jù)的發(fā)展3. 大數(shù)據(jù)作為BI的進(jìn)化形式第10頁，共19頁。BI的概念是1989年由時任美國高德納（Gartner）咨詢公司的分析師Howard Dresner所提出的。Dresner當(dāng)時提出的觀點(diǎn)是，應(yīng)該將過去100依賴信息系統(tǒng)部門來完成的銷售分析、客戶分析等業(yè)務(wù)，通過讓作為數(shù)據(jù)使用者的管理人員以及一般商務(wù)人員等最終用戶來親自參與，從而實現(xiàn)決策的迅速化以及生產(chǎn)效率的提高。二、大數(shù)據(jù)的發(fā)展3. 大數(shù)據(jù)作為BI的進(jìn)化形式第11

4、頁，共19頁。二、大數(shù)據(jù)的發(fā)展3. 大數(shù)據(jù)作為BI的進(jìn)化形式商務(wù)智能用于改善商業(yè)應(yīng)用，將數(shù)據(jù)倉庫中的數(shù)據(jù)以及儀表板的分析查詢結(jié)合起來第12頁，共19頁。（1）數(shù)據(jù)挖掘（Data Mining）（2）機(jī)器學(xué)習(xí)（3）Hadoop+云計算（4）對大數(shù)據(jù)應(yīng)用機(jī)器學(xué)習(xí)二、大數(shù)據(jù)的發(fā)展3. 大數(shù)據(jù)作為BI的進(jìn)化形式第13頁，共19頁。4. 從交易數(shù)據(jù)分析到交互數(shù)據(jù)分析（1）例如，像亞馬遜這樣運(yùn)營電商網(wǎng)站的企業(yè)，可以通過網(wǎng)站的點(diǎn)擊流數(shù)據(jù)，追蹤用戶在網(wǎng)站內(nèi)的行為，從而對用戶從訪問網(wǎng)站到最終購買商品的行為路線進(jìn)行分析。這種點(diǎn)擊流數(shù)據(jù)，正是表現(xiàn)客戶與公司網(wǎng)站之間相互作用的一種交互數(shù)據(jù)。二、大數(shù)據(jù)的發(fā)展4. 從交易

5、數(shù)據(jù)分析到交互數(shù)據(jù)分析第14頁，共19頁。（2）在超市中, IC標(biāo)簽收集到的顧客行動路線數(shù)據(jù)和POS等銷售數(shù)據(jù)相結(jié)合，從而分析出顧客買或不買某種商品的理由，這樣的應(yīng)用現(xiàn)在已經(jīng)開始出現(xiàn)了。二、大數(shù)據(jù)的發(fā)展4. 從交易數(shù)據(jù)分析到交互數(shù)據(jù)分析第15頁，共19頁。（3）O2O（Online to Offline，線上與線下的結(jié)合），今后更為重要的是對連接網(wǎng)絡(luò)世界和真實世界的交互數(shù)據(jù)進(jìn)行分析。二、大數(shù)據(jù)的發(fā)展4. 從交易數(shù)據(jù)分析到交互數(shù)據(jù)分析第16頁，共19頁。 三、重新認(rèn)識數(shù)據(jù)最初，大數(shù)據(jù)這個概念是指需要處理的信息量過大，已經(jīng)超出了一般電腦在處理數(shù)據(jù)時所能使用的內(nèi)存量，因此工程師們必須改進(jìn)處理數(shù)據(jù)的工具。這導(dǎo)致了新的處理技術(shù)的誕生，例如谷歌的MapReduce和開源Hadoop平臺。這些技術(shù)使得人們可以處理的數(shù)據(jù)量大大增加。更重要的是，這些數(shù)據(jù)不再需要用傳統(tǒng)的數(shù)據(jù)庫表格來整齊地排列，這些都是傳統(tǒng)數(shù)據(jù)庫結(jié)構(gòu)化查詢語言（SQL）的要求。而非結(jié)構(gòu)化數(shù)據(jù)庫（NoSQL）不再有這些要求。同時，因為互聯(lián)網(wǎng)公司可以收集大量有價值的數(shù)據(jù)，而且有利用這些數(shù)據(jù)的強(qiáng)烈的利益