大數(shù)據(jù)介紹及公司大數(shù)據(jù)規(guī)劃課件

大數(shù)據(jù)時(shí)代三分技術(shù)、七分?jǐn)?shù)據(jù)、得數(shù)據(jù)者得天下ERP班組2012.11大數(shù)據(jù)時(shí)代三分技術(shù)、七分?jǐn)?shù)據(jù)、得數(shù)據(jù)者得天下ERP班組20平均每一分鐘中國(guó)互聯(lián)網(wǎng)上發(fā)生了什么？百度搜索查詢48.7萬(wàn)次5萬(wàn)條微博465名新用戶1.37億人同時(shí)QQ在線556篇博客文章83名新博客4944條心情更新6597篇日志發(fā)布13.9萬(wàn)張照片上傳3125條狀態(tài)更新發(fā)布417篇日記更新97個(gè)視頻上傳到優(yōu)酷，內(nèi)容總計(jì)14個(gè)小時(shí)5.6萬(wàn)人淘寶在線交易額230萬(wàn)元80篇新帖子發(fā)布新回復(fù)1200篇大數(shù)據(jù)時(shí)代的到來(lái)平均每一分鐘百度搜索查詢48.7萬(wàn)次5萬(wàn)條微博465名新用戶facebook社交網(wǎng)絡(luò)…淘寶、ebuy電子商務(wù)…微博、Apps移動(dòng)互聯(lián)…

一切都在被記錄，一切都在數(shù)據(jù)化大數(shù)據(jù)時(shí)代的到來(lái)這些由我們創(chuàng)造的信息背后產(chǎn)生的這些數(shù)據(jù)早已經(jīng)遠(yuǎn)遠(yuǎn)超越了目前人力所能處理的范疇大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨..大數(shù)據(jù)起源：1980年，家阿爾文?托夫勒的《第三次浪潮》facebook社交網(wǎng)絡(luò)…淘寶、ebuy電子商務(wù)…微博、Ap公司大數(shù)據(jù)平臺(tái)建設(shè)規(guī)劃4.大數(shù)據(jù)部如何開(kāi)展工作3.大數(shù)據(jù)在企業(yè)中的運(yùn)用2.什么是大數(shù)據(jù)1.大數(shù)據(jù)時(shí)代的到來(lái)目錄公司大數(shù)據(jù)平臺(tái)建設(shè)規(guī)劃4.大數(shù)據(jù)部如何開(kāi)展工作3.大數(shù)據(jù)在企一、什么大數(shù)據(jù)大數(shù)據(jù)的定義1大數(shù)據(jù)的特征2大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的區(qū)別3一、什么大數(shù)據(jù)大數(shù)據(jù)的定義1大數(shù)據(jù)的特征2大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的“大數(shù)據(jù)”或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。一、什么是大數(shù)據(jù)大數(shù)據(jù)的定義：1.Volume2.

Variety3.Value4.Velocity數(shù)據(jù)類型多樣價(jià)值密度低高速數(shù)據(jù)量巨大大數(shù)據(jù)的特征“大數(shù)據(jù)”或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是需數(shù)據(jù)的存儲(chǔ)單位有：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、NB、DB，

它們按照進(jìn)率1024（2的十次方）來(lái)計(jì)算：

1Byte=8bit1KB=1,024Bytes

1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB1TB=1,024GB=1,048,576MB1PB=1,024TB=1,048,576GB

1EB=1,024PB=1,048,576TB1ZB=1,024EB=1,048,576PB

1YB=1,024ZB=1,048,576EB1NB=1,024YB=1,048,576ZB

1DB=1,024NB=1,048,576YBGBTBPBEBZB二、大數(shù)據(jù)的特征1.Volume數(shù)據(jù)量巨大數(shù)據(jù)的存儲(chǔ)單位有：bit、Byte、KB、MB、GB、TB、二、大數(shù)據(jù)的特征2.

Variety數(shù)據(jù)類型多樣3.Value4.Velocity價(jià)值密度低高速如今的數(shù)據(jù)類型早已不是單一的文本形式，訂單、日志、音頻結(jié)構(gòu)化數(shù)據(jù)（20%)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)(80%)猶如沙里淘金實(shí)時(shí)獲取需要的信息二、大數(shù)據(jù)的特征2.Variety數(shù)據(jù)類型多樣3.Val1大數(shù)據(jù)主要是結(jié)合人工智能進(jìn)行機(jī)器的自動(dòng)數(shù)據(jù)挖掘2大數(shù)據(jù)主要是用來(lái)作預(yù)測(cè)的3大數(shù)據(jù)是“關(guān)注相關(guān)性，不關(guān)注因果”大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的區(qū)別一、什么是大數(shù)據(jù)VS

大數(shù)據(jù)其實(shí)是人們根據(jù)電腦的優(yōu)勢(shì)，找出了一個(gè)全新的數(shù)據(jù)分析、挖掘方式，與傳統(tǒng)的方式完全不同1大數(shù)據(jù)主要是結(jié)合人工智能進(jìn)行機(jī)器的自動(dòng)數(shù)據(jù)挖掘2大數(shù)據(jù)主要二、大數(shù)據(jù)在企業(yè)中的運(yùn)用大數(shù)據(jù)應(yīng)用案例1大數(shù)據(jù)的運(yùn)用范圍2大數(shù)據(jù)的價(jià)值3價(jià)值鏈中大數(shù)據(jù)的三種模式4二、大數(shù)據(jù)在企業(yè)中的運(yùn)用大數(shù)據(jù)應(yīng)用案例1大數(shù)據(jù)的運(yùn)用范圍2大

Target，一家比父親更早知道女兒懷孕的超市曾經(jīng)有一位男性顧客到一家塔吉特超市店中投訴，商店竟然給他還在讀書(shū)的女兒寄嬰兒用品的優(yōu)惠券。這家全美第二大零售商，會(huì)搞出如此大的烏龍？但經(jīng)過(guò)這位父親與女兒進(jìn)一步溝通，才發(fā)現(xiàn)自己女兒真的已經(jīng)懷孕了。未卜先知懷孕案例如何比更早發(fā)現(xiàn)潛在的客戶？二、大數(shù)據(jù)在企業(yè)中的運(yùn)用Target，一家比父親更早知道女兒懷孕的超市未卜先知懷孕Target公司是如何做到的呢？1、數(shù)據(jù)信息記錄2、數(shù)據(jù)模型建立3、數(shù)據(jù)實(shí)時(shí)監(jiān)控4、精準(zhǔn)營(yíng)銷

根據(jù)大數(shù)據(jù)模型,Target制訂了全新的廣告營(yíng)銷方案，結(jié)果Target的孕期用品銷售呈現(xiàn)了爆炸性的增長(zhǎng)。公司大數(shù)據(jù)分析技術(shù)從孕婦這個(gè)細(xì)分顧客群開(kāi)始向其他各種細(xì)分客戶群推廣，Target的銷售額也因此從每年的440億美元增長(zhǎng)到了670億美元。二、大數(shù)據(jù)在企業(yè)中的運(yùn)用Target公司是如何做到的呢？1、數(shù)據(jù)信息記錄2、數(shù)據(jù)模型*通過(guò)用戶行為分析實(shí)現(xiàn)精準(zhǔn)營(yíng)銷是大數(shù)據(jù)的典型應(yīng)用，大數(shù)據(jù)在各行各業(yè)特別是公共服務(wù)領(lǐng)域同樣具有廣闊的應(yīng)用前景消費(fèi)行業(yè)金融服務(wù)食品安全醫(yī)療衛(wèi)生軍事交通環(huán)保電子商務(wù)氣象二、大數(shù)據(jù)在企業(yè)中的運(yùn)用*通過(guò)用戶行為分析實(shí)現(xiàn)精準(zhǔn)營(yíng)銷是大數(shù)據(jù)的典型應(yīng)用，大數(shù)據(jù)在各5）利用大數(shù)據(jù)找到新的商業(yè)機(jī)會(huì)，開(kāi)發(fā)產(chǎn)品4）了解同行經(jīng)營(yíng)情況，針對(duì)性提升自己的業(yè)績(jī)3）為精準(zhǔn)營(yíng)銷提供支持2）真正實(shí)時(shí)的了解客戶1）給予上下游產(chǎn)業(yè)鏈者市場(chǎng)預(yù)判大數(shù)據(jù)的價(jià)值二、大數(shù)據(jù)在企業(yè)中的運(yùn)用5）利用大數(shù)據(jù)找到新的商業(yè)機(jī)會(huì)，開(kāi)發(fā)產(chǎn)品4）了解同行經(jīng)營(yíng)情1、手握大數(shù)據(jù)，但是沒(méi)有利用好2、沒(méi)有數(shù)據(jù)，有大數(shù)據(jù)思維及技術(shù)3、既有數(shù)據(jù)，又有大數(shù)據(jù)思維及技術(shù)金融機(jī)構(gòu)，電信行業(yè)，政府機(jī)構(gòu)等IT咨詢和服務(wù)企業(yè)，比如，埃森哲，IBM等Google，Amazon，BAT三巨頭等按大數(shù)據(jù)價(jià)值鏈分，分為三類二、大數(shù)據(jù)在企業(yè)中的運(yùn)用1、手握大數(shù)據(jù)，但是沒(méi)有利用好2、沒(méi)有數(shù)據(jù)，有大數(shù)據(jù)思維及大數(shù)據(jù)部崗位概述1大數(shù)據(jù)部工作關(guān)注點(diǎn)2大數(shù)據(jù)部2015年工作計(jì)劃3三、大數(shù)據(jù)如何開(kāi)展工作大數(shù)據(jù)部崗位概述1大數(shù)據(jù)部工作關(guān)注點(diǎn)2大數(shù)據(jù)部2015年工作有技術(shù)有大數(shù)據(jù)思維有數(shù)據(jù)大數(shù)據(jù)部崗位總概述：

建立更多的數(shù)據(jù)收集渠道去積累更多的數(shù)據(jù)，利用相關(guān)技術(shù)進(jìn)行整理、分析，將數(shù)據(jù)轉(zhuǎn)化為企業(yè)的資產(chǎn)！一、數(shù)據(jù)從哪里來(lái)？二、如何利用它？企業(yè)運(yùn)營(yíng)大數(shù)據(jù)的三要數(shù)三、大數(shù)據(jù)如何開(kāi)展工作有技術(shù)有大數(shù)據(jù)思維有數(shù)據(jù)大數(shù)據(jù)部崗位總概述：一、數(shù)據(jù)從哪里來(lái)2、數(shù)據(jù)在哪里3、怎么獲取我們是呼倫貝爾旅游全產(chǎn)業(yè)鏈供應(yīng)商，業(yè)務(wù)覆蓋所有與旅游相關(guān)的產(chǎn)業(yè)，擁有智慧旅游網(wǎng)，門戶網(wǎng)站、酒店系統(tǒng)等平臺(tái)。主要關(guān)注公司內(nèi)部運(yùn)營(yíng)數(shù)據(jù)，旅客行為數(shù)據(jù)，合作、入駐商家運(yùn)營(yíng)數(shù)據(jù)，行業(yè)競(jìng)爭(zhēng)業(yè)態(tài)數(shù)據(jù)。1、需要什么數(shù)據(jù)旅客、合作商家、入駐商家、擁有相關(guān)資源的企事業(yè)和政府單位（如百度、攜程等互聯(lián)網(wǎng)企業(yè)；電信、移動(dòng)等通訊企業(yè)；公安、交通等政府相關(guān)部門）三、大數(shù)據(jù)如何開(kāi)展工作一、數(shù)據(jù)從哪里來(lái)？2、數(shù)據(jù)在哪里3、怎么獲取我們是呼倫貝爾旅游全產(chǎn)業(yè)鏈供3、怎么獲取

數(shù)據(jù)的擁有者是我們數(shù)據(jù)的提供者和受益者。通過(guò)網(wǎng)站、app、400電話等平臺(tái)進(jìn)行采集。景點(diǎn)、酒店、商場(chǎng)、演藝等服務(wù)點(diǎn)收集旅客數(shù)據(jù)。

吃、住、行、游、導(dǎo)、購(gòu)等商家入駐前產(chǎn)品數(shù)據(jù)采集。公司內(nèi)部運(yùn)營(yíng)數(shù)據(jù)積累。擁有相關(guān)資源的企事業(yè)和政府單位：項(xiàng)目合作、購(gòu)買方式進(jìn)行數(shù)據(jù)采集，利用國(guó)家相關(guān)政策、整合政府資源（如智慧旅游等項(xiàng)目）向百度、攜程等擁有大數(shù)據(jù)資源的企業(yè)購(gòu)買三、大數(shù)據(jù)如何開(kāi)展工作一、數(shù)據(jù)從哪里來(lái)？自我采集：合作與購(gòu)買：3、怎么獲取通過(guò)網(wǎng)站、app、400電話等平臺(tái)進(jìn)行采集。景點(diǎn)基于大數(shù)據(jù)4V特征，要開(kāi)發(fā)利用大數(shù)據(jù)，需要特殊的技術(shù)。關(guān)鍵技術(shù)一般包括：大數(shù)據(jù)采集、大數(shù)據(jù)統(tǒng)計(jì)分析、大數(shù)據(jù)挖掘、大數(shù)據(jù)展現(xiàn)和應(yīng)用等技術(shù)三、大數(shù)據(jù)如何開(kāi)展工作二、如何利用它？1、大數(shù)據(jù)采集技術(shù)：利用多種輕型數(shù)據(jù)庫(kù)來(lái)接收發(fā)自客戶端的數(shù)據(jù)，并且用戶可以通過(guò)這些數(shù)據(jù)庫(kù)來(lái)進(jìn)行簡(jiǎn)單的查詢和處理工作。使用的產(chǎn)品：MySQL，Oracle，HBase，Redis和MongoDB等2、大數(shù)據(jù)統(tǒng)計(jì)分析：海量的來(lái)自前端的數(shù)據(jù)快速導(dǎo)入到一個(gè)集中的大型分布式數(shù)據(jù)庫(kù)或者分布式存儲(chǔ)集群，利用分布式技術(shù)來(lái)對(duì)存儲(chǔ)于其內(nèi)的集中的海量數(shù)據(jù)進(jìn)行普通的查詢和分類匯總等，以此滿足大多數(shù)常見(jiàn)的分析需求。使用的產(chǎn)品：Hadoop（Pig和Hive），YunTable，SAPHana和OracleExadata基于大數(shù)據(jù)4V特征，要開(kāi)發(fā)利用大數(shù)據(jù)，需要特殊的基于大數(shù)據(jù)4V特征，要開(kāi)發(fā)利用大數(shù)據(jù)，需要特殊的技術(shù)。關(guān)鍵技術(shù)一般包括：大數(shù)據(jù)采集、大數(shù)據(jù)統(tǒng)計(jì)分析、大數(shù)據(jù)挖掘、大數(shù)據(jù)展現(xiàn)和應(yīng)用等技術(shù)三、大數(shù)據(jù)如何開(kāi)展工作二、如何利用它？3、大數(shù)據(jù)挖掘技術(shù)：基于前面的查詢數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，來(lái)滿足高級(jí)別的數(shù)據(jù)分析需求。使用的產(chǎn)品：HadoopMahout4、大數(shù)據(jù)統(tǒng)展現(xiàn)與應(yīng)用：可視化工具及大數(shù)據(jù)產(chǎn)品使用的產(chǎn)品：大數(shù)據(jù)魔鏡（國(guó)內(nèi)）、googlecharts基于大數(shù)據(jù)4V特征，要開(kāi)發(fā)利用大數(shù)據(jù)，需要特殊的三、大數(shù)據(jù)如何開(kāi)展工作Hadoop主要功能HBaseMapReduceHiveHDFS快速的數(shù)據(jù)讀取大數(shù)據(jù)存儲(chǔ)統(tǒng)計(jì)復(fù)雜計(jì)算并行處理HDFS：分布式文件系統(tǒng)有較強(qiáng)的容錯(cuò)性可在x86平臺(tái)上運(yùn)行，減少總體成本可擴(kuò)展，能構(gòu)建大規(guī)模的應(yīng)用HBase：非結(jié)構(gòu)化NoSQl分布式數(shù)據(jù)庫(kù)

基于分布式文件系統(tǒng)HDFS，保證數(shù)據(jù)安全列式存儲(chǔ)，節(jié)省存儲(chǔ)空間提供大數(shù)據(jù)量的高速讀寫操作Hive：分布式關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)可保存在HDFS，可提供海量的數(shù)據(jù)存儲(chǔ)類SQL的查詢語(yǔ)句，提供大數(shù)據(jù)的統(tǒng)計(jì)和分析操作，適合海量數(shù)據(jù)的批處理通過(guò)MapReduce實(shí)現(xiàn)大規(guī)劃并行計(jì)算MapReduce：大規(guī)劃并行計(jì)算引擎可將任務(wù)分布并行運(yùn)行在一個(gè)集群服務(wù)器中三、大數(shù)據(jù)如何開(kāi)展工作Hadoop主要功能HBaseMapR四、公司大數(shù)據(jù)平臺(tái)建設(shè)規(guī)劃購(gòu)買VS自建摩爾定律四、公司大數(shù)據(jù)平臺(tái)建設(shè)規(guī)劃購(gòu)買VS自建摩爾定律大數(shù)據(jù)平臺(tái)的建設(shè)，公司應(yīng)分三個(gè)階段大數(shù)據(jù)平臺(tái)建設(shè)初步階段采集大數(shù)據(jù)，形成“入口”能力（1~2年時(shí)間）大數(shù)據(jù)平臺(tái)建設(shè)中期階段應(yīng)用“入口”大數(shù)據(jù)，服務(wù)產(chǎn)品化（2~3年時(shí)間）大數(shù)據(jù)平臺(tái)建設(shè)成熟期垂直整合，“入口”能力釋放（持續(xù)發(fā)展）開(kāi)發(fā)能采集用戶大數(shù)據(jù)的智能產(chǎn)品、完善運(yùn)營(yíng)大數(shù)據(jù)的采集能力形成大數(shù)據(jù)采集、存儲(chǔ)和管理的技術(shù)平臺(tái)內(nèi)外部數(shù)據(jù)梳理和整合，形成統(tǒng)一的用戶大數(shù)據(jù)和運(yùn)營(yíng)大數(shù)據(jù)整合數(shù)據(jù)挖