大數(shù)據(jù)物流可視化解決方案課件

物流大數(shù)據(jù)處理物流大數(shù)據(jù)處理采集導(dǎo)入/預(yù)處理

統(tǒng)計/分析

挖掘

1234567

潘果物流大數(shù)據(jù)處理物流大數(shù)據(jù)處理采集導(dǎo)入/預(yù)處理

統(tǒng)淘寶數(shù)據(jù)分析挖掘?qū)嵺`及變革百度大數(shù)據(jù)分析系統(tǒng)架構(gòu)京東大數(shù)據(jù)實時處理技術(shù)物流大數(shù)據(jù)處理簡介1234目錄淘寶數(shù)據(jù)分析挖掘?qū)嵺`及變革百度大數(shù)據(jù)分析系統(tǒng)架構(gòu)京東大數(shù)據(jù)實【推薦】用大數(shù)據(jù)能力找到商品之間的關(guān)系【推薦】用大數(shù)據(jù)能力找到商品之間的關(guān)系【推薦】用大數(shù)據(jù)能力找到商品之間的關(guān)系【推薦】用大數(shù)據(jù)能力找到商品之間的關(guān)系你知曉大數(shù)據(jù)在哪些方面有應(yīng)用？你知曉大數(shù)據(jù)在哪些方面有應(yīng)用？3132

架構(gòu)化1950-1970數(shù)字化1970-1990

網(wǎng)絡(luò)化1990-2010+

物聯(lián)網(wǎng)

大數(shù)據(jù)Something

Big

is

Happening

NOW移動互聯(lián)網(wǎng)

云計算4信息技術(shù)革命的小周期

智慧化3132 架構(gòu)化數(shù)字化1970-1990 網(wǎng)絡(luò)化 物聯(lián)網(wǎng)移51:1

MarketingNanotargeting和Retargeting51:1MarketingNanotargeting和Re662?IBM

IBM

2013

多渠道

交通控制交易分析智慧的醫(yī)療

國土安全

制造

金融

電信欺詐和風(fēng)險

日志分析

搜索質(zhì)量

零售：流失、促銷?

Copyright

2011

Corporation大數(shù)據(jù)在各行各業(yè)都可以獲得應(yīng)用22?IBMIBM20134?

Copyright

2011

Corporation?IBM

IBM

2013獲得突破性回報

了解關(guān)于客戶的

一切作快速大量地創(chuàng)新產(chǎn)品和風(fēng)險利用工具化的資產(chǎn)利用大數(shù)據(jù)能力可以幫助企業(yè)獲得突破性回報利用大數(shù)據(jù)獨有的

技術(shù)能力

可視化和發(fā)現(xiàn)Hadoop

執(zhí)行零延遲的操數(shù)據(jù)倉庫流計算文本分析整合和治理多媒體內(nèi)容通過分析仸意

大數(shù)據(jù)類型

交易

/

應(yīng)用數(shù)

據(jù)機器數(shù)據(jù)社交媒體數(shù)據(jù)

實時偵測欺詐44?Copyright2011Co11快雜大大數(shù)據(jù)的新思維11快雜大大數(shù)據(jù)的新思維13多數(shù)據(jù)源的集成浮動車GPS:20M/day手機位置信息:18M/day居民調(diào)查:80000戶視頻/圖像數(shù)據(jù)和元數(shù)據(jù):100s

of

TB/day

GIS數(shù)據(jù)供水系統(tǒng)智能電網(wǎng)睡眠質(zhì)量出租車運營數(shù)據(jù):1M/day

交通卡:19M/day

高速路收費數(shù)據(jù):

0.5M/day

社交網(wǎng)絡(luò)

情感分析部分?jǐn)?shù)據(jù)來源:BeijingTOCC13多數(shù)據(jù)源的集成浮動車GPS:20M/day手機位置信息:12

大數(shù)據(jù)的新方法學(xué)數(shù)據(jù)極大豐富前提下的新分析思維和技術(shù)采樣數(shù)據(jù)

全集數(shù)據(jù)

多數(shù)據(jù)源的整合

基于主觀因果假設(shè)

相關(guān)關(guān)系

大數(shù)據(jù)+小算法

+上下文+知識積累

描述性分析

預(yù)測性

和處方性分析實時性

>

絕對的精確性12 大數(shù)據(jù)的新方法學(xué)采樣數(shù)據(jù)全集數(shù)據(jù) 大數(shù)據(jù)+小數(shù)據(jù)數(shù)據(jù)中介

服務(wù)生態(tài)系統(tǒng)

數(shù)據(jù)擁有者大數(shù)據(jù)的數(shù)據(jù)中介

數(shù)據(jù)技術(shù)公司

數(shù)據(jù)產(chǎn)品

和服務(wù)16數(shù)據(jù)數(shù)據(jù)中介生態(tài)系統(tǒng) 數(shù)據(jù)擁有者數(shù)據(jù)中介 數(shù)據(jù)技術(shù)公司大數(shù)據(jù)系統(tǒng)的設(shè)計權(quán)衡大體量基于采樣的查詢

實時性

流計算

批量計算精確性惰性數(shù)據(jù)的即席查詢

Little

data

(個人計算)19城市計算增量計算內(nèi)存計算大數(shù)據(jù)系統(tǒng)的設(shè)計權(quán)衡大體量基于采樣的查詢 批量計算惰性數(shù)據(jù)的案例一：大數(shù)據(jù)分析系統(tǒng)架構(gòu)的搭建案例一：百度的數(shù)據(jù)規(guī)模?

100~1000PB?

10~100PB/天?

千億~萬億?

百億~千億?

十億~百億/天?

十億~百億/天?

100TB~1PB/天

數(shù)據(jù)總量數(shù)據(jù)處理量

網(wǎng)頁

索引

更新量

請求

日志百度的數(shù)據(jù)規(guī)模?100~1000PB 數(shù)據(jù)總量離線在線離線分析與在線實驗相結(jié)合快速迭代是互聯(lián)網(wǎng)產(chǎn)品的

主要創(chuàng)新手段

算法A

算法B

算法B

通過反饋來驗證算法優(yōu)劣離線在線離線分析與在線實驗相結(jié)合快速迭代是互聯(lián)網(wǎng)產(chǎn)品的搜索引擎的迭代5%5%Online

LearningA/B

test

策略

機器學(xué)習(xí)

平臺FeatureTraining

數(shù)據(jù)網(wǎng)頁

網(wǎng)頁庫

倒排表

Data

Mining搜索引擎的迭代5%5%OnlineLearning 機器學(xué)想法原型系統(tǒng)快速開發(fā)測試產(chǎn)品部署運維開發(fā)框架互聯(lián)網(wǎng)產(chǎn)品的迭代

A/B測試，持續(xù)優(yōu)化

數(shù)據(jù)智能驗證數(shù)據(jù)分析應(yīng)用引擎

云測試應(yīng)用引擎想法原型系統(tǒng)快速開發(fā)測試產(chǎn)品部署運維開發(fā)框架互聯(lián)網(wǎng)產(chǎn)品的迭代數(shù)據(jù)架構(gòu)技術(shù)互聯(lián)網(wǎng)服務(wù)

enable

數(shù)據(jù)智能數(shù)據(jù)架構(gòu)互聯(lián)網(wǎng)服務(wù)IT產(chǎn)業(yè)生產(chǎn)力的變化‘60‘70‘80‘90‘00‘10

硬件Mainframe軟件

PCInternet

Inf+人+數(shù)據(jù)

Cloud迭代的本質(zhì)是讓人參與系統(tǒng)進化，而Big

Data為迭代指導(dǎo)方向，Infrastructure則加速迭代。

軟件

+人IT產(chǎn)業(yè)生產(chǎn)力的變化‘60‘70‘80‘90‘00‘10 硬互聯(lián)網(wǎng)服務(wù)的典型技術(shù)特點超大規(guī)模快速迭代互聯(lián)網(wǎng)服務(wù)的典型技術(shù)特點超大規(guī)?？焖俚鷶?shù)據(jù)智能軟件基礎(chǔ)架構(gòu)大數(shù)據(jù)數(shù)據(jù)中心、網(wǎng)絡(luò)、服務(wù)器數(shù)據(jù)中心計算云計算技術(shù)體系數(shù)據(jù)智能軟件基礎(chǔ)架構(gòu)大數(shù)據(jù)數(shù)據(jù)中心、網(wǎng)絡(luò)、服務(wù)器數(shù)據(jù)中心計算DiskFlashPipeK/VFileTable

統(tǒng)一存儲體系

–

平衡大容量、高并發(fā)、低延遲

–

不同訪問模式通過組合滿足

統(tǒng)一訪問與傳輸數(shù)據(jù)訪問層P2PCDN分布式存儲DiskFlashPipeK/VFileTable統(tǒng)一存儲描述能力數(shù)據(jù)流優(yōu)化控制流管理資源分配優(yōu)先級、并發(fā)控制隔離、安全執(zhí)行層模型層MapReduce表示層SQL-like

翻譯JoinSelectTop分布式計算BCDA描述能力數(shù)據(jù)流優(yōu)化控制流管理優(yōu)先級、并發(fā)控制執(zhí)行層模型層Ma實時存儲與計算kNN查詢

平臺向量計算引擎流式數(shù)據(jù)處理引擎PubSub

引擎機器學(xué)習(xí)算法平臺OLAP引擎

復(fù)雜事件處理引擎

分布式數(shù)據(jù)結(jié)構(gòu)超大規(guī)模數(shù)據(jù)倉庫圖查詢

平臺實時檢索

平臺實時存儲與計算kNN查詢向量計算引擎流式數(shù)據(jù)處理引擎PubS向量計算引擎VectorLayoutMap-ShuffleOperators/

CheckpointSIMDProgram向量計算引擎VectorLayoutMap-ShuffleO復(fù)雜事件處理average(price)trigger(?,b,c)filter(b)pattern(a->b->c)condition(func(a,b,c))復(fù)雜事件處理average(price)pattern(a-流式計算模型

windowstepboundtimeM=Stream<window,step,bound>流式計算模型stepboundtimeM=Stream<wi目標(biāo)?

1000PB?

10億維特征訓(xùn)練?

100維條件查詢?

流式?

觸發(fā)式

海量高維、多維

實時更大、更復(fù)雜、更快!目標(biāo)?1000PB 海量更大、更復(fù)雜、更快!數(shù)據(jù)智能

分布式存儲與計算

大規(guī)模人工輔劣標(biāo)注系統(tǒng)人計算向量引擎MachineLearning

算法Web

Contents流式處理LogsPubSub推薦系統(tǒng)智能交通Apps

自勱評估商業(yè)智能決策輔劣數(shù)據(jù)智能 分布式 大規(guī)模人工人計算向量引擎MachineWe關(guān)于京東關(guān)于京東營銷管理供應(yīng)商

管理倉儲管理財務(wù)系統(tǒng)客戶數(shù)據(jù)網(wǎng)站前臺關(guān)于京東

京東擁有覆蓋企業(yè)全部價值鏈的穩(wěn)定系統(tǒng)，通過持續(xù)優(yōu)化打造開放平

臺，全面提升用戶體驗。配送管理營銷供應(yīng)商倉儲財務(wù)客戶網(wǎng)站關(guān)于京東配送大規(guī)模數(shù)據(jù)處理更加容易ETL/企業(yè)數(shù)據(jù)倉庫（Hive/Pig/MR）數(shù)據(jù)挖掘/建模（R、Mahout）搜索和推薦日志存儲…大規(guī)模數(shù)據(jù)處理更加容易ETL/企業(yè)數(shù)據(jù)倉庫數(shù)據(jù)挖掘/建模（R?????“Next

Click”運營智能風(fēng)險控制互動分析?一些場景需要進一步的考量

MapReduce批量處理

=

延遲較長無法滿足用戶的實時需求

調(diào)度開銷較大?“NextClick”一些場景需要進一步的考量 Map批處理與分析近實時分析實時流處理實時性離線準(zhǔn)實時/實時實時處理時間分鐘到小時毫秒到秒持續(xù)不斷數(shù)據(jù)量TB-PBGB-TB持續(xù)編程模型MapReduceQueriesDAG用戶分析師/開發(fā)者分析師/開發(fā)者開發(fā)者成本中高高應(yīng)用ETL/數(shù)據(jù)挖掘/預(yù)處理?數(shù)據(jù)決策分析/??大數(shù)據(jù)包括三部分批處理與分析近實時分析實時流處理實時性離線準(zhǔn)實時/實時實時處服務(wù)模型

性能大數(shù)據(jù)實時處理的思考服務(wù)模型性能大數(shù)據(jù)實時處理的思考?

模型–

海量數(shù)據(jù)?

數(shù)據(jù)量大?

并發(fā)數(shù)高–

多個數(shù)據(jù)源整合–

預(yù)定義好的數(shù)據(jù)模型?

去規(guī)格化–

數(shù)據(jù)任務(wù)依賴關(guān)系簡單–

推和拉的問題?

拉比推好大數(shù)據(jù)實時處理的思考?模型–海量數(shù)據(jù)?數(shù)據(jù)量大–多個數(shù)據(jù)源?

性能–

高并發(fā)需求–

大容量需求?

GB–TB

級后臺數(shù)據(jù)處理吞吐–

高速度需求?

從數(shù)據(jù)產(chǎn)生到處理完成結(jié)果延遲要求到秒級?

計算需要在短時間內(nèi)完成–

批處理預(yù)算–

硬件支持?

內(nèi)存、CPU、網(wǎng)絡(luò)–

容錯–

水平擴展大數(shù)據(jù)實時處理的思考?性能–高并發(fā)需求?GB–TB級后––––關(guān)聯(lián)獲取價值，維度按需定制互動分析、報表等完成價值交付與其他在線生產(chǎn)系統(tǒng)進行數(shù)據(jù)對接（數(shù)據(jù)反哺）計算即服務(wù)大數(shù)據(jù)實時處理的思考?

服務(wù)–關(guān)聯(lián)獲取價值，維度按需定制大數(shù)據(jù)實時處理的思考生產(chǎn)數(shù)據(jù)庫企業(yè)數(shù)據(jù)倉庫大數(shù)據(jù)實時處理架構(gòu)

財務(wù)數(shù)據(jù)集市采銷數(shù)據(jù)集市羅盤數(shù)據(jù)集市分析挖掘

數(shù)據(jù)集

數(shù)據(jù)緩沖區(qū)企業(yè)消息總線流式計算集群實時數(shù)據(jù)

同步模型日志系統(tǒng)高速存取集群

在線實時計算集群持久化PUSHPULL/PUSH訂閱ELTELT高速存取集群ETL報表應(yīng)用分析應(yīng)用推薦應(yīng)用...數(shù)據(jù)推送中心近實時分析集群近實時計算

實時計算在線服務(wù)離線計算應(yīng)用

分布式消息系統(tǒng)緩存集群生產(chǎn)數(shù)據(jù)庫企業(yè)數(shù)據(jù)倉庫大數(shù)據(jù)實時處理架構(gòu)采銷數(shù)據(jù)集市羅盤數(shù)據(jù)––––日志（用戶行為、?）批量同步消息隊列??

開源技術(shù)––––FlumeScribeKafka?大數(shù)據(jù)實時處理技術(shù)?

數(shù)據(jù)傳輸–日志（用戶行為、?）?開源技術(shù)–Flume大數(shù)據(jù)實?

Apache項目：/?

一個分布式的發(fā)布/訂閱消息系統(tǒng)?

術(shù)語–

Topics?

消息分組–

Brokers?

消息存儲–

Producers?

消息生產(chǎn)者–

Consumers?

消息消費者Kafka?Apache項目：http://kafka.apa–––––大數(shù)據(jù)實時處理技術(shù)?

幾個點SinkAgentAgentStorm等Broker(Topic1)

Broker(Topic2)HDFSZookeeper解耦緩沖容錯透明跨數(shù)據(jù)中心數(shù)據(jù)分發(fā)

FlumeKafka–大數(shù)據(jù)實時處理技術(shù)SinkAgentAgentStorm等––––––HadoopHBaseCassandraMongoDBRedis??

數(shù)據(jù)庫Sharding?

合適的就是最好的大數(shù)據(jù)實時處理技術(shù)?

存儲

–

大容量低速存儲

–

高速存儲

–

KV存儲?

開源NoSQL數(shù)據(jù)存儲–Hadoop?數(shù)據(jù)庫Sharding大數(shù)據(jù)實時處理––––可加計算、不可加計算實時數(shù)據(jù)的實時計算實時數(shù)據(jù)的計算數(shù)據(jù)的實時計算?

開源計算框架

–

Storm

–

Impala

–

?大數(shù)據(jù)實時處理技術(shù)?

計算–可加計算、不可加計算?開源計算框架大數(shù)據(jù)實時處理技大數(shù)據(jù)實時分析明細(xì)事實表聚合表1聚合表2聚合表3大數(shù)據(jù)實時分析明細(xì)事實表聚合表1聚合表2聚合表3?

基本概念

–

Streams（流）

?

元組序列

–

Spouts

?

流的源頭

–

Bolts

?

Functions,

Filters,

Joins,

Aggregations

–

Topologies?

優(yōu)點

–

可擴展、容錯、易用?–

在內(nèi)存中執(zhí)行流式計算Storm?

Twitter開源的分布式處理框架SpoutsBoltTopologies?基本概念 ?元組序列–在內(nèi)存中執(zhí)行流?

Nimbus–

主控節(jié)點，用于任務(wù)分配，集群任務(wù)監(jiān)控等?

Zookeeper–

集群中協(xié)調(diào)，共有數(shù)據(jù)的存放(如心跳信息)?

Supervisor–

對應(yīng)一臺物理機，用于啟動worker?

Worker–

工作進程，負(fù)責(zé)啟動task，以及通過zeromq進行tuple的分發(fā)，與接收。?

Task–

工作線程,任務(wù)的處理Storm的部署?Nimbus–主控節(jié)點，用于任務(wù)分配，集群任Storm的應(yīng)用模式用戶查詢大數(shù)據(jù)存儲數(shù)據(jù)視圖集（批處理）數(shù)據(jù)流HadoopStorm

數(shù)據(jù)視圖集（實時處理）

數(shù)據(jù)流

數(shù)據(jù)視圖集（實時處理）

數(shù)據(jù)視圖集（實時處理）Storm的應(yīng)用模式用戶查詢大數(shù)據(jù)存儲數(shù)據(jù)視圖集數(shù)據(jù)流Had流式計算流式計算流式計算應(yīng)用事件收集器Storm前段展現(xiàn)?

事件驅(qū)動實現(xiàn)流式計算應(yīng)用事件收集器Storm前段展現(xiàn)?事件驅(qū)動實現(xiàn)?

注意–

內(nèi)存泄露–

消息堆積–

算法模塊拆分流式計算?注意–內(nèi)存泄露–算法模塊拆分流式計算––––分析可視化數(shù)據(jù)可視化數(shù)據(jù)反哺計算即服務(wù)?

仔細(xì)思考其價值–––––實時的統(tǒng)計：最流行廣告CTR預(yù)測ETL：格式轉(zhuǎn)換、重復(fù)值過濾、?運營需求：資源調(diào)派?大數(shù)據(jù)實時處理技術(shù)?

服務(wù)和應(yīng)用?

價值展現(xiàn)–分析可視化?仔細(xì)思考其價值–實時的統(tǒng)計：最流行大數(shù)?

對系統(tǒng)的壓力–

數(shù)據(jù)量–

數(shù)據(jù)展現(xiàn)–

數(shù)據(jù)讀寫和傳輸?

解決方法–

前端和后端解耦?

緩存的應(yīng)用?

JS發(fā)揮前端的能力–

壓縮–

排隊?

異步、非阻塞IO模型?

線程池?

事件驅(qū)動–

后端更強勁?

數(shù)據(jù)庫集群：分庫、分表、分區(qū)?

NoSQL數(shù)據(jù)庫：Hbase、MongoDB等數(shù)據(jù)應(yīng)用的問題?對系統(tǒng)的壓力–數(shù)據(jù)量–數(shù)據(jù)展現(xiàn)–淘寶數(shù)據(jù)分析挖掘?qū)嵺`及變革淘寶數(shù)據(jù)分析挖掘?qū)嵺`及變革淘寶數(shù)據(jù)四階段?

被動響應(yīng)–2007年前?

主動變革

–2008-2010?

優(yōu)化完善

–2011-2012?

引領(lǐng)驅(qū)動–2013-淘寶數(shù)據(jù)四階段?被動響應(yīng)–2007年前?主動變革–201數(shù)據(jù)系統(tǒng)變遷2007年前數(shù)據(jù)庫(集群)腳本簡單調(diào)度數(shù)據(jù)報表2008-2010Hadoop集群調(diào)度監(jiān)控實時日志傳輸數(shù)據(jù)門戶多維分析2011-2012Hadoop集群DXP公有云實時Storm調(diào)度監(jiān)控實時日志傳輸實時數(shù)據(jù)庫同步數(shù)據(jù)門戶自助查詢工具元數(shù)據(jù)管理2013-數(shù)據(jù)驅(qū)動新模式探索數(shù)據(jù)系統(tǒng)變遷2007年前2008-2010實時日志傳輸201調(diào)度監(jiān)控業(yè)務(wù)庫（Mysql）Log

Server外部數(shù)據(jù)數(shù)據(jù)源數(shù)據(jù)計算平臺數(shù)據(jù)門戶多維自助查詢平臺OpenAPI數(shù)據(jù)平臺架構(gòu)

數(shù)據(jù)應(yīng)用數(shù)據(jù)收集DBSyncTTDataX……HiveHDFSHbase實時計算Storm…Ocean

Base分布式集群量子恒道在云端接入數(shù)據(jù)魔方

DXP數(shù)據(jù)交換平臺冷數(shù)據(jù)

集群調(diào)監(jiān)控業(yè)務(wù)庫（Mysql）LogServer外部數(shù)據(jù)數(shù)數(shù)計數(shù)據(jù)應(yīng)用格局?jǐn)?shù)據(jù)應(yīng)用格局對外數(shù)據(jù)產(chǎn)品?

數(shù)據(jù)魔方/淘寶指數(shù)–行業(yè)趨勢–人群特征–成交排行–市場細(xì)分?

量子恒道–銷售分析–營銷效果–來源分析?

搜索排行榜對外數(shù)據(jù)產(chǎn)品?數(shù)據(jù)魔方/淘寶指數(shù)–行業(yè)趨勢?量子恒道–銷對外數(shù)據(jù)產(chǎn)品?

淘寶時光機–/–回憶的感動?

排行榜對外數(shù)據(jù)產(chǎn)品?淘寶時光機–http://me.taobao對外數(shù)據(jù)產(chǎn)品-淘寶指數(shù)對外數(shù)據(jù)產(chǎn)品-淘寶指數(shù)對外數(shù)據(jù)產(chǎn)品-量子恒道對外數(shù)據(jù)產(chǎn)品-量子恒道數(shù)據(jù)嵌入產(chǎn)品中?

搜索匹配、排序?

廣告匹配、排序?

推薦?

商家后臺數(shù)據(jù)?

營銷效果–直通車、展示廣告、淘寶客數(shù)據(jù)嵌入產(chǎn)品中?搜索匹配、排序?商家后臺數(shù)據(jù)–直通車、展內(nèi)部數(shù)據(jù)服務(wù)?

淘數(shù)據(jù)門戶–用戶分析–商家云圖–活動效果分析–例行數(shù)據(jù)報表?

在云端–低門檻接入分布式集群–周活躍用戶1000+內(nèi)部數(shù)據(jù)服務(wù)?淘數(shù)據(jù)門戶–用戶分析–活動效果分析?在云端內(nèi)部數(shù)據(jù)服務(wù)?

多維數(shù)據(jù)自助查詢平臺–數(shù)據(jù)倉庫和索引技術(shù)結(jié)合–隨意組合維度–秒級返回?

日常數(shù)據(jù)需求管理–數(shù)據(jù)接口人內(nèi)部數(shù)據(jù)服務(wù)?多維數(shù)據(jù)自助查詢平臺–數(shù)據(jù)倉庫和索引技術(shù)結(jié)合數(shù)據(jù)工具?

天網(wǎng)調(diào)度?

元數(shù)據(jù)管理?

數(shù)據(jù)地圖-定位、血緣分析?

DataX異源數(shù)據(jù)傳輸?

TimeTunnel實時日志傳輸?

監(jiān)控報警?

生命周期管理數(shù)據(jù)工具?天網(wǎng)調(diào)度?元數(shù)據(jù)管理?數(shù)據(jù)地圖-定位、血緣分