企業(yè)大數(shù)據(jù)解決方案-大數(shù)據(jù)企業(yè)架構(gòu)分析

大數(shù)據(jù)企業(yè)架構(gòu)討論案例研究：智慧交通大數(shù)據(jù)實(shí)時(shí)處理和分析目的：提高城市交通的科學(xué)管理和組織服務(wù)水平業(yè)務(wù)目標(biāo)?

智能交通數(shù)據(jù)的有力支撐?

智能交通公共信息服務(wù)的實(shí)時(shí)傳遞和快速反應(yīng)的應(yīng)急指揮?

智能交通業(yè)務(wù)聯(lián)動(dòng)快速應(yīng)對(duì)變化?

可視化事件跟蹤挑戰(zhàn)?

近千萬輛轎車、軌道交通、快速公交系統(tǒng)?

高并發(fā)事件及數(shù)據(jù)流的實(shí)時(shí)處理?

海量非結(jié)構(gòu)化大數(shù)據(jù)的組織與分析?

壓力傳感器傳感

?

速度傳感器器

?

生物傳感器?

溫度、濕度……RFID?

射頻天線掃描?

電子標(biāo)識(shí)攝像 ?

高速拍照頭 ?

高清攝像頭3車地雙向?qū)崟r(shí)無線通信網(wǎng)數(shù)傳電臺(tái)政府專網(wǎng)InternetGPRS/CDMA/3G/Wi-Fi/WiMax光纖TCP/IP公路可視化綜合信息平臺(tái)雷達(dá)測速 GIS公共交通運(yùn)營管理平臺(tái)監(jiān)控 車次號(hào)識(shí)別緊急救援 CBTC旅行時(shí)間 路徑識(shí)別城市綜合信息管理平臺(tái)通信ETCPIS信號(hào)BRT公交調(diào)度管理電警接處警 卡口交通誘導(dǎo) 信號(hào)控制出行者信息系統(tǒng)視頻監(jiān)控智能停車場電子站牌事件檢測用戶服務(wù)政府

企業(yè)個(gè)人公共感知層/信息采集網(wǎng)絡(luò)層/信息傳輸應(yīng)用層/信息處理水運(yùn)綜合管理平臺(tái)ITS智能交通物聯(lián)網(wǎng)平臺(tái)交通行業(yè)信息服務(wù)智能交通整體規(guī)劃架構(gòu)鐵路綜合管理平臺(tái)4?深度分析?敏捷開發(fā)?高度擴(kuò)展性?實(shí)時(shí)分析結(jié)果?大吞吐量?實(shí)時(shí)準(zhǔn)備?所有的數(shù)據(jù)源及數(shù)據(jù)結(jié)構(gòu)?低延時(shí)?高并發(fā)的交易?高度靈活的數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)獲取數(shù)據(jù)傳輸數(shù)據(jù)處理數(shù)據(jù)是智能交通的核心數(shù)據(jù)獲取數(shù)據(jù)傳輸

數(shù)據(jù)處理People. Process. Portfolio.Discussion實(shí)時(shí)事件處理

—

概念圖解業(yè)務(wù)場景?

重要車輛監(jiān)控?

交通誘導(dǎo)?

出行者信息?

技術(shù)機(jī)遇?

實(shí)時(shí)處理大數(shù)據(jù)量?

合并歷史事務(wù)和實(shí)時(shí)事務(wù)架構(gòu)決策?

實(shí)時(shí)流?

利用現(xiàn)有分析?

最大限度地減少數(shù)據(jù)移動(dòng)實(shí)時(shí)批處理流（CEP

引擎）警報(bào)BPEL?

移動(dòng)?

信息板?

數(shù)據(jù)庫NoSQLHDFS實(shí)時(shí)分析數(shù)據(jù)流實(shí)時(shí)數(shù)據(jù)源CEPRDBMS實(shí)時(shí)位置NOSQL外部數(shù)據(jù)庫黑名單小型機(jī)歷史事務(wù)備份歷史配置文件RDBMS事務(wù)歷史數(shù)據(jù)源計(jì)算配置文件實(shí)時(shí)事務(wù)（基于消息）Hadoop集群事件處理規(guī)則和結(jié)果關(guān)聯(lián)和分析

—

概念圖解NoSQLBI平臺(tái)與分析業(yè)務(wù)機(jī)會(huì)?

行車路線建議?

信號(hào)控制?

交通流量分析技術(shù)選擇?

將縮減結(jié)果集成到關(guān)系數(shù)據(jù)庫?

構(gòu)建另一個(gè)環(huán)境?

手動(dòng)關(guān)聯(lián)架構(gòu)決策?

使用集成元數(shù)據(jù)?

使用標(biāo)準(zhǔn)

BI

平臺(tái)?

最大限度地減少數(shù)據(jù)移動(dòng)數(shù)據(jù)倉庫數(shù)據(jù)集市數(shù)據(jù)庫中的

分析MapReduceHDFS實(shí)時(shí)處理和分析

—

邏輯圖解關(guān)鍵組件Oracle

大數(shù)據(jù)機(jī)Oracle

ExalogicOracle

CEP/CoherenceOracle

SOA

SuiteOracle

大數(shù)據(jù)連接器Oracle

ExadataOracle

Advanced

AnalyticsOracle

ExalyticsOracle

BIFoundationOracle大數(shù)據(jù)機(jī)Oracle大數(shù)據(jù)連接器Oracle

ExadataOracle

ExalyticsInfiniBandInfiniBandOracleAdvanced

AnalyticsOracle

BIHDFS

和

NoSQLMapReduceCEP/SOACoherence消息流Oracle

ExalogicPeople. Process. Portfolio.Discussion問題?

請(qǐng)為自己公司/單位設(shè)計(jì)一個(gè)大數(shù)據(jù)的解決方案。分組討論結(jié)束之后，每組派一到兩個(gè)代表上來講一下這個(gè)方案? A)

公司里存在哪些數(shù)據(jù)? 結(jié)構(gòu)化/多結(jié)構(gòu)化/大小/實(shí)

時(shí)數(shù)據(jù)/流式數(shù)據(jù)? 公司是否已經(jīng)應(yīng)用了非關(guān)系型數(shù)據(jù)庫? B)那些業(yè)務(wù)考慮引入大數(shù)據(jù)? C)有了這些大數(shù)據(jù)，如何設(shè)計(jì)公司的大數(shù)據(jù)平臺(tái)? D)公司數(shù)據(jù)的問題或者遠(yuǎn)景? 企業(yè)的數(shù)據(jù)架構(gòu)遠(yuǎn)景岳‘.＿←..’...＠。同ACL1a:>

.a呂.""S<案例：Facebook數(shù)據(jù)倉庫架構(gòu)Hadoop@Facebook世界上第二大Hadoop集群用于處理

log

和dimension

dataUse

Case? 從大量數(shù)據(jù)中產(chǎn)生每天和每小時(shí)的匯總.在歷史數(shù)據(jù)中執(zhí)行

ad

hocjobs? 事實(shí)上作為一個(gè)長期的數(shù)據(jù)歸檔? 根據(jù)特定屬性來查找log,

可用于維護(hù)站點(diǎn)的一致性，保護(hù)用戶免受垃圾郵件影響13Hadoop

Map/Reduce實(shí)時(shí)分析

—

真實(shí)情況Real

time(msec/sec)Near

real

time(Min/Hours)Batch(Days..)Hadoop/Hive..Not

realtime.

Many

dependencies.

Lots

ofpoints

of

failure.

Complicated

system.

Not

dependableenough

to

hitrealtime

goals

(

Alex

Himel,

EngineeringManager

atFacebook.)“With

the

paths

that

go

through

Hadoop

[at

Yahoo!],

thelatency

isabout

fifteen

minutes.

…

It

will

never

be

truereal-time..”

(Yahoo

CTO

Raymie

Stata)"MapReduce

andother

batch-processing

systems

cannotprocess

small

updates

individually

asthey

rely

on

creatinglarge

batches

for

efficiency,“

(Google

senior

director

ofengineering

Eisar

Lipkovitz)實(shí)時(shí)分析

—

傳統(tǒng)的分析應(yīng)用?垂直擴(kuò)展(Scale-up)數(shù)據(jù)庫–使用傳統(tǒng)的SQL數(shù)據(jù)庫–使用存儲(chǔ)過程生成事件驅(qū)動(dòng)報(bào)表–使用閃存盤，以減少磁盤I/O–使用只讀副本橫向擴(kuò)展(Scale

Out)只讀查詢?限制：–無法寫擴(kuò)展–昂貴的成本(HW&SW)實(shí)時(shí)分析

—

Complex

Event

Processing(CEP)?當(dāng)數(shù)據(jù)到來時(shí)立即處理數(shù)據(jù)?維護(hù)內(nèi)存數(shù)據(jù)窗口?優(yōu)勢：–延遲極低(mS級(jí))–相對(duì)低的成本?劣勢：–難于擴(kuò)展(橫向擴(kuò)展局限)–不敏捷（查詢必須預(yù)生成）–實(shí)現(xiàn)非常復(fù)雜實(shí)時(shí)分析

—

In

Memory

Data

Grid?分布式內(nèi)存數(shù)據(jù)網(wǎng)格?橫向擴(kuò)展(Scale

out)?優(yōu)勢：–

讀/寫可擴(kuò)展–

適合事件驅(qū)動(dòng)(CEP

style),ad-hoc查詢模式?劣勢：–

相比磁盤，內(nèi)存成本昂貴–

內(nèi)存容量有限實(shí)時(shí)分析

—

No

SQL?使用分布式數(shù)據(jù)庫–

Hbase,

Cassandra,

MongoDB?優(yōu)勢：–

讀/寫可擴(kuò)展–

海量數(shù)據(jù)支持–

彈性?缺點(diǎn)：–

讀延遲，實(shí)時(shí)性差–

弱數(shù)據(jù)一致性–

不成熟-非常新的技術(shù)Facebook實(shí)時(shí)分析系統(tǒng)（實(shí)時(shí)+批量）Memory

GridPTailPuma3Facebook實(shí)時(shí)分析-

Put

all

together?內(nèi)存數(shù)據(jù)網(wǎng)格?實(shí)時(shí)處理網(wǎng)格–輕量級(jí)事件處理–Map-Reduce–事件驅(qū)動(dòng)