企業(yè)大數(shù)據(jù)解決方案-大數(shù)據(jù)企業(yè)架構(gòu)分析

大數(shù)據(jù)企業(yè)架構(gòu)討論案例研究：智慧交通大數(shù)據(jù)實時處理和分析目的：提高城市交通的科學(xué)管理和組織服務(wù)水平業(yè)務(wù)目標(biāo)?

智能交通數(shù)據(jù)的有力支撐?

智能交通公共信息服務(wù)的實時傳遞和快速反應(yīng)的應(yīng)急指揮?

智能交通業(yè)務(wù)聯(lián)動快速應(yīng)對變化?

可視化事件跟蹤挑戰(zhàn)?

近千萬輛轎車、軌道交通、快速公交系統(tǒng)?

高并發(fā)事件及數(shù)據(jù)流的實時處理?

海量非結(jié)構(gòu)化大數(shù)據(jù)的組織與分析?

壓力傳感器傳感

?

速度傳感器器

?

生物傳感器?

溫度、濕度……RFID?

射頻天線掃描?

電子標(biāo)識攝像 ?

高速拍照頭 ?

高清攝像頭3車地雙向?qū)崟r無線通信網(wǎng)數(shù)傳電臺政府專網(wǎng)InternetGPRS/CDMA/3G/Wi-Fi/WiMax光纖TCP/IP公路可視化綜合信息平臺雷達測速 GIS公共交通運營管理平臺監(jiān)控 車次號識別緊急救援 CBTC旅行時間 路徑識別城市綜合信息管理平臺通信ETCPIS信號BRT公交調(diào)度管理電警接處警 卡口交通誘導(dǎo) 信號控制出行者信息系統(tǒng)視頻監(jiān)控智能停車場電子站牌事件檢測用戶服務(wù)政府

企業(yè)個人公共感知層/信息采集網(wǎng)絡(luò)層/信息傳輸應(yīng)用層/信息處理水運綜合管理平臺ITS智能交通物聯(lián)網(wǎng)平臺交通行業(yè)信息服務(wù)智能交通整體規(guī)劃架構(gòu)鐵路綜合管理平臺4?深度分析?敏捷開發(fā)?高度擴展性?實時分析結(jié)果?大吞吐量?實時準(zhǔn)備?所有的數(shù)據(jù)源及數(shù)據(jù)結(jié)構(gòu)?低延時?高并發(fā)的交易?高度靈活的數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)獲取數(shù)據(jù)傳輸數(shù)據(jù)處理數(shù)據(jù)是智能交通的核心數(shù)據(jù)獲取數(shù)據(jù)傳輸

數(shù)據(jù)處理People. Process. Portfolio.Discussion實時事件處理

—

概念圖解業(yè)務(wù)場景?

重要車輛監(jiān)控?

交通誘導(dǎo)?

出行者信息?

技術(shù)機遇?

實時處理大數(shù)據(jù)量?

合并歷史事務(wù)和實時事務(wù)架構(gòu)決策?

實時流?

利用現(xiàn)有分析?

最大限度地減少數(shù)據(jù)移動實時批處理流（CEP

引擎）警報BPEL?

移動?

信息板?

數(shù)據(jù)庫NoSQLHDFS實時分析數(shù)據(jù)流實時數(shù)據(jù)源CEPRDBMS實時位置NOSQL外部數(shù)據(jù)庫黑名單小型機歷史事務(wù)備份歷史配置文件RDBMS事務(wù)歷史數(shù)據(jù)源計算配置文件實時事務(wù)（基于消息）Hadoop集群事件處理規(guī)則和結(jié)果關(guān)聯(lián)和分析

—

概念圖解NoSQLBI平臺與分析業(yè)務(wù)機會?

行車路線建議?

信號控制?

交通流量分析技術(shù)選擇?

將縮減結(jié)果集成到關(guān)系數(shù)據(jù)庫?

構(gòu)建另一個環(huán)境?

手動關(guān)聯(lián)架構(gòu)決策?

使用集成元數(shù)據(jù)?

使用標(biāo)準(zhǔn)

BI

平臺?

最大限度地減少數(shù)據(jù)移動數(shù)據(jù)倉庫數(shù)據(jù)集市數(shù)據(jù)庫中的

分析MapReduceHDFS實時處理和分析

—

邏輯圖解關(guān)鍵組件Oracle

大數(shù)據(jù)機Oracle

ExalogicOracle

CEP/CoherenceOracle

SOA

SuiteOracle

大數(shù)據(jù)連接器Oracle

ExadataOracle

Advanced

AnalyticsOracle

ExalyticsOracle

BIFoundationOracle大數(shù)據(jù)機Oracle大數(shù)據(jù)連接器Oracle

ExadataOracle

ExalyticsInfiniBandInfiniBandOracleAdvanced

AnalyticsOracle

BIHDFS

和

NoSQLMapReduceCEP/SOACoherence消息流Oracle

ExalogicPeople. Process. Portfolio.Discussion問題?

請為自己公司/單位設(shè)計一個大數(shù)據(jù)的解決方案。分組討論結(jié)束之后，每組派一到兩個代表上來講一下這個方案? A)

公司里存在哪些數(shù)據(jù)? 結(jié)構(gòu)化/多結(jié)構(gòu)化/大小/實

時數(shù)據(jù)/流式數(shù)據(jù)? 公司是否已經(jīng)應(yīng)用了非關(guān)系型數(shù)據(jù)庫? B)那些業(yè)務(wù)考慮引入大數(shù)據(jù)? C)有了這些大數(shù)據(jù)，如何設(shè)計公司的大數(shù)據(jù)平臺? D)公司數(shù)據(jù)的問題或者遠景? 企業(yè)的數(shù)據(jù)架構(gòu)遠景岳‘.＿←..’...＠。同ACL1a:>

.a呂.""S<案例：Facebook數(shù)據(jù)倉庫架構(gòu)Hadoop@Facebook世界上第二大Hadoop集群用于處理

log

和dimension

dataUse

Case? 從大量數(shù)據(jù)中產(chǎn)生每天和每小時的匯總.在歷史數(shù)據(jù)中執(zhí)行

ad

hocjobs? 事實上作為一個長期的數(shù)據(jù)歸檔? 根據(jù)特定屬性來查找log,

可用于維護站點的一致性，保護用戶免受垃圾郵件影響13Hadoop

Map/Reduce實時分析

—

真實情況Real

time(msec/sec)Near

real

time(Min/Hours)Batch(Days..)Hadoop/Hive..Not

realtime.

Many

dependencies.

Lots

ofpoints

of

failure.

Complicated

system.

Not

dependableenough

to

hitrealtime

goals

(

Alex

Himel,

EngineeringManager

atFacebook.)“With

the

paths

that

go

through

Hadoop

[at

Yahoo!],

thelatency

isabout

fifteen

minutes.

…

It

will

never

be

truereal-time..”

(Yahoo

CTO

Raymie

Stata)"MapReduce

andother

batch-processing

systems

cannotprocess

small

updates

individually

asthey

rely

on

creatinglarge

batches

for

efficiency,“

(Google

senior

director

ofengineering

Eisar

Lipkovitz)實時分析

—

傳統(tǒng)的分析應(yīng)用?垂直擴展(Scale-up)數(shù)據(jù)庫–使用傳統(tǒng)的SQL數(shù)據(jù)庫–使用存儲過程生成事件驅(qū)動報表–使用閃存盤，以減少磁盤I/O–使用只讀副本橫向擴展(Scale

Out)只讀查詢?限制：–無法寫擴展–昂貴的成本(HW&SW)實時分析

—

Complex

Event

Processing(CEP)?當(dāng)數(shù)據(jù)到來時立即處理數(shù)據(jù)?維護內(nèi)存數(shù)據(jù)窗口?優(yōu)勢：–延遲極低(mS級)–相對低的成本?劣勢：–難于擴展(橫向擴展局限)–不敏捷（查詢必須預(yù)生成）–實現(xiàn)非常復(fù)雜實時分析

—

In

Memory

Data

Grid?分布式內(nèi)存數(shù)據(jù)網(wǎng)格?橫向擴展(Scale

out)?優(yōu)勢：–

讀/寫可擴展–

適合事件驅(qū)動(CEP

style),ad-hoc查詢模式?劣勢：–

相比磁盤，內(nèi)存成本昂貴–

內(nèi)存容量有限實時分析

—

No

SQL?使用分布式數(shù)據(jù)庫–

Hbase,

Cassandra,

MongoDB?優(yōu)勢：–

讀/寫可擴展–

海量數(shù)據(jù)支持–

彈性?缺點：–

讀延遲，實時性差–

弱數(shù)據(jù)一致性–

不成熟-非常新的技術(shù)Facebook實時分析系統(tǒng)（實時+批量）Memory

GridPTailPuma3Facebook實時分析-

Put

all

together?內(nèi)存數(shù)據(jù)網(wǎng)格?實時處理網(wǎng)格–輕量級事件處理–Map-Reduce–事件驅(qū)動