大數(shù)據(jù)時(shí)代：挑戰(zhàn)與解決之道

12013中國計(jì)算機(jī)網(wǎng)絡(luò)安全年會大數(shù)據(jù)時(shí)代：挑戰(zhàn)與解決之道2大數(shù)據(jù)時(shí)代面臨的問題與挑戰(zhàn)大數(shù)據(jù)解決之道云數(shù)據(jù)中心解決之道大數(shù)據(jù)◆ 大數(shù)據(jù)泛指數(shù)據(jù)集的大小超過了通常的數(shù)據(jù)庫，數(shù)據(jù)管理軟件所能獲取、存儲、管理和分析的范圍◆ 大與小相對處理能力和需求而言，并無統(tǒng)一量化標(biāo)準(zhǔn)體量Volume多樣性Variety速度Velocity價(jià)值密度Value3傳統(tǒng)數(shù)據(jù)處理面臨的挑戰(zhàn)控制數(shù)據(jù)存儲與數(shù)據(jù)處理的性價(jià)比如何滿足大并發(fā)、快速響應(yīng)多種數(shù)據(jù)類型的融合個(gè)人數(shù)據(jù)性能與擴(kuò)展性的矛盾結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)物質(zhì)世界數(shù)據(jù)社會數(shù)據(jù)0200040006000800010000100

300

500

700

900傳統(tǒng)分布…新型大數(shù)…4海量數(shù)據(jù)的問題與挑戰(zhàn)軟件處理能力資源管理? 平臺資源管理? 數(shù)據(jù)資源化及共享? 數(shù)據(jù)服務(wù)數(shù)據(jù)可信能力? 安全監(jiān)控? 高可靠性? 保密與隱私? 數(shù)據(jù)模型和處理? 編程模式? 數(shù)據(jù)質(zhì)量5大數(shù)據(jù)技術(shù)應(yīng)用領(lǐng)域6◆

基本原理異構(gòu)多源信息網(wǎng)絡(luò)（相比于同構(gòu)）能夠更完整的對現(xiàn)實(shí)世界進(jìn)行建模，減少信息損失，從而發(fā)現(xiàn)更多知識。大數(shù)據(jù)技術(shù)應(yīng)用領(lǐng)域7◆

公共安全領(lǐng)域（棱鏡計(jì)劃）

輿情監(jiān)控：對海量信息自動抓取、自動分類/聚類、主題檢測、專題聚焦，實(shí)現(xiàn)網(wǎng)絡(luò)輿情監(jiān)測和新聞專題追蹤等信息需求，形成簡報(bào)、報(bào)告、圖表等分析結(jié)果

安全態(tài)勢感知：融合各類安全設(shè)施的海量數(shù)據(jù)信息，通過特征提取、安全分析、態(tài)勢感知和預(yù)警，實(shí)現(xiàn)對網(wǎng)絡(luò)當(dāng)前狀況的評估，和對未來變化趨勢的預(yù)測。大數(shù)據(jù)技術(shù)應(yīng)用領(lǐng)域8◆

金融、電信、電子商務(wù)、財(cái)稅等傳統(tǒng)領(lǐng)域

在線交易類應(yīng)用，如銀行業(yè)務(wù)、在線支付、在線交易、網(wǎng)絡(luò)發(fā)票等；數(shù)據(jù)挖掘類應(yīng)用，如信用評估、趨勢預(yù)測、客戶行為分析等?！?/p>

民生服務(wù)領(lǐng)域

交通流量/路況監(jiān)控，路徑規(guī)劃等；人口狀況統(tǒng)計(jì)分析；疾病趨勢分析；環(huán)境監(jiān)控等大數(shù)據(jù)技術(shù)應(yīng)用領(lǐng)域9◆

互聯(lián)網(wǎng)應(yīng)用領(lǐng)域

Web2.0、SNS、即時(shí)通信、垂直搜索等◆

高性能計(jì)算領(lǐng)域

氣候模式處理；地震/石油勘探數(shù)據(jù)處理等◆

科學(xué)研究

第四范式醫(yī)院每天產(chǎn)生10TB彩超圖像運(yùn)營商每天新增50億條通話記錄Facebook每月新增10億張照片中等城市每年保存300PB交通視頻大型連鎖超市每天產(chǎn)生6000萬條消費(fèi)記錄淘寶存儲8.8億件商品信息百度每天處理10億次訪問請求1mm3大腦突觸網(wǎng)絡(luò)圖像超過1PB10◆

數(shù)據(jù)采集量越來越大大數(shù)據(jù)技術(shù)趨勢分析氣象熱點(diǎn)活動交通事故道路情況大數(shù)據(jù)技術(shù)趨勢分析11◆

多維度分析大數(shù)據(jù)技術(shù)趨勢分析12◆

分析能力嵌入業(yè)務(wù)應(yīng)用系統(tǒng)大數(shù)據(jù)技術(shù)趨勢分析13◆

實(shí)時(shí)數(shù)據(jù)獲取與分析企業(yè)信息總線交易服務(wù)企業(yè)信息服務(wù)網(wǎng)絡(luò)服務(wù)決策分析服務(wù)OLTP[MPP]RDBDFS統(tǒng)一接口層MR/StormHadoop集群數(shù)據(jù)倉庫數(shù)據(jù)集市統(tǒng)一存儲層ETLETLMR/ETLETLRS/TM14大數(shù)據(jù)技術(shù)趨勢分析◆

統(tǒng)一融合架構(gòu)大數(shù)據(jù)技術(shù)趨勢分析15◆

可視化技術(shù)大數(shù)據(jù)技術(shù)面臨的問題與挑戰(zhàn)◆

大數(shù)據(jù)處理各環(huán)節(jié)都存在需要解決的問題

數(shù)據(jù)模型

數(shù)據(jù)收集/清洗/過濾

數(shù)據(jù)存儲

數(shù)據(jù)處理

數(shù)據(jù)展現(xiàn)數(shù)據(jù)收集原始數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)過濾數(shù)據(jù)處理信息歸納演繹知識推斷決策16大數(shù)據(jù)技術(shù)面臨的問題與挑戰(zhàn)17◆

數(shù)據(jù)模型

–完善理論基礎(chǔ)

計(jì)算機(jī)算法都是處理有結(jié)構(gòu)、有語義的數(shù)據(jù)，按照某種數(shù)據(jù)模型來處理數(shù)據(jù)，而非結(jié)構(gòu)化數(shù)據(jù)很難按照統(tǒng)一的模型進(jìn)行分析處理。

原有的數(shù)據(jù)庫范式從理論上很好地支撐了關(guān)系型數(shù)據(jù)庫的發(fā)展；但面對復(fù)雜類型的大數(shù)據(jù)處理，缺乏完備的理論基礎(chǔ)支撐。大數(shù)據(jù)技術(shù)面臨的問題與挑戰(zhàn)18◆

數(shù)據(jù)收集/清洗/過濾

–

獲取置信區(qū)間

大數(shù)據(jù)產(chǎn)生的來源廣泛，通常具備低成本、低價(jià)值、高噪聲、產(chǎn)生速度快等特點(diǎn)，如果毫無選擇地全部儲存和處理，勢必對系統(tǒng)造成極大的壓力

相應(yīng)地，數(shù)據(jù)的價(jià)值總是不斷被發(fā)現(xiàn)，今天無用的數(shù)據(jù)，并不代表明天同樣沒有價(jià)值，因此不能簡單地過濾掉“無用”數(shù)據(jù)大數(shù)據(jù)技術(shù)面臨的問題與挑戰(zhàn)19◆

數(shù)據(jù)存儲

–融合異構(gòu)數(shù)據(jù)

海量異構(gòu)數(shù)據(jù)的高效存儲和組織問題? 高效存儲EB級結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)? 采用多級存儲、存儲虛擬化等技術(shù)，處理熱數(shù)據(jù)、冷數(shù)據(jù)、半熱數(shù)據(jù)的存儲和訪問大數(shù)據(jù)技術(shù)面臨的問題與挑戰(zhàn)20◆

數(shù)據(jù)存儲

–

"突破"CAP

認(rèn)識到C、A、P均有程度之分：ACID與BASE之爭

放棄強(qiáng)一致性來避免高延遲，保證可用性（最終一致性和因果一致性，全局協(xié)商一致加高可用持久存儲）

C與A之間的取舍可以非常細(xì)小的粒度反復(fù)發(fā)生

顯式主動管理分區(qū)：探知分區(qū)、根據(jù)一致性約束限制某些操作、恢復(fù)和錯(cuò)誤補(bǔ)償大數(shù)據(jù)技術(shù)面臨的問題與挑戰(zhàn)21◆

數(shù)據(jù)處理

–普適計(jì)算框架

常用的MapReduce只是針對互聯(lián)網(wǎng)文本搜索提出的一種大數(shù)據(jù)處理技術(shù)，在離線數(shù)據(jù)挖掘方面具有較好的優(yōu)勢；而對聯(lián)機(jī)事務(wù)處理（OLDP）、數(shù)據(jù)密集型科學(xué)計(jì)算（如地震處理），包括聯(lián)機(jī)數(shù)據(jù)分析（OLAP）都不是最優(yōu)的選擇。在這些領(lǐng)域，仍然需要對相應(yīng)的并行處理技術(shù)進(jìn)行研究，包括分布式關(guān)系型數(shù)據(jù)庫、適用于數(shù)據(jù)密集型計(jì)算的MPI等大數(shù)據(jù)技術(shù)面臨的問題與挑戰(zhàn)22◆

數(shù)據(jù)處理

-

原位分析

改變數(shù)據(jù)先存儲、再處理的模式，在內(nèi)存中處理更多的數(shù)據(jù)，極大地減少I/O的開銷，實(shí)現(xiàn)數(shù)據(jù)使用與磁盤讀取比例的最大化。大數(shù)據(jù)技術(shù)面臨的問題與挑戰(zhàn)23◆

數(shù)據(jù)處理

–異構(gòu)混合加速

適用于大數(shù)據(jù)處理的硬件體系結(jié)構(gòu)優(yōu)化：目前大數(shù)據(jù)的主要優(yōu)化方向都在軟件上，而硬件層面的優(yōu)化實(shí)際上可以對數(shù)據(jù)處理性能起到相當(dāng)關(guān)鍵的作用，需要在硬件體系結(jié)構(gòu)方面進(jìn)行深入研究，包括：大數(shù)據(jù)處理技術(shù)與異構(gòu)加速計(jì)算（GPU等）技術(shù)的結(jié)合、專用數(shù)據(jù)處理芯片、高速存儲硬件的應(yīng)用等。24大數(shù)據(jù)時(shí)代面臨的問題與挑戰(zhàn)大數(shù)據(jù)解決之道云數(shù)據(jù)中心解決之道大數(shù)據(jù)解決之道存儲 管理 分析 共享和可視化軟硬件一體的創(chuàng)新數(shù)據(jù)處理平臺針對不同應(yīng)用的系列化產(chǎn)品專業(yè)化的應(yīng)用支持服務(wù)團(tuán)隊(duì)安全可靠的大數(shù)據(jù)處理方案獲取25軟硬件一體化26新型軟件架構(gòu)27◆ 計(jì)算隨數(shù)據(jù)分布◆ 彈性可擴(kuò)展◆ 業(yè)務(wù)連續(xù)性保證JobTrackerDataNodeCPU CPU CPU CPUCPU CPU CPU CPU28CPU CPUCPU CPUDataNodeCPU CPU CPU CPUDataNodeDataNodeNameNode主備備主備備主備備主備備數(shù)據(jù)本地化（計(jì)算隨數(shù)據(jù)分布）是指并行計(jì)算框架智能地將計(jì)算任務(wù)指派到存儲著該任務(wù)所需數(shù)據(jù)的節(jié)點(diǎn)，從而避免傳統(tǒng)分布式計(jì)算中嚴(yán)重的數(shù)據(jù)傳瓶頸。JobMap核心技術(shù)特征DataNodeDataNodeDataNodeDataNode備主 備備主備備主備備CPU CPU CPU CPU29CPU CPU CPU CPUCPU CPUCPU CPUCPU CPUCPU CPU主備業(yè)務(wù)連續(xù)性保證

是傳統(tǒng)分布式計(jì)算中最為復(fù)雜的開發(fā)目標(biāo)。通常當(dāng)系統(tǒng)規(guī)模擴(kuò)展至百節(jié)點(diǎn)以上時(shí)，就必須應(yīng)對計(jì)算單元失效，顯式地保存和恢復(fù)失敗任務(wù)。浪潮大數(shù)據(jù)一體機(jī)能夠智能識別失敗任務(wù)，自動將其轉(zhuǎn)移到備份數(shù)據(jù)節(jié)點(diǎn)。核心技術(shù)特征0100020003000400050006000700080009000100 200 300 400 500 600 700 800 9001000傳統(tǒng)分布式處理系統(tǒng)新型大數(shù)據(jù)處理系統(tǒng)OracleRAC理論最大支持100個(gè)節(jié)點(diǎn)TeraData理論最大支持1000個(gè)節(jié)點(diǎn)關(guān)鍵節(jié)點(diǎn)性能限制網(wǎng)絡(luò)帶寬限制故障常態(tài)化核心技術(shù)特征30◆

線性的性能增長軟硬件一體化適用于大數(shù)據(jù)處理的存儲單元? 全局負(fù)載均衡? 動態(tài)可調(diào)整冗余編碼多副本? 分布式共享緩存? FDR高速總線? 在線擴(kuò)展適用于大數(shù)據(jù)的處理單元有針對性設(shè)計(jì)和開發(fā)的適用于大數(shù)據(jù)處理的通用計(jì)算單元、輕量計(jì)算單元和重載計(jì)算單元。31軟硬件一體化全局交換網(wǎng)絡(luò)

互連核心交換融合了數(shù)據(jù)通信與存儲網(wǎng)絡(luò)，實(shí)現(xiàn)對系統(tǒng)級消息通信、數(shù)據(jù)交換、以及I/O操作的統(tǒng)一支持，提高系統(tǒng)通信性能和擴(kuò)展能力大數(shù)據(jù)核心交換優(yōu)化的RDMA及原子操作引擎虛擬化調(diào)度加速引擎擁塞控制Qos虛擬通道加速引擎PHYPCSLLPXGMIIPHYPCSLLPXGMIIPHYPCSLLPXGMIIPHYPCSLLPXGMIIPHYPCSXGMIILLPPHYPCSXGMIILLPPHYPCSXGMIILLPPHYPCSXGMIILLPPHYPCSXGMIILLPPHYPCSXGMIILLPPHYPCSXGMIILLPPHYPCSXGMIILLPPHYPCSXGMIILLPPHYPCSXGMIILLPPHYPCSXGMIILLPPHYPCSXGMIILLP32大數(shù)據(jù)互聯(lián)交換芯片

互連核心交換融合了數(shù)據(jù)通信與存儲網(wǎng)絡(luò)，實(shí)現(xiàn)對系統(tǒng)級消息通信、數(shù)據(jù)交換、以及I/O操作的統(tǒng)一支持，提高系統(tǒng)通信性能和擴(kuò)展能力優(yōu)化硬件設(shè)計(jì)架構(gòu)，高效利用PCIE

SSD緩存等方式顯著提升系統(tǒng)處理能力；固化特定算法到FPGA，實(shí)現(xiàn)硬件加速Latency

(ms)延遲訪問延遲為磁盤的10分之一DiskSSDMemory控制器SSDMemory磁盤CPUHadoop平臺性能優(yōu)化33優(yōu)化系統(tǒng)任務(wù)調(diào)度策略，對任務(wù)實(shí)現(xiàn)實(shí)時(shí)監(jiān)控，并動態(tài)調(diào)整任務(wù)執(zhí)行資源，減少慢任務(wù)數(shù)量，提高整體性能平均縮短任務(wù)執(zhí)行時(shí)間16%34Hadoop平臺性能優(yōu)化大數(shù)據(jù)技術(shù)面臨的問題與挑戰(zhàn)通用處理單元集簇：面向IaaS和PaaS應(yīng)用，以高性能通用處理器為基礎(chǔ)，采用計(jì)算能力、I/O能力、存儲能力均衡的設(shè)計(jì)輕量級處理單元集簇：面向海量數(shù)據(jù)挖掘、搜索引擎等海量數(shù)據(jù)并發(fā)處理類應(yīng)用，以多核多線程低功耗處理器為基礎(chǔ)，采用最小化設(shè)計(jì)和并發(fā)線程優(yōu)化設(shè)計(jì)重載可重構(gòu)處理單元集簇：面向視頻處理、加解密等重載云計(jì)算應(yīng)用，以可重構(gòu)器件或眾核處理器為基礎(chǔ)，采用局部強(qiáng)化設(shè)計(jì)和硬件加速技術(shù)35動態(tài)可重構(gòu)的層次式異構(gòu)云服務(wù)器體系結(jié)構(gòu)?

層次化云服務(wù)器異構(gòu)架構(gòu)研究：研究云應(yīng)用層次化處理結(jié)構(gòu)，建立云服務(wù)系統(tǒng)接口層、匯聚層和并發(fā)處理層等層次劃分方法；研究通用、輕載、重載等計(jì)算單元簇與云應(yīng)用的適用性關(guān)系，建立云應(yīng)用特征模型及與計(jì)算資源的映射方法；?

支持高效億級并發(fā)的云服務(wù)器互連網(wǎng)絡(luò)研究：構(gòu)建支持億級并發(fā)的無阻塞、低延遲互連網(wǎng)絡(luò)拓?fù)湫阅苣Ｐ?，完成云服?wù)器互連網(wǎng)絡(luò)適用性評估36大數(shù)據(jù)時(shí)代面臨的問題與挑戰(zhàn)大數(shù)據(jù)解決之道云數(shù)據(jù)中心解決之道云數(shù)據(jù)中心的演進(jìn)云數(shù)據(jù)中心互聯(lián)網(wǎng)客戶機(jī)服務(wù)器大型機(jī)1st

數(shù)據(jù)中心2nd

數(shù)據(jù)中心3rd

數(shù)據(jù)中心4th

數(shù)據(jù)中心基礎(chǔ)設(shè)施分期建設(shè)資源高度融合動態(tài)流轉(zhuǎn)統(tǒng)一智能運(yùn)維管理PUE顯著降低海量數(shù)據(jù)存儲與分析37行業(yè)云數(shù)據(jù)中心解決之道◆

基于模塊化的單元迅速搭建專業(yè)化、智能化、安全可靠的云數(shù)據(jù)中心云海操作系統(tǒng)集中式可調(diào)節(jié)供電單元全封閉循環(huán)冷卻單元模塊化結(jié)構(gòu)組件結(jié)構(gòu)化存儲單元重載計(jì)算單元通用計(jì)算單元輕量計(jì)算單元專用加速計(jì)算單元非結(jié)構(gòu)化存儲單元主機(jī)安全組件