企業(yè)大數(shù)據(jù)解決方案

1、大數(shù)據(jù)時代，澤佳助力企業(yè)發(fā)展第1頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 2 頁什么是大數(shù)據(jù)第2頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 3 頁數(shù)據(jù)無處不在任何時間，任何地點，任何事情，任何人?Anytime，anywhere，anything， anyone?休息中，隨意刷微博爬山時，統(tǒng)計每一瞬間旅途中，處理企業(yè)事件工作時，實時掌握市場動態(tài)第3頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 4 頁大數(shù)據(jù)時代已經(jīng)來到

2、每分鐘都有大量數(shù)據(jù)產(chǎn)生1min486筆訂單（11月）7.3萬筆交易數(shù)（雙11）1.1GB文件下載9.5萬條微博發(fā)送14萬張照片上傳70TB處理數(shù)據(jù)第4頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 5 頁互聯(lián)網(wǎng)中大數(shù)據(jù)Web 3.0時代，社交媒體網(wǎng)站數(shù)據(jù)出現(xiàn)井噴式激增，截至3月底，新浪微博注冊用戶數(shù)增加到5.36億，日均活躍用戶數(shù)到達4980萬，每日新增微博約2億。企業(yè)在大數(shù)據(jù)時代，面臨文化、戰(zhàn)略、組織、流程、信息化、公共公關(guān)系、人才培養(yǎng)方方面面挑戰(zhàn)，同時也迎來重大轉(zhuǎn)型機遇和飛躍契機。第5頁 北京澤佳企業(yè)版權(quán)全部Copyright Zej

3、ia Consulting Corporation第 6 頁互聯(lián)網(wǎng)中大數(shù)據(jù) 大數(shù)據(jù)在消費IT領域作用愈加顯著。只要你用PC上網(wǎng)或手機瀏覽信息，你便在網(wǎng)絡上處處留照了，性別、年紀、興趣、蹤跡、信用等等便被大數(shù)據(jù)刻畫一覽無余，恭喜你已經(jīng)成為數(shù)字透明人了！可能你都不知道自己下一步要干什么，產(chǎn)品經(jīng)銷商借助搜索引擎、電子商務平臺、旅游網(wǎng)站數(shù)據(jù)依據(jù)你瀏覽行為已經(jīng)在為你張羅生日、餐飲、旅游、結(jié)婚、生子、購房、購車了，特價機票、婚紗、尿不濕、奶粉、海景房等廣告已經(jīng)為你編排好了。大數(shù)據(jù)在消費IT領域作用愈加顯著。只要你用PC上網(wǎng)或手機瀏覽信息，你便在網(wǎng)絡上處處留照了，性別、年紀、興趣、蹤跡、信用等等便被大數(shù)據(jù)刻

4、畫一覽無余，恭喜你已經(jīng)成為數(shù)字透明人了！可能你都不知道自己下一步要干什么，產(chǎn)品經(jīng)銷商借助搜索引擎、電子商務平臺、旅游網(wǎng)站數(shù)據(jù)依據(jù)你瀏覽行為已經(jīng)在為你張羅生日、餐飲、旅游、結(jié)婚、生子、購房、購車了，特價機票、婚紗、尿不濕、奶粉、海景房等廣告已經(jīng)為你編排好了。第6頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 7 頁企業(yè)IT進入2.0時代 伴隨企業(yè)業(yè)務增加，大量和流程、規(guī)則相關(guān)非結(jié)構(gòu)化數(shù)據(jù)也暴發(fā)式增加。比如：1、業(yè)務系統(tǒng)現(xiàn)在平均天天存放20萬張圖片，磁盤空間天天消耗100G；2、平均天天產(chǎn)生簽約視頻文件6000個，每個平均250M，磁盤空間天

5、天消耗1T;第7頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 8 頁大數(shù)據(jù)特征 V V V V價值Veracity體量Volume多樣性Variety速度Velocity68%31%起源多；格式多：大數(shù)據(jù)包含結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，郵件，Word,圖片，音頻信息，視頻信息。最新研究匯報，到，全球數(shù)據(jù)使用量預計暴增44倍，到達35.2ZB。價值密度低，如同沙里淘金，海量業(yè)務中尋找價值。1秒定律，實時獲取所需要數(shù)據(jù)，為決議提供依據(jù)。第8頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第

6、9 頁企業(yè)大數(shù)據(jù)挑戰(zhàn)業(yè)務數(shù)據(jù)映射提取大數(shù)據(jù)價值大數(shù)據(jù)隱私大數(shù)據(jù)分析第9頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 10 頁澤佳提議企業(yè)大數(shù)據(jù)處理方案第10頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 11 頁大數(shù)據(jù)基礎架構(gòu)要求可預測低延遲高事務參數(shù)靈活數(shù)據(jù)結(jié)構(gòu)高吞吐量就地準備全部數(shù)據(jù)源和結(jié)構(gòu)深度分析靈敏開發(fā)高度可伸縮性實時流數(shù)據(jù)運行影響第11頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 12 頁澤佳大數(shù)據(jù)處理方案，以數(shù)據(jù)

7、融合、綜合處理為方向大交易數(shù)據(jù)大交互數(shù)據(jù)大交易融合大數(shù)據(jù)處理企業(yè)供給鏈消費者SNS互聯(lián)網(wǎng)物聯(lián)網(wǎng)移動終端OLTP實時 交易處理OLAP實時分析處理SOCIAL MEDIA DATAOTHERINTERACTION DATAMachine/DeviceSensors/meters/RFID tags CDR/mobileSD，MM，PP，SD，F(xiàn)ICO。第12頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 13 頁澤佳大數(shù)據(jù)處理方案整體架構(gòu)企業(yè)內(nèi)外部協(xié)同（供給商+企業(yè)內(nèi)部+客戶+銀行+稅務+政府+小區(qū)+)外部信息（社交+電商+移動+視音頻+)

8、開放式API和協(xié)議通用設計和模型環(huán)境通用數(shù)據(jù)管理環(huán)境交易數(shù)據(jù)管理社交數(shù)據(jù)管理移動數(shù)據(jù)管理主數(shù)據(jù)管理內(nèi)存數(shù)據(jù)管理企業(yè)數(shù)據(jù)倉庫管理數(shù)據(jù)存放數(shù)據(jù)獲取數(shù)據(jù)組織數(shù)據(jù)分析數(shù)據(jù)展現(xiàn)無線數(shù)據(jù)管理信息管理和實時數(shù)據(jù)遷移聯(lián)合訪問實時大數(shù)據(jù)平臺門戶數(shù)據(jù)分析電子郵件辦公軟件大屏幕電腦桌面移動終端企業(yè)級匯報工具Ad hoc 即時查詢例外分析非結(jié)構(gòu)化數(shù)據(jù)探索預測與挖掘第13頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 14 頁澤佳大數(shù)據(jù)處理方案體系數(shù)據(jù)多樣性模式動態(tài)模式HDFS分布式文件系統(tǒng)Hbase分布式列存放系統(tǒng)Sybase ESP事件流處理器Hdoop Ma

9、pReduceBig Data ConnectorsYoung hong BI獲取組織分析決議復雜場景處理實 時決 策ETLEDW第14頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 15 頁普通企業(yè)數(shù)據(jù)處理平臺基礎架構(gòu)第15頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 16 頁澤佳大數(shù)據(jù)處理方案基礎架構(gòu)澤佳大數(shù)據(jù)平臺快速、可靠SCMCRMERP安全，布署，管理靈活體系MESPDM第16頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporati

10、on第 17 頁澤佳提議企業(yè)大數(shù)據(jù)處理方案基礎架構(gòu)圖第17頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 18 頁應用層數(shù)據(jù)分析第18頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 19 頁視頻存放第19頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 20 頁離線日志分析第20頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 21 頁在線數(shù)據(jù)分析第21頁 北京澤佳企業(yè)版權(quán)全部

11、Copyright Zejia Consulting Corporation第 22 頁大數(shù)據(jù)處理方案特點澤佳大數(shù)據(jù)處理方案提供高速、低速兩種互聯(lián)處理方案，在節(jié)點間能夠建立起40Gb互聯(lián)通路，徹底消除系統(tǒng)節(jié)點間通信瓶頸。高性能高可擴展性高可靠相比較傳統(tǒng)數(shù)據(jù)庫集群，澤佳大數(shù)據(jù)處理方案含有良好可擴展性，伴隨數(shù)據(jù)節(jié)點增加，系統(tǒng)整體性能靠近線性增加。同時數(shù)據(jù)節(jié)點能夠在系統(tǒng)運行中動態(tài)添加，對系統(tǒng)不會造成任何影響。所以企業(yè)能夠依據(jù)本身業(yè)務需要，動態(tài)添加數(shù)據(jù)節(jié)點，當業(yè)務量較小時，配置較少數(shù)據(jù)節(jié)點，伴隨業(yè)務量逐步增多，添加對應數(shù)據(jù)節(jié)點，從而滿足本身業(yè)務量增加需求。澤佳大數(shù)據(jù)處理方案能自動地維護數(shù)據(jù)多份復制，而

12、且在任務失敗后能自動地重新布署（redeploy）計算任務。同時消除系統(tǒng)單點故障，系統(tǒng)中任意一個部分出現(xiàn)故障，系統(tǒng)將自動進行切換，確保用戶應用無縫連接，含有較高穩(wěn)定性和可靠性。第22頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 23 頁大數(shù)據(jù)應用技術(shù)第23頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 24 頁大數(shù)據(jù)技術(shù)領域占位圖第24頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 25 頁澤佳大數(shù)據(jù)應用主要技術(shù) Hadoop

13、 據(jù)IDC預測，全球大數(shù)據(jù)市場 將達170億美元規(guī)模，市場發(fā)展前景很大。而Hadoop作為新一代架構(gòu)和技術(shù)，因為有利于并行分布處理 “大數(shù)據(jù)”而備受重視。 Apache Hadoop 是一個用java語言實現(xiàn)軟件框架，在由大量計算機組成集群中運行海量數(shù)據(jù)分布式計算，它能夠讓應用程序支持上千個節(jié)點和PB級別數(shù)據(jù)。 Hadoop是項目標總稱，主要是由分布式存放（HDFS）、分布式計算（MapReduce）等組成 。 第25頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 26 頁Hadoop體系架構(gòu)MapReduceHDFSHBasePigCh

14、uKwaHiveZooKeeperPig是一個基于Hadoop大規(guī)模數(shù)據(jù)分析平臺，Pig為復雜海量數(shù)據(jù)并行計算提供了一個簡易操作和編程接口。Chukwa是基于Hadoop集群監(jiān)控系統(tǒng)，由yahoo貢獻。Hive是基于Hadoop一個工具，提供完整sql查詢功效，能夠?qū)ql語句轉(zhuǎn)換為MapReduce任務進行運行。ZooKeeper：高效，可擴展協(xié)調(diào)系統(tǒng),存放和協(xié)調(diào)關(guān)鍵共享狀態(tài)。HBase是一個開源，基于列存放模型分布式數(shù)據(jù)庫。HDFS是一個分布式文件系統(tǒng)。有著高容錯性特點，而且設計用來布署在低廉硬件上，適合那些有著超大數(shù)據(jù)集應用程序。MapReduce是一個編程模型，用于大規(guī)模數(shù)據(jù)集（大于1

15、TB）并行運算第26頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 27 頁Hadoop關(guān)鍵設計第27頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 28 頁HDFS文件讀流程HDFS是一個分布式文件系統(tǒng)。有著高容錯性特點，而且設計用來布署在低廉硬件上，適合那些有著超大數(shù)據(jù)集應用程序。Client向NameNode發(fā)起文件讀取請求。NameNode返回文件存放DataNode信息。Client讀取文件信息。第28頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulti

16、ng Corporation第 29 頁HDFS文件寫流程Client向NameNode發(fā)起文件寫入請求。NameNode依據(jù)文件大小和文件塊配置情況，返回給Client它所管理部分DataNode信息。Client將文件劃分為多個Block，依據(jù)DataNode地址信息，按次序?qū)懭氲矫恳粋€DataNode塊中。第29頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 30 頁MapReduce映射、化簡編程模型輸入數(shù)據(jù)-Map分解任務-執(zhí)行并返回結(jié)果-Reduce匯總結(jié)果-輸出結(jié)果第30頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia

17、 Consulting Corporation第 31 頁Hbase分布式數(shù)據(jù)存放系統(tǒng)Client：使用HBase RPC機制與HMaster和HRegionServer進行通信Zookeeper：協(xié)同服務管理，HMaster經(jīng)過Zookeepe能夠隨時感知各個HRegionServer健康情況HMaster: 管理用戶對表增刪改查操作HRegionServer：HBase中最關(guān)鍵模塊，主要負責響應用戶I/O請求，向HDFS文件系統(tǒng)中讀寫數(shù)據(jù)HRegion:Hbase中分布式存放最小單元，能夠了解成一個TableHStore：HBase存放關(guān)鍵。由MemStore和StoreFile組成。HL

18、og：每次用戶操作寫入Memstore同時，也會寫一份數(shù)據(jù)到HLog文件第31頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 32 頁大數(shù)據(jù)未來發(fā)展瓶頸 經(jīng)過對大數(shù)據(jù)產(chǎn)業(yè)鏈分析，我們能夠看到，在大數(shù)據(jù)產(chǎn)業(yè)鏈各個生產(chǎn)步驟中，各大企業(yè)都已開占位，伴隨高性能計算機、海量數(shù)據(jù)存放和管理流程不停優(yōu)化，技術(shù)能夠處理問題終將不會成為問題。我們認為，真正會制約或者成為大數(shù)據(jù)發(fā)展和應用瓶頸有三個步驟：數(shù)據(jù)搜集和提取正當性，數(shù)據(jù)隱私保護和數(shù)據(jù)隱私應用之間權(quán)衡。大數(shù)據(jù)發(fā)揮協(xié)同效應需要產(chǎn)業(yè)鏈各個步驟企業(yè)達成競爭與合作平衡。大數(shù)據(jù)結(jié)論解讀和應用。第32頁 北京澤佳

19、企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 33 頁NoSQL產(chǎn)品第33頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 34 頁大數(shù)據(jù)應用案例第34頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 35 頁大數(shù)據(jù)行業(yè)應用分析應用可能性電信政府（公共事業(yè)）交通金融醫(yī)療教育能源（電力/石油）縱軸契合度：表示該用戶IT應用特點與大數(shù)據(jù)特征契合程度；橫軸應用可能性：表示該用戶出于主客觀原因在短期內(nèi)投資大數(shù)據(jù)可能性；注：該位置為分析師訪談綜合印象，

20、為定性分析，圖中位置不代表詳細數(shù)值HighMidLowLowMidHigh優(yōu)先關(guān)注行業(yè)用戶應用特點與大數(shù)據(jù)技術(shù)有較高契合度，在主客觀條件上也有較高應用可能性。值得關(guān)注行業(yè)用戶應有特點與大數(shù)據(jù)契合度及應用可能性綜合較高適當關(guān)注行業(yè)用戶兩個維度暫時都不具備優(yōu)勢，可適當給予關(guān)注互聯(lián)網(wǎng)（電子商務）契合度流通零售制造第35頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 36 頁互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)需求分析互聯(lián)網(wǎng)行業(yè)擁抱大數(shù)據(jù)關(guān)鍵原因互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)應用，會首先帶動社會化媒體、電子商務快速發(fā)展，其它互聯(lián)網(wǎng)分支也會緊追其后，整個行業(yè)在大數(shù)據(jù)推進下將會蓬勃發(fā)

21、展。互聯(lián)網(wǎng)行業(yè)對數(shù)據(jù)實時分析要求較高，比如廣告監(jiān)測、B2C業(yè)務，往往要求在數(shù)秒內(nèi)返回上億行數(shù)據(jù)分析，從而到達不影響用戶體驗和快速準確營銷目標。當前互聯(lián)網(wǎng)企業(yè)面對大數(shù)據(jù)，會普遍感覺到實時分析能力差、海量數(shù)據(jù)處理效率低、缺乏分析方法、分析軟件能力差等問題?；ヂ?lián)網(wǎng)行業(yè)大數(shù)據(jù)分析面臨主要問題第36頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 37 頁騰訊基于Hadoop大數(shù)據(jù)架構(gòu)圖第37頁 北京澤佳企業(yè)版權(quán)全部Copyright Zejia Consulting Corporation第 38 頁騰訊大數(shù)據(jù)現(xiàn)實狀況 從業(yè)務角度看：騰訊數(shù)據(jù)平臺自研TDW