大數(shù)據(jù)技術(shù)架構(gòu)解析-課件

第一課：大數(shù)據(jù)技術(shù)架構(gòu)解析1PPT課件目錄

一、大數(shù)據(jù)建設(shè)思路二、大數(shù)據(jù)基本架構(gòu)三、大數(shù)據(jù)的目標效果四、課程總結(jié)2PPT課件一、大數(shù)據(jù)建設(shè)思路

大數(shù)據(jù)數(shù)量龐大，格式多樣化。大量數(shù)據(jù)由家庭、製造工廠和辦公場所的各種設(shè)備、互聯(lián)網(wǎng)事務(wù)交易、社交網(wǎng)路的活動、自動化感測器、移動設(shè)備以及科研儀器等生成。它的爆炸式增長已超出了傳統(tǒng)IT基礎(chǔ)架構(gòu)的處理能力，給企業(yè)和社會帶來嚴峻的資料管理問題。因此必須開發(fā)新的資料架構(gòu)，圍繞“數(shù)據(jù)收集、數(shù)據(jù)管理、數(shù)據(jù)分析、知識形成、智慧行動”的全過程，開發(fā)使用這些資料，釋放出更多數(shù)據(jù)的隱藏價值。3PPT課件1.數(shù)據(jù)的獲得4PPT課件1.數(shù)據(jù)的獲得

大數(shù)據(jù)產(chǎn)生的根本原因在於感知式系統(tǒng)的廣泛使用。隨著技術(shù)的發(fā)展，人們已經(jīng)有能力製造極其微小的帶有處理功能的感測器，並開始將這些設(shè)備廣泛的佈置於社會的各個角落，通過這些設(shè)備來對整個社會的運轉(zhuǎn)進行監(jiān)控。這些設(shè)備會源源不斷的產(chǎn)生新資料，這種數(shù)據(jù)的產(chǎn)生方式是自動的。因此在數(shù)據(jù)收集方面，要對來自網(wǎng)路包括物聯(lián)網(wǎng)、社交網(wǎng)路和機構(gòu)資訊系統(tǒng)的資料附上時空標誌，去偽存真，盡可能收集異源甚至是異構(gòu)的數(shù)據(jù)，必要時還可與歷史數(shù)據(jù)對照，多角度驗證數(shù)據(jù)的全面性和可信性。5PPT課件2.數(shù)據(jù)的匯集和存儲

數(shù)據(jù)只有不斷流動和充分共用，才有生命力。應(yīng)在各專用數(shù)據(jù)庫建設(shè)的基礎(chǔ)上，通過數(shù)據(jù)集成，實現(xiàn)各級各類資訊系統(tǒng)的數(shù)據(jù)交換和數(shù)據(jù)共用。數(shù)據(jù)存儲要達到低成本、低能耗、高可靠性目標，通常要用到冗餘配置、分佈化和雲(yún)計算技術(shù)，在存儲時要按照一定規(guī)則對數(shù)據(jù)進行分類，通過過濾和去重，減少存儲量，同時加入便於日後檢索的標籤。6PPT課件3.數(shù)據(jù)的管理大數(shù)據(jù)管理的技術(shù)也層出不窮。在眾多技術(shù)中，有6種數(shù)據(jù)管理技術(shù)普遍被關(guān)注，即分散式存儲與計算、記憶體數(shù)據(jù)庫技術(shù)、列式數(shù)據(jù)庫技術(shù)、雲(yún)數(shù)據(jù)庫、非關(guān)聯(lián)式的數(shù)據(jù)庫、移動數(shù)據(jù)庫技術(shù)。其中分散式存儲與計算受關(guān)注度最高。左圖是一個圖書數(shù)據(jù)管理系統(tǒng)。7PPT課件4.數(shù)據(jù)的分析

數(shù)據(jù)分析處理：有些行業(yè)的數(shù)據(jù)涉及上百個參數(shù)，其複雜性不僅體現(xiàn)在數(shù)據(jù)樣本本身，更體現(xiàn)在多源異構(gòu)、多實體和多空間之間的交互動態(tài)性，難以用傳統(tǒng)的方法描述與度量，處理的複雜度很大，需要將高維圖像等多媒體資料降維後度量與處理，利用上下文關(guān)聯(lián)進行語義分析，從大量動態(tài)而且可能是模棱兩可的數(shù)據(jù)中綜合資訊，並匯出可理解的內(nèi)容。大數(shù)據(jù)的處理類型：批次處理--先存儲後處理流處理--直接處理數(shù)據(jù)數(shù)據(jù)挖掘的任務(wù)：關(guān)聯(lián)分析聚類分析分類預(yù)測時序模式偏差分析8PPT課件5.大數(shù)據(jù)的價值：決策支持系統(tǒng)DDS大數(shù)據(jù)的神奇之處就是通過對過去和現(xiàn)在的數(shù)據(jù)進行分析，它能夠精確預(yù)測未來;通過對組織內(nèi)部的和外部的數(shù)據(jù)整合，它能夠洞察事物之間的相關(guān)關(guān)係;通過對海量數(shù)據(jù)的挖掘，它能夠代替人腦，承擔(dān)起企業(yè)和社會管理的職責(zé)。9PPT課件6.數(shù)據(jù)的使用大數(shù)據(jù)有三層內(nèi)涵：數(shù)據(jù)量巨大、來源多樣和類型多樣的數(shù)據(jù)集;新型的數(shù)據(jù)處理和分析技術(shù);運用數(shù)據(jù)分析形成價值。

大數(shù)據(jù)對科學(xué)研究、經(jīng)濟建設(shè)、社會發(fā)展和文化生活等各個領(lǐng)域正在產(chǎn)生革命性的影響。大數(shù)據(jù)應(yīng)用的關(guān)鍵，也是其必要條件，就在於"IT"與"經(jīng)營"的融合，當(dāng)然，這裡的經(jīng)營的內(nèi)涵可以非常廣泛，小至一個零售門店的經(jīng)營，大至一個城市的經(jīng)營。10PPT課件二.大數(shù)據(jù)基本架構(gòu)基於上述大數(shù)據(jù)的特徵，通過傳統(tǒng)IT技術(shù)存儲和處理大數(shù)據(jù)成本高昂。一個企業(yè)要大力發(fā)展大數(shù)據(jù)應(yīng)用首先需要解決兩個問題：一是低成本、快速地對海量、多類別的數(shù)據(jù)進行抽取和存儲;二是使用新的技術(shù)對數(shù)據(jù)進行分析和挖掘，為企業(yè)創(chuàng)造價值。因此，大數(shù)據(jù)的存儲和處理與雲(yún)計算技術(shù)密不可分，在當(dāng)前的技術(shù)條件下，基於廉價硬體的分散式系統(tǒng)(如Hadoop等)被認為是最適合處理大數(shù)據(jù)的技術(shù)平臺。Hadoop是一個分散式的基礎(chǔ)架構(gòu)，能夠讓用戶方便高效地利用運算資源和處理海量數(shù)據(jù)，目前已在很多大型互聯(lián)網(wǎng)企業(yè)得到了廣泛應(yīng)用，如亞馬遜、Facebook和Yahoo等。其是一個開放式的架構(gòu)，架構(gòu)成員也在不斷擴充完善中。11PPT課件1.Hadoop體系架構(gòu)Thrift是一個軟體框架，用來進行可擴展且跨語言的服務(wù)的開發(fā)，最初由Facebook開發(fā)，是構(gòu)建在各種程式設(shè)計語言間無縫結(jié)合的、高效的服務(wù)。Zookeeper在Hadoop架構(gòu)中負責(zé)應(yīng)用程式的協(xié)調(diào)工作，以保持Hadoop集群內(nèi)的同步工作。Sqoop是為資料的互通性而設(shè)計，可以從關(guān)聯(lián)式資料庫導(dǎo)入資料到Hadoop，並能直接導(dǎo)入到HDFS或Hive。Hive是Hadoop架構(gòu)中的數(shù)據(jù)倉庫，主要用於靜態(tài)的結(jié)構(gòu)以及需要經(jīng)常分析的工作。Hbase主要作為面向列的數(shù)據(jù)庫運行在HDFS上，可存儲PB級的數(shù)據(jù)。Hbase利用MapReduce來處理內(nèi)部的海量數(shù)據(jù)，並能在海量數(shù)據(jù)中定位所需的數(shù)據(jù)且訪問它。Hadoop的核心是MapReduce(映射和化簡編程模型)引擎，Map意為將單個任務(wù)分解為多個，而Reduce則意為將分解後的多工結(jié)果匯總，該引擎由JobTrackers(工作追蹤，對應(yīng)命名節(jié)點)和TaskTrackers(任務(wù)追蹤，對應(yīng)資料節(jié)點)組成。當(dāng)處理大資料查詢時，MapReduce會將任務(wù)分解在多個節(jié)點處理，從而提高了資料處理的效率，避免了單機性能瓶頸限制。Hadoop最底層是一個HDFS(HadoopDistributedFileSystem，分散式檔案系統(tǒng))，存儲在HDFS中的檔先被分成塊，然後再將這些塊複製到多個主機中(DataNode，資料節(jié)點)。Hbase是一個列式數(shù)據(jù)庫，存儲列式數(shù)據(jù)12PPT課件2.Hadoop核心設(shè)計13PPT課件3.Hbase分散式數(shù)據(jù)存儲系統(tǒng)14PPT課件3.Hbase分散式數(shù)據(jù)存儲系統(tǒng)Client：使用HBaseRPC機制與HMaster和HRegionServer進行通信Zookeeper：協(xié)同服務(wù)管理，HMaster通過Zookeepe可以隨時感知各個HRegionServer的健康狀況HMaster:管理用戶對表的增刪改查操作HRegionServer：HBase中最核心的模組，主要負責(zé)回應(yīng)使用者I/O請求，向HDFS檔案系統(tǒng)中讀寫數(shù)據(jù)HRegion:Hbase中分散式存儲的最小單元，可以理解成一個TableHStore：HBase存儲的核心。由MemStore和StoreFile組成。HLog：每次用戶操作寫入Memstore的同時，也會寫一份資料到HLog文件15PPT課件4.大數(shù)據(jù)平臺系統(tǒng)功能建議16PPT課件5.大數(shù)據(jù)平臺系統(tǒng)功能說明應(yīng)用系統(tǒng)

對於大多數(shù)企業(yè)而言，運營領(lǐng)域的應(yīng)用是大數(shù)據(jù)最核心的應(yīng)用，之前企業(yè)主要使用來自生產(chǎn)經(jīng)營中的各種報表數(shù)據(jù)，但隨著大數(shù)據(jù)時代的到來，來自於互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、各種感測器的海量數(shù)據(jù)撲面而至。於是，一些企業(yè)開始挖掘和利用這些數(shù)據(jù)，來推動運營效率的提升。數(shù)據(jù)平臺

借助大數(shù)據(jù)平臺，未來的互聯(lián)網(wǎng)路將可以讓商家更瞭解消費者的使用習(xí)慣，從而改進使用體驗。基於大數(shù)據(jù)基礎(chǔ)上的相應(yīng)分析，能夠更有針對性的改進用戶體驗，同時挖掘新的商業(yè)機會。數(shù)據(jù)源

數(shù)據(jù)源是指數(shù)據(jù)庫應(yīng)用程式所使用的數(shù)據(jù)庫或者數(shù)據(jù)庫伺服器。豐富的數(shù)據(jù)源是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的前提。數(shù)據(jù)源在不斷拓展，越來越多樣化。如：智慧汽車可以把動態(tài)行駛過程變成數(shù)據(jù)，嵌入到生產(chǎn)設(shè)備裡的物聯(lián)網(wǎng)可以把生產(chǎn)過程和設(shè)備動態(tài)狀況變成數(shù)據(jù)。對數(shù)據(jù)源的不斷拓展不僅能帶來採集設(shè)備的發(fā)展，而且可以通過控制新的數(shù)據(jù)源更好地控制數(shù)據(jù)的價值。然而我國數(shù)位化的數(shù)據(jù)資源總量遠遠低於美歐，就已有有限的數(shù)據(jù)資源來說，還存在標準化、準確性、完整性低，利用價值不高的情況，這大大降低了數(shù)據(jù)的價值。17PPT課件三.大數(shù)據(jù)的目標效果18PPT課件1.數(shù)據(jù)整合統(tǒng)一數(shù)據(jù)模型

承載企業(yè)數(shù)據(jù)模型，促進企業(yè)各域數(shù)據(jù)邏輯模型的統(tǒng)一;統(tǒng)一數(shù)據(jù)標準

統(tǒng)一建立標準的數(shù)據(jù)編碼目錄，實現(xiàn)企業(yè)數(shù)據(jù)的標準化與統(tǒng)一存儲;統(tǒng)一數(shù)據(jù)視圖

實現(xiàn)統(tǒng)一數(shù)據(jù)視圖，使企業(yè)在客戶、產(chǎn)品和資源等視角獲取到一致的資訊。19PPT課件2.數(shù)據(jù)質(zhì)量管控數(shù)據(jù)品質(zhì)校驗

根據(jù)規(guī)則對所存儲的數(shù)據(jù)進行一致性、完整性和準確性的校驗，保證數(shù)據(jù)的一致性、完整性和準確性;數(shù)據(jù)品質(zhì)管控

通過建立企業(yè)數(shù)據(jù)的品質(zhì)標準、數(shù)據(jù)管控的組織、數(shù)據(jù)管控的流程，對數(shù)據(jù)品質(zhì)進行統(tǒng)一管控，以達到數(shù)據(jù)品質(zhì)逐步完善。20PPT課件3.數(shù)據(jù)共享

消除網(wǎng)狀接口，建立大數(shù)據(jù)共用中心，為各業(yè)務(wù)系統(tǒng)提供共用數(shù)據(jù)，降低接口複雜度，提高系統(tǒng)間接口效率與品質(zhì);以即時或準即時的方式將整合或計算好的數(shù)據(jù)向外系統(tǒng)提供。21PPT課件4.數(shù)據(jù)應(yīng)用查詢應(yīng)用

平臺實現(xiàn)條件不固定、不可預(yù)見、格式靈活的按需查詢功能;固定報表應(yīng)用

視統(tǒng)計維度和指標固定的分析結(jié)果的展示，可根據(jù)業(yè)務(wù)系統(tǒng)的需求，分析產(chǎn)生各種業(yè)務(wù)報表數(shù)據(jù)等;動態(tài)分析應(yīng)用

按關(guān)心的維度和指標對數(shù)據(jù)進行主題性的分析，動態(tài)分析應(yīng)用中維