物聯(lián)網(wǎng)大數(shù)據(jù)處理技術(shù)與實(shí)踐（第2版）課件 第3章-物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)體系

物聯(lián)網(wǎng)大數(shù)據(jù)處理技術(shù)與實(shí)踐InternetofThings

BigDataprocessingTechnologyandPractice物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)體系物聯(lián)網(wǎng)中的大數(shù)據(jù)挑戰(zhàn)1技術(shù)體系2PARTONE1物聯(lián)網(wǎng)中的大數(shù)據(jù)挑戰(zhàn)師傅領(lǐng)進(jìn)門(mén)，學(xué)藝在自身。------中國(guó)諺語(yǔ)物聯(lián)網(wǎng)中的大數(shù)據(jù)挑戰(zhàn)根據(jù)相關(guān)研究統(tǒng)計(jì)，物聯(lián)網(wǎng)中產(chǎn)生的感知數(shù)據(jù)逐步超越互聯(lián)網(wǎng)的數(shù)據(jù)量；如果算上工業(yè)企業(yè)自動(dòng)化生產(chǎn)線及設(shè)備上的運(yùn)行數(shù)據(jù)，特別是隨著工業(yè)4.0推進(jìn)而帶來(lái)的數(shù)據(jù)爆炸，感知數(shù)據(jù)的量更是呈現(xiàn)幾何級(jí)數(shù)增長(zhǎng)。物聯(lián)網(wǎng)大數(shù)據(jù)的獲取、傳輸、存儲(chǔ)、分析挖掘以及應(yīng)用面臨著不一樣的挑戰(zhàn)?；ヂ?lián)網(wǎng)大數(shù)據(jù)的特征可以用5個(gè)V(即Volume、Variety、Value、Velocity、Veracity)來(lái)概括互聯(lián)網(wǎng)大數(shù)據(jù)的特征：Volume：數(shù)據(jù)體量巨大Variety：數(shù)據(jù)類型繁多Value：價(jià)值密度低Velocity：處理速度快Veracity：結(jié)果的真實(shí)性數(shù)據(jù)的重要性在于對(duì)決策的支持，數(shù)據(jù)的規(guī)模并不能決定其能否為決策提供幫助，數(shù)據(jù)的真實(shí)性和質(zhì)量才是制定成功決策最堅(jiān)實(shí)的基礎(chǔ)。數(shù)據(jù)增長(zhǎng)速度快，處理速度也快，時(shí)效性要求高，這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘的最顯著特征。據(jù)統(tǒng)計(jì)，互聯(lián)網(wǎng)一天產(chǎn)生的全部?jī)?nèi)容可以制作1.68億張DVD，一天發(fā)出2940億郵件以及200萬(wàn)個(gè)帖子……數(shù)據(jù)格式變得越來(lái)越多樣；數(shù)據(jù)來(lái)源也越來(lái)越多樣數(shù)據(jù)間更多地表現(xiàn)為稀缺性、不確定性和多樣性2014年，IBM發(fā)布了《踐行大數(shù)據(jù)承諾：大數(shù)據(jù)項(xiàng)目的實(shí)施應(yīng)用》白皮書(shū)，在該報(bào)告中進(jìn)一步擴(kuò)展了大數(shù)據(jù)的特性，提出將大數(shù)據(jù)的特性擴(kuò)展為“Vs”?！癡s”在大數(shù)據(jù)已有特性的基礎(chǔ)上，增加了數(shù)據(jù)粘度（Viscosity），主要用來(lái)衡量數(shù)據(jù)流的關(guān)聯(lián)性（ResistancetoFlowofData）；數(shù)據(jù)易變性（Variability），主要衡量數(shù)據(jù)流的變化率；數(shù)據(jù)波動(dòng)性（Volatility），主要表明數(shù)據(jù)有效性的期限和存儲(chǔ)的時(shí)限。數(shù)據(jù)的可視化可視化是大數(shù)據(jù)分析與應(yīng)用的重要途徑，能夠更加直觀地展現(xiàn)大數(shù)據(jù)的完整視圖，并且充分挖掘大數(shù)據(jù)的價(jià)值。

可視化方法可通過(guò)創(chuàng)建表格、圖標(biāo)、圖像等直觀地表示數(shù)據(jù)?？梢暬⒎莾H僅是靜態(tài)形式，而應(yīng)當(dāng)是互動(dòng)的。

高維可視化越有效，識(shí)別出潛在的模式、相關(guān)性或離群值的概率越高。高效的數(shù)據(jù)可視化是大數(shù)據(jù)時(shí)代發(fā)展進(jìn)程中關(guān)鍵的一部分。

交互式可視化可以通過(guò)縮放等方法進(jìn)行細(xì)節(jié)概述。真正讓大數(shù)據(jù)成為主流的是，大數(shù)據(jù)不僅能夠與數(shù)據(jù)科學(xué)家和技術(shù)人員相連，還與業(yè)務(wù)人員密切相關(guān)。當(dāng)然，其中關(guān)鍵的一點(diǎn)是可視化，是能夠向用戶顯示，不僅僅是告知人們，也不僅僅是顯示數(shù)字甚至圖表，而是生動(dòng)地顯示圖表和圖形以及可視化。物聯(lián)網(wǎng)大數(shù)據(jù)的特征物聯(lián)網(wǎng)的不同解讀物聯(lián)網(wǎng)面臨的問(wèn)題物聯(lián)網(wǎng)面臨的挑戰(zhàn)物聯(lián)網(wǎng)的不同解讀

由于物聯(lián)網(wǎng)大數(shù)據(jù)具有更強(qiáng)的時(shí)序性與實(shí)時(shí)性要求，以及數(shù)據(jù)本身的專業(yè)性、相互關(guān)聯(lián)性等特點(diǎn)，導(dǎo)致傳統(tǒng)大數(shù)據(jù)處理技術(shù)無(wú)法滿足要求。物聯(lián)網(wǎng)大數(shù)據(jù)處理面臨的問(wèn)題：隱匿性（Below-Surface），洞悉數(shù)據(jù)特征背后的意義碎片化（Broken），避免數(shù)據(jù)的斷續(xù)，保證連續(xù)且時(shí)態(tài)一致性的數(shù)據(jù)集低質(zhì)性（Bad-Quality），提高數(shù)據(jù)質(zhì)量，滿足低容錯(cuò)性物聯(lián)網(wǎng)面臨的問(wèn)題

基于物聯(lián)網(wǎng)大數(shù)據(jù)的特征以及面臨的問(wèn)題，物聯(lián)網(wǎng)大數(shù)據(jù)的管理與處理分析需要解決以下的問(wèn)題與挑戰(zhàn)：由于物聯(lián)網(wǎng)數(shù)據(jù)的連續(xù)性以及處理的實(shí)時(shí)性要求，如何構(gòu)建分布的、多層次數(shù)據(jù)處理技術(shù)體系是首先面臨的問(wèn)題物聯(lián)網(wǎng)數(shù)據(jù)處理的實(shí)時(shí)性如何得到滿足與保證是我們必須關(guān)注的第二個(gè)問(wèn)題如同互聯(lián)網(wǎng)一樣，物聯(lián)網(wǎng)的價(jià)值也需要通過(guò)服務(wù)以及大數(shù)據(jù)分析挖掘來(lái)體現(xiàn)物聯(lián)網(wǎng)面臨的挑戰(zhàn)PARTTWO2技術(shù)體系技術(shù)體系隨著物聯(lián)網(wǎng)應(yīng)用的快速發(fā)展，億萬(wàn)級(jí)的各類傳感器持續(xù)產(chǎn)生海量的數(shù)據(jù)，物聯(lián)網(wǎng)應(yīng)用中的數(shù)據(jù)更加傾向于結(jié)構(gòu)化、半結(jié)構(gòu)化。我們稱這些來(lái)自于傳感器、智能設(shè)備以及工業(yè)物聯(lián)網(wǎng)端的自動(dòng)化數(shù)據(jù)為感知數(shù)據(jù)。物聯(lián)網(wǎng)中感知數(shù)據(jù)的處理分為三個(gè)層次，包括：感知數(shù)據(jù)的采集與傳輸、感知數(shù)據(jù)管理與實(shí)時(shí)計(jì)算、物聯(lián)網(wǎng)平臺(tái)與大數(shù)據(jù)中心。感知數(shù)據(jù)的采集物聯(lián)網(wǎng)平臺(tái)與大數(shù)據(jù)中心感知數(shù)據(jù)采集與傳輸感知數(shù)據(jù)的采集與傳輸這一層主要實(shí)現(xiàn)傳感器、智能硬件、工廠以及設(shè)備的數(shù)據(jù)采集，并對(duì)數(shù)據(jù)進(jìn)行必要的轉(zhuǎn)換、過(guò)濾等預(yù)處理，之后實(shí)時(shí)上傳到感知數(shù)據(jù)管理層或者大數(shù)據(jù)中心。通常通過(guò)物聯(lián)網(wǎng)網(wǎng)關(guān)來(lái)實(shí)現(xiàn)這些功能。物聯(lián)網(wǎng)網(wǎng)關(guān)分為：工業(yè)型網(wǎng)關(guān)、傳感型網(wǎng)關(guān)、混合型網(wǎng)關(guān)。物聯(lián)網(wǎng)網(wǎng)關(guān)的主要功能：實(shí)現(xiàn)傳感網(wǎng)絡(luò)與通信網(wǎng)絡(luò)、不同類型傳感網(wǎng)絡(luò)、智能設(shè)備之間的雙向協(xié)議轉(zhuǎn)換。物聯(lián)網(wǎng)網(wǎng)關(guān)需具備的能力為了實(shí)現(xiàn)協(xié)議轉(zhuǎn)換以及跨網(wǎng)絡(luò)通信，物聯(lián)網(wǎng)網(wǎng)關(guān)需要具備以下能力：(1)廣泛的接入能力：物聯(lián)網(wǎng)網(wǎng)關(guān)根據(jù)應(yīng)用場(chǎng)景的不同，必須支持工廠、設(shè)備、裝備以及傳感器、無(wú)線傳感器網(wǎng)絡(luò)的接入。(2)可管理能力：首先要對(duì)網(wǎng)關(guān)進(jìn)行管理，如注冊(cè)管理、權(quán)限管理、狀態(tài)監(jiān)管等。網(wǎng)關(guān)實(shí)現(xiàn)子網(wǎng)內(nèi)的節(jié)點(diǎn)的管理，如獲取節(jié)點(diǎn)的標(biāo)識(shí)、狀態(tài)、屬性、能量等，以及遠(yuǎn)程實(shí)現(xiàn)喚醒、控制、診斷、升級(jí)和維護(hù)等。

(3)協(xié)同轉(zhuǎn)換能力：從不同的感知網(wǎng)絡(luò)到接入網(wǎng)絡(luò)的協(xié)議轉(zhuǎn)換、將下層的標(biāo)準(zhǔn)格式的數(shù)據(jù)統(tǒng)一封裝、保證不同的感知網(wǎng)絡(luò)的協(xié)議能夠變成統(tǒng)一的數(shù)據(jù)和信令；將上層下發(fā)的數(shù)據(jù)包解析成感知層協(xié)議可以識(shí)別的信令和控制指令。(4)數(shù)據(jù)質(zhì)量標(biāo)識(shí)：能夠識(shí)別所連接系統(tǒng)或者網(wǎng)絡(luò)中系統(tǒng)以及傳感器的狀態(tài)；針對(duì)獲取的數(shù)據(jù)以及相關(guān)信息辨別其數(shù)據(jù)質(zhì)量，并進(jìn)行標(biāo)識(shí)以便數(shù)據(jù)分析應(yīng)用提供更加準(zhǔn)確的分析結(jié)果感知數(shù)據(jù)管理感知數(shù)據(jù)之間具有強(qiáng)相關(guān)性，因此建立合適的數(shù)據(jù)模型進(jìn)行組織管理是數(shù)據(jù)管理和分析的關(guān)鍵步驟之一。在物聯(lián)網(wǎng)時(shí)代，上億計(jì)的傳感器被嵌入到現(xiàn)實(shí)世界的各種設(shè)備中，如何將這些感知數(shù)據(jù)梳理清晰，并挖掘出價(jià)值非常重要。實(shí)時(shí)計(jì)算隨著移動(dòng)設(shè)備、物聯(lián)網(wǎng)設(shè)備的持續(xù)增長(zhǎng)，數(shù)據(jù)呈現(xiàn)爆發(fā)式增長(zhǎng)，越來(lái)越多的業(yè)務(wù)場(chǎng)景對(duì)數(shù)據(jù)處理的實(shí)時(shí)性有了更高的要求，在這個(gè)背景下，各種實(shí)時(shí)處理平臺(tái)應(yīng)運(yùn)而生。實(shí)時(shí)計(jì)算一般都是針對(duì)海量數(shù)據(jù)進(jìn)行的，一般要求為秒級(jí)。它有如下特征：無(wú)限數(shù)據(jù)無(wú)界數(shù)據(jù)處理低延遲實(shí)時(shí)計(jì)算對(duì)于許多物聯(lián)網(wǎng)應(yīng)用來(lái)說(shuō)，實(shí)時(shí)的處理與計(jì)算要求盡量在本地被滿足，或者在部分網(wǎng)絡(luò)節(jié)點(diǎn)上進(jìn)行處理。右圖是物聯(lián)網(wǎng)大數(shù)據(jù)處理平臺(tái)的部署示意圖，實(shí)時(shí)計(jì)算分布于更加靠近物聯(lián)網(wǎng)設(shè)備端的計(jì)算節(jié)點(diǎn)上，而不是大數(shù)據(jù)中心。物聯(lián)網(wǎng)平臺(tái)與大數(shù)據(jù)中心在物聯(lián)網(wǎng)時(shí)代，通過(guò)將大量的傳感器嵌入各種設(shè)備中，物聯(lián)網(wǎng)產(chǎn)業(yè)在數(shù)據(jù)的驅(qū)動(dòng)下提供高價(jià)值的服務(wù)。云計(jì)算、大數(shù)據(jù)中心成為支撐物聯(lián)網(wǎng)平臺(tái)的基石，幫助處理和分析海量的數(shù)據(jù)，實(shí)現(xiàn)服務(wù)的智能化和無(wú)人化。物聯(lián)網(wǎng)平臺(tái)THANKS

FOR

YOUR

WATCHINGLore