物聯(lián)網(wǎng)大數(shù)據(jù)處理技術(shù)與實(shí)踐（第2版）課件 第4章-感知數(shù)據(jù)特性與模型

物聯(lián)網(wǎng)大數(shù)據(jù)處理技術(shù)與實(shí)踐InternetofThings

BigDataprocessingTechnologyandPractice感知數(shù)據(jù)特性與模型感知數(shù)據(jù)的特性分析1感知數(shù)據(jù)的表示與組織2感知數(shù)據(jù)庫(kù)的定位3感知數(shù)據(jù)庫(kù)與傳統(tǒng)數(shù)據(jù)庫(kù)4PARTONE1感知數(shù)據(jù)的特性分析師傅領(lǐng)進(jìn)門(mén)，學(xué)藝在自身。------中國(guó)諺語(yǔ)常用的感知數(shù)據(jù)類型感知數(shù)據(jù)是指通過(guò)傳感器和感知設(shè)備獲取到的一種原始數(shù)據(jù)。包括圖像、聲音、壓力、溫度、濕度等多種類型的數(shù)據(jù)。它可以用于實(shí)時(shí)監(jiān)測(cè)、環(huán)境監(jiān)測(cè)、行為識(shí)別、智能決策等。從應(yīng)用角度來(lái)說(shuō)，感知數(shù)據(jù)可以概括性地分為以下七種類型：標(biāo)識(shí)數(shù)據(jù)狀態(tài)數(shù)據(jù)運(yùn)行數(shù)據(jù)或者測(cè)量數(shù)據(jù)波形數(shù)據(jù)或者圖像數(shù)據(jù)位置數(shù)據(jù)指令數(shù)據(jù)反饋數(shù)據(jù)感知數(shù)據(jù)的主要特征基于對(duì)感知數(shù)據(jù)類型的分析，感知數(shù)據(jù)具有以下特征：時(shí)態(tài)屬性位置屬性序列屬性海量屬性實(shí)時(shí)屬性事件觸發(fā)感知數(shù)據(jù)的主要特征：時(shí)態(tài)屬性由于設(shè)備的狀態(tài)以及運(yùn)行數(shù)據(jù)、傳感器感知的環(huán)境等都是時(shí)刻變化的，因此數(shù)據(jù)具有很強(qiáng)的時(shí)間屬性。時(shí)態(tài)屬性帶來(lái)數(shù)據(jù)的時(shí)態(tài)一致性要求，包括以下兩個(gè)方面：絕對(duì)一致性：存在于傳感器感知的環(huán)境狀態(tài)與其在系統(tǒng)的數(shù)據(jù)映像是否足夠一致；相對(duì)一致性：存在于推導(dǎo)計(jì)算其它數(shù)據(jù)的一組數(shù)據(jù)所反映的環(huán)境狀態(tài)是否足夠接近。觸發(fā)上圖給出了數(shù)據(jù)時(shí)態(tài)一致性的示例圖。圖中數(shù)據(jù)a與b是直接來(lái)自傳感器的映像數(shù)據(jù)，而c是由數(shù)據(jù)a與b推導(dǎo)而得來(lái)。感知數(shù)據(jù)的主要特征：實(shí)時(shí)屬性由于感知數(shù)據(jù)的時(shí)態(tài)屬性以及對(duì)外部環(huán)境或者設(shè)備狀態(tài)的及時(shí)反饋需求，導(dǎo)致這些數(shù)據(jù)的處理具有實(shí)時(shí)特性。實(shí)時(shí)屬性要求這些數(shù)據(jù)的處理滿足截止期需要，導(dǎo)致事務(wù)具有實(shí)時(shí)特性，按照截止期需求的不同，分為以下三種類型：硬實(shí)時(shí)固實(shí)時(shí)軟實(shí)時(shí)觸發(fā)感知數(shù)據(jù)的主要特征：事件觸發(fā)一些感知數(shù)據(jù)意味著環(huán)境或者設(shè)備的狀態(tài)變化，狀態(tài)的變化需要觸發(fā)必要的處理過(guò)程。這些狀態(tài)的變化一般定義為事件，對(duì)于一些異常事件定義為報(bào)警。事件分為外部觸發(fā)事件與自定義事件。報(bào)警屬于基于條件的事件，一般采用ECA規(guī)則來(lái)定義。常用的報(bào)警事件有：越限報(bào)警狀態(tài)報(bào)警變化率報(bào)警PARTTWO2感知數(shù)據(jù)的表示與組織物聯(lián)網(wǎng)數(shù)據(jù)模型物聯(lián)網(wǎng)中的每個(gè)傳感器屬于某個(gè)特定的場(chǎng)景、設(shè)備或者傳感器網(wǎng)絡(luò)以自動(dòng)化工廠為例，工廠物聯(lián)網(wǎng)的數(shù)據(jù)模型可以參考OPC對(duì)象模型OPC數(shù)據(jù)模型物聯(lián)網(wǎng)數(shù)據(jù)模型模型的最上層是場(chǎng)景、設(shè)備或者傳感網(wǎng)；而模型的最下層是傳感器對(duì)象，一個(gè)傳感器對(duì)應(yīng)一個(gè)或者多個(gè)感知數(shù)據(jù)對(duì)象，Group是對(duì)傳感器對(duì)象從物理上或者邏輯上進(jìn)行組織。物聯(lián)網(wǎng)數(shù)據(jù)模型時(shí)態(tài)對(duì)象模型時(shí)態(tài)對(duì)象數(shù)據(jù)模型適用于實(shí)時(shí)感知數(shù)據(jù)，能夠表示復(fù)雜的數(shù)據(jù)類型和關(guān)系，以及數(shù)據(jù)的時(shí)間屬性和時(shí)間關(guān)系。每個(gè)對(duì)象可以有一個(gè)或多個(gè)時(shí)態(tài)屬性，每個(gè)屬性是按時(shí)間組織的二維表，代表傳感器的采集或計(jì)算數(shù)據(jù)點(diǎn)。這種數(shù)據(jù)模型能夠提高數(shù)據(jù)管理和處理效率。時(shí)態(tài)對(duì)象數(shù)據(jù)模型PARTTHREE3感知數(shù)據(jù)庫(kù)的定位感知數(shù)據(jù)庫(kù)的定位感知數(shù)據(jù)庫(kù)的功能定位包括：全面地采集并存儲(chǔ)管理規(guī)定區(qū)域內(nèi)的感知數(shù)據(jù)，構(gòu)造統(tǒng)一的基礎(chǔ)數(shù)據(jù)環(huán)境，一方面滿足本地實(shí)時(shí)計(jì)算的需求，另一方面為后端的大數(shù)據(jù)處理提供最有價(jià)值的數(shù)據(jù)資源。保證感知數(shù)據(jù)的時(shí)態(tài)一致性，控制數(shù)據(jù)質(zhì)量；數(shù)據(jù)質(zhì)量包括兩個(gè)方面：一是數(shù)據(jù)的時(shí)態(tài)一致性保證，一方面是數(shù)據(jù)本身的質(zhì)量，如傳感器誤差等。滿足本地事務(wù)的實(shí)時(shí)處理要求，通過(guò)實(shí)時(shí)事務(wù)調(diào)度處理技術(shù)滿足本地事務(wù)的執(zhí)行，結(jié)合流處理以及機(jī)器學(xué)習(xí)算法滿足狀態(tài)判定、態(tài)勢(shì)分析以及預(yù)測(cè)的需求。提供質(zhì)量保證的數(shù)據(jù)同步、數(shù)據(jù)遷移能力，感知數(shù)據(jù)庫(kù)向其他數(shù)據(jù)庫(kù)或者大數(shù)據(jù)中心提供高質(zhì)量的數(shù)據(jù)集是整個(gè)物聯(lián)網(wǎng)大數(shù)據(jù)處理的關(guān)鍵環(huán)節(jié)。感知數(shù)據(jù)庫(kù)的特征感知數(shù)據(jù)庫(kù)具有如下特征：感知能力：系統(tǒng)提供主動(dòng)數(shù)據(jù)采集機(jī)制，能夠通過(guò)單個(gè)或者一組傳感器數(shù)據(jù)提供用戶所需數(shù)據(jù)的能力。數(shù)據(jù)的多元特性：類型多樣，支持時(shí)態(tài)、關(guān)系、位置、塊數(shù)據(jù)等。數(shù)據(jù)及事務(wù)的實(shí)時(shí)性：具有保證數(shù)據(jù)時(shí)態(tài)一致性的能力；從事務(wù)處理角度來(lái)講，具有按照事務(wù)的實(shí)時(shí)處理需求進(jìn)行事務(wù)調(diào)度以及并發(fā)控制的能力。內(nèi)置數(shù)據(jù)處理規(guī)則以及事件觸發(fā)機(jī)制。多級(jí)分布式部署：由于物聯(lián)網(wǎng)本身的廣域特性，使得感知數(shù)據(jù)庫(kù)系統(tǒng)必須隨需而變地進(jìn)行部署。數(shù)據(jù)的追溯性：系統(tǒng)能夠?qū)崿F(xiàn)對(duì)所有感知數(shù)據(jù)的存儲(chǔ)管理，并提供高效的檢索分析能力，系統(tǒng)實(shí)現(xiàn)上必須采用數(shù)據(jù)在線壓縮、基于時(shí)間的索引機(jī)制以及提供高效的數(shù)據(jù)查詢算法與挖掘分析方法等。PARTFOUR4感知數(shù)據(jù)庫(kù)與傳統(tǒng)數(shù)據(jù)庫(kù)感知數(shù)據(jù)庫(kù)與傳統(tǒng)數(shù)據(jù)庫(kù)的區(qū)別基于感知數(shù)據(jù)的特殊需求，感知數(shù)據(jù)庫(kù)系統(tǒng)與傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)在設(shè)計(jì)原則、管理對(duì)象以及數(shù)據(jù)存儲(chǔ)、典型操作等多個(gè)方面具有很大的區(qū)別。

關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)感知數(shù)據(jù)庫(kù)系統(tǒng)設(shè)計(jì)原則數(shù)據(jù)的完整性、一致性，保證事務(wù)的ACID屬性數(shù)據(jù)的時(shí)態(tài)一致性，保證事務(wù)的實(shí)時(shí)性管理對(duì)象靜態(tài)存儲(chǔ)、隨機(jī)讀取連續(xù)有序、壓縮存儲(chǔ)特征或者時(shí)段查詢典型操作數(shù)據(jù)增刪改，關(guān)系數(shù)據(jù)查詢數(shù)據(jù)追加，禁止刪改，順序掃描、持續(xù)查詢數(shù)據(jù)存儲(chǔ)外存存儲(chǔ)、被動(dòng)查詢主存處理、外存存儲(chǔ)、歷史摘要數(shù)據(jù)有效性持續(xù)有效瞬時(shí)有效，有時(shí)標(biāo)感知數(shù)據(jù)庫(kù)與實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)旨在處理永久性數(shù)據(jù)，其設(shè)計(jì)與開(kāi)發(fā)主要強(qiáng)調(diào)數(shù)據(jù)的完整性、一致性，提高系統(tǒng)的平均吞吐量等總體性能指標(biāo)，很少考慮與數(shù)據(jù)及其處理相關(guān)聯(lián)的定時(shí)限制。實(shí)時(shí)數(shù)據(jù)庫(kù)同感知數(shù)據(jù)庫(kù)一樣從外部環(huán)境獲取數(shù)據(jù)，同時(shí)對(duì)數(shù)據(jù)或者事務(wù)的處理具有時(shí)間特性。感知數(shù)據(jù)庫(kù)系統(tǒng)與實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)的區(qū)別：感知數(shù)據(jù)庫(kù)系統(tǒng)更加面向互聯(lián)網(wǎng)應(yīng)用體系，而在技術(shù)實(shí)現(xiàn)上是在實(shí)時(shí)數(shù)據(jù)庫(kù)基礎(chǔ)上，融合工廠數(shù)據(jù)庫(kù)系統(tǒng)以及流數(shù)據(jù)處理系統(tǒng)的延續(xù)發(fā)展。感知數(shù)據(jù)庫(kù)與工廠數(shù)據(jù)庫(kù)系統(tǒng)針對(duì)工業(yè)自動(dòng)化的過(guò)程數(shù)據(jù)管理需求，工業(yè)實(shí)時(shí)數(shù)據(jù)庫(kù)主要提供工廠生產(chǎn)過(guò)程中的設(shè)備運(yùn)行狀態(tài)以及相關(guān)數(shù)據(jù)的采集、以及存儲(chǔ)管理需求。目前，在工業(yè)領(lǐng)域廣泛提到的實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)主要是面向工業(yè)過(guò)程監(jiān)控與管理需求的過(guò)程數(shù)據(jù)管理系統(tǒng)，如OSIsoftPI、GEFunuciHistorian以及中科啟信的ChinDB等。這些產(chǎn)品主要面向工業(yè)企業(yè)生產(chǎn)過(guò)程數(shù)據(jù)的管理，由于生產(chǎn)過(guò)程數(shù)據(jù)具有一定的時(shí)態(tài)屬性，因此這些產(chǎn)品也稱為工業(yè)實(shí)時(shí)數(shù)據(jù)庫(kù)。但是，從這些產(chǎn)品的技術(shù)特點(diǎn)來(lái)看，其重點(diǎn)是保存工廠底層自動(dòng)化設(shè)備上不斷變化的過(guò)程數(shù)據(jù)，以便進(jìn)一步開(kāi)發(fā)實(shí)現(xiàn)面向工廠管理與先進(jìn)控制的應(yīng)用系統(tǒng)，滿足工業(yè)企業(yè)的實(shí)時(shí)生產(chǎn)過(guò)程管理需求。因此，更貼切地說(shuō)這些產(chǎn)品名稱為工廠歷史數(shù)據(jù)庫(kù)。感知數(shù)據(jù)庫(kù)系統(tǒng)需要具有工廠歷史數(shù)據(jù)庫(kù)數(shù)據(jù)管理能力，但是不局限于工廠應(yīng)用。感知數(shù)據(jù)庫(kù)與流數(shù)據(jù)處理系統(tǒng)流數(shù)據(jù)處理系統(tǒng)的需求來(lái)自下面兩個(gè)方面：持續(xù)自動(dòng)產(chǎn)生大量的細(xì)節(jié)數(shù)據(jù)：銀行和股票交易、網(wǎng)絡(luò)流量監(jiān)控、傳感器網(wǎng)絡(luò)

要以近實(shí)時(shí)的方式對(duì)更新數(shù)據(jù)流進(jìn)行復(fù)雜分析：檢測(cè)互聯(lián)網(wǎng)上的極端事件、欺詐、入侵、異常等感知數(shù)據(jù)庫(kù)系統(tǒng)與傳統(tǒng)的流數(shù)據(jù)處理系統(tǒng)的共同點(diǎn)如下：數(shù)據(jù)持續(xù)、聯(lián)機(jī)到達(dá)數(shù)據(jù)是無(wú)限的，數(shù)據(jù)規(guī)模大數(shù)據(jù)需要快速處理以便快速響應(yīng)兩者差異之處在于：對(duì)感知數(shù)據(jù)庫(kù)系統(tǒng)來(lái)說(shuō)，數(shù)據(jù)的達(dá)到是可預(yù)測(cè)的，并且必要時(shí)可主動(dòng)采集獲得歷史數(shù)據(jù)的價(jià)值與讀取次數(shù)需求：流數(shù)據(jù)處理系統(tǒng)中數(shù)據(jù)流是“只能被讀取一次或少數(shù)幾次的點(diǎn)的有序序列”，甚至于只有在數(shù)據(jù)最初到達(dá)時(shí)有機(jī)會(huì)對(duì)其進(jìn)行一次處理，其他時(shí)候很難再存取到這些數(shù)據(jù)感知數(shù)據(jù)庫(kù)系統(tǒng)具有歷史數(shù)據(jù)的存儲(chǔ)需求與挖掘分析需求流數(shù)據(jù)：指一組數(shù)據(jù)項(xiàng)的序列，按照固定的順序，以連續(xù)、快速、隨時(shí)間變化的，可能是不可預(yù)測(cè)和無(wú)限的方式到達(dá)。THANKS

FOR

YO