船舶大數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)挖掘研究

1、船舶大數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)挖掘研究 摘要:海上監(jiān)測平臺通過傳感器網(wǎng)絡獲取大量的海洋環(huán)境數(shù)據(jù)和船舶航行數(shù)據(jù)，由于作業(yè)平臺的網(wǎng)絡不穩(wěn)定，數(shù)據(jù)來源廣、類型多，不便于管理，因此，設計合理的船舶數(shù)據(jù)平臺管理系統(tǒng)有重要意義。本研究充分結(jié)合物聯(lián)網(wǎng)技術(shù)和傳感器融合技術(shù)，對船舶大數(shù)據(jù)平臺的數(shù)據(jù)管理和數(shù)據(jù)挖掘進行了系統(tǒng)的研究，并設計了一種聚類數(shù)據(jù)挖掘算法和數(shù)據(jù)挖掘引擎。 關(guān)鍵詞：大數(shù)據(jù)臺；物聯(lián)網(wǎng)；傳感器融合；數(shù)據(jù)挖掘 海上船舶監(jiān)測平臺通過采集海域內(nèi)船舶航行信息和海上氣象信息，為海上交通管理和船舶導航提供關(guān)鍵信息。由于海上監(jiān)測平臺的工作環(huán)境惡劣，易受到臺風、海浪等氣象環(huán)境的影響，且監(jiān)測平臺的數(shù)據(jù)采集量大，網(wǎng)絡傳輸不穩(wěn)定。

2、因此，海上船舶監(jiān)測平臺的數(shù)據(jù)管理系統(tǒng)必須具有穩(wěn)定的網(wǎng)絡傳輸性能和數(shù)據(jù)存儲能力1。本文詳細介紹了海上船舶監(jiān)測平臺的數(shù)據(jù)采集網(wǎng)絡和數(shù)據(jù)管理系統(tǒng)，并基于物聯(lián)網(wǎng)技術(shù)設計了一種數(shù)據(jù)挖掘算法和數(shù)據(jù)挖掘引擎。 1船舶大數(shù)據(jù)平臺的數(shù)據(jù)采集網(wǎng)絡研究 近年來，隨著計算機技術(shù)和信息技術(shù)的高速發(fā)展，智能化設備、物聯(lián)網(wǎng)等技術(shù)在船舶工業(yè)的應用越來越廣泛，船舶監(jiān)測平臺采集、分析和處理數(shù)據(jù)的能力越來越強，數(shù)據(jù)的規(guī)模和類型也呈指數(shù)式增長。在海上船舶監(jiān)測平臺上，為了獲得全面的海域內(nèi)船舶和航線信息，必須建立覆蓋范圍大的數(shù)據(jù)采集網(wǎng)絡，如圖1所示。數(shù)據(jù)采集網(wǎng)絡的節(jié)點分為傳感器節(jié)點、匯聚節(jié)點、管理節(jié)點等不同類型，信息的傳輸基于IEEE8

3、02.11協(xié)議。該數(shù)據(jù)采集網(wǎng)絡具有組網(wǎng)方便、功率損耗小、成本低等優(yōu)點，在該網(wǎng)絡的覆蓋范圍內(nèi)可以實現(xiàn)船舶航行速度、位置、氣象條件等信息的準確采集。 2基于船舶大數(shù)據(jù)平臺的物聯(lián)網(wǎng)數(shù)據(jù)挖掘研究 2.1船舶大數(shù)據(jù)平臺的數(shù)據(jù)管理系統(tǒng)。海上船舶監(jiān)測平臺的數(shù)據(jù)管理方案為：基于IEEE802.11協(xié)議建立數(shù)據(jù)傳輸通道，使多個船舶監(jiān)測平臺與數(shù)據(jù)服務器之間實現(xiàn)數(shù)據(jù)的快速傳輸，并將監(jiān)測平臺的多元異構(gòu)數(shù)據(jù)流2自動處理和保存。此外，船舶大數(shù)據(jù)平臺充分結(jié)合云計算和物聯(lián)網(wǎng)技術(shù)，設計了數(shù)據(jù)平臺監(jiān)測系統(tǒng)，提高了數(shù)據(jù)傳輸和數(shù)據(jù)處理的效率。圖2為船舶大數(shù)據(jù)平臺的數(shù)據(jù)管理系統(tǒng)結(jié)構(gòu)與組成。船舶大數(shù)據(jù)平臺的數(shù)據(jù)管理系統(tǒng)包括以下幾個單元：

4、1）硬件管理單元數(shù)據(jù)管理系統(tǒng)的硬件管理單元主要功能為采集和分析海洋平臺的相關(guān)運行參數(shù)、傳感器網(wǎng)絡的類別與型號、數(shù)據(jù)傳輸網(wǎng)絡的協(xié)議管理等，保障船舶大數(shù)據(jù)平臺的硬件正常運行。2）用戶管理單元用戶管理單元主要負責對大數(shù)據(jù)平臺終端的用戶進行管理與協(xié)調(diào)，并根據(jù)不同用戶的分類級別授予不同的數(shù)據(jù)庫訪問權(quán)限，同時，用戶管理單元還可以針對某些特定用戶組進行數(shù)據(jù)庫的訪問限制，提高數(shù)據(jù)庫系統(tǒng)的安全性。3）監(jiān)測與維護單元數(shù)據(jù)庫管理系統(tǒng)的監(jiān)測與維護模塊可以調(diào)整平臺的監(jiān)測方案和內(nèi)容，審查和修改用戶訪問數(shù)據(jù)庫的權(quán)限。4）數(shù)據(jù)傳輸管理單元數(shù)據(jù)傳輸管理單元主要負責管理數(shù)據(jù)平臺的信號傳輸過程，對數(shù)據(jù)采集網(wǎng)絡中的傳感器節(jié)點進行數(shù)據(jù)

5、格式的升級。此外，傳輸管理單元還可以通過壓縮數(shù)據(jù)，提高數(shù)據(jù)傳輸?shù)男省?）輸入、輸出管理單元該單元的功能包括輸入數(shù)據(jù)的格式解析、關(guān)鍵信息提取、數(shù)據(jù)儲存路徑選擇等，對傳感器網(wǎng)絡的數(shù)據(jù)融合有重要意義。2.2數(shù)據(jù)挖掘算法。數(shù)據(jù)挖掘是發(fā)現(xiàn)新知識的重要環(huán)節(jié)，通過建立合理的挖掘模型和算法，數(shù)據(jù)挖掘技術(shù)可以進一步提取數(shù)據(jù)庫中的有用信息。常見的數(shù)據(jù)挖掘模型包括分類挖掘、聚類挖掘、決策樹挖掘等，不同的數(shù)據(jù)挖掘算法側(cè)重的數(shù)據(jù)挖掘類型各不相同。本文針對船舶大數(shù)據(jù)平臺的特點，采用了經(jīng)典的EM算法進行數(shù)據(jù)挖掘3，具體如下：首先，假定EM算法含有m條d維的數(shù)據(jù)集合，數(shù)據(jù)挖掘的終止閾值為。第1步，對于每條數(shù)據(jù)記錄x，計算x

6、從屬于h聚類概率如下式：p(x)=p(x)fv(xx=Dh)ni=1p(x)fv(x)。第2步，根據(jù)聚類概率更新混合模型如下式：P(x)=x=Dp(x)xx=Dp(x)，h=x=Dp(x)(xh)x=Dp(x)，h=1，2，.n。|L(p)L(p第3步，計算終止條件)|，（L（t）為閾值函數(shù)）如果符合，則算法結(jié)束。EM數(shù)據(jù)挖掘算法的迭代過程可用圖3表示。2.3船舶大數(shù)據(jù)平臺的數(shù)據(jù)挖掘系統(tǒng)引擎設計。為了提高船舶大數(shù)據(jù)平臺的數(shù)據(jù)挖掘水平，本文一方面改進了基于物聯(lián)網(wǎng)的數(shù)據(jù)管理系統(tǒng)，另一方面設計了新型的數(shù)據(jù)挖掘引擎。引擎是數(shù)據(jù)挖掘技術(shù)的核心，良好的數(shù)據(jù)挖掘引擎有助于改善數(shù)據(jù)挖掘的效率，快速完成數(shù)據(jù)的集

7、群配置、分析等工作。本文在設計數(shù)據(jù)挖掘引擎時，主要考慮兩部分設計要求：其一，數(shù)據(jù)挖掘引擎必須具有優(yōu)異的數(shù)據(jù)處理能力；其二，挖掘引擎具有友好、易用的用戶接口。本文設計的數(shù)據(jù)挖掘引擎層次結(jié)構(gòu)主要包括引擎層、用戶層和中間層3部分。1）引擎層本文基于Linux開發(fā)環(huán)境下的Spark集群，設計了數(shù)據(jù)挖掘的引擎層，并通過Zookeeper配置集群的項目管理，對Kalfka、Flume等數(shù)據(jù)格式有良好的輸入輸出接口4。2）中間層中間層的功能包括遠程數(shù)據(jù)調(diào)用管理、RPC管理等。中間層節(jié)省了大數(shù)據(jù)平臺的數(shù)據(jù)挖掘任務遠程提交過程，可實現(xiàn)任務的本地調(diào)用，提高了大數(shù)據(jù)平臺的工作效率。3）用戶層用戶層位于數(shù)據(jù)挖掘引擎的最上層，直接與用戶進行交互。本文在設計用戶層時，采用Python編程語言和HTML插件，設計了一種人機交互性良好的用戶界面。 3結(jié)語 隨著計算機技術(shù)和物聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，海上船舶監(jiān)測平臺的數(shù)據(jù)管理系統(tǒng)迎來了重要的技術(shù)革新。本文針對海上監(jiān)測平臺的網(wǎng)絡不穩(wěn)定、數(shù)據(jù)來源廣、數(shù)據(jù)類型多等問題，設計了一種基于物聯(lián)網(wǎng)的數(shù)據(jù)管理系統(tǒng)