用于浮空觀測平臺的計算機系統(tǒng)分析與設(shè)計的中期報告

用于浮空觀測平臺的計算機系統(tǒng)分析與設(shè)計的中期報告一、項目概述本項目旨在設(shè)計一套計算機系統(tǒng)，用于浮空觀測平臺上的數(shù)據(jù)采集和處理。浮空觀測平臺將搭載多種傳感器，可用于大氣、環(huán)境、氣象等方面的數(shù)據(jù)采集和監(jiān)測。本系統(tǒng)將負責對這些數(shù)據(jù)進行采集、存儲、處理和展示，為用戶提供數(shù)據(jù)分析和決策支持。二、需求分析1.數(shù)據(jù)采集和存儲：系統(tǒng)需要支持多種傳感器的數(shù)據(jù)采集，并將采集到的數(shù)據(jù)存儲到數(shù)據(jù)庫中，以備后續(xù)處理和分析使用。2.數(shù)據(jù)處理和分析：系統(tǒng)需要對采集到的數(shù)據(jù)進行處理和分析，以求得有價值的信息和結(jié)論，并將這些信息展示給用戶，幫助用戶做出決策。3.系統(tǒng)穩(wěn)定性：為保證系統(tǒng)的正常運轉(zhuǎn)，系統(tǒng)需要考慮到高可用和故障容錯的設(shè)計，彌補機器硬件單點故障影響。4.數(shù)據(jù)可視化：系統(tǒng)需要將處理后的數(shù)據(jù)圖形化展示給用戶，以方便用戶更直觀的了解數(shù)據(jù)變化。5.安全性：系統(tǒng)需要對采集到的數(shù)據(jù)進行合理的安全性規(guī)劃，起到防范數(shù)據(jù)泄露等信息安全問題的目的。三、系統(tǒng)架構(gòu)設(shè)計本系統(tǒng)的架構(gòu)設(shè)計采用分布式架構(gòu)。整個系統(tǒng)主要分為采集層、數(shù)據(jù)處理層、數(shù)據(jù)可視化展示層、數(shù)據(jù)存儲層四個模塊。1.采集層：采集層主要負責進行傳感器數(shù)據(jù)的采集和預處理工作。傳感器數(shù)據(jù)采用MQTT協(xié)議進行傳輸，采集層主要采用樹莓派等輕便型單板計算機進行采集。2.數(shù)據(jù)處理層：數(shù)據(jù)處理層主要負責對數(shù)據(jù)進行處理和分析。處理層采用了Hadoop、Spark等分布式數(shù)據(jù)處理和分析平臺，以保證系統(tǒng)的高性能和高可用性。同時，處理層還需要進行數(shù)據(jù)清洗和數(shù)據(jù)標準化等工作。3.數(shù)據(jù)可視化展示層：數(shù)據(jù)可視化展示層主要負責將處理后的數(shù)據(jù)以圖形化的形式展示給用戶。展示層采用了JavaScript等技術(shù)實現(xiàn)數(shù)據(jù)的可視化，并且保證了分布式部署，提升系統(tǒng)的可用性。4.數(shù)據(jù)存儲層：數(shù)據(jù)存儲層主要用于存儲采集到的原始數(shù)據(jù)和處理后的數(shù)據(jù)。數(shù)據(jù)存儲可使用分布式文件系統(tǒng)如HDFS或分布式數(shù)據(jù)庫如Hbase、MongoDB等實現(xiàn)。四、系統(tǒng)實現(xiàn)1.采集層：采集層使用了MQTT協(xié)議完成數(shù)據(jù)的采集和傳輸。MQTT具有輕量級、可靠性高、靈活等優(yōu)勢，適合用于物聯(lián)網(wǎng)設(shè)備上進行消息傳遞。2.數(shù)據(jù)處理層：將采集到的數(shù)據(jù)上傳到分布式存儲系統(tǒng)下的Hadoop集群中，并使用Spark進行數(shù)據(jù)分析和處理。同時，為保證計算能力，可以使用其他云計算平臺進行并行計算。3.數(shù)據(jù)可視化展示層：使用JavaScript等技術(shù)實現(xiàn)數(shù)據(jù)的可視化，并通過Node.js等技術(shù)搭建一個Web服務(wù)器，將數(shù)據(jù)以Web形式展示給用戶?？紤]到用戶需要隨時查詢數(shù)據(jù)，系統(tǒng)需要承擔大量的請求，對部署和負載的管理是需要關(guān)注的。4.數(shù)據(jù)存儲層：數(shù)據(jù)存儲層采用了分布式存儲系統(tǒng)如HDFS或分布式數(shù)據(jù)庫如Hbase、MongoDB等實現(xiàn)，以保證數(shù)據(jù)的可靠性和持久性。五、系統(tǒng)測試測試環(huán)境：CPU：IntelXeonCPUE5-2620v32.40GHz內(nèi)存：64GB硬盤：1T操作系統(tǒng)：Ubuntu18.04測試流程：1.測試采集層的數(shù)據(jù)采集和傳輸功能，檢查是否可以順利地進行數(shù)據(jù)采集和傳輸。2.測試數(shù)據(jù)處理層的數(shù)據(jù)處理和分析能力，檢查系統(tǒng)是否可以高效地進行數(shù)據(jù)分析和處理。3.測試展示層的數(shù)據(jù)可視化展示能力和系統(tǒng)的可用性，檢查用戶是否可以通過Web頁面方便地查詢和瀏覽數(shù)據(jù)。六、系統(tǒng)評價本系統(tǒng)采用分布式架構(gòu)，使系統(tǒng)更具有彈性和可擴展性，具有高效、高可用、高安全等優(yōu)點。同時，系統(tǒng)采用了MQTT