中位物聯(lián)網(wǎng)大數(shù)據(jù)平臺總體設(shè)計

1、精品管理物聯(lián)網(wǎng)大數(shù)據(jù)平臺總體設(shè)計 V0.2李拓2015.10目錄1. 引言 錯誤 !未定義書簽.文檔目的 . 錯誤 !未定義書簽.文檔范圍 . 錯誤 !未定義書簽.預(yù)期的讀者及閱讀建議 . 錯誤 ! 未定義書簽.術(shù)語. 錯誤!未定義書簽2. 項目概述 錯誤 !未定義書簽.項目背景 . 錯誤 !未定義書簽.設(shè)計目標(biāo) . 錯誤 !未定義書簽技術(shù)規(guī)劃路線建議 錯誤 !未定義書簽大數(shù)據(jù)軟硬平臺 / 網(wǎng)絡(luò)架構(gòu)規(guī)劃建議 錯誤!未定義書簽大數(shù)據(jù)應(yīng)用集成點規(guī)劃建議 錯誤 !未定義書簽大數(shù)據(jù)團隊建設(shè)規(guī)劃建議 錯誤 !未定義書簽大數(shù)據(jù)系統(tǒng)實施指導(dǎo)建議方案 錯誤 !未定義書簽3. 數(shù)據(jù)平臺總體架構(gòu)規(guī)劃 錯誤 !未定

2、義書簽.數(shù)據(jù)平臺愿景. 錯誤 !未定義書簽.數(shù)據(jù)處理流程. 錯誤 !未定義書簽.主要功能 . 錯誤 !未定義書簽.設(shè)計原則 . 錯誤 !未定義書簽.平臺建設(shè)路線. 錯誤 !未定義書簽4. 數(shù)據(jù)平臺軟件架構(gòu)設(shè)計 錯誤 !未定義書簽.數(shù)據(jù)平臺結(jié)構(gòu)圖 . 錯誤 !未定義書簽.數(shù)據(jù)采集系統(tǒng). 錯誤 !未定義書簽.數(shù)據(jù)存儲系統(tǒng). 錯誤 !未定義書簽.離線計算系統(tǒng). 錯誤 ! 未定義書簽.海量數(shù)據(jù)庫系統(tǒng) . 錯誤 !未定義書簽.管理系統(tǒng) . 錯誤 !未定義書簽5. 應(yīng)用平臺架構(gòu)設(shè)計 錯誤 !未定義書簽. 應(yīng)用平臺架構(gòu)圖 . 錯誤 !未定義書簽6. 平臺安全 錯誤 !未定義書簽7. 平臺監(jiān)控 錯誤 !未定義

3、書簽8. 部署架構(gòu) 錯誤 !未定義書簽9. 平臺運維 錯誤 ! 未定義書簽10. 團隊建設(shè) . 錯誤 !未定義書簽.運維工程師 . 錯誤 !未定義書簽.應(yīng)用開發(fā)工程師 . 錯誤 !未定義書簽.通信協(xié)議開發(fā)工程師. 錯誤 !未定義書簽.基于 Hadoop的開發(fā)工程師 . 錯誤 !未定義書簽.數(shù)據(jù)開發(fā)工程師 . 錯誤 !未定義書簽.數(shù)據(jù)挖掘工程師 . 錯誤 !未定義書簽1. 引言1.1. 文檔目的本文檔是關(guān)于 xx 公司物聯(lián)網(wǎng)大平臺的總體架構(gòu)設(shè)計方案。本文包括以下內(nèi) 容：1. 平臺總體架構(gòu)設(shè)計；2. 五大子系統(tǒng)設(shè)計；3. 應(yīng)用平臺設(shè)計4. 平臺部署架構(gòu)設(shè)計；5. 平臺運維及團隊建設(shè)；1.2. 文檔

4、范圍本文檔僅限于北京 xx 科技公司內(nèi)部人員和直接協(xié)助北京 xx 科技進行大 平臺建設(shè)的相關(guān)人員閱讀。1.3. 預(yù)期的讀者及閱讀建議本文檔的預(yù)期讀者：1. 北京 xx 科技的大平臺項目相關(guān)人員；2. 直接協(xié)助北京 xx 科技進行大平臺建設(shè)的相關(guān)外部人員；1.4. 術(shù)語1. Hadoop: Apache 的分布式框架。2. HDFS : Hadoop 的分布式文件系統(tǒng)。3. NameNode : Hadoop HDFS元數(shù)據(jù)主節(jié)點服務(wù)器。負責(zé)保持 DataNode 文件存 儲元數(shù)據(jù)信息。4. JobTracker ：Hadoop 的 Map/Reduce調(diào)度器，負責(zé)與 TackTracker 通

5、信分配 計算任務(wù)并跟蹤任務(wù)進度。5. DataNode：Hadoop數(shù)據(jù)節(jié)點，負責(zé)存儲數(shù)據(jù)。6. TaskTracker ：Hadoop調(diào)度程序，負責(zé) Map,Reduce 任務(wù)的具體啟動和執(zhí)行。7. Kafka : 消息隊列。8. Netty : NOI 框架。2. 項目概述2.1. 項目背景1. 隨著業(yè)務(wù)的增加，數(shù)據(jù)采集存儲備份能力嚴重不足2. 數(shù)據(jù)處理分析能力無法滿足業(yè)務(wù)的需要3. 公司業(yè)務(wù)創(chuàng)新轉(zhuǎn)型的需要3.1. 設(shè)計目標(biāo)xx 的大數(shù)據(jù)平臺主要是為車輛、人員、物聯(lián)網(wǎng)提供終端接入、數(shù)據(jù)分 析，并為行業(yè)應(yīng)用提供數(shù)據(jù)接口。平臺建成后，初期可接入百萬級的終端， 可承載多種業(yè)務(wù)及應(yīng)用。 隨著業(yè)務(wù)增

6、長， 平臺可以動態(tài)擴容， 最終可實現(xiàn)千 萬級、億級終端的接入及數(shù)據(jù)分析處理能力。本文檔針對 xx 的大數(shù)據(jù)平臺應(yīng)用需求，結(jié)合數(shù)據(jù)的特點，提出未來公 司整體的系統(tǒng)架構(gòu)，以充分滿足公司在 3 到 5年內(nèi)的業(yè)務(wù)增長和數(shù)據(jù)增長需 求。并且在企業(yè)總體系統(tǒng)架構(gòu)的基礎(chǔ)上， 提出系統(tǒng)的軟硬件的具體選型方案， 以及提供大數(shù)據(jù)平臺整體規(guī)劃， 分步實施和推廣的建議； 提供大數(shù)據(jù)平臺產(chǎn) 品整合、集成、系統(tǒng)優(yōu)化、穩(wěn)定性等建議方案。3.1.1. 技術(shù)規(guī)劃路線建議對 xx 大數(shù)據(jù)平臺系統(tǒng)進行總體規(guī)劃，與現(xiàn)有的交通部數(shù)據(jù)中心以及各 個業(yè)務(wù)系統(tǒng)進行對接，以適應(yīng)未來 3 到 5 年內(nèi)公司業(yè)務(wù)發(fā)展的要求。3.1.2. 大數(shù)據(jù)軟硬平

7、臺 / 網(wǎng)絡(luò)架構(gòu)規(guī)劃建議從需求的數(shù)據(jù)量、計算量、應(yīng)用的場景、功能、性能等因素來配置軟硬 件平臺的建議；提出具體的系統(tǒng)總體架構(gòu)和軟硬件部署結(jié)構(gòu)建議；3.1.3. 大數(shù)據(jù)應(yīng)用集成點規(guī)劃建議Hadoop數(shù)據(jù)集成、應(yīng)用集成、運維管理設(shè)計建議；3.1.4. 大數(shù)據(jù)團隊建設(shè)規(guī)劃建議對 xx 技術(shù)團隊的人員需求和配置情況以及所需要掌握的技能提出建 議；3.1.5. 大數(shù)據(jù)系統(tǒng)實施指導(dǎo)建議方案提供大數(shù)據(jù)平臺整體規(guī)劃， 分步實施和推廣的建議； 提供大數(shù)據(jù)產(chǎn)品整合、集成、平臺化的建議系統(tǒng)優(yōu)化、穩(wěn)定性等建議方案3. 數(shù)據(jù)平臺總體架構(gòu)規(guī)劃3.1. 數(shù)據(jù)平臺愿景如上圖所示， xx 的大數(shù)據(jù)平臺最終建成后，應(yīng)該是一個完備

8、的數(shù)據(jù)服 務(wù)平臺，包括數(shù)據(jù)平臺、應(yīng)用平臺、數(shù)據(jù)產(chǎn)品以及內(nèi)部運行支撐應(yīng)用環(huán)境， 該平臺上的用戶既包括外部用戶， 也包括企業(yè)內(nèi)部用戶， 既有最終用戶， 也 有應(yīng)用開發(fā)人員以及數(shù)據(jù)分析和數(shù)據(jù)開發(fā)人員。1. 數(shù)據(jù)服務(wù)平臺組成數(shù)據(jù)平臺 ：是數(shù)據(jù)的集散地。數(shù)據(jù)平臺的主要目標(biāo)是存儲和處理海 量數(shù)據(jù)，該平臺除了匯聚 xx 所有的業(yè)務(wù)數(shù)據(jù)和用戶數(shù)據(jù)之外，還 有合作機構(gòu)的相關(guān)數(shù)據(jù)，其核心功能包括數(shù)據(jù)采集、同步與集成、 海量數(shù)據(jù)存儲、海量數(shù)據(jù)處理框架、海量數(shù)據(jù)倉庫等。該平臺的用 戶主要有數(shù)據(jù)分析用戶和數(shù)據(jù)開發(fā)用戶， 這兩類用戶在數(shù)據(jù)平臺上 進行數(shù)據(jù)分析及數(shù)據(jù)集成、建模與挖掘。應(yīng)用平臺 ：應(yīng)用開發(fā)人員開發(fā)基于數(shù)據(jù)平臺

9、的車輛監(jiān)控、 人員監(jiān)控、 物品監(jiān)控等應(yīng)用并部署在應(yīng)用平臺，供最終用戶訪問。該平臺的建 設(shè)目標(biāo)是處理海量 http 請求，其核心功能包括應(yīng)用服務(wù)器、分布 式緩存、分布式消息隊列、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫以及分 布式簡單存儲等。內(nèi)部運行支撐應(yīng)用環(huán)境 ：該環(huán)境主要供企業(yè)內(nèi)部用戶將使用，包括 商業(yè)智能、運營支撐、系統(tǒng)運維、分析應(yīng)用等。該數(shù)據(jù)產(chǎn)品由大數(shù) 據(jù)平臺開發(fā)人員進行研發(fā)。數(shù)據(jù)產(chǎn)品 ：當(dāng)該平臺穩(wěn)定運行一段時間之后，企業(yè)根據(jù)業(yè)務(wù)發(fā)展的需要，可以開發(fā)專門的數(shù)據(jù)產(chǎn)品，對外提供數(shù)據(jù)服務(wù)，供最終用戶 使用。該數(shù)據(jù)產(chǎn)品由大數(shù)據(jù)平臺開發(fā)人員進行研發(fā)。2. 數(shù)據(jù)服務(wù)平臺的用戶劃分應(yīng)用開發(fā)用戶 ：xx 內(nèi)部的技術(shù)

10、研發(fā)人員， 主要結(jié)合具體業(yè)務(wù)， 開發(fā) 基于數(shù)據(jù)平臺的應(yīng)用，并部署到應(yīng)用平臺；數(shù)據(jù)分析用戶 ：xx 內(nèi)部的技術(shù)研發(fā)人員， 主要基于數(shù)據(jù)平臺中的海 量數(shù)據(jù)，進行業(yè)務(wù)數(shù)據(jù)分析，指導(dǎo)生產(chǎn)運營；數(shù)據(jù)開發(fā)用戶 ：xx 內(nèi)部的技術(shù)研發(fā)人員， 主要基于數(shù)據(jù)平臺中的海 量數(shù)據(jù)，進行數(shù)據(jù)建模、集成和挖掘，在指導(dǎo)生產(chǎn)運營的同時，挖 掘新的利潤增長點；內(nèi)部數(shù)據(jù)產(chǎn)品用戶 ：包括各條業(yè)務(wù)線上的各類業(yè)務(wù)人員如客服等。外部用戶 ：合作機構(gòu)如運營商、銀行、商戶，終端用戶、企業(yè)用戶 等。3. 位置信息數(shù)據(jù)源數(shù)據(jù)平臺可以從第三方平臺 （ 交通部數(shù)據(jù)中心、 運營商 ） 或定位中端 （車機、 sim 卡）等采集位置、狀態(tài)等信息。無論是

11、企業(yè)內(nèi)部用戶， 還是企業(yè)外部用戶， 無論是技術(shù)研發(fā)人員還是業(yè) 務(wù)人員，他們既是平臺數(shù)據(jù)的生產(chǎn)者， 同時也是平臺數(shù)據(jù)的消費者。 集存儲、 計算、分析于一體的大數(shù)據(jù)平臺，涵蓋了 xx 業(yè)務(wù)數(shù)據(jù)的全生命周期管理， 既符合現(xiàn)在行業(yè)大數(shù)據(jù)企業(yè)發(fā)展的趨勢，也最終體現(xiàn)了 xx 企業(yè)的最終最內(nèi) 涵的價值。3.2. 數(shù)據(jù)處理流程xx 大數(shù)據(jù)平臺的數(shù)據(jù)處理流程如上上圖所示。對各類終端產(chǎn)生的結(jié)構(gòu) 化和非結(jié)構(gòu)化數(shù)據(jù)源首先通過數(shù)據(jù)采集平臺進行數(shù)據(jù)采集， 然后進入海量存 儲計算處理平臺， 生成各種多維數(shù)據(jù)， 供應(yīng)用服務(wù)平臺調(diào)用， 支持最終的用 戶訪問。3.3. 主要功能結(jié)合 xx 的當(dāng)前業(yè)務(wù)發(fā)展現(xiàn)狀， 目前 xx 的大數(shù)

12、據(jù)平臺重點解決三類典型需求：1. 業(yè)務(wù)數(shù)據(jù)歸集、備份與可靠存儲2. 離線數(shù)據(jù)分析挖掘3. 實時查詢統(tǒng)計分析針對這三類需求， 大數(shù)據(jù)平臺在數(shù)據(jù)采集和運營管理的輔助下， 分別提 供存儲系統(tǒng)、 離線計算系統(tǒng)和海量數(shù)據(jù)庫系統(tǒng)， 分別滿足上述三類需求。 下 面首先介紹平臺的軟件架構(gòu)設(shè)計。3.4. 設(shè)計原則1. 采用基于 Hadoop 的開源技術(shù)路線2. 整合公司的終端數(shù)據(jù)、員工、客戶、計算、存儲等所有資源于一體3. 平臺涵蓋公司數(shù)據(jù)生產(chǎn)、存儲、挖掘、分析、服務(wù)等全生命周期管理4. 結(jié)合業(yè)務(wù)線，分析挖掘和業(yè)務(wù)支持等應(yīng)用自主研發(fā)3.5. 平臺建設(shè)路線項目分階段完成。1 期：開發(fā)數(shù)據(jù)采集系統(tǒng)，從第三方平臺及終

13、端采集位置信息，實現(xiàn)2種終端的接入。開發(fā)應(yīng)用平臺，提供接口給客戶端訪問數(shù)據(jù)。2 期：實現(xiàn)多種終端的接入，并完善應(yīng)用接口。3 期：開放存儲系統(tǒng)和簡單的 MapReduce功能給其他用戶使用，數(shù)據(jù)庫 方面單表的簡單查詢或帶條件查詢，內(nèi)部使用實時采集組件。4 期：開放 Hive 這樣的類 SQL計算給外部門，內(nèi)部開始引入 Mahout 進 行數(shù)據(jù)挖掘， 數(shù)據(jù)庫方面改進查詢語言， 支持更多的 SQL語法，實時采集可 以交給其他部門任意部署客戶端，支持常見的異構(gòu)數(shù)據(jù)源5 期：計算平臺成熟，完全成為各部門共同參與開發(fā)業(yè)務(wù)的平臺，數(shù)據(jù)庫具備大部分 SQL查詢語法，實時采集系統(tǒng)穩(wěn)定高效運行。4. 數(shù)據(jù)平臺軟件

14、架構(gòu)設(shè)計4.1. 數(shù)據(jù)平臺結(jié)構(gòu)圖如所上圖所示，大數(shù)據(jù)平臺由五個子系統(tǒng)組成，分別為：存儲系統(tǒng)、離 線計算系統(tǒng)、 海量數(shù)據(jù)庫系統(tǒng)、 采集系統(tǒng)和管理系統(tǒng)。 這五個子系統(tǒng)之間有 如下關(guān)聯(lián)關(guān)系：1. 管理系統(tǒng)為整個平臺的輔助系統(tǒng)，為其它系統(tǒng)的正常運行提供相關(guān)的輔 助功能；2. 采集系統(tǒng)負責(zé)平臺的數(shù)據(jù)采集工作，這些數(shù)據(jù)的產(chǎn)生來自各業(yè)務(wù)生產(chǎn)系 統(tǒng)及第三方平臺或終端；3. 存儲系統(tǒng)、離線計算系統(tǒng)和海量數(shù)據(jù)庫系統(tǒng)共用一套底層文件系統(tǒng)，保 證了這三個主要系統(tǒng)的數(shù)據(jù)集成與有效共享；4. 離線計算系統(tǒng)和海量數(shù)據(jù)庫系統(tǒng)還可以根據(jù)各自的負載，可以動態(tài)分配 相應(yīng)的計算能力。從錯誤! 未找到引用源。 可以看出，除采集系統(tǒng)和管

15、理系統(tǒng)之外，包括 底層存儲環(huán)境在內(nèi)的所有系統(tǒng)都是采用開源軟件搭建， 而這些軟件都是經(jīng)過 相關(guān)行業(yè)的技術(shù)公司先驗是成熟可靠可行的。 采用開源軟件， 在平臺可以達 到低成本建設(shè)的效果的同時， 相應(yīng)開源社區(qū)的持續(xù)演進， 也為平臺后續(xù)的運 行升級提供了持續(xù)的技術(shù)支持和版本穩(wěn)定保證。4.2. 數(shù)據(jù)采集系統(tǒng)1. 功能負責(zé)接入第三方服務(wù)平臺和終端設(shè)備。 負責(zé)采集、 清洗和導(dǎo)入公司 各業(yè)務(wù)線上的所有的結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。2. 要解決的問題目前，公司需要和交通部的數(shù)據(jù)中心對接，接收終端的位置數(shù)據(jù)。 同時也要接入大量的終端。 而且，未來業(yè)務(wù)生產(chǎn)線的系統(tǒng)日志信息 由于也需要保存下來， 并進行分析挖掘。 采

16、集系統(tǒng)可以將業(yè)務(wù)生產(chǎn) 線的所有業(yè)務(wù)數(shù)據(jù)和日志數(shù)據(jù)采集到采用低成本的開源可線性擴 展的存儲環(huán)境， 達到了數(shù)據(jù)低成本安全可靠存儲， 并支持進一步的 數(shù)據(jù)分析和挖掘。3. 搭建方法使用優(yōu)秀的 Netty 框架，與第三方應(yīng)用和終端通信， 采集數(shù)據(jù)。 針 對各種終端采用的不同通信協(xié)議， 開發(fā)相應(yīng)的協(xié)議解析模塊， 將位 置和指令信息解析為結(jié)構(gòu)化數(shù)據(jù)，保存到 HDFS中。采用業(yè)界成熟的 Flume 開源包將駐留在生產(chǎn)環(huán)境共享存儲上的非 結(jié)構(gòu)化的日志數(shù)據(jù)以增量可靠的方式采集到 HDFS中，采用 Sqoop 開源包從備庫中將業(yè)務(wù)結(jié)構(gòu)化數(shù)據(jù)增量采集到 HDFS中。4.3. 數(shù)據(jù)存儲系統(tǒng)1. 功能為公司內(nèi)部各業(yè)務(wù)部

17、門提供低成本安全可靠可擴展的一攬子存儲 解決方案， 做為業(yè)務(wù)數(shù)據(jù)的備庫、 支持離線計算和實施處理系統(tǒng)的 數(shù)據(jù)導(dǎo)入與導(dǎo)出等。2. 要解決的問題存儲系統(tǒng)利用開源 Apache HDFS平臺所提供的低成本、 安全、可靠、 可線性擴展的平臺優(yōu)勢， 可以解決公司的業(yè)務(wù)數(shù)據(jù)歸集、 備份與低 成本可靠存儲。4.4. 離線計算系統(tǒng)1. 功能 為公司各業(yè)務(wù)部門的技術(shù)人員和業(yè)務(wù)人員提供海量數(shù)據(jù)的分析、 建 模、集成和挖掘計算環(huán)境。2. 要解決的問題搭建公司數(shù)據(jù)離線計算環(huán)境， 安排專業(yè)的運維團隊， 用低成本、 計 算共享、專業(yè)團隊支撐的方式建設(shè)起來的可線性擴展的離線計算環(huán) 境。3. 搭建方法在 Hadoop HDF

18、S之上，用 MapReduce進行分布式計算，用 Hive 為 用戶提供友好的計算客戶端， 用 Mathout 解決機器學(xué)習(xí)數(shù)據(jù)挖掘問 題。4.5. 海量數(shù)據(jù)庫系統(tǒng)1. 功能為公司內(nèi)部人員、產(chǎn)業(yè)鏈上下游合作伙伴、終端用戶提供高并發(fā)、 實時可擴展的數(shù)據(jù)分析查詢統(tǒng)計環(huán)境。2. 要解決的問題搭建實時查詢統(tǒng)計分析處理系統(tǒng)，在專業(yè)開發(fā)和運維團隊的支持 下，提供一個公司目前緊缺的專業(yè)的分布式海量數(shù)據(jù)實時處理環(huán) 境。該環(huán)境對內(nèi)可以支撐公司相關(guān)業(yè)務(wù)的商業(yè)智能、 業(yè)務(wù)支撐等應(yīng) 用，提升業(yè)務(wù)能力， 開展新的業(yè)務(wù)， 對外可以支持公司上下游產(chǎn)業(yè) 鏈的相關(guān)合作伙伴、 相關(guān)的企業(yè)用戶的在線查詢請求， 改善用戶體 驗，提升

19、服務(wù)質(zhì)量，增強客戶的黏性，擴大用戶范圍，增加業(yè)務(wù)營3. 搭建方法在 Apache HDFS基礎(chǔ)上，通過 HBase的海量存儲能力和快速的查詢 功能，對外提供 Web和 RESTfull API 兩種用戶接口，為相關(guān)的用 戶和應(yīng)用提供高并發(fā)、 高吞吐量的基于海量數(shù)據(jù)的實時查詢統(tǒng)計分 析處理系統(tǒng)。4.6. 管理系統(tǒng)1. 功能提供整個平臺的共性功能，包括用戶管理、訪問控制、平臺監(jiān)控、 平臺升級、 性能隔離和作業(yè)調(diào)度等輔助功能組件， 為平臺的持續(xù)可 靠運營提供外圍支撐環(huán)境。2. 要解決的問題每一個好的生產(chǎn)系統(tǒng)， 都有一個可靠的運行輔助支撐環(huán)境。 管理系 統(tǒng)為整個大數(shù)據(jù)平臺的穩(wěn)定安全持久運行提供可靠的外部輔助支 撐。3. 搭建方法 用戶系統(tǒng)可以采用服務(wù)器本地系統(tǒng)和平臺新建用戶系統(tǒng)相結(jié)合的 方式來解決；監(jiān)控可以采用 HadoopA mbari 來搭建；訪問控制可以 通過設(shè)置用戶訪問權(quán)限、 環(huán)境隔離等方式來達到要求； 要解決性能 隔離和作業(yè)調(diào)度， 一個最簡單的辦法是通過平臺和任務(wù)監(jiān)控、 作業(yè) 隊列、負載均衡和資源動態(tài)調(diào)度等方式來實現(xiàn)； 平臺審計也可以通 過系統(tǒng)監(jiān)控來實現(xiàn)