物聯(lián)網(wǎng)大數(shù)據(jù)項(xiàng)目實(shí)施方案

項(xiàng)目編號:

物聯(lián)網(wǎng)大數(shù)據(jù)項(xiàng)目

實(shí)施方案

甲方：___________

乙方：

目錄

1項(xiàng)目介紹.............................................................4

1.1業(yè)務(wù)背景（行業(yè)背景，企業(yè)背景）..................................4

1.2項(xiàng)目目標(biāo)........................................................4

2.項(xiàng)目實(shí)施前提.......................................................5

2.1xxx系統(tǒng)環(huán)境假設(shè)................................................5

2.2運(yùn)維交付假設(shè)....................................................7

3.項(xiàng)目實(shí)施范圍...........................................................7

3.1總體實(shí)施組織范圍.................................................7

3.2項(xiàng)目實(shí)施業(yè)務(wù)功能范圍............................................7

3.3項(xiàng)目實(shí)施非業(yè)務(wù)功能范圍..........................................9

4.項(xiàng)目實(shí)施技術(shù)方案.....................................................11

4.1系統(tǒng)總體架構(gòu)....................................................11

4.2系統(tǒng)應(yīng)用架構(gòu)...................................................12

4.3系統(tǒng)技術(shù)架構(gòu)...................................................12

4.4系統(tǒng)技術(shù)參考模型...............................................13

4.5技術(shù)框架中的軟件版本...........................................15

4.6系統(tǒng)部署方案和軟硬件要求.......................................15

4.7生產(chǎn)環(huán)境現(xiàn)場硬件布點(diǎn)要求.......................................16

4.8系統(tǒng)集成......................................................16

4.9系統(tǒng)接口......................................................17

4.10系統(tǒng)安全.....................................................18

5.項(xiàng)目管理..............................................................20

5.1項(xiàng)目實(shí)施計(jì)劃...................................................20

5.2項(xiàng)目實(shí)施組織...................................................20

5.2項(xiàng)目實(shí)施組織..................................................20

5.3項(xiàng)目實(shí)施方法...................................................21

5.5項(xiàng)目風(fēng)險(xiǎn)管理...................................................22

5.6項(xiàng)目變更管理...................................................23

5.7項(xiàng)目培訓(xùn)及知識(shí)轉(zhuǎn)移.............................................24

6.項(xiàng)目交付件及驗(yàn)收.....................................................25

6.1項(xiàng)目正式交付物.................................................25

6.2項(xiàng)目非正式交付物...............................................25

6.3項(xiàng)目驗(yàn)收.......................................................26

項(xiàng)目驗(yàn)收的條件..................................................26

項(xiàng)目驗(yàn)收........................................................26

驗(yàn)收標(biāo)準(zhǔn)........................................................26

非正常驗(yàn)收約定..................................................27

7.質(zhì)量保證及服務(wù)承諾.................................................27

8.運(yùn)維及升級方案.......................................................28

1項(xiàng)目介紹

1.1業(yè)務(wù)背景（行業(yè)背景，企業(yè)背景）

XXX戰(zhàn)略上基于信息化三年滾動(dòng)規(guī)劃，深化“四個(gè)+”建設(shè)工作，落地“數(shù)據(jù)驅(qū)動(dòng)、在

線管理”，包括“大數(shù)據(jù)+”。XXX需要通過大數(shù)據(jù)統(tǒng)一思想，統(tǒng)一平臺(tái)，統(tǒng)一數(shù)據(jù)，統(tǒng)一

分析，從而推動(dòng)公司數(shù)據(jù)文化，建設(shè)整體數(shù)據(jù)體系，穩(wěn)步高效地挖掘數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)全面、

真實(shí)、透明、共享?！按髷?shù)據(jù)+”的工作包括IOT采集迭代，基礎(chǔ)數(shù)據(jù)治理，HR分析，業(yè)

財(cái)一體化分析，運(yùn)營分析，智慧XXX等。

1.2項(xiàng)目目標(biāo)

通過本次項(xiàng)目實(shí)施，完成構(gòu)建XXX企業(yè)級大數(shù)據(jù)平臺(tái)如下目標(biāo)：

一、建成XXX大數(shù)據(jù)集群，具備大數(shù)據(jù)存儲(chǔ)和I/O能力

1.基于XXX自購和現(xiàn)有硬件，建成hadoop（2管理結(jié)點(diǎn)，3數(shù)據(jù)結(jié)點(diǎn)）、hbase（2管

理結(jié)點(diǎn)，3數(shù)據(jù)結(jié)點(diǎn)）、mysql（2數(shù)據(jù)結(jié)點(diǎn)）大數(shù)據(jù)集群

2.建成HDFS分布式文件系統(tǒng)、Zookeeper分布式系統(tǒng)、HBase分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)、

YARN分布式資源調(diào)度系統(tǒng)、KAFKA分布式消息系統(tǒng)從而實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)、轉(zhuǎn)發(fā)、監(jiān)

控管理。

3.hadoop集群用來存儲(chǔ)xxx所有結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，用做數(shù)據(jù)挖掘；

hbase用來存儲(chǔ)高讀高寫在線和離線數(shù)據(jù)，用做高頻數(shù)據(jù)讀寫；mysql集群用來存儲(chǔ)

在線關(guān)系型數(shù)據(jù)。

4.hadoophbase集群按業(yè)務(wù)分類（整車xxx業(yè)務(wù)、零部件xxx業(yè)務(wù)、各分子公司等）

或系統(tǒng)類型（OTM、WMS、NC等）分類分區(qū)塊存儲(chǔ)數(shù)據(jù)。

二、建成I0T數(shù)據(jù)傳入xxx大數(shù)據(jù)平臺(tái)的專用通道，完成I0T歷史數(shù)據(jù)遷移

1.建成由xxx平臺(tái)傳入xxx大數(shù)據(jù)平臺(tái)的數(shù)據(jù)通道包括SQOOP數(shù)據(jù)采集轉(zhuǎn)換系統(tǒng)、

KAFKA到MYSQL數(shù)據(jù)轉(zhuǎn)存系統(tǒng)、KAFKA到Hbase轉(zhuǎn)存系統(tǒng)、KAFKA到HDFS轉(zhuǎn)存系統(tǒng)，xxx

I0T數(shù)據(jù)中xxx部分能夠通過通道實(shí)時(shí)傳入xxx大數(shù)據(jù)平臺(tái)的hadoop集群和hbase集

群

2.通過xxx硬件采集到的xxx所有iot歷史數(shù)據(jù)，全部存入hadoop集群，高頻可用數(shù)

據(jù)（最近一年視集群規(guī)模而定）存入hbase集群。

3.未安裝xxx硬件但成功接入xxx系統(tǒng)的xxx車輛數(shù)據(jù)（提供標(biāo)準(zhǔn)接口，第三方依據(jù)

標(biāo)準(zhǔn)接口虛擬轉(zhuǎn)接到xxx平臺(tái)），通過通道全部存入hadoop集群，高頻可用數(shù)據(jù)（最

近一年視集群規(guī)模而定）存入hbase集群。

三、建成xxx業(yè)務(wù)運(yùn)營數(shù)據(jù)傳入xxx大數(shù)據(jù)平臺(tái)的數(shù)據(jù)通道，業(yè)務(wù)運(yùn)營數(shù)據(jù)可以按通道協(xié)議

傳入大數(shù)據(jù)平臺(tái)

1.建成非I0T數(shù)據(jù)傳入xxx大數(shù)據(jù)平臺(tái)的格式化數(shù)據(jù)通道。

2.提供工具，可以通過定期抓取的方式從xxx其它數(shù)據(jù)平臺(tái)抓取數(shù)據(jù)，抓取到的數(shù)

據(jù)分類寫入xxx大數(shù)據(jù)平臺(tái)的hadoop集群的對應(yīng)區(qū)塊，此部分只建立標(biāo)準(zhǔn)，不實(shí)裝

數(shù)據(jù)。

3.其它非格式化的數(shù)據(jù)（比如圖片、視頻等）按通道協(xié)議轉(zhuǎn)化格式后可以輸入到

大數(shù)據(jù)平臺(tái)的hadoop集群對應(yīng)區(qū)塊。

四、建成I0T數(shù)據(jù)ETL能力，提供算法工具供ETL開發(fā)升級

1.大數(shù)據(jù)平臺(tái)建成I0T數(shù)據(jù)ETL能力，I0T數(shù)據(jù)在大數(shù)據(jù)平臺(tái)中經(jīng)過ETL工具處理生

成了I0T數(shù)據(jù)倉庫，數(shù)據(jù)倉庫可以直接被使用進(jìn)行BI開發(fā)。

2.提供十個(gè)以上常用開源的數(shù)據(jù)挖掘算法，xxx運(yùn)維人員可以使用這些算法進(jìn)行二

次開發(fā)，進(jìn)行數(shù)據(jù)挖掘類功能擴(kuò)展升級。

3.如果要搭建非I0T數(shù)據(jù)倉庫，可以直接在平臺(tái)中使用現(xiàn)有算法進(jìn)行二次開發(fā)或引

入新的數(shù)據(jù)挖掘算法工具生成。

五、建成基礎(chǔ)大數(shù)據(jù)監(jiān)控能力

1.建成集群系統(tǒng)監(jiān)控系統(tǒng)、KAFKA-M0NIT0R監(jiān)控系統(tǒng)，實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)運(yùn)行監(jiān)控，

及時(shí)反饋平臺(tái)狀態(tài)。

2.項(xiàng)目實(shí)施前提

2.1xxx系統(tǒng)環(huán)境假設(shè)

1.假設(shè)xxxIoT數(shù)據(jù)專用通道傳輸速率穩(wěn)定在200M以上。

2.假設(shè)xxx業(yè)務(wù)及運(yùn)營數(shù)據(jù)專用通道傳輸速率穩(wěn)定在200M以上。

3.假設(shè)硬件能夠在計(jì)劃時(shí)間（2018T-31）內(nèi)到貨上架并可用。

4.xxx硬件資源、網(wǎng)絡(luò)資源等支撐服務(wù)正常運(yùn)轉(zhuǎn)。

xxx需要采購的硬件如下:

功能部件配置

CPU2xIntelXenSilver41102.1G(8C)

內(nèi)存64G

Hadoop集群管理節(jié)點(diǎn)

硬盤4*600G(SAS)

（2臺(tái)）

網(wǎng)卡4*1GE+2*1OGE(含F(xiàn)C模塊)

電源雙電源

CPU2xIntelXenSilver41162.1G(12C)

內(nèi)存128G

Hadoop集群數(shù)據(jù)節(jié)點(diǎn)

硬盤2*600G(SAS)+8*4T(SATA7.2K)

（3臺(tái)）

網(wǎng)卡4*1GE+2*1OGE(含F(xiàn)C模塊)

電源雙電源

CPU2xIntelXenSilver41102.1G(8C)

內(nèi)存64G

Hbase集群管理節(jié)點(diǎn)

硬盤4*600G(SAS)

（2臺(tái)）

網(wǎng)卡4*1GE+2*1OGE(含F(xiàn)C模塊)

電源雙電源

CPU2xIntelXenSilver41162.1G(12C)

內(nèi)存256G

Hbase集群數(shù)據(jù)節(jié)點(diǎn)

硬盤8*900G(SAS)

（3臺(tái)）

網(wǎng)卡4*1GE+2*1OGE(含F(xiàn)C模塊)

電源雙電源

機(jī)柜交換機(jī)24*1G下行端口

（4臺(tái)）2*10GFC上行端口

2.2運(yùn)維交付假設(shè)

假設(shè)平臺(tái)部署時(shí)，XXX運(yùn)維運(yùn)營人員完成如下配備；運(yùn)維交付時(shí)，配備人員能夠熟練掌

握大數(shù)據(jù)平臺(tái)運(yùn)維技巧：

職位需求數(shù)量職責(zé)

系堤架構(gòu)師1高線、實(shí)時(shí)系統(tǒng)架,基礎(chǔ)系統(tǒng)開發(fā)、維護(hù)、優(yōu)化

1?1,、1?a1yj3，t_j5.HL

大數(shù)據(jù)開發(fā)2hive.MR、spark,slorm以及ETLT具開發(fā)等

數(shù)據(jù)挖掘、算法1數(shù)據(jù)特征分析、數(shù)據(jù)建模、挖掘算法開發(fā)等

3.項(xiàng)目實(shí)施范圍

3.1總體實(shí)施組織范圍

本次項(xiàng)目實(shí)施組織范圍包括管理信息部項(xiàng)目組、XXX項(xiàng)目組。

3.2項(xiàng)目實(shí)施業(yè)務(wù)功能范圍

3.2.1HDFS分布式文件系統(tǒng)

是否必須是

是否為標(biāo)準(zhǔn)功能是

業(yè)務(wù)場景可靠性數(shù)據(jù)存儲(chǔ)

3.2.2YARN分布式資源調(diào)度系統(tǒng)

是否必須是

是否為標(biāo)準(zhǔn)功能是

業(yè)務(wù)場景大數(shù)據(jù)計(jì)算資源調(diào)度管理

3.2.3MAPREDUCE分布式計(jì)算引擎

是否必須可選

是否為標(biāo)準(zhǔn)功能是

業(yè)務(wù)場景大數(shù)據(jù)任務(wù)計(jì)算引擎

3.2.4HIVE任務(wù)計(jì)算系統(tǒng)

是否必須可選

是否為標(biāo)準(zhǔn)功能是

業(yè)務(wù)場景基于SQL的大數(shù)據(jù)任務(wù)計(jì)算引擎

3.2.5SPARK任務(wù)計(jì)算系統(tǒng)

是否必須是

是否為標(biāo)準(zhǔn)功能是

業(yè)務(wù)場景大數(shù)據(jù)任務(wù)計(jì)算、數(shù)據(jù)挖掘引擎

3.2.6Zookeeper分布式系統(tǒng)

是否必須是

是否為標(biāo)準(zhǔn)功能是

業(yè)務(wù)場景分布式服務(wù)注冊發(fā)現(xiàn)服務(wù)

3.2.7HBase分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)

是否必須是

是否為標(biāo)準(zhǔn)功能是

業(yè)務(wù)場景高性能并發(fā)讀寫KV型存儲(chǔ)服務(wù)

3.2.8KAFKA分布式消息系統(tǒng)

是否必須是

是否為標(biāo)準(zhǔn)功能是

業(yè)務(wù)場景分布式持久化消息訂閱轉(zhuǎn)發(fā)服務(wù)

3.2.9KAFKA-M0NIT0R監(jiān)控系統(tǒng)

是否必須是

是否為標(biāo)準(zhǔn)功能是

業(yè)務(wù)場景針對KAFKA系統(tǒng)狀況的監(jiān)控服務(wù)

3.2.10SQOOP數(shù)據(jù)采集轉(zhuǎn)換系統(tǒng)

是否必須是

是否為標(biāo)準(zhǔn)功能是

業(yè)務(wù)場景提供關(guān)系型數(shù)據(jù)庫與大數(shù)據(jù)數(shù)據(jù)交換服務(wù)

3.2.11KAFKA到MYSQL數(shù)據(jù)轉(zhuǎn)存系統(tǒng)

是否必須是

是否為標(biāo)準(zhǔn)功能是

業(yè)務(wù)場景提供kafka數(shù)據(jù)實(shí)時(shí)寫入mysql服務(wù)

3.2.12KAFKA到Hbase轉(zhuǎn)存系統(tǒng)

是否必須是

是否為標(biāo)準(zhǔn)功能是

業(yè)務(wù)場景提供KAFKA數(shù)據(jù)實(shí)時(shí)寫入HBase服務(wù)

3.2.13KAFKA到HDFS轉(zhuǎn)存系統(tǒng)

是否必須是

是否為標(biāo)準(zhǔn)功能是

業(yè)務(wù)場景提供KAFKA數(shù)據(jù)批量寫入HDFS服務(wù)

3.2.14集群系統(tǒng)監(jiān)控系統(tǒng)

是否必須是

是否為標(biāo)準(zhǔn)功能是

業(yè)務(wù)場景提供大數(shù)據(jù)集群的系統(tǒng)監(jiān)控服務(wù)

3.3項(xiàng)目實(shí)施非業(yè)務(wù)功能范圍

可靠性、可用性：

?可用性一可用時(shí)間占比99%以上；

?平均故障間隔時(shí)間(MTBF)-(用戶可感知故障)間隔時(shí)間為半年；

?平均修復(fù)時(shí)間(MTTR)—2H/次。

性能要求：

?對事物的響應(yīng)時(shí)間：查詢隨意兩個(gè)時(shí)間段的數(shù)據(jù)接口平均響應(yīng)時(shí)間為0.2秒以

內(nèi)，查詢所有數(shù)據(jù)的接口再0.1秒以內(nèi)，查詢?nèi)斓钠骄憫?yīng)時(shí)間再0.2秒以內(nèi)；

?吞吐量：查詢隨意兩個(gè)時(shí)間段的數(shù)據(jù)吞吐量為100筆/秒，查詢所有數(shù)據(jù)在180

筆/秒，查詢?nèi)斓臄?shù)據(jù)在100筆/秒；

?容量：系統(tǒng)可以容納客戶3000以上，事務(wù)數(shù)100萬/天，可靈活擴(kuò)容；

?降級模式：系統(tǒng)升級不可用時(shí)，可以隨時(shí)降級恢復(fù)使用；

?靈活性：當(dāng)系統(tǒng)發(fā)生異常情況是，可以通過手工錄入等方式讓業(yè)務(wù)正常運(yùn)行；

?精度：傳輸中精確數(shù)據(jù)到小數(shù)點(diǎn)后兩位，如5.03秒。

數(shù)據(jù)備份：

?雙機(jī)熱備：RDS采用熱備架構(gòu)，物理服務(wù)器出現(xiàn)故障后服務(wù)秒級完成切換。整

個(gè)切換過程對應(yīng)用透明。

?多副本冗余：RDS服務(wù)器中的數(shù)據(jù)構(gòu)建于RAID之上，數(shù)據(jù)備份存儲(chǔ)在OSS

上。

?RDS提供自動(dòng)備份的機(jī)制。用戶可以自行選擇備份周期，也可以根據(jù)自身業(yè)務(wù)

特點(diǎn)隨時(shí)發(fā)起臨時(shí)備份。

?數(shù)據(jù)恢復(fù)：支持按備份集和指定時(shí)間點(diǎn)的恢復(fù)。在大多數(shù)場景下，用戶可以將

7天內(nèi)任意一個(gè)時(shí)間點(diǎn)的數(shù)據(jù)恢復(fù)到RDS臨時(shí)實(shí)例上，數(shù)據(jù)驗(yàn)證無誤后即可

將數(shù)據(jù)遷回RDS主實(shí)例，從而完成數(shù)據(jù)回溯。

作業(yè)日志：

?系統(tǒng)對于所有關(guān)鍵業(yè)務(wù)數(shù)據(jù)，都嚴(yán)格記錄其訪問和修改的情況；記錄最后被誰

修改，什么時(shí)間修改都可以通過報(bào)表直接查詢。

?網(wǎng)絡(luò)安全

?對于核心業(yè)務(wù)管理系統(tǒng)，保護(hù)信息的傳輸安全至關(guān)重要。在網(wǎng)絡(luò)上傳輸?shù)氖菙?shù)

據(jù)信息，有效地保護(hù)這些數(shù)據(jù)信息是網(wǎng)絡(luò)傳輸控制的最重要的方面。為了確

保用戶整體信息平臺(tái)不受到安全威脅，可以采用硬件防火墻技術(shù)，將系統(tǒng)的

應(yīng)用服務(wù)器放置于DMZ中，開放且僅開放80端口供外界訪問。數(shù)據(jù)庫服務(wù)器

放置于數(shù)據(jù)中心獨(dú)立網(wǎng)段，僅向應(yīng)用服務(wù)器開放DB2數(shù)據(jù)訪問端口。

?云監(jiān)控(CloudMonitor)服務(wù)可用于收集獲取阿里云資源的監(jiān)控指標(biāo)，探測互

聯(lián)網(wǎng)服務(wù)可用性，以及針對指標(biāo)設(shè)置警報(bào)。云監(jiān)控服務(wù)能夠監(jiān)控云服務(wù)器

ECS、云數(shù)據(jù)庫RDS和負(fù)載均衡等各種阿里云服務(wù)資源，同時(shí)也能夠通過

HTTP,ICMP等通用網(wǎng)絡(luò)協(xié)議監(jiān)控互聯(lián)網(wǎng)應(yīng)用的可用性。

擴(kuò)展性：

?大數(shù)據(jù)平臺(tái)通過增加服務(wù)器節(jié)點(diǎn)的方式，實(shí)現(xiàn)對集群的橫向擴(kuò)展。

4.項(xiàng)目實(shí)施技術(shù)方案

4.1系統(tǒng)總體架構(gòu)

描述項(xiàng)目建成系統(tǒng)的整體架構(gòu)，并分析系統(tǒng)的關(guān)聯(lián)性和可擴(kuò)展性

數(shù)據(jù)通道跨機(jī)房數(shù)據(jù)推送內(nèi)網(wǎng)數(shù)據(jù)采集

00

數(shù)據(jù)平臺(tái)

ETL

HbaseHadoop

APIHive/Spark

:業(yè)務(wù)用戶管車產(chǎn)品電子地圖產(chǎn)品運(yùn)營數(shù)據(jù)報(bào)表數(shù)據(jù)產(chǎn)品

整體架構(gòu)包括數(shù)據(jù)源部分、數(shù)據(jù)通道部分、數(shù)據(jù)存儲(chǔ)計(jì)算部分、業(yè)務(wù)應(yīng)用部分;

數(shù)據(jù)源分為外部數(shù)據(jù)源和內(nèi)部數(shù)據(jù)源，外部數(shù)據(jù)源目前主要是由XXX數(shù)據(jù)中心提供的

管車數(shù)據(jù)、電子地圖數(shù)據(jù)、設(shè)備數(shù)據(jù)、各類事件通知類數(shù)據(jù)等等；內(nèi)部數(shù)據(jù)指的是XXX公

司內(nèi)部的各種應(yīng)用管理系統(tǒng)數(shù)據(jù)、業(yè)務(wù)日志數(shù)據(jù)、子公司之間共享數(shù)據(jù)等;

針對不同數(shù)據(jù)源的數(shù)據(jù)類型、數(shù)據(jù)安全、性能要求等，分別采用兩種不同的數(shù)據(jù)采集

方式，外部數(shù)據(jù)源使用跨機(jī)房基于公網(wǎng)的數(shù)據(jù)推送通道，內(nèi)部數(shù)據(jù)采用基于內(nèi)網(wǎng)的數(shù)據(jù)采

集通道，外部通道數(shù)據(jù)和內(nèi)部通道數(shù)據(jù)在網(wǎng)絡(luò)和存儲(chǔ)上均隔離，在資源占用上互不影響。

數(shù)據(jù)存儲(chǔ)包括Mysql、Hbase、Hadoop三類存儲(chǔ)系統(tǒng)，Mysql負(fù)責(zé)存儲(chǔ)業(yè)務(wù)系統(tǒng)的關(guān)

系型數(shù)據(jù)，Hbase存儲(chǔ)設(shè)備、實(shí)時(shí)平臺(tái)計(jì)算等海量數(shù)據(jù)，Hadoop負(fù)責(zé)存儲(chǔ)全量的結(jié)構(gòu)化、

非結(jié)構(gòu)化數(shù)據(jù)。

數(shù)據(jù)離線分析計(jì)算、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等主要是基于Hadoop、Spark系統(tǒng)，采用

MapReduce>hive>spark等計(jì)算引擎；實(shí)時(shí)的數(shù)據(jù)讀寫API基于mysql、hbase。

業(yè)務(wù)應(yīng)用如管車、電子地圖通過接口網(wǎng)關(guān)來讀取和寫入數(shù)據(jù)平臺(tái)的數(shù)據(jù)，數(shù)據(jù)運(yùn)營

報(bào)表、數(shù)據(jù)產(chǎn)品基于hive、spark來進(jìn)行各類分析、運(yùn)營指標(biāo)的計(jì)算。

4.2系統(tǒng)應(yīng)用架構(gòu)

4.3系統(tǒng)技術(shù)架構(gòu)

Hadoop技術(shù)架構(gòu)

網(wǎng)關(guān)機(jī)/ETL網(wǎng)關(guān)WSPRK網(wǎng)關(guān)機(jī)/ML

DN1/ZK3DN2DN3DN4DN5

Hadoop技術(shù)架構(gòu)包括Zookeeper（簡稱ZK）集群、name集群、data集群、網(wǎng)關(guān)機(jī)集群,

zk集群部署在Namenodel、Namenode2、Datanodel三個(gè)節(jié)點(diǎn)上，NameNodel和NameNode2

為高可用模式（HA模式）；網(wǎng)關(guān)機(jī)根據(jù)具體業(yè)務(wù)職能進(jìn)行區(qū)分，比如ETL、SparkSQL計(jì)算、

數(shù)據(jù)挖掘等，在賬戶權(quán)限上也分別進(jìn)行不同的管理策略。

Hbase技術(shù)架構(gòu)

Hadoop技術(shù)架構(gòu)包括Zookeeper（簡稱ZK）集群、name集群、data集群、網(wǎng)關(guān)機(jī)集群，

zk集群部署在Namenodel、Namenode2、Datanodel三個(gè)節(jié)點(diǎn)上，NameNodel和NameNode2

為高可用模式（HA模式），HMasterl和HMaster2分別復(fù)用NameNodel和NameNode2的服

務(wù)器，RegionServer分別復(fù)用DataNode的服務(wù)器；網(wǎng)關(guān)機(jī)根據(jù)具體業(yè)務(wù)職能進(jìn)行區(qū)分，

比如API、Admin等，在賬戶權(quán)限上也分別進(jìn)行不同的管理策略。

4.4系統(tǒng)技術(shù)參考模型

準(zhǔn)確性：

平臺(tái)架構(gòu)設(shè)計(jì)方面數(shù)據(jù)處理和存儲(chǔ)按照分層設(shè)計(jì)，數(shù)據(jù)的存儲(chǔ)有存儲(chǔ)層負(fù)責(zé)完成，數(shù)

據(jù)運(yùn)算由業(yè)務(wù)層獨(dú)立運(yùn)算，業(yè)務(wù)模塊的運(yùn)算由事務(wù)性處理設(shè)計(jì)保障數(shù)據(jù)運(yùn)算全局一致準(zhǔn)確

性，避免運(yùn)算錯(cuò)誤和不完整性的情況存儲(chǔ)入庫的錯(cuò)誤，一旦出現(xiàn)數(shù)據(jù)運(yùn)算的錯(cuò)誤，系統(tǒng)會(huì)

及時(shí)回滾事務(wù)和拋出錯(cuò)誤標(biāo)識(shí)以便數(shù)據(jù)的核查和操作。

通過錯(cuò)誤日志的核查，可以分析數(shù)據(jù)錯(cuò)誤原因和優(yōu)化指導(dǎo)。

數(shù)據(jù)庫部署按照集群搭建，保證數(shù)據(jù)的完整性和高可用性，數(shù)據(jù)庫集群節(jié)點(diǎn)間實(shí)時(shí)復(fù)

制的設(shè)計(jì)，保證了每個(gè)數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)一致性。

可靠性：

在數(shù)據(jù)校驗(yàn)環(huán)節(jié)，系統(tǒng)提供基于邏輯性、完整性、一致性三方面校驗(yàn)，對輸入調(diào)用的

數(shù)據(jù)，系統(tǒng)將進(jìn)行主數(shù)據(jù)匹配，對不存在的數(shù)據(jù)進(jìn)行提示，對于不符合邏輯的數(shù)據(jù)錄入,

系統(tǒng)也將提供約束性提示確保數(shù)據(jù)質(zhì)量。

系統(tǒng)的部署按照高可用性的架構(gòu)設(shè)計(jì)，前端到后端應(yīng)用集群環(huán)境杜絕單點(diǎn)故障，一旦

出現(xiàn)應(yīng)用負(fù)載高，導(dǎo)致服務(wù)宕機(jī)或機(jī)器硬件故障，系統(tǒng)可實(shí)現(xiàn)故障轉(zhuǎn)移，通過災(zāi)難故障轉(zhuǎn)

移的機(jī)制從前端到后端保證系統(tǒng)的高可用性。

可伸縮性：

應(yīng)用服務(wù)器和數(shù)據(jù)存儲(chǔ)采用可擴(kuò)展的分布式設(shè)計(jì)，分布式多實(shí)例運(yùn)行，服務(wù)器的資源

擴(kuò)容可通過集群配置工具輕松增加節(jié)點(diǎn)實(shí)現(xiàn)擴(kuò)容，硬件平臺(tái)采用業(yè)界常用的X86架構(gòu)硬件

服務(wù)器，可實(shí)現(xiàn)硬件配件的可插拔擴(kuò)容，新設(shè)備快速加入運(yùn)算的運(yùn)維成本幾乎為零，可以

平穩(wěn)的擴(kuò)容和調(diào)整系統(tǒng)的運(yùn)營能力和性能。

可擴(kuò)展性：

系統(tǒng)模塊采用服務(wù)組件化設(shè)計(jì)，每個(gè)功能模塊都可以獨(dú)立對外提供微服務(wù)的業(yè)務(wù)支撐,

符合現(xiàn)在流行的微服務(wù)化設(shè)計(jì)理念。接入第三方系統(tǒng)通過集成本系統(tǒng)發(fā)布的微服務(wù)即可實(shí)

現(xiàn)數(shù)據(jù)的集成，門戶類集成平臺(tái)只需做數(shù)據(jù)展現(xiàn)的工作。

開放性：

接口設(shè)計(jì)成采用REST的RESTful服務(wù)。RESTful服務(wù)使用HTTP作為底層協(xié)議。外部系

統(tǒng)通過訪問RESTful服務(wù)即可實(shí)現(xiàn)對本系統(tǒng)接口的交互。HTTP做為標(biāo)準(zhǔn)的互聯(lián)協(xié)議，已經(jīng)

在我們網(wǎng)絡(luò)中日常使用。

可用性：

通過數(shù)據(jù)存儲(chǔ)和應(yīng)用的分布式架構(gòu)設(shè)計(jì)，整個(gè)系統(tǒng)的存儲(chǔ)能力是橫向可擴(kuò)展的，能滿

足未來業(yè)務(wù)量高并發(fā)的支撐。數(shù)據(jù)庫的集群可靈活擴(kuò)展，應(yīng)用服務(wù)的節(jié)點(diǎn)可快速擴(kuò)展，部

署架構(gòu)最前的集群代理服務(wù)器可橫向擴(kuò)展，能夠承受較大規(guī)模用戶的并發(fā)訪問與會(huì)話連

接。

可管理性：

操作系統(tǒng)的運(yùn)行參數(shù)、數(shù)據(jù)庫的運(yùn)行參數(shù)、文件系統(tǒng)的參數(shù)、應(yīng)用程序的狀態(tài)，都可

以通過系統(tǒng)監(jiān)控的手段實(shí)現(xiàn)閾值報(bào)警監(jiān)控，并能實(shí)現(xiàn)及時(shí)接入管理。管理手段可通過操作

系統(tǒng)管理工具、數(shù)據(jù)庫管理工具、應(yīng)用程序中間件等實(shí)現(xiàn)對系統(tǒng)的調(diào)優(yōu)和管理控制。

4.5技術(shù)框架中的軟件版本

名稱類型參數(shù)用途

Hadoop開源CDH5.1.2離線數(shù)據(jù)存儲(chǔ)

JAVA開源1.7及以上應(yīng)用環(huán)境

Mysql開源5.6及以上關(guān)系型數(shù)據(jù)存儲(chǔ)

Nginx開源1.4.7及以上反向代理

Linux開源CentOSrelease6.8操作系統(tǒng)

Tomcat開源7.0及以上中間件

Hbase開源CDH5.1.2實(shí)時(shí)數(shù)據(jù)存儲(chǔ)

ZooKeeper開源3.5.0分布式應(yīng)用程序協(xié)調(diào)服務(wù)

Storm開源1.0.3實(shí)時(shí)數(shù)據(jù)處理服務(wù)

Spark開源2.2.0大數(shù)據(jù)計(jì)算引擎

Scala開源2.12.3大數(shù)據(jù)計(jì)算語言環(huán)境

Python開源2.6.6及以上數(shù)據(jù)挖掘語言環(huán)境

Sqoop開源1.4.0及以上數(shù)據(jù)轉(zhuǎn)換工具

Kafka開源0.9.0.0及以上分布式消息系統(tǒng)

4.6系統(tǒng)部署方案和軟硬件要求

＞可用性

ZooKeeper,HDFS、YARN、HBASE等服務(wù)均需要部署高可用模式，zookeeper節(jié)點(diǎn)部署

在三臺(tái)以上，無單點(diǎn)問題，任意一臺(tái)存活都可以提供服務(wù)；HDFS、Hbase配置數(shù)據(jù)備份為

3份及以上，理論上非三個(gè)數(shù)據(jù)節(jié)點(diǎn)同時(shí)故障都不影響數(shù)據(jù)的存儲(chǔ)；YARN配置為數(shù)據(jù)節(jié)點(diǎn)

同等或以上數(shù)量，只要計(jì)算節(jié)點(diǎn)非同時(shí)故障，服務(wù)不會(huì)停止。

＞擴(kuò)展性

ZooKeeper.HDFS、YARN、HBASE均可以支持節(jié)點(diǎn)動(dòng)態(tài)擴(kuò)容，生產(chǎn)服務(wù)不需要停止服務(wù)

或停機(jī)等待，擴(kuò)容過程中也不會(huì)影響在線服務(wù)，考慮到數(shù)據(jù)平衡和網(wǎng)絡(luò)影響，建議在業(yè)務(wù)

低峰期進(jìn)行擴(kuò)容操作。

4.7生產(chǎn)環(huán)境現(xiàn)場硬件布點(diǎn)要求

＞硬件訂單（含場所、設(shè)備名稱、用途、網(wǎng)絡(luò)要求、電源、數(shù)量等信息）

名稱數(shù)量參考配置用途電源場所網(wǎng)絡(luò)

交換機(jī)2帶光模塊交換機(jī)內(nèi)網(wǎng)數(shù)據(jù)交換建議雙電自建機(jī)房內(nèi)網(wǎng)

Hadoop管2CPU:E2620Hadoop管理節(jié)點(diǎn)建議雙電自建機(jī)房內(nèi)網(wǎng)

理節(jié)點(diǎn)內(nèi)存：16*6

硬盤：500G*4

Hadoop數(shù)5CPU:E2620Hadoop數(shù)據(jù)存儲(chǔ)和計(jì)建議雙電自建機(jī)房內(nèi)網(wǎng)

據(jù)計(jì)算節(jié)內(nèi)存：16*6算

點(diǎn)硬盤：4T*8

HBASE管2CPU:E2620Hbase管理節(jié)點(diǎn)建議雙電自建機(jī)房內(nèi)網(wǎng)

理節(jié)點(diǎn)內(nèi)存：16*6

硬盤：500G*4

HBASE數(shù)5CPU:E2620Hbase數(shù)據(jù)存儲(chǔ)建議雙電自建機(jī)房內(nèi)網(wǎng)

據(jù)節(jié)點(diǎn)內(nèi)存：16*6

硬盤：4T*8

調(diào)度、工2CPU:E2620任務(wù)提交、任務(wù)調(diào)度、建議雙電自建機(jī)房內(nèi)網(wǎng)

作機(jī)、內(nèi)存：16*6web服務(wù)等

WEB、后臺(tái)硬盤：500G*4

MYSQL集2CPU:E2620Mysql數(shù)據(jù)存儲(chǔ)建議雙電自建機(jī)房內(nèi)網(wǎng)

群內(nèi)存:16*6

硬盤：500G*4

4.8系統(tǒng)集成

1、向下與xxxIoT平臺(tái)的集成，完成xxxI0T歷史數(shù)據(jù)遷移

a）建成由xxx平臺(tái)傳入xxx大數(shù)據(jù)平臺(tái)的數(shù)據(jù)通道包括SQOOP數(shù)據(jù)采集轉(zhuǎn)換系統(tǒng)、

KAFKA到MYSQL數(shù)據(jù)轉(zhuǎn)存系統(tǒng)、KAFKA到Hbase轉(zhuǎn)存系統(tǒng)、KAFKA到HDFS轉(zhuǎn)存系統(tǒng)，xxx

IOT數(shù)據(jù)中xxx部分能夠通過通道實(shí)時(shí)傳入xxx大數(shù)據(jù)平臺(tái)的hadoop集群和hbase集

群。

b）通過xxx硬件采集到的xxx所有iot歷史數(shù)據(jù)，全部存入hadoop集群，高頻可用數(shù)

據(jù)（最近一年）存入hbase集群。

c）未安裝xxx硬件但成功接入xxx系統(tǒng)的xxx車輛數(shù)據(jù)（虛擬轉(zhuǎn)接到xxx平臺(tái)），通

過通道全部存入hadoop集群，高頻可用數(shù)據(jù)（最近一年）存入hbase集群。

2、向上與電子地圖平臺(tái)集成

a）大數(shù)據(jù)平臺(tái)建立標(biāo)準(zhǔn)接口，為電子地圖平臺(tái)提供IoT數(shù)據(jù)支撐。

b）電子地圖平臺(tái)的數(shù)據(jù)反向回寫進(jìn)大數(shù)據(jù)平臺(tái)

3、橫向與業(yè)務(wù)系統(tǒng)集成

a）建成xxx業(yè)務(wù)運(yùn)營數(shù)據(jù)傳入xxx大數(shù)據(jù)平臺(tái)的格式化數(shù)據(jù)通道，業(yè)務(wù)運(yùn)營數(shù)據(jù)可

以按通道協(xié)議傳入格式化、非格式化數(shù)據(jù)到大數(shù)據(jù)平臺(tái)。

b）通道可以通過定期抓取的方式從xxx其它數(shù)據(jù)平臺(tái)抓取數(shù)據(jù)，抓取到的數(shù)據(jù)分類

寫入xxx大數(shù)據(jù)平臺(tái)的hadoop集群的對應(yīng)區(qū)塊，此部分只建立標(biāo)準(zhǔn)，不實(shí)裝數(shù)據(jù)。

c）其它非格式化的數(shù)據(jù)（比如圖片、視頻等）按文件通道輸入到大數(shù)據(jù)平臺(tái)的

hadoop集群對應(yīng)區(qū)塊。

4.9系統(tǒng)接口

IOT

DW消息

中心

XXX數(shù)據(jù)中心部分:

1.開發(fā)數(shù)據(jù)ETL任務(wù)，從數(shù)據(jù)中心實(shí)時(shí)過濾、轉(zhuǎn)發(fā)數(shù)據(jù)到I0T消息中心；

2.開發(fā)統(tǒng)一數(shù)據(jù)發(fā)送程序，將實(shí)時(shí)業(yè)務(wù)數(shù)據(jù)從xxxI0T消息中心推送至xxxAPI接受

服務(wù)器；

數(shù)據(jù)推送機(jī)制為atleastonce,保證數(shù)據(jù)不丟失，不保證數(shù)據(jù)重復(fù)；

XXX數(shù)據(jù)中心部分：

1.開發(fā)基于安全簽名機(jī)制的RESTAPI,負(fù)責(zé)接收xxx數(shù)據(jù)中心推送的數(shù)據(jù)；

2.搭建分布式kafka集群，負(fù)責(zé)緩沖、持久化xxx數(shù)據(jù)中心推送的實(shí)時(shí)數(shù)據(jù)，防止數(shù)

據(jù)量過大對后端數(shù)據(jù)存儲(chǔ)造成壓力和數(shù)據(jù)丟失，同時(shí)去除xxx數(shù)據(jù)中心與xxx數(shù)據(jù)中心之

間的強(qiáng)耦合；

3.開發(fā)針對mysql、hbase、hadoop的入庫程序，將數(shù)據(jù)根據(jù)使用場景分別存儲(chǔ)至業(yè)務(wù)

庫和大數(shù)據(jù)平臺(tái)；

4.9.1數(shù)據(jù)開放平臺(tái)接入

接入ID密鑰簽名

HTTP-Verb++

Content-MD5+-\n"+

Content-Type+"\n"+StringToSign

Date+"\n"+Restful接口

第HMAC-SHA1

三+ResourcePath;

方SecretAccessKey

開(rfc2104)

推送接口

放

者

賬

號JWT(JsonWebToken)基于rfc7519標(biāo)準(zhǔn)MQTT

1.每個(gè)合作伙伴可以擁有一個(gè)或多個(gè)（方便有多個(gè)子機(jī)構(gòu)需要獨(dú)立開發(fā)）開發(fā)者賬號;

2.通過開發(fā)者賬號可以為開發(fā)的應(yīng)用申請接入碼和密鑰，通過接入碼+密鑰簽名后，

可以訪問xxx的開放平臺(tái)服務(wù)（也可以通過開發(fā)者賬號，獲取JWT,讓前端直接訪問

XXX的開放平臺(tái)）。

4.9.2接口網(wǎng)關(guān)方案

基于springcloud的接口網(wǎng)關(guān)

4.10系統(tǒng)安全

1.硬件安全管理

系統(tǒng)具備全面的安全體系保障及完善的邊界防護(hù)措施，對網(wǎng)絡(luò)方面隔離控制、邊界防

御等多方面都具備安全防范措施。

2.權(quán)限體系管理

對系統(tǒng)功能的使用設(shè)置了嚴(yán)格的授權(quán)機(jī)制，每個(gè)功能的開通都經(jīng)過嚴(yán)格的授權(quán)審批和

認(rèn)證流程，定期、不定期的對運(yùn)行維護(hù)情況進(jìn)行安全審計(jì)及漏洞檢測。

3.日志分析管理

具備完善的日志收集分析系統(tǒng)，能夠?qū)?yīng)用日志、管理日志、數(shù)據(jù)庫日志、安全日志

等進(jìn)行數(shù)據(jù)分析，并且日志系統(tǒng)能夠保存不低于90天的日志存檔。

系統(tǒng)間數(shù)據(jù)的訪問采用電子簽名授權(quán)接口的調(diào)用，對重要敏感數(shù)據(jù)采用HTTPS的安全

訪問。

4.密碼登錄管理

支持統(tǒng)一的身份認(rèn)證的方式，能夠?qū)崿F(xiàn)證書、數(shù)字簽名等多種身份識(shí)別功能，系統(tǒng)用戶授

權(quán)管理支持多級多角色的授權(quán)，可以按照角色、用戶、組織機(jī)構(gòu)等授權(quán)管理方式對資源進(jìn)

行管控。

用戶的密碼采用單向加密的措施，用戶登錄統(tǒng)一認(rèn)證后才能進(jìn)入各業(yè)務(wù)系統(tǒng)，實(shí)現(xiàn)SSO

（單點(diǎn)登錄）的功能。對未登錄、未授權(quán)的訪問做到安全限制

xxx針對以上的安全措施已經(jīng)通過信息系統(tǒng)安全等級保護(hù)三級的認(rèn)證和備案。

圖表1.信息系統(tǒng)安全等級證明

5.項(xiàng)目管理

5.1項(xiàng)目實(shí)施計(jì)劃

但

第

1?架構(gòu)段計(jì)1?模塊設(shè)計(jì)1.系統(tǒng)開發(fā)功能施速1.硬件部署L系統(tǒng)上《

軟L工』日后評估

?硬付配艮?模塊設(shè)計(jì)???蚓?用武方案.軟件部A?驗(yàn)收報(bào)告

現(xiàn)2--tttittt?評估報(bào)告

掇?定-組件設(shè)計(jì)對各個(gè)模

硬ftH-3.UATMX?尊礎(chǔ)ft據(jù)

?系統(tǒng)構(gòu)成塊開發(fā)

軟-貨峨例?同功能用*A

?物理.架構(gòu).單元狀*耳試.系統(tǒng)設(shè)運(yùn)

件y2IB1

?塞輯架構(gòu)

汨-各犢塊做?18試執(zhí)行?泠證*例

?安全機(jī)刖單元施微魔瞽

軟?18MM臺(tái)

i?險(xiǎn)證捱告

螞2.雌蝴?迭代開發(fā)

?功能列衰

定優(yōu)化

?設(shè)計(jì)燒數(shù)

接2.抄位也廣

叩

4數(shù)據(jù)庫設(shè)?同功g

計(jì)

-表模型設(shè)成

計(jì)?同功他愛

-表結(jié)構(gòu)設(shè)成

計(jì)

-字段屬性

5.2項(xiàng)目實(shí)施組織

5.2項(xiàng)目實(shí)施組織

角色職責(zé)

?負(fù)責(zé)組建項(xiàng)目團(tuán)隊(duì)并對項(xiàng)目團(tuán)隊(duì)進(jìn)行管理、考核；

?負(fù)責(zé)組織進(jìn)行項(xiàng)目總體規(guī)劃的編制與審核、項(xiàng)目設(shè)計(jì)方案的審批；

?負(fù)責(zé)做好項(xiàng)目實(shí)施中與各部門的協(xié)調(diào)，定期和不定期組織召開項(xiàng)目協(xié)

項(xiàng)目發(fā)起

調(diào)會(huì)，確保項(xiàng)目建議順利進(jìn)行；

人

?負(fù)責(zé)管控項(xiàng)目建設(shè)進(jìn)度及質(zhì)量情況，提交相關(guān)報(bào)告及考核建議；

?負(fù)責(zé)組織定期向上一級領(lǐng)導(dǎo)匯報(bào)項(xiàng)目總體情況；

?負(fù)責(zé)牽頭組織項(xiàng)目竣工綜合驗(yàn)收，組織編制項(xiàng)目建設(shè)總結(jié)。

?負(fù)責(zé)XXX方項(xiàng)目實(shí)施工作，用戶資源的調(diào)配，能夠協(xié)調(diào)各職能部門以

XXX及項(xiàng)目關(guān)鍵節(jié)點(diǎn)的把控；

項(xiàng)目經(jīng)理?組織、決定和審批XXX方的工作及相關(guān)會(huì)議；

?與XXX方項(xiàng)目經(jīng)理保持溝通，緊密合作。

XXX?負(fù)責(zé)在項(xiàng)目過程中和XXX方保持聯(lián)系、相互溝通，以解決出現(xiàn)的XXX

項(xiàng)目經(jīng)理方服務(wù)及工作計(jì)劃的問題。

?負(fù)責(zé)項(xiàng)目中每天的工作管理。

?負(fù)責(zé)制訂項(xiàng)目計(jì)劃和其他一些全局性項(xiàng)目政策。負(fù)責(zé)整個(gè)項(xiàng)目的規(guī)劃、

資源調(diào)配、監(jiān)控和進(jìn)度報(bào)告。

?管理項(xiàng)目質(zhì)量、以里程碑為標(biāo)志的項(xiàng)目進(jìn)度，安排適當(dāng)?shù)捻?xiàng)目組成員

的級別結(jié)構(gòu)、管理項(xiàng)目組成員的工作質(zhì)量，并解決工作上及項(xiàng)目組成員的

問題。

?能依照項(xiàng)目計(jì)劃，對項(xiàng)目組提出一些指導(dǎo)性的建議并在項(xiàng)目進(jìn)程中被

執(zhí)行。

?負(fù)責(zé)技術(shù)環(huán)境：網(wǎng)絡(luò)、基礎(chǔ)設(shè)施、操作系統(tǒng)和數(shù)據(jù)庫管理；

?支持項(xiàng)目的成功實(shí)施和系統(tǒng)維護(hù)；

項(xiàng)目管理

?配合項(xiàng)目實(shí)施協(xié)調(diào)IT資源（軟/硬件）；

層

?對項(xiàng)目實(shí)施技術(shù)安全進(jìn)行管控；

?對業(yè)務(wù)重大變更和新增需求進(jìn)行評估；

工作項(xiàng)人數(shù)開始時(shí)間結(jié)束時(shí)間

基于容器云的大數(shù)據(jù)平臺(tái)、數(shù)據(jù)接入32018/1/22018/2/28

java（本地相關(guān)服務(wù)及接口開發(fā)）32018/1/22018/3/1

網(wǎng)關(guān)（服務(wù)搭建及接入配置管理）12018/2/12018/3/1

測試（api、服務(wù)環(huán)境）22018/1/22018/3/1

項(xiàng)目經(jīng)理（項(xiàng)目管理）12018/1/22018/4/1

5.3項(xiàng)目實(shí)施方法

項(xiàng)目開發(fā)維護(hù)的實(shí)施中，要遵循下列工程實(shí)施管理原則和保證體系。

（1）人員及溝通管理

有經(jīng)驗(yàn)、成熟的技術(shù)隊(duì)伍是工程實(shí)施的前提條件完成任何項(xiàng)目工程，必須擁有一支有

經(jīng)驗(yàn)的、勇于探索的、高水平的、具有嚴(yán)謹(jǐn)工作作風(fēng)的技術(shù)隊(duì)伍，在工程實(shí)施的過程中發(fā)

揮團(tuán)隊(duì)協(xié)作精神和用戶密切協(xié)作的能力。XXX團(tuán)隊(duì)要在整個(gè)項(xiàng)目實(shí)施周期中全程參與。XXX

與XXX雙方保持合作和有效溝通的原則，包括日報(bào)、周報(bào)、月報(bào)的匯報(bào)機(jī)制，項(xiàng)目周會(huì)，

不定時(shí)的臨時(shí)會(huì)議，會(huì)議紀(jì)要的確認(rèn)，針對高層領(lǐng)導(dǎo)的特定匯報(bào)等。

(2)職責(zé)管理

管理層次分明、職責(zé)清晰是工程實(shí)施的基礎(chǔ)建立層次分明的項(xiàng)目工程實(shí)施管理機(jī)構(gòu)，

明晰各層的管理職責(zé)，從組織管理的角度保證項(xiàng)目實(shí)施計(jì)劃落到實(shí)處。

(3)項(xiàng)目計(jì)劃管理

按項(xiàng)目跟蹤KTM表，里程碑節(jié)點(diǎn)計(jì)劃打印上墻并定期跟蹤、更新，雙周計(jì)劃滾動(dòng)更新、

跟蹤。對需要領(lǐng)導(dǎo)決策問題，立即啟動(dòng)專項(xiàng)會(huì)議。確定過程控制點(diǎn)，以過程質(zhì)量保證整體

工程質(zhì)量整體都是由局部和具體的細(xì)節(jié)構(gòu)成，項(xiàng)目由一個(gè)個(gè)過程環(huán)節(jié)組成，只有認(rèn)真對待

每一個(gè)過程細(xì)節(jié)，才能保證項(xiàng)目工程整體的實(shí)施質(zhì)量。

5.5項(xiàng)目風(fēng)險(xiǎn)管理

＞風(fēng)險(xiǎn)管理計(jì)劃、策略及詳細(xì)說明

對該項(xiàng)目過程中發(fā)生的或可能發(fā)生的各種風(fēng)險(xiǎn)進(jìn)行管理和控制，是項(xiàng)目管理貫穿該項(xiàng)

目全過程的重要內(nèi)容。對于實(shí)施項(xiàng)目的風(fēng)險(xiǎn)管理，首先需要對項(xiàng)目本身有著深刻的認(rèn)識(shí)和

理解，通過理解項(xiàng)目去識(shí)別項(xiàng)目潛在的各種風(fēng)險(xiǎn)。對各項(xiàng)風(fēng)險(xiǎn)采取專門措施進(jìn)行風(fēng)險(xiǎn)管理

和控制，從而最大程度地降低風(fēng)險(xiǎn)、控制風(fēng)險(xiǎn)。

發(fā)生概

NO.主要風(fēng)險(xiǎn)影響負(fù)責(zé)人應(yīng)對措施

率

XXX采購硬件不能提前跟采購部門和中標(biāo)

160%影響進(jìn)度鄧輝

按計(jì)劃部署部門溝通，縮短時(shí)間

影響大數(shù)

公網(wǎng)傳輸數(shù)據(jù)有延

據(jù)平臺(tái)數(shù)討論搭建XXX與XXX專線

2遲導(dǎo)致系統(tǒng)看到的60%余洋

據(jù)的實(shí)時(shí)的可能性

數(shù)據(jù)有延遲

性

XXX與XXX的網(wǎng)絡(luò)帶影響大數(shù)

提前規(guī)劃大數(shù)據(jù)專有帶

3寬收到XXX其他IT30%據(jù)平臺(tái)的余洋

寬

系統(tǒng)的影響性能

影響后續(xù)

XXX團(tuán)隊(duì)人員不能郅玉文、鄧提前做人力資源規(guī)劃，招

450%運(yùn)維工作

及時(shí)加入輝聘合適人員加入

交接

5.6項(xiàng)目變更管理

＞變更管理機(jī)制及流程

1）變更類型一般包含進(jìn)度、范圍變更等

2）變更由雙方項(xiàng)目經(jīng)理發(fā)起

3）我方項(xiàng)目經(jīng)理對變更產(chǎn)生的影響進(jìn)行評估與銷售協(xié)調(diào)是否上報(bào)，PMO/CCB進(jìn)行

評估并決定是否審核批準(zhǔn)

4）變更管理中，銷售經(jīng)理參與評估變更成本和銷售管理

5）變更批準(zhǔn)后，項(xiàng)目經(jīng)理和項(xiàng)目團(tuán)隊(duì)執(zhí)行變更，并更新項(xiàng)目計(jì)劃和成本預(yù)算

6）經(jīng)客戶確認(rèn)未被執(zhí)行的變更進(jìn)入變更記錄手冊

7）僅接受由雙方項(xiàng)目經(jīng)理提出的變更申請單；

8）僅執(zhí)行經(jīng)過雙方項(xiàng)目經(jīng)理確認(rèn)后的變更申請單；

9）通過緊急渠道提交的變更申請單可以被優(yōu)先執(zhí)行，但是事后的確認(rèn)過程應(yīng)當(dāng)被

及時(shí)認(rèn)可，對于變更單的工時(shí)及周期變化不存在討論空間；

10）若發(fā)生了CCB會(huì)議，則應(yīng)當(dāng)于會(huì)議當(dāng)場得出最終的變更申請單并予以確認(rèn)。

注：CCB為變更管理委員會(huì)，成員包括雙方項(xiàng)目發(fā)起人，項(xiàng)目經(jīng)理及關(guān)鍵技術(shù)人員。

5.7項(xiàng)目培訓(xùn)及知識(shí)轉(zhuǎn)移

1.準(zhǔn)備培訓(xùn)材料

針對不同人員準(zhǔn)備不同的培訓(xùn)材料包括開發(fā)人員，運(yùn)維人員，使用人員。材料包括文

檔、錄屏的方式體現(xiàn)。

對關(guān)鍵用戶提供不超過3次培訓(xùn)。

2.制定《培訓(xùn)及知識(shí)轉(zhuǎn)移計(jì)劃》

1）在培訓(xùn)前針對培訓(xùn)人員的分類和項(xiàng)目的范圍，制定一個(gè)比較合理的培訓(xùn)計(jì)劃，

包括培訓(xùn)的時(shí)間、地點(diǎn)，培訓(xùn)的內(nèi)容分類或分組、接受培訓(xùn)的人員以及設(shè)備要求、考

核方法等等；最后由XXX方項(xiàng)目經(jīng)理確認(rèn)并發(fā)出通知。

2）培訓(xùn)的時(shí)間安排應(yīng)根據(jù)關(guān)鍵人員的工作情況而靈活制定，最好能安排一段連續(xù)

的時(shí)間段，而且培訓(xùn)的地點(diǎn)也最好采用集中培訓(xùn)的方式。這樣培訓(xùn)的效果較好，人員

思想也比較集中。

3）對于不能到現(xiàn)場的人員，采取遠(yuǎn)程培訓(xùn)的方式

4）開發(fā)、運(yùn)維人員要從項(xiàng)目開始就要深度參與，在項(xiàng)目實(shí)施過程中通過實(shí)際操作

掌握知識(shí)及技能。

3.培訓(xùn)及知識(shí)轉(zhuǎn)移考核策略

1）通過實(shí)際曹操的方式做培訓(xùn)考核。具體操作時(shí)，可以將學(xué)員應(yīng)該掌握的內(nèi)容列

一個(gè)清單，對學(xué)員逐一進(jìn)行考核，記錄考核結(jié)果并向XXX方項(xiàng)目組反饋。

2）對于考核不合格的人員，項(xiàng)目經(jīng)理應(yīng)根據(jù)實(shí)際情況做出判斷是否建議用戶進(jìn)行

自學(xué)并再次接受考核，若實(shí)在不能勝任，建議更換關(guān)鍵用戶。

6.項(xiàng)目交付件及驗(yàn)收

6.1項(xiàng)目正式交付物

＞交付清單

項(xiàng)目階段交付文檔交付產(chǎn)品

1.項(xiàng)目實(shí)施方案

準(zhǔn)備階段無

2.SOW

1.業(yè)務(wù)藍(lán)圖解決方案

設(shè)計(jì)階段無

2.系統(tǒng)詳細(xì)設(shè)計(jì)

1.hadoop、hbase、mysql大數(shù)據(jù)集群

2.xxx平臺(tái)數(shù)據(jù)傳入xxx大數(shù)據(jù)平臺(tái)的數(shù)據(jù)通道

1.系統(tǒng)部署手冊3.非I0T數(shù)據(jù)傳入xxx大數(shù)據(jù)平臺(tái)的格式化數(shù)據(jù)

系統(tǒng)部署

2.操作說明通道

4.十個(gè)以上常用開源的機(jī)器學(xué)習(xí)算法工具

5.I0T數(shù)據(jù)倉庫

1.功能測試報(bào)告

系統(tǒng)測試2.性能測試報(bào)告無

3.安全評測報(bào)告

1.上線啟動(dòng)會(huì)材料

上線試運(yùn)2.培訓(xùn)計(jì)劃

無

行3.培訓(xùn)材料

4.培訓(xùn)考核報(bào)告

系統(tǒng)運(yùn)維維護(hù)管理說明資料無

系統(tǒng)驗(yàn)收報(bào)告

項(xiàng)目驗(yàn)收定制部分的源代碼

需求變更文檔

6.2項(xiàng)目非正式交付物

＞非交付清單（周報(bào)、月報(bào)、進(jìn)度表）

6.3項(xiàng)目驗(yàn)收

項(xiàng)目驗(yàn)收的條件

1.XXX方應(yīng)在項(xiàng)目驗(yàn)收前按照工作說明書中的約定向XXX方提交與項(xiàng)目配套的交付

件，如6.1的交付清單。

2.確認(rèn)項(xiàng)目實(shí)施中所有影響系統(tǒng)正常運(yùn)行的廣2級問題已被處理，其它不影響項(xiàng)目交

付成果使用遺留的3、4級問題，xxx方已提交解決計(jì)劃。

問題級別問題級別定義

1級對業(yè)務(wù)有至關(guān)重要的影響（包括即將發(fā)生和已發(fā)生），系統(tǒng)完全喪失了

服務(wù)功能或丟失了所有的資源，工作無法再繼續(xù)進(jìn)行。系統(tǒng)完全不可用。

2級對業(yè)務(wù)有嚴(yán)重的影響（包括即將發(fā)生和已發(fā)生）；系統(tǒng)喪失或可能導(dǎo)致

喪失重要的服務(wù)功能，已丟失或可能導(dǎo)致丟失重要的資源。

3級對業(yè)務(wù)有較小的影響（包括即將發(fā)生和已發(fā)生）；系統(tǒng)喪失了較少的服

務(wù)功能或丟失了較少的資源，個(gè)別用戶某些業(yè)務(wù)功能不能使用。

4級對業(yè)務(wù)沒有影響，用戶工作正常，沒有因?yàn)樵撌录拇嬖诙恋K其工作，

可正常查詢和報(bào)告信息。

以上條件全部達(dá)成后的當(dāng)月，即達(dá)到項(xiàng)目驗(yàn)收條件并可啟動(dòng)