大數(shù)據(jù)中心建設(shè)功能要求技術(shù)規(guī)范

1、大數(shù)據(jù)中心建設(shè)功能要求技術(shù)規(guī)范WOR版本下載后可編輯數(shù)據(jù)服務(wù)中心建設(shè)規(guī)劃數(shù)據(jù)服務(wù)中心是整個(gè)智慧旅游大數(shù)據(jù)項(xiàng)目核心組成部分，在規(guī)劃建設(shè)過(guò)程中，堅(jiān)持以數(shù)據(jù)資源為核心，面向數(shù)據(jù)應(yīng)用與服務(wù)、信息數(shù)據(jù)資源標(biāo)準(zhǔn)化與管理，實(shí)現(xiàn)數(shù)據(jù)資源橫向集成、縱向貫通、全局共享的運(yùn)轉(zhuǎn)模式。數(shù)據(jù)服務(wù)中心數(shù)據(jù)流轉(zhuǎn)圖和邏輯架構(gòu)如下圖。4卸*+厚區(qū)懵修，辛性用耳,於空升,工皇，拿也數(shù)服務(wù)中心邏輯架構(gòu)圖腕*中*惆勢(shì)支癢饒伸MJ*片管EJ整個(gè)數(shù)據(jù)服務(wù)中心邏輯組成部分有：數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)組織、數(shù)據(jù)處理、資源管理、數(shù)據(jù)服務(wù)支撐。數(shù)據(jù)存儲(chǔ)：基于大規(guī)模并行處理（MassivelyParallelProcessing,簡(jiǎn)稱(chēng)MPP、Hadoop等分

2、布式計(jì)算平臺(tái)進(jìn)行搭建，以滿(mǎn)足旅游行業(yè)結(jié)構(gòu)化、圖像視音頻等非結(jié)構(gòu)化多種類(lèi)型格式的海量數(shù)據(jù)資源存儲(chǔ)需求。數(shù)據(jù)組織：對(duì)各類(lèi)數(shù)據(jù)資源進(jìn)行邏輯組織，形成基礎(chǔ)數(shù)據(jù)資源庫(kù)、專(zhuān)題應(yīng)用資源庫(kù)以及資源管理庫(kù)，滿(mǎn)足旅游行業(yè)數(shù)據(jù)資源應(yīng)用、管理與服務(wù)的需求。數(shù)據(jù)處理：主要包括數(shù)據(jù)整合匯集、數(shù)據(jù)標(biāo)準(zhǔn)化處理、通用數(shù)據(jù)處理、專(zhuān)題數(shù)據(jù)處理。從多個(gè)層面對(duì)數(shù)據(jù)資源進(jìn)行分析挖掘，為不同業(yè)務(wù)需求提供數(shù)據(jù)處理服務(wù)支撐。資源管理：資源管理從應(yīng)用資源、數(shù)據(jù)資源、服務(wù)資源以及標(biāo)準(zhǔn)資源多個(gè)層面實(shí)現(xiàn)數(shù)據(jù)服務(wù)中心信息資源的管理與標(biāo)準(zhǔn)建設(shè)。數(shù)據(jù)服務(wù)支撐：數(shù)據(jù)服務(wù)中心實(shí)現(xiàn)了智慧旅游云數(shù)據(jù)資源的存儲(chǔ)和組織。主要包括基礎(chǔ)數(shù)據(jù)資源庫(kù)、專(zhuān)題應(yīng)用資源庫(kù)和資源管理

3、庫(kù)。數(shù)據(jù)分析處理：面向具體業(yè)務(wù)需求，建立對(duì)應(yīng)的數(shù)據(jù)分析處理模型，實(shí)現(xiàn)對(duì)數(shù)據(jù)資源的深度挖掘和綜合利用。1.1 大數(shù)據(jù)平臺(tái)建設(shè)數(shù)據(jù)集中統(tǒng)一管理后，由于一體化業(yè)務(wù)為在線運(yùn)行的系統(tǒng)，為避免大數(shù)據(jù)應(yīng)用對(duì)現(xiàn)有生產(chǎn)系統(tǒng)造成影響，本期單獨(dú)建設(shè)一套大數(shù)據(jù)平臺(tái)，通過(guò)ETL將生產(chǎn)數(shù)據(jù)抽取到大數(shù)據(jù)平臺(tái)中，進(jìn)行分析處理，建立數(shù)據(jù)倉(cāng)庫(kù)，為上層應(yīng)用提供支撐。基于大數(shù)據(jù)等新先進(jìn)理念，融合MPP、Hadoop、OLTP以及HDFS分布式文件系統(tǒng)等數(shù)據(jù)處理技術(shù)，構(gòu)建具有海量數(shù)據(jù)處理能力的旅游大數(shù)據(jù)平臺(tái)技術(shù)支撐體系。有效匯總整合內(nèi)外部數(shù)據(jù)資源，實(shí)現(xiàn)對(duì)數(shù)據(jù)資源的統(tǒng)一管理、高度共享和高效利用，解決數(shù)據(jù)資源海量化、異構(gòu)化，應(yīng)用需求多樣化

4、、復(fù)雜化等現(xiàn)實(shí)問(wèn)題，進(jìn)一步提升信息資源開(kāi)發(fā)利用水平，提升信息資源服務(wù)的能力和服務(wù)品質(zhì)，深層次滿(mǎn)足上層業(yè)務(wù)應(yīng)用、管理決策支持和信息再生應(yīng)用的需要，達(dá)到強(qiáng)化情報(bào)信息數(shù)據(jù)支撐，服務(wù)實(shí)戰(zhàn)應(yīng)用的目的。完整的大數(shù)據(jù)集群應(yīng)當(dāng)包含4大部分：ETL集群、MPP集群、Hadoop集群和數(shù)據(jù)倉(cāng)庫(kù)，提供從數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載到數(shù)據(jù)存儲(chǔ)計(jì)算及數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的一整套完整的大數(shù)據(jù)解決方案。各節(jié)點(diǎn)通過(guò)萬(wàn)兆網(wǎng)口連接，滿(mǎn)足集群網(wǎng)絡(luò)IO密集型的要求。?ETL集群建議不少于1個(gè)節(jié)點(diǎn)，完成從各種數(shù)據(jù)源抽取、清洗、轉(zhuǎn)化和加載數(shù)據(jù)到大數(shù)據(jù)集群的工作。?MP磔群建議不少于2個(gè)節(jié)點(diǎn)。MPP*群負(fù)責(zé)結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)與計(jì)算。?Hadoop集群

5、至少應(yīng)包含6個(gè)節(jié)點(diǎn)，以滿(mǎn)足數(shù)據(jù)多個(gè)備份的高可靠性要求。Hadoop*群負(fù)責(zé)非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)與計(jì)算。?數(shù)據(jù)倉(cāng)庫(kù)節(jié)點(diǎn)，將ETL集群、MP磔群和Hadoop集群導(dǎo)入的高度提煉匯總后的數(shù)據(jù)進(jìn)行存儲(chǔ)和分析，滿(mǎn)足專(zhuān)業(yè)應(yīng)用需要。流程如下圖所示:數(shù)據(jù)詁問(wèn)結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)1.2 數(shù)據(jù)標(biāo)準(zhǔn)化建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)化是數(shù)據(jù)服務(wù)中心建設(shè)的基礎(chǔ)。在項(xiàng)目建設(shè)時(shí)根據(jù)旅游信息資源標(biāo)準(zhǔn)，并根據(jù)實(shí)際情況進(jìn)行完善。數(shù)據(jù)服務(wù)中心數(shù)據(jù)標(biāo)準(zhǔn)化工作主要以下幾個(gè)層面出發(fā)進(jìn)行建設(shè)：數(shù)據(jù)內(nèi)容標(biāo)準(zhǔn)化通過(guò)依據(jù)現(xiàn)有相關(guān)標(biāo)準(zhǔn)內(nèi)容，對(duì)整合的各類(lèi)數(shù)據(jù)資源進(jìn)行標(biāo)準(zhǔn)化處理，形成標(biāo)準(zhǔn)化數(shù)據(jù)資源，從而對(duì)各個(gè)旅游業(yè)務(wù)部門(mén)提供標(biāo)準(zhǔn)化的數(shù)據(jù)資源服務(wù)。資源管理標(biāo)準(zhǔn)化通過(guò)對(duì)旅游信息資源注冊(cè)、梳理、對(duì)標(biāo)等一系列