環(huán)保生態(tài)環(huán)境大數(shù)據(jù)平臺建設(shè)方案_第1頁
環(huán)保生態(tài)環(huán)境大數(shù)據(jù)平臺建設(shè)方案_第2頁
環(huán)保生態(tài)環(huán)境大數(shù)據(jù)平臺建設(shè)方案_第3頁
環(huán)保生態(tài)環(huán)境大數(shù)據(jù)平臺建設(shè)方案_第4頁
環(huán)保生態(tài)環(huán)境大數(shù)據(jù)平臺建設(shè)方案_第5頁
已閱讀5頁,還剩173頁未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

環(huán)保生態(tài)環(huán)境大數(shù)據(jù)平臺項(xiàng)目

建設(shè)方案

目錄

1概述...................................................................3

1.1建設(shè)背景...........................................................................3

1.2建設(shè)目標(biāo)...........................................................................3

1.3建設(shè)內(nèi)容...........................................................................5

1.4指導(dǎo)思想...........................................................................6

1.5建設(shè)原則............................................................................6

1.6建設(shè)依據(jù)............................................................................7

2現(xiàn)狀與需求.............................................................9

2.1現(xiàn)狀分析...........................................................................9

2.2數(shù)據(jù)信息需求......................................................................13

2.3需求分析..........................................................................14

3總體設(shè)計(jì)..............................................................17

3.1技術(shù)思路..........................................................................17

3.2總體架構(gòu)..........................................................................17

3.3關(guān)鍵技術(shù)..........................................................................18

4建設(shè)方案..............................................................21

4.1一網(wǎng):生態(tài)環(huán)境監(jiān)測網(wǎng)...............................................................21

4.2一云:生態(tài)環(huán)境云計(jì)算平臺..........................................................23

4.3一中心:生態(tài)環(huán)境大數(shù)據(jù)融合共享中心................................................23

4.4一平臺:生態(tài)環(huán)境大數(shù)據(jù)管理平臺....................................................65

4.5N應(yīng)用:生態(tài)環(huán)境大數(shù)據(jù)應(yīng)用........................................................134

5生態(tài)環(huán)境大數(shù)據(jù)研究院.................................................157

5.1生態(tài)環(huán)境大數(shù)據(jù)應(yīng)用方法研究與工具開發(fā)..............................................157

5.2生態(tài)環(huán)境大數(shù)據(jù)人才資源規(guī)劃........................................................174

6優(yōu)勢..................................................錯(cuò)誤!未定義書簽。

6.1技術(shù)優(yōu)勢..........................................................錯(cuò)誤!未定義書簽。

6.2業(yè)務(wù)優(yōu)勢..........................................................錯(cuò)誤!未定義書簽。

6.3團(tuán)隊(duì)優(yōu)勢..........................................................錯(cuò)誤!未定義書簽。

2

1概述

1.1建設(shè)背景

黨中央、國務(wù)院高度重視我國大數(shù)據(jù)的發(fā)展和應(yīng)用,將大數(shù)據(jù)確定為國家發(fā)

展戰(zhàn)略。《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》設(shè)定了大數(shù)據(jù)未來5~10年的發(fā)展目標(biāo)和

主要任務(wù)?!吨泄仓醒腙P(guān)于制定國民經(jīng)濟(jì)和社會(huì)發(fā)展第十三個(gè)五年規(guī)劃的建議》

提出要“拓展網(wǎng)絡(luò)經(jīng)濟(jì)空間”,“實(shí)施國家大數(shù)據(jù)戰(zhàn)略,推進(jìn)數(shù)據(jù)資源開發(fā)共享”,

為“十三五”大數(shù)據(jù)的發(fā)展指明了方向。江西省人民政府辦公廳關(guān)于印發(fā)《江西

省生態(tài)環(huán)境監(jiān)測網(wǎng)絡(luò)建設(shè)實(shí)施方案》的通知(贛府廳字[2017]63號)要求,把

生態(tài)環(huán)境大數(shù)據(jù)平臺和生態(tài)環(huán)境監(jiān)測網(wǎng)絡(luò)作為環(huán)保管理提升途徑,將區(qū)域生態(tài)環(huán)

境的改善和生態(tài)文明建設(shè)作為管理目標(biāo)。

《國家生態(tài)文明試驗(yàn)區(qū)(江西?。?shí)施方案(征求意見稿)》中提出“建立

環(huán)保、農(nóng)業(yè)、水利、國土、林業(yè)、氣象等部門協(xié)調(diào)機(jī)制,構(gòu)建統(tǒng)一規(guī)范、布局合

理、覆蓋全面的生態(tài)環(huán)境監(jiān)測網(wǎng)絡(luò)。2017年啟動(dòng)環(huán)保監(jiān)測機(jī)構(gòu)垂直管理改革,

強(qiáng)化省級環(huán)境質(zhì)量監(jiān)測事權(quán),下移重點(diǎn)污染源監(jiān)督性監(jiān)測和監(jiān)管重心。建設(shè)全省

“生態(tài)云”大數(shù)據(jù)平臺,整合生態(tài)與環(huán)境數(shù)據(jù)資源,開展生態(tài)環(huán)境大數(shù)據(jù)分析應(yīng)

用,推動(dòng)建立生態(tài)環(huán)境質(zhì)量趨勢分析和預(yù)警機(jī)制。加快推進(jìn)環(huán)保部門機(jī)構(gòu)和職能

調(diào)整,強(qiáng)化氣、水、土環(huán)境質(zhì)量監(jiān)管,建立健全以改善環(huán)境質(zhì)量為核心的環(huán)境保

護(hù)管理機(jī)制。實(shí)行排污許可“一證式”管理模式,落實(shí)企業(yè)排放許可制。探索建

立排污權(quán)交易制度。完善企業(yè)環(huán)境信用評價(jià)制度,推動(dòng)企業(yè)環(huán)境信息納入金融信

用信息基礎(chǔ)數(shù)據(jù)庫,向金融機(jī)構(gòu)開放共享。全面推進(jìn)環(huán)境質(zhì)量信息、企業(yè)排污信

息、監(jiān)管部門環(huán)境管理信息公開”。

1.2建設(shè)目標(biāo)

遵循環(huán)保部《生態(tài)環(huán)境大數(shù)據(jù)建設(shè)總體方案》的要求和思路,滿足江西省生

態(tài)文明試驗(yàn)區(qū)建設(shè)要求,健全和完善環(huán)保數(shù)據(jù)的采集來源、覆蓋范圍、質(zhì)量提升、

管理機(jī)制,實(shí)現(xiàn)數(shù)據(jù)的多元融合和提高數(shù)據(jù)的應(yīng)用價(jià)值開發(fā)。響應(yīng)環(huán)保管理組織

3

體系的變革,實(shí)現(xiàn)環(huán)境監(jiān)測監(jiān)察的整合,對環(huán)保監(jiān)管能力的提升提供更加有效的

支撐,提升環(huán)境監(jiān)管工作的效率,服務(wù)于嚴(yán)格環(huán)保執(zhí)法、強(qiáng)化執(zhí)法監(jiān)督和責(zé)任追

究。

到2020年,全市生態(tài)環(huán)境監(jiān)測網(wǎng)絡(luò)基本實(shí)現(xiàn)環(huán)境質(zhì)量、重點(diǎn)污染源、生態(tài)

狀況監(jiān)測全覆蓋;建成生態(tài)環(huán)境大數(shù)據(jù)平臺,部門和區(qū)縣的生態(tài)環(huán)境數(shù)據(jù)系統(tǒng)互

聯(lián)共享;監(jiān)測預(yù)報(bào)預(yù)警、信息化能力和保障水平進(jìn)一步提升;生態(tài)環(huán)境監(jiān)測制度

和測管聯(lián)動(dòng)、部門協(xié)同等工作機(jī)制進(jìn)一步健全完善;初步建成要素統(tǒng)籌、規(guī)范統(tǒng)

一、天地一體、上下協(xié)同、信息共享的生態(tài)環(huán)境監(jiān)測網(wǎng)絡(luò),使生態(tài)環(huán)境監(jiān)測能力

與生態(tài)文明建設(shè)要求相適應(yīng)。

本方案具體建設(shè)目標(biāo)包括:

1、生態(tài)環(huán)境監(jiān)測網(wǎng)絡(luò)進(jìn)一步完善。

全市環(huán)境質(zhì)量監(jiān)測點(diǎn)位布設(shè)滿足環(huán)境質(zhì)量評價(jià)、考核和預(yù)警需求,實(shí)現(xiàn)大氣、

水、土壤、噪聲監(jiān)測點(diǎn)位覆蓋所有區(qū)縣,陸地、水體、飲用水源等輻射監(jiān)測點(diǎn)位

進(jìn)一步完善,全面反映我市輻射環(huán)境質(zhì)量狀況;重點(diǎn)污染源監(jiān)測制度進(jìn)一步健全,

重點(diǎn)監(jiān)控企業(yè)建成穩(wěn)定運(yùn)行的污染物排放在線監(jiān)測系統(tǒng);生態(tài)狀況監(jiān)測網(wǎng)初步建

成,生態(tài)保護(hù)紅線監(jiān)管平臺有效運(yùn)行。

2、實(shí)現(xiàn)生態(tài)環(huán)境監(jiān)管精準(zhǔn)化。

充分運(yùn)用大數(shù)據(jù)提高環(huán)境監(jiān)管能力,助力簡政放權(quán),健全事中事后監(jiān)管機(jī)制,

實(shí)現(xiàn)“用數(shù)據(jù)管理”。利用大數(shù)據(jù)支撐法治、信用、社會(huì)等監(jiān)管手段,提高生態(tài)

環(huán)境監(jiān)管的主動(dòng)性、準(zhǔn)確性和有效性。

3、實(shí)現(xiàn)生態(tài)環(huán)境綜合決策科學(xué)化。

將大數(shù)據(jù)作為支撐生態(tài)環(huán)境管理科學(xué)決策的重要手段,實(shí)現(xiàn)“用數(shù)據(jù)決策”。

利用大數(shù)據(jù)支撐環(huán)境形勢綜合研判、環(huán)境政策措施制定、環(huán)境風(fēng)險(xiǎn)預(yù)測預(yù)警、重

點(diǎn)工作會(huì)商評估,提高生態(tài)環(huán)境綜合治理科學(xué)化水平,提升環(huán)境保護(hù)參與經(jīng)濟(jì)發(fā)

展與宏觀調(diào)控的能力。

4

4、實(shí)現(xiàn)生態(tài)環(huán)境公共服務(wù)便民化。

運(yùn)用大數(shù)據(jù)創(chuàng)新政府服務(wù)理念和服務(wù)方式,實(shí)現(xiàn)“用數(shù)據(jù)服務(wù)”。利用大數(shù)

據(jù)支撐生態(tài)環(huán)境信息公開、網(wǎng)上一體化辦事和綜合信息服務(wù),建立公平普惠、便

捷高效的生態(tài)環(huán)境公共服務(wù)體系,提高公共服務(wù)共建能力和共享水平,發(fā)揮生態(tài)

環(huán)境數(shù)據(jù)資源對人民群眾生產(chǎn)、生活和經(jīng)濟(jì)社會(huì)活動(dòng)的服務(wù)作用。

1.3建設(shè)內(nèi)容

生態(tài)環(huán)境大數(shù)據(jù)平臺按照“一網(wǎng)、一云、一中心、一平臺、N應(yīng)用”的總體

架構(gòu)進(jìn)行建設(shè),構(gòu)建市政府領(lǐng)導(dǎo)、各部門齊抓共管、全社會(huì)共同參與的平臺。

“一網(wǎng)”:生態(tài)環(huán)境監(jiān)測網(wǎng),為生態(tài)環(huán)境保護(hù)決策、管理和執(zhí)法提供充足的

數(shù)據(jù)支持。

“一云”:生態(tài)環(huán)境大數(shù)據(jù)云計(jì)算平臺,為大數(shù)據(jù)平臺提供統(tǒng)一的存儲、網(wǎng)

絡(luò)和計(jì)算資源支撐,實(shí)現(xiàn)計(jì)算、存儲、云服務(wù)、云管理、運(yùn)維的統(tǒng)一管理和分配。

“一中心”:生態(tài)環(huán)境大數(shù)據(jù)融合共享中心,整合生態(tài)環(huán)境相關(guān)內(nèi)外數(shù)據(jù)資

源,實(shí)現(xiàn)海量數(shù)據(jù)的采集、組織、存儲、計(jì)算、分析以及可視化。服務(wù)于生態(tài)環(huán)

境管理工作,提升區(qū)域生態(tài)環(huán)境管理與經(jīng)濟(jì)發(fā)展和宏觀調(diào)控的能力。

“一平臺”:生態(tài)環(huán)境大數(shù)據(jù)分析與應(yīng)用平臺,為數(shù)據(jù)應(yīng)用提供存儲、計(jì)算

服務(wù)、數(shù)據(jù)分析、可視化服務(wù)、數(shù)據(jù)服務(wù)、安全管控服務(wù)與支撐。

“N應(yīng)用”:監(jiān)測大數(shù)據(jù)分析、大氣環(huán)境綜合分析、水環(huán)境綜合分析、土壤

環(huán)境綜合分析、污染源綜合分析、環(huán)境風(fēng)險(xiǎn)綜合分析、生態(tài)保護(hù)綜合分析,完善

各級環(huán)境管理責(zé)任部門信息化應(yīng)用為各級責(zé)任部門的日常工作提供支撐,提高環(huán)

境監(jiān)管能力;利用統(tǒng)計(jì)模型、數(shù)據(jù)挖掘等方法,利用可視化技術(shù)實(shí)現(xiàn)預(yù)警預(yù)報(bào)精

細(xì)度、準(zhǔn)確率的提高。

5

1.4指導(dǎo)思想

深入貫徹黨的十八大、十八屆三中、四中、五中全會(huì)精神和習(xí)近平總書記系

列重要講話精神,按照黨中央、國務(wù)院決策部署,以改善環(huán)境質(zhì)量為核心,加強(qiáng)

頂層設(shè)計(jì)和統(tǒng)籌協(xié)調(diào),完善制度標(biāo)準(zhǔn)體系,統(tǒng)一基礎(chǔ)設(shè)施建設(shè),推動(dòng)信息資源整

合互聯(lián)和數(shù)據(jù)開放共享,促進(jìn)業(yè)務(wù)協(xié)同,推進(jìn)大數(shù)據(jù)建設(shè)和應(yīng)用,保障數(shù)據(jù)安全。

通過生態(tài)環(huán)境大數(shù)據(jù)發(fā)展和應(yīng)用,推進(jìn)環(huán)境管理轉(zhuǎn)型,提升生態(tài)環(huán)境治理能力,

為實(shí)現(xiàn)生態(tài)環(huán)境質(zhì)量總體改善目標(biāo)提供有力支撐。

1.5建設(shè)原則

生態(tài)環(huán)境大數(shù)據(jù)平臺項(xiàng)目是一項(xiàng)系統(tǒng)工程,以整體設(shè)計(jì)、分步實(shí)施、穩(wěn)步推

進(jìn)、突出持色的建設(shè)方針,以節(jié)約投資、注重創(chuàng)新、保障安全為原則。

?頂層設(shè)計(jì)、應(yīng)用導(dǎo)向

圍繞生態(tài)環(huán)境治理體系和治理能力現(xiàn)代化開展大數(shù)據(jù)頂層設(shè)計(jì),頂層設(shè)計(jì)開

放、創(chuàng)新應(yīng)用全面、基礎(chǔ)架構(gòu)靈活,不斷適應(yīng)生態(tài)環(huán)境管理新形勢、新任務(wù)和新

要求。

?開放共享、強(qiáng)化應(yīng)用

統(tǒng)籌整合內(nèi)外部數(shù)據(jù)資源,邊整合邊應(yīng)用,推動(dòng)數(shù)據(jù)資源開放共享。鼓勵(lì)業(yè)

務(wù)創(chuàng)新、管理創(chuàng)新和模式創(chuàng)新,逐步形成生態(tài)環(huán)境大數(shù)據(jù)應(yīng)用新格局。

?健全規(guī)范、保障安全

建立生態(tài)環(huán)境大數(shù)據(jù)管理工作機(jī)制,健全大數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范體系,保障數(shù)據(jù)準(zhǔn)

確性、一致性和真實(shí)性,強(qiáng)化運(yùn)維管理和安全防護(hù),保障信息安全。

?分步實(shí)施、重點(diǎn)突破

大數(shù)據(jù)建設(shè)既要有階段性,也要有重點(diǎn)突破。先在環(huán)境影響評價(jià)、環(huán)境監(jiān)測、

環(huán)境應(yīng)急、環(huán)境信息服務(wù)等方面實(shí)現(xiàn)突破。

6

?整合資源,節(jié)約投資

依托城市現(xiàn)有的基礎(chǔ)軟硬件平臺,對現(xiàn)有的信息化成果進(jìn)行全面梳理,明確

需要建設(shè)和整合的具體內(nèi)容,充分利用已有信息化資源,最大程度發(fā)揮現(xiàn)有各類

資源的效益,保護(hù)已有的投資。

?規(guī)范管理,注重創(chuàng)新

構(gòu)筑以信息技術(shù)手段為支撐的環(huán)境管理體系,以信息化促進(jìn)管理規(guī)范,提升

管理效能,優(yōu)化資源配置,實(shí)現(xiàn)全程監(jiān)管和高效配置;同時(shí)應(yīng)考慮到制度設(shè)計(jì)和

觀念的創(chuàng)新,加強(qiáng)技術(shù)應(yīng)用,重點(diǎn)加強(qiáng)污染源監(jiān)管方式、管理方式、服務(wù)方式的

改革創(chuàng)新和行政管理效能的全面提升。

?建用并舉,保證安全

要以需求為導(dǎo)向,適應(yīng)環(huán)境管理的新形勢、新任務(wù),以應(yīng)用促發(fā)展,保證應(yīng)

用的不斷推進(jìn)和完善。同時(shí),應(yīng)通過制訂相關(guān)的信息安全與保密制度,引進(jìn)和研

制系統(tǒng)安全與數(shù)據(jù)保密技術(shù),最大限度地確保系統(tǒng)和信息的安全。

1.6建設(shè)依據(jù)

1.《國務(wù)院關(guān)于印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要的通知》(國發(fā)(2015)50

號)

2.《國務(wù)院關(guān)于加快推進(jìn)“互聯(lián)網(wǎng)+政務(wù)服務(wù)”工作的指導(dǎo)意見》(國發(fā)

(2016)55號)

3.《國務(wù)院辦公廳關(guān)于印發(fā)生態(tài)環(huán)境監(jiān)測網(wǎng)絡(luò)建設(shè)方案的通知》國辦發(fā)

(2015)56號

4.中華人民共和國國民經(jīng)濟(jì)和社會(huì)發(fā)展第十三個(gè)五年規(guī)劃綱要》(2016年

3月)

5.環(huán)保部《國家環(huán)境保護(hù)“十三五”規(guī)劃》

7

6.環(huán)保部編制的《生態(tài)環(huán)境大數(shù)據(jù)建設(shè)總體方案》(環(huán)保部2016年3月

印發(fā))

7.《國務(wù)院關(guān)于加強(qiáng)環(huán)境保護(hù)重點(diǎn)工作的意見》(國發(fā)(2011)35號)

8.《關(guān)于全面加強(qiáng)環(huán)境信息基礎(chǔ)能力規(guī)范化建設(shè)的意見》(環(huán)發(fā)(2010)

87號)

9.《國家電子政務(wù)工程建設(shè)項(xiàng)目管理暫行辦法》(國家發(fā)展和改革委員會(huì)

令第55號,2007年)

8

2現(xiàn)狀與需求

2.1現(xiàn)狀分析

2.1.1已經(jīng)建成或已應(yīng)用的信息系統(tǒng)

環(huán)保局現(xiàn)有和應(yīng)用信息系統(tǒng)情況如下表:

號系統(tǒng)名稱來源部署情況數(shù)據(jù)情況

環(huán)境空氣質(zhì)量預(yù)報(bào)預(yù)警市局機(jī)房

1市局實(shí)時(shí)采集

業(yè)務(wù)管理平臺2016年建成

國家空氣質(zhì)量聯(lián)網(wǎng)監(jiān)測市局機(jī)房

2市局實(shí)時(shí)采集

管理平臺城區(qū)9個(gè)子站

南昌空氣質(zhì)量實(shí)時(shí)發(fā)布市局機(jī)房

3市局實(shí)時(shí)采集

系統(tǒng)

市局機(jī)房

4城市攝影系統(tǒng)市局實(shí)時(shí)采集

空氣質(zhì)量聯(lián)網(wǎng)監(jiān)測管理

市局機(jī)房

5平臺(縣區(qū)空氣質(zhì)量監(jiān)市局實(shí)時(shí)采集

區(qū)縣13個(gè)子站

測)

市局機(jī)房

6噪聲監(jiān)測管理平臺市局實(shí)時(shí)采集

13個(gè)環(huán)境噪聲自動(dòng)監(jiān)測點(diǎn)

市局機(jī)房

5個(gè)贛江和撫河交界斷面

7地表水監(jiān)測市局的水質(zhì)自動(dòng)監(jiān)測站,1個(gè)實(shí)時(shí)采集

位于鄱陽湖入口直報(bào)環(huán)保

部的國家斷面自動(dòng)站

市局機(jī)房

8飲用水源地監(jiān)測市局包括4個(gè)飲用水源地水質(zhì)實(shí)時(shí)采集

自動(dòng)監(jiān)測站

專網(wǎng)

重點(diǎn)污染源在線監(jiān)測系總共97套,其中廢水58

9省廳實(shí)時(shí)采集

統(tǒng)(省控)套,煙氣39套;視頻監(jiān)控

點(diǎn)26個(gè)

污染源“一企一檔”管

10省廳專網(wǎng)人工

理錄入系統(tǒng)

11移動(dòng)執(zhí)法系統(tǒng)省廳專網(wǎng)人工

環(huán)保部,

重點(diǎn)污染源在線監(jiān)測系

12西安長天專網(wǎng)實(shí)時(shí)采集

統(tǒng)(國控)

開發(fā)

13環(huán)境統(tǒng)計(jì)環(huán)保部,單機(jī)版本年度上報(bào)

9

西安長天

開發(fā)

環(huán)保部,

排污費(fèi)征收信息化管理

14西安長天

系統(tǒng)(國發(fā))

開發(fā)

1512369網(wǎng)絡(luò)舉報(bào)平臺環(huán)保部統(tǒng)一應(yīng)用

建設(shè)項(xiàng)目環(huán)境影響登記

16環(huán)保部統(tǒng)一應(yīng)用企業(yè)填報(bào)

表備案系統(tǒng)

2.1.2硬件配置網(wǎng)絡(luò)情況

環(huán)保局計(jì)算機(jī)機(jī)房比較陳舊,目前在服務(wù)器上運(yùn)行的主要應(yīng)用系統(tǒng)包括空氣

質(zhì)量在線監(jiān)測、地表水飲用水在線監(jiān)測等。

目前市環(huán)保局網(wǎng)絡(luò)分為兩類,如下所示:

1、一監(jiān)測專網(wǎng):是全省環(huán)境和重點(diǎn)污染源自動(dòng)監(jiān)測監(jiān)控系統(tǒng)等實(shí)現(xiàn)互聯(lián)直

通的業(yè)務(wù)網(wǎng),縱向?qū)>€連接省、市、縣環(huán)保局。與辦公內(nèi)網(wǎng)物理隔離,與辦公外

網(wǎng)安全隔離(兩網(wǎng)之間的終端辦公電腦不能互相訪問,但可通過數(shù)據(jù)交換系統(tǒng)實(shí)

現(xiàn)服務(wù)器之間的數(shù)據(jù)交換)。

2、辦公外網(wǎng):是工作人員處理環(huán)境信訪、行政審批綜合應(yīng)用平臺等需要與

互聯(lián)網(wǎng)聯(lián)通的業(yè)務(wù)網(wǎng)。與互聯(lián)網(wǎng)邏輯隔離,與監(jiān)測專網(wǎng)安全隔離,與市政府政務(wù)

外網(wǎng)聯(lián)通。

3、辦公內(nèi)網(wǎng):主要用于政府收發(fā)文件,以及日常行政管理等事物和資源調(diào)

度,包括通過辦公外網(wǎng)轉(zhuǎn)入到內(nèi)網(wǎng)進(jìn)入行政管理流程。

4、互聯(lián)網(wǎng):主要對移動(dòng)端應(yīng)用提供支持,以及為企業(yè)服務(wù)、公眾服務(wù)等提

供的基本網(wǎng)絡(luò)平臺,為全社會(huì)參與生態(tài)環(huán)保的建設(shè)和監(jiān)督提供通道。

環(huán)境保護(hù)局現(xiàn)有的系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D如下所示:

10

環(huán)境質(zhì)量狀況網(wǎng)絡(luò)圖

空氣聲量及嗓聲賢測胭務(wù)器空氣用量實(shí)時(shí)發(fā)布系統(tǒng)

空氣質(zhì)量預(yù)蜜預(yù)報(bào)服務(wù)器

環(huán)境信息中心目前網(wǎng)絡(luò)如下圖所示:

11

信息中心網(wǎng)絡(luò)圖

存儲服務(wù)器

1嚶聲虛擬服務(wù)器(互聯(lián)網(wǎng))

2地表水虛擬服務(wù)器(互聯(lián)網(wǎng))

備注:

1、重點(diǎn)污染源自動(dòng)監(jiān)測系統(tǒng)服務(wù)器部署在省廳,市局通過環(huán)保專網(wǎng)WEB頁

面訪問。

2、重點(diǎn)污染源自動(dòng)監(jiān)控系統(tǒng)服務(wù)器部署在省廳,市局通過安裝客戶端訪問。

3、市局門戶網(wǎng)站服務(wù)器部署在市信息中心機(jī)房。

2.1.3現(xiàn)有數(shù)據(jù)屬性分析

目前環(huán)保局現(xiàn)有信息系統(tǒng)主要采用了SQLServer和oracle的數(shù)據(jù)庫,此外

由于視頻裝備和公眾的參與,以及管理部門需求的擴(kuò)展和應(yīng)用的深入,圖形圖像

信息和多媒體信息的處理需求也日益增加。本項(xiàng)目處理和存儲的主要信息類型包

括文本信息、數(shù)值信息、圖形圖像信息等。

數(shù)值型信息:主要包括各種基礎(chǔ)業(yè)務(wù)數(shù)據(jù)、污染源動(dòng)態(tài)監(jiān)測數(shù)據(jù)、規(guī)劃計(jì)劃

指標(biāo)數(shù)據(jù)、模型測算結(jié)果數(shù)據(jù)等;

文本型信息:主要是各種規(guī)劃計(jì)劃文本、政策文件、研究報(bào)告、法律文獻(xiàn)、

公眾反饋意見等;

圖形圖像信息:主要是空間地理信息、關(guān)系環(huán)保的基礎(chǔ)設(shè)施、建設(shè)項(xiàng)目資料、

各種掃描文件等。

2.2數(shù)據(jù)信息需求

本項(xiàng)目基于生態(tài)環(huán)境監(jiān)測網(wǎng)絡(luò)和生態(tài)環(huán)境大數(shù)據(jù)進(jìn)行規(guī)劃設(shè)計(jì),因此從數(shù)據(jù)

信息的需求方面不僅僅限于對環(huán)保業(yè)務(wù)應(yīng)用數(shù)據(jù)的需要,同時(shí)還對包括國土、規(guī)

劃、交通、城建、衛(wèi)生、工業(yè)生產(chǎn)、產(chǎn)業(yè)經(jīng)濟(jì)、社會(huì)管理、日常行為等各個(gè)方面

的數(shù)據(jù)有需要,依托大數(shù)據(jù)平臺的分析工具,實(shí)現(xiàn)大數(shù)據(jù)的深入挖掘,從而可以

更好的服務(wù)本地的環(huán)境管理、環(huán)境治理和生態(tài)文明建設(shè)。

1、環(huán)保管理類的信息資源可以分為下面幾類:

>污染源數(shù)據(jù):包括建設(shè)項(xiàng)目管理、重點(diǎn)污染源在線監(jiān)控、污染源監(jiān)督性

監(jiān)測、排污申報(bào)、排污收費(fèi)、公眾監(jiān)督與現(xiàn)場執(zhí)法的各方面業(yè)務(wù)管理數(shù)

據(jù)。

>環(huán)境質(zhì)量數(shù)據(jù):包括水環(huán)境、空氣環(huán)境質(zhì)量及噪聲環(huán)境質(zhì)量數(shù)據(jù)。

>核與輻射數(shù)據(jù):輻射建設(shè)項(xiàng)目管理數(shù)據(jù)、輻射許可證管理數(shù)據(jù)、輻射環(huán)

境監(jiān)測管理數(shù)據(jù)、核與電磁輻射管理數(shù)據(jù)及放射源監(jiān)督管理數(shù)據(jù)。

>應(yīng)急管理數(shù)據(jù):環(huán)境應(yīng)急接警與預(yù)警管理數(shù)據(jù)、環(huán)境應(yīng)急指揮調(diào)度數(shù)據(jù)、

環(huán)境應(yīng)急監(jiān)測管理數(shù)據(jù)、環(huán)境突發(fā)事件后評估管理數(shù)據(jù)等。

>生態(tài)環(huán)境數(shù)據(jù):包括區(qū)域生態(tài)環(huán)境管理數(shù)據(jù)、農(nóng)村生態(tài)環(huán)境保護(hù)管理數(shù)

據(jù)以及生物多樣性保護(hù)數(shù)據(jù)等。

>環(huán)境空間數(shù)據(jù):包括各類基礎(chǔ)地圖數(shù)據(jù)、環(huán)境專題圖數(shù)據(jù)及遙感數(shù)據(jù),

用以支撐業(yè)務(wù)數(shù)據(jù)的空間應(yīng)用與分析。

13

A文檔數(shù)據(jù):主要包括各類環(huán)保政策法規(guī)、規(guī)劃及公文數(shù)據(jù),用以支撐環(huán)

境管理業(yè)務(wù)工作。

>信息分類及標(biāo)準(zhǔn)代碼:主要包括環(huán)境管理的各類標(biāo)準(zhǔn)化代碼,如污染源

類別、行業(yè)類型等。

>機(jī)動(dòng)車尾氣監(jiān)測治理相關(guān)數(shù)據(jù)。

>環(huán)境統(tǒng)計(jì)數(shù)據(jù)。

>污染源普查數(shù)據(jù)。

2、非環(huán)保類的數(shù)據(jù)主要需要:

>氣象數(shù)據(jù)

>人口數(shù)據(jù)

>國土規(guī)劃數(shù)據(jù)

>農(nóng)業(yè)種植分布

>法人庫

>社會(huì)經(jīng)濟(jì)運(yùn)行數(shù)據(jù)

2.3需求分析

現(xiàn)有信息系統(tǒng)和網(wǎng)絡(luò)、數(shù)據(jù)等資源,目前可以基本滿足日常的工作需要,但

是由于環(huán)保局正在由環(huán)境污染被動(dòng)應(yīng)對向主動(dòng)監(jiān)管的模式轉(zhuǎn)變,全局協(xié)同建設(shè)環(huán)

境生態(tài)環(huán)境大數(shù)據(jù)平臺,因此需要在以下幾個(gè)方面滿足新需求,實(shí)現(xiàn)新突破:

>以生態(tài)環(huán)境大數(shù)據(jù)平臺的建設(shè)為重心,為做好基礎(chǔ)性建設(shè),在規(guī)劃階段

即建立相關(guān)的標(biāo)準(zhǔn)和規(guī)范,如:資源目錄規(guī)范、數(shù)據(jù)融合平臺數(shù)據(jù)元規(guī)

14

范、數(shù)據(jù)交換平臺數(shù)據(jù)校驗(yàn)標(biāo)準(zhǔn)、對外公布數(shù)據(jù)的規(guī)范標(biāo)準(zhǔn)、行政執(zhí)法

事項(xiàng)數(shù)據(jù)規(guī)范等;

以環(huán)境質(zhì)量為核心的管理思路,需要對污染源監(jiān)管、環(huán)境質(zhì)量監(jiān)測等相

關(guān)系統(tǒng)從業(yè)務(wù)協(xié)同、數(shù)據(jù)共享和決策分析等方面實(shí)現(xiàn)更深的融合;

更廣泛的生態(tài)環(huán)境監(jiān)測網(wǎng)絡(luò)建設(shè),一方面需要整合現(xiàn)有的自動(dòng)監(jiān)測、常

規(guī)日常監(jiān)測、第三方監(jiān)測以及其他各種方式的人工監(jiān)測等數(shù)據(jù),另一方

面需要從監(jiān)測點(diǎn)位數(shù)量和設(shè)置方式上進(jìn)行擴(kuò)展,通過地理信息系統(tǒng)實(shí)現(xiàn)

對全市各類監(jiān)測、監(jiān)控的點(diǎn)位、目標(biāo)實(shí)現(xiàn)統(tǒng)一的管理,直觀便捷的為管

理決策的實(shí)施調(diào)度提供支持;

為了滿足更加精細(xì)化和有針對性的監(jiān)管,在本級需要針對污染源的在線

監(jiān)控,以及污染源的視頻監(jiān)控提供更全面覆蓋全市重點(diǎn)污染源的環(huán)保物

聯(lián)網(wǎng)監(jiān)控平臺,實(shí)現(xiàn)涵蓋國控污染源和非國控污染源的全面管理,為全

市環(huán)境管理、治理、規(guī)劃等決策提供本地化的支持服務(wù);

落實(shí)生態(tài)紅線管理,嚴(yán)格紅線準(zhǔn)入規(guī)范,更好地為的及發(fā)展服務(wù),通過

環(huán)保建設(shè)項(xiàng)目、環(huán)評等審批的準(zhǔn)入,實(shí)現(xiàn)生態(tài)紅線“劃得出守得住”,

為實(shí)施生態(tài)補(bǔ)償、農(nóng)村環(huán)境治理、項(xiàng)目準(zhǔn)入提供更全面的支撐服務(wù)。

滿足與環(huán)保相關(guān)的其他機(jī)構(gòu)、單位、個(gè)人提供的環(huán)保監(jiān)測、業(yè)務(wù)處理、

數(shù)據(jù)分析、主題分析、專項(xiàng)統(tǒng)計(jì)等數(shù)據(jù),通過統(tǒng)一共享交換平臺實(shí)現(xiàn)數(shù)

據(jù)的整合,完善生態(tài)環(huán)保大數(shù)據(jù)的內(nèi)容建設(shè)。改善現(xiàn)有數(shù)據(jù)共享和數(shù)據(jù)

挖掘的不充分、不及時(shí)、不完整和不準(zhǔn)確等現(xiàn)狀,進(jìn)而可以提供更加可

靠的決策支持;

生態(tài)環(huán)境大數(shù)據(jù)平臺的建設(shè),需要進(jìn)一步滿足對全市的政府、企業(yè)、公

眾所關(guān)注的環(huán)境質(zhì)量信息的獲取要求,包括提供更多媒體和渠道的信息

服務(wù),確立環(huán)境信息的一致性、權(quán)威性,同時(shí)還要為全民參與環(huán)保提供

便利的途徑。

15

綜合以上需求分析,環(huán)保局的生態(tài)環(huán)境大數(shù)據(jù)平臺建設(shè),必須要完成生態(tài)環(huán)

境大數(shù)據(jù)融合共享中心的規(guī)劃建設(shè),實(shí)現(xiàn)全市環(huán)境管理相關(guān)的數(shù)據(jù)信息的采集、

整合、數(shù)據(jù)分析和應(yīng)用服務(wù)支持,并且做好數(shù)據(jù)存儲安全、元數(shù)據(jù)定義、質(zhì)量提

升、共享交換和統(tǒng)一發(fā)布等管理工作,并實(shí)現(xiàn)與空間地理信息的完美融合和展現(xiàn),

最終為服務(wù)各種業(yè)務(wù)協(xié)同、行業(yè)監(jiān)管、決策分析提供統(tǒng)一高效的支撐平臺。

16

3總體設(shè)計(jì)

3.1技術(shù)思路

生態(tài)環(huán)境大數(shù)據(jù)平臺的規(guī)劃設(shè)計(jì),遵循環(huán)保部編制的《生態(tài)環(huán)境大數(shù)據(jù)建設(shè)

總體方案》指導(dǎo),遵循全面采集、數(shù)據(jù)整合、共享交換、業(yè)務(wù)協(xié)同、分析挖掘和

決策支持的總體思路,結(jié)合統(tǒng)一門戶管理和信息發(fā)布管理,建設(shè)生態(tài)大數(shù)據(jù)平臺

的應(yīng)用支撐。

在技術(shù)設(shè)計(jì)方面,主要遵循分層建設(shè)、集成架構(gòu)和迭代演進(jìn)的思路,實(shí)現(xiàn)生

態(tài)大數(shù)據(jù)平臺的規(guī)劃建設(shè)在持續(xù)的應(yīng)用服務(wù)中得到更新完善。

(-)分層建設(shè)思想

生態(tài)環(huán)境大數(shù)據(jù)平臺由多個(gè)子系統(tǒng)組成,包含眾多的功能,其中有公共的功

能部分,也有特定的功能。分層從邏輯上將子系統(tǒng)劃分成許多集合,而層間關(guān)系

的形成要遵循一定的規(guī)則。通過分層,可以限制子系統(tǒng)間的依賴關(guān)系,使系統(tǒng)以

更松散的方式耦合,從而更易于維護(hù)。

(二)集成架構(gòu)模型

通過采用集成架構(gòu)模型,以集成目前已經(jīng)開發(fā)和未來要開發(fā)的各種應(yīng)用系

統(tǒng),解決各個(gè)相關(guān)部門內(nèi)部的各種應(yīng)用系統(tǒng)之間的信息共享、流程整合的問題。

(三)分步建設(shè),迭代演進(jìn)思想

生態(tài)環(huán)境大數(shù)據(jù)平臺建設(shè)不是一蹴而就而是循序漸進(jìn)的過程,根據(jù)生態(tài)環(huán)

境管理目標(biāo)要求,分階段、有重點(diǎn)的進(jìn)行信息化建設(shè),務(wù)求實(shí)效。

3.2總體架構(gòu)

生態(tài)環(huán)境大數(shù)據(jù)平臺按照“一網(wǎng)、一云、一中心、一平臺、N應(yīng)用”的總體

架構(gòu)進(jìn)行建設(shè)。其中,“一網(wǎng)”指的是生態(tài)環(huán)境監(jiān)測網(wǎng),“一云”是指生態(tài)環(huán)境

17

大數(shù)據(jù)云計(jì)算平臺,“一中心”是指生態(tài)環(huán)境大數(shù)據(jù)融合共享中心,“一平臺”

是指生態(tài)環(huán)境大數(shù)據(jù)分析與應(yīng)用平臺,“N應(yīng)用”指的是指監(jiān)測、監(jiān)察、監(jiān)管、

政務(wù)四大業(yè)務(wù)應(yīng)用系統(tǒng)和生態(tài)環(huán)境科學(xué)決策創(chuàng)新應(yīng)用??傮w框架如下所示:

.一網(wǎng):生的境監(jiān)測網(wǎng)

--S:算平臺

^曾

■一中心:副!合共享中心

一院—公司

■一平臺:分析與應(yīng)用平臺

■四應(yīng)用:監(jiān)測、監(jiān)察、監(jiān)管、政務(wù)大系統(tǒng)

■六創(chuàng)新:生福梯科學(xué)決策創(chuàng)新應(yīng)用

(包括為、水、土壤、污染源、環(huán)啊

險(xiǎn)、生態(tài)保護(hù)六方面創(chuàng)新應(yīng)用)

“智囊服務(wù)、平臺共建、運(yùn)營支持”

一院:生的境大產(chǎn)業(yè)研究院

■3司:生的境大數(shù)據(jù)運(yùn)營公司

以改善環(huán)境質(zhì)量為核心,以管理模式創(chuàng)新和技術(shù)創(chuàng)新為驅(qū)動(dòng),以大數(shù)據(jù)思維

為引領(lǐng),建立“用數(shù)據(jù)說話、用數(shù)據(jù)決策、用數(shù)據(jù)管理、用數(shù)據(jù)創(chuàng)新”的管理機(jī)

制,推進(jìn)環(huán)境管理轉(zhuǎn)型,提升生態(tài)環(huán)境治理能力,為實(shí)現(xiàn)生態(tài)環(huán)境質(zhì)量總體改善

目標(biāo)提供有力支撐。

平臺建設(shè)按照“智囊服務(wù)、平臺共建、運(yùn)營支持”的指導(dǎo)思想進(jìn)行推進(jìn)。

3.3關(guān)鍵技術(shù)

3.3.1數(shù)據(jù)中間件技術(shù)

數(shù)據(jù)中間件為客戶端與服務(wù)端提供的適配的中間層,從而簡化客戶端的操作

對象和方式,將與服務(wù)器、數(shù)據(jù)庫、硬件、軟件系統(tǒng)等的交互工作,統(tǒng)一到中間

層進(jìn)行管理和實(shí)現(xiàn)。并且中間層可以對客戶端完全透明,為業(yè)務(wù)邏輯的更新提供

工具支撐,從技術(shù)層面降低客戶端與服務(wù)端的耦合度,實(shí)現(xiàn)可分可合的業(yè)務(wù)邏輯

構(gòu)建,是一套面向?qū)ο蟮模С址植际?、跨語言、支持持久化數(shù)據(jù)、支持豐富數(shù)

據(jù)類型的組件框架。

3.3.2安全接入平臺技術(shù)

18

生態(tài)環(huán)境大數(shù)據(jù)搭建專網(wǎng)平臺,在隔離的基礎(chǔ)上實(shí)現(xiàn)數(shù)據(jù)交換,支撐分布在

專用網(wǎng)上的應(yīng)用需經(jīng)常進(jìn)行大量數(shù)據(jù)交換,甚至有些業(yè)務(wù)逐漸融合。接入業(yè)務(wù)操

作方式分為數(shù)據(jù)交換和授權(quán)訪問兩大類。

安全接入平臺對數(shù)據(jù)交換和授權(quán)訪問提供了整合管理,讓用戶通過安全接入

平臺可以方便的訪問所需的數(shù)據(jù)和系統(tǒng),由平臺配置實(shí)現(xiàn)安全管理的全部操作和

控制保障,包括:身份認(rèn)證、終端認(rèn)證、授權(quán)與訪問控制、數(shù)據(jù)完整性保護(hù)、數(shù)

據(jù)格式過濾、數(shù)據(jù)內(nèi)容過濾、數(shù)據(jù)加密、數(shù)字簽名、安全審計(jì)、單道訪問、安全

隔離、注冊管理服務(wù)、監(jiān)控管理服務(wù)、審計(jì)管理服務(wù)、監(jiān)管探針和監(jiān)控管理。

3.3.3實(shí)時(shí)數(shù)據(jù)中心技術(shù)

本期項(xiàng)目建設(shè)需要接入大量實(shí)時(shí)類數(shù)據(jù),如污染源、環(huán)境質(zhì)量、視頻等各類

實(shí)時(shí)監(jiān)測類數(shù)據(jù),同時(shí)數(shù)量還會(huì)不斷擴(kuò)大,又存在同時(shí)監(jiān)測,同時(shí)數(shù)據(jù)上傳.實(shí)時(shí)

數(shù)據(jù)對網(wǎng)絡(luò)、存儲、計(jì)算都帶來了很大的壓力,帶來的壓力是持續(xù)不斷的,挑戰(zhàn)

主要不在于帶寬,而在于對海量小數(shù)據(jù)、高并發(fā)性條件的處理能力。

在數(shù)據(jù)采集層面,采用分布式生態(tài)采集架構(gòu),允許多點(diǎn)接入、多種方式接入、

多個(gè)系統(tǒng)接入、多個(gè)單位接入。在數(shù)據(jù)集成層面,將數(shù)據(jù)采集與數(shù)據(jù)存儲分離。

在數(shù)據(jù)存儲方面,使用分布式存儲替代傳統(tǒng)關(guān)系型數(shù)據(jù)庫。在數(shù)據(jù)處理層面,除

了采用分布式并行計(jì)算框架處理海量歷史數(shù)據(jù)外。在應(yīng)用平臺層面,通過集群技

術(shù)提供擴(kuò)展性和負(fù)載均衡。

3.3.4分布式系統(tǒng)運(yùn)行動(dòng)態(tài)管控技術(shù)

對于生態(tài)環(huán)境大數(shù)據(jù)的日常應(yīng)用過程中,建立系統(tǒng)運(yùn)行動(dòng)態(tài)管控監(jiān)控機(jī)制,

對日常系統(tǒng)運(yùn)行的軟硬件狀況實(shí)現(xiàn)動(dòng)態(tài)管控.系統(tǒng)能實(shí)現(xiàn)服務(wù)的動(dòng)態(tài)配置管控,

提供該平臺基礎(chǔ)設(shè)施監(jiān)控,采用模塊化分布式架構(gòu)、直觀便捷地展示各類軟硬件

資源的運(yùn)行狀況,準(zhǔn)確快速地定位設(shè)備故障源,并提供二次開發(fā)接口,實(shí)現(xiàn)模塊

擴(kuò)展和集成管控。

3.3.5跨平臺移動(dòng)智能終端技術(shù)

跨平臺移動(dòng)智能終端中間件,將操作系統(tǒng)的差異性和軟硬件環(huán)境的差異性封

裝在中間件之下,使得開發(fā)的版本都能穩(wěn)定運(yùn)行,并保持用戶體驗(yàn)一致;有效支

19

持IOS和Android移動(dòng)端操作系統(tǒng),并通過此中間件實(shí)現(xiàn)移動(dòng)GIS的深度集成,

進(jìn)行整體中間件核心框架搭建,同時(shí)實(shí)現(xiàn)界面定制及展現(xiàn)的自適應(yīng)。

20

4建設(shè)方案

4.1一網(wǎng):生態(tài)環(huán)境監(jiān)測網(wǎng)

江西省人民政府提出到2020年,全省生態(tài)環(huán)境監(jiān)測網(wǎng)絡(luò)基本實(shí)現(xiàn)環(huán)境質(zhì)量、

重點(diǎn)污染源、生態(tài)環(huán)境質(zhì)量監(jiān)測全覆蓋,各級各類監(jiān)測數(shù)據(jù)系統(tǒng)互聯(lián)共享,監(jiān)測

預(yù)報(bào)預(yù)警、信息化能力和保障水平明顯提升,監(jiān)測與監(jiān)管協(xié)同聯(lián)動(dòng),初步建成天

地一體、上下協(xié)同、信息共享的生態(tài)環(huán)境監(jiān)測網(wǎng)絡(luò),使生態(tài)環(huán)境監(jiān)測能力與生態(tài)

文明建設(shè)要求相適應(yīng)。

生態(tài)環(huán)境監(jiān)測物聯(lián)網(wǎng)數(shù)據(jù)是開展大數(shù)據(jù)分析的重要數(shù)據(jù)基礎(chǔ),為生態(tài)環(huán)境保

護(hù)決策、管理和執(zhí)法提供充足的數(shù)據(jù)支持。生態(tài)環(huán)境監(jiān)測物聯(lián)網(wǎng)體系主要包括環(huán)

境質(zhì)量監(jiān)測物聯(lián)網(wǎng)、污染源在線監(jiān)測物聯(lián)網(wǎng)、生態(tài)環(huán)境遙感動(dòng)態(tài)監(jiān)測物聯(lián)網(wǎng)。

本方案主要實(shí)現(xiàn)實(shí)現(xiàn)全市生態(tài)環(huán)境監(jiān)測信息集成共享,具體內(nèi)容如下:

(1)建立生態(tài)環(huán)境監(jiān)測數(shù)據(jù)集成共享機(jī)制

按照環(huán)境保護(hù)部“一庫一網(wǎng)一平臺”的要求,融合國土資源、環(huán)境保護(hù)、住

房城鄉(xiāng)建設(shè)、交通運(yùn)輸、農(nóng)業(yè)、林業(yè)、水利、衛(wèi)生計(jì)生、氣象等部門獲取的生態(tài)

環(huán)境質(zhì)量、污染源、水資源、水土流失、農(nóng)村飲用水源、地下水、耕地等生態(tài)環(huán)

境監(jiān)測數(shù)據(jù),實(shí)現(xiàn)有效集成、互聯(lián)共享。

(2)構(gòu)建生態(tài)環(huán)境監(jiān)測大數(shù)據(jù)平臺

加強(qiáng)生態(tài)環(huán)境監(jiān)測數(shù)據(jù)資源開發(fā)與應(yīng)用,開展大數(shù)據(jù)關(guān)聯(lián)分析,構(gòu)建生態(tài)環(huán)

境監(jiān)測大數(shù)據(jù)平臺,并與國家、省、縣形成逐級貫通的生態(tài)環(huán)境監(jiān)測數(shù)據(jù)傳輸網(wǎng)

絡(luò),滿足生態(tài)環(huán)境保護(hù)決策、管理和執(zhí)法的數(shù)據(jù)需求。

(3)統(tǒng)一發(fā)布生態(tài)環(huán)境監(jiān)測信息

建立統(tǒng)一的生態(tài)環(huán)境監(jiān)測信息發(fā)布機(jī)制,制定生態(tài)環(huán)境監(jiān)測信息發(fā)布管理規(guī)

定,規(guī)范發(fā)布內(nèi)容、流程、權(quán)限、渠道等,及時(shí)準(zhǔn)確發(fā)布全市生態(tài)環(huán)境質(zhì)量、重

21

點(diǎn)污染源、企業(yè)自行監(jiān)測及生態(tài)狀況監(jiān)測信息,提高政府環(huán)境信息發(fā)布的權(quán)威性

和公信力。

(4)完善生態(tài)環(huán)境質(zhì)量預(yù)警監(jiān)測體系

通過空氣質(zhì)量預(yù)報(bào)預(yù)警系統(tǒng)的試點(diǎn),為逐步開展全省環(huán)境空氣質(zhì)量數(shù)值預(yù)報(bào)

預(yù)警工作提供經(jīng)驗(yàn),形成“區(qū)域-省級-城市”環(huán)境空氣質(zhì)量預(yù)報(bào)預(yù)警體系。拓展

水質(zhì)自動(dòng)監(jiān)測范圍,涵蓋南昌主要河流市界斷面、集中式飲用水源地,開展水質(zhì)

變化趨勢和風(fēng)險(xiǎn)預(yù)警預(yù)測研究。

22

4.2一云:生態(tài)環(huán)境云計(jì)算平臺

云計(jì)算平臺主要為生態(tài)環(huán)境大數(shù)據(jù)平臺運(yùn)行提供存儲和計(jì)算資源支撐。滿足

市環(huán)保局100MB接入、縣環(huán)保局及直屬單位10MB接入,省、市、縣環(huán)保廳局之

間可以任意相互訪問?;谠朴?jì)算平臺的硬件更新快及維護(hù)難的現(xiàn)實(shí)情況,建議

采用租用政務(wù)私有云和公有云的方式。

4.3一中心:生態(tài)環(huán)境大數(shù)據(jù)融合共享中心

4.3.1信息資源規(guī)劃與數(shù)據(jù)庫設(shè)計(jì)

依據(jù)統(tǒng)一的技術(shù)規(guī)范和技術(shù)標(biāo)準(zhǔn),建設(shè)信息資源規(guī)劃體系框架,建立生態(tài)環(huán)

境大數(shù)據(jù)中心,逐步實(shí)現(xiàn)各業(yè)務(wù)條線數(shù)據(jù)的接入,通過資源整合,使信息系統(tǒng)用

戶能夠使用的基礎(chǔ)信息庫,初步實(shí)現(xiàn)業(yè)務(wù)與信息資源的統(tǒng)一管理應(yīng)用。

信息資源規(guī)劃

.1設(shè)計(jì)原貝

信息資源是大數(shù)據(jù)中心的基礎(chǔ),必須遵循以下原則進(jìn)行設(shè)計(jì):

1.符合國家標(biāo)準(zhǔn),信息資源規(guī)劃和數(shù)據(jù)庫建設(shè)應(yīng)符合國家相關(guān)信息資源標(biāo)準(zhǔn)

規(guī)范。

2.能夠兼容現(xiàn)有業(yè)務(wù)系統(tǒng)數(shù)據(jù),大數(shù)據(jù)中心應(yīng)使用各業(yè)務(wù)系統(tǒng)產(chǎn)生的數(shù)據(jù),

以保證信息資源的連續(xù)性。

3.數(shù)據(jù)準(zhǔn)確性,數(shù)據(jù)的準(zhǔn)確性是大數(shù)據(jù)中心可用的基本要求,在建設(shè)時(shí)必須

對數(shù)據(jù)的準(zhǔn)確性進(jìn)行嚴(yán)格的審核、校驗(yàn)工作,保證系統(tǒng)的正常運(yùn)行。

4.數(shù)據(jù)的訪問效率,在建設(shè)時(shí)必須把對數(shù)據(jù)的訪問效率設(shè)計(jì)放到重要的位置

給予充分的設(shè)計(jì)。

5.數(shù)據(jù)安全性,信息資源規(guī)劃和數(shù)據(jù)庫建設(shè)必須保住數(shù)據(jù)安全。

23

6.數(shù)據(jù)可追溯性,為了保證監(jiān)管行為的有效性,提高監(jiān)管的力度,以及提高

監(jiān)管的響應(yīng)時(shí)間,必須將數(shù)據(jù)的產(chǎn)生、處理、采集、轉(zhuǎn)換等信息完整的保存下來,

并清楚的標(biāo)注數(shù)據(jù)處理流程,以達(dá)到追溯數(shù)據(jù)源頭的目的。

7.信息可擴(kuò)展性,為了延長系統(tǒng)的使用壽命、有效保護(hù)系統(tǒng)投資,在建設(shè)時(shí)

應(yīng)充分考慮系統(tǒng)的擴(kuò)展性,以滿足不斷變化的國家政策和業(yè)務(wù)需求。

.2數(shù)據(jù)資源分類

1、按數(shù)據(jù)格式劃分

從數(shù)據(jù)存儲格式上看,項(xiàng)目接入的數(shù)據(jù)為生態(tài)環(huán)境相關(guān)的結(jié)構(gòu)化數(shù)據(jù)、半結(jié)

構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

?結(jié)構(gòu)化數(shù)據(jù)包括存儲在各類關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù);

?結(jié)構(gòu)化數(shù)據(jù)包括互聯(lián)輿情數(shù)據(jù)、公眾上網(wǎng)行為數(shù)據(jù);

?非結(jié)構(gòu)化數(shù)據(jù)包括各類圖片、聲音、視頻及文檔。

2、按獲取方式劃分

從獲取方式上看,數(shù)據(jù)資源分為垂直單位、市級單位。

?垂直單位:在調(diào)研過程中,有不少信息系統(tǒng)由垂直單位承建,這類數(shù)據(jù)

信息從已經(jīng)建設(shè)的基礎(chǔ)庫中抽取

?市級單位:由市級單位獨(dú)立建設(shè)的系統(tǒng),則直接從市級單位獲取數(shù)據(jù),

如市各委辦局的應(yīng)用系統(tǒng)。

3、按更新頻率劃分

從更新周期上看,數(shù)據(jù)資源包括長期靜態(tài)數(shù)據(jù)、周期更新數(shù)據(jù)、定期更新數(shù)

據(jù)、實(shí)時(shí)監(jiān)測數(shù)據(jù)。

?長期靜態(tài)數(shù)據(jù)是指在相當(dāng)長一段時(shí)間內(nèi)數(shù)據(jù)資源內(nèi)容不會(huì)發(fā)生變化的數(shù)

據(jù),如企業(yè)名稱、污染源編碼、人的身份證號碼、性別等信息;

24

?周期更新數(shù)據(jù)是指在比較長的一段時(shí)間內(nèi)或一定周期內(nèi)進(jìn)行有變化或更

新的數(shù)據(jù),如環(huán)統(tǒng)數(shù)據(jù)、污普數(shù)據(jù)、企業(yè)法人變更等;

?定期更新數(shù)據(jù)是指在固定一段時(shí)間(通常1年以內(nèi))按照規(guī)定的時(shí)間間

隔進(jìn)行更新的數(shù)據(jù),如重點(diǎn)污染源、監(jiān)督性監(jiān)測數(shù)據(jù)等;

?實(shí)時(shí)監(jiān)測數(shù)據(jù)是指通過自動(dòng)監(jiān)測儀器獲取的實(shí)時(shí)變化數(shù)據(jù),包括環(huán)境質(zhì)

量、污染源在線等自動(dòng)監(jiān)測數(shù)據(jù)等。

4、按生命周期劃分

從數(shù)據(jù)資源的生命周期進(jìn)行劃分,包括數(shù)據(jù)的采集過程、數(shù)據(jù)的交換過程、

數(shù)據(jù)的整合過程、數(shù)據(jù)的服務(wù)過程、數(shù)據(jù)的應(yīng)用過程以及數(shù)據(jù)的監(jiān)控過程。

.3數(shù)據(jù)流向及網(wǎng)絡(luò)通道

根據(jù)生態(tài)環(huán)境大數(shù)據(jù)平臺項(xiàng)目實(shí)施過程的環(huán)境來定義,數(shù)據(jù)通過政務(wù)專網(wǎng)和

互聯(lián)網(wǎng)通道接入。

1、政務(wù)專網(wǎng)通道

對于有政務(wù)專網(wǎng)環(huán)境的各相關(guān)業(yè)務(wù)管理單位,相關(guān)單位用PC機(jī)通過政務(wù)專

網(wǎng)訪問放置在政務(wù)專網(wǎng)區(qū)域的系統(tǒng)來接入項(xiàng)目相關(guān)數(shù)據(jù)。

2、互聯(lián)網(wǎng)通道

對于沒有政務(wù)專網(wǎng)環(huán)境的相關(guān)單位,通過互聯(lián)網(wǎng)通道訪問放置在互聯(lián)網(wǎng)區(qū)域

的系統(tǒng)來接入項(xiàng)目相關(guān)數(shù)據(jù),互聯(lián)網(wǎng)區(qū)域的系統(tǒng)支持傳統(tǒng)PC機(jī)的連接訪問,以

及移動(dòng)智能終端訪問系統(tǒng)的有限功能。

4.3.1.2數(shù)據(jù)庫設(shè)計(jì)

.1框架設(shè)計(jì)

數(shù)據(jù)庫總體框架結(jié)構(gòu)設(shè)計(jì)如下圖所示:

25

源數(shù)據(jù)層ODS層基他層主題應(yīng)用層

包括源數(shù)據(jù)層、ODS層、基礎(chǔ)層、主題應(yīng)用層四個(gè)層次,具體如下:

1、源數(shù)據(jù)層:源數(shù)據(jù)層是數(shù)據(jù)的源頭,主要項(xiàng)目涉及的相關(guān)部門提供的數(shù)

據(jù)資源。

2、ODS層:通過數(shù)據(jù)采集交換,源數(shù)據(jù)層的數(shù)據(jù)被集中到數(shù)據(jù)中心的ODS

層,實(shí)現(xiàn)內(nèi)部資源、外部資源的集中存儲、清洗規(guī)整。

3、基礎(chǔ)層:該層則是按相關(guān)規(guī)范對ODS層的數(shù)據(jù)進(jìn)行分類組織,形成可再

生利用的基礎(chǔ)數(shù)據(jù)資源。為保證基礎(chǔ)數(shù)據(jù)的標(biāo)準(zhǔn)性、規(guī)范性、擴(kuò)展性,基礎(chǔ)層還

設(shè)置了各類標(biāo)準(zhǔn)、規(guī)范、配置等元數(shù)據(jù)庫,以及各種可復(fù)用的業(yè)務(wù)模型庫等。

4、應(yīng)用層:該層次則是根據(jù)應(yīng)用的具體需求,直接使用基礎(chǔ)數(shù)據(jù),或基于

主題對基礎(chǔ)層相關(guān)資源進(jìn)行重新組織,建成各種主題庫。

.2源數(shù)據(jù)層

源數(shù)據(jù)層主要包括對接系統(tǒng)的數(shù)據(jù)庫、前置庫、其他數(shù)據(jù)中心或接口。

4.3.1.2.3ODS層

26

ODS層是數(shù)據(jù)處理的重要組成部分,主要實(shí)現(xiàn)對來自各部門交換來的數(shù)據(jù)進(jìn)

行集中管理,按照數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范,對來自多源頭的數(shù)據(jù)進(jìn)行清洗、比對、合并、

匯聚,并找出問題數(shù)據(jù),控制數(shù)據(jù)質(zhì)量。

ODS層模型:該庫按業(yè)務(wù)形態(tài)組織,實(shí)現(xiàn)數(shù)據(jù)資源數(shù)據(jù)的集中存儲,并保持

數(shù)據(jù)的原生態(tài)性。

4.3.1.2.4基礎(chǔ)層

1、公共基礎(chǔ)庫

1)宏觀經(jīng)濟(jì)庫

生態(tài)環(huán)境大數(shù)據(jù)平臺建設(shè)采用數(shù)據(jù)接入的方式從統(tǒng)計(jì)局等相關(guān)單位獲取數(shù)

據(jù),完成宏觀庫信息的采集,字段結(jié)構(gòu)保持一致。

2)地理空間庫

依托于原有地理信息數(shù)據(jù),在其基礎(chǔ)上進(jìn)行整合規(guī)劃局、國土局等相關(guān)圖層

數(shù)據(jù),以滿足現(xiàn)階段需求,并符合數(shù)據(jù)交換共享未來發(fā)展和建設(shè)方向。同時(shí),將

污染源監(jiān)管信息與地理信息庫對接,實(shí)現(xiàn)污染源企業(yè)的二維平面在地理信息庫中

的三維立體化展示,即在“一張圖”中查詢閱覽污染源企業(yè)信息資源,幫助各部

門開展日常工作。

3)人口基礎(chǔ)數(shù)據(jù)庫

人口基礎(chǔ)數(shù)據(jù)庫建設(shè),以現(xiàn)有的常住人口和流動(dòng)人口基礎(chǔ)信息為基礎(chǔ),逐步

整合公安、計(jì)生、社保、民政、教育、衛(wèi)生、統(tǒng)計(jì)等部門與人相關(guān)的基礎(chǔ)信息,

建成標(biāo)準(zhǔn)統(tǒng)一的全市人口基礎(chǔ)數(shù)據(jù)庫。涉及常住人口、流動(dòng)人口、特殊人群(如

失業(yè)、低保、殘疾、社區(qū)矯正、刑釋等)等自然人信息。

包括但不限于人口戶籍信息、戶籍變更信息、人口出生信息、育齡婦女信息、

計(jì)劃生育信息、適齡人口信息、在校學(xué)生信息、學(xué)生團(tuán)員信息、學(xué)校教師信息、

就業(yè)人員信息、失業(yè)人員信息、個(gè)人勞動(dòng)保障代理信息、職業(yè)指導(dǎo)信息、離退休

人員信息、養(yǎng)老保險(xiǎn)信息、醫(yī)療保險(xiǎn)信息、失業(yè)保險(xiǎn)信息、工傷保險(xiǎn)信息、生育

保險(xiǎn)信息、工傷人員信息、工傷鑒定信息、醫(yī)療機(jī)構(gòu)信息、婚姻檔案信息、離婚

27

登記信息、健康檔案信息、傷殘軍人信息、烈士家屬信息、干部編制信息、國家

公務(wù)員信息、專業(yè)技術(shù)人員信息、人事調(diào)動(dòng)信息、個(gè)人黑名單信息企業(yè)接受公安

廳行政處罰信息、企業(yè)及重點(diǎn)人群重大經(jīng)濟(jì)犯罪信息、住房公積金個(gè)人公積金年

度匯繳明細(xì)信息等基礎(chǔ)數(shù)據(jù)。

4)法人基礎(chǔ)數(shù)據(jù)庫

法人基礎(chǔ)數(shù)據(jù)庫是以社會(huì)統(tǒng)一信用碼為唯一標(biāo)識,結(jié)合市場監(jiān)管部門的法人

數(shù)據(jù)庫實(shí)際建設(shè)情況和與上級共享交換平臺法人數(shù)據(jù)交換情況進(jìn)行建設(shè),加強(qiáng)信

息共享交換,通過確定信息比對規(guī)則,對法人基本信息的歷史數(shù)據(jù)進(jìn)行批量比對

和數(shù)據(jù)糾錯(cuò),保證法人基礎(chǔ)信息在各主要管理部門的一致性和惟一性,推動(dòng)數(shù)據(jù)

資源綜合利用。

依托現(xiàn)有電子政務(wù)數(shù)據(jù)資源,將分散在各政府部門的信息資源通過共享和交

換平臺進(jìn)行整合,重點(diǎn)涵蓋登記變更、稅源稅務(wù)、行政許可、行政處罰、人力資

源、信用評估、資質(zhì)認(rèn)證、榮譽(yù)表彰、市場監(jiān)管、規(guī)劃統(tǒng)計(jì)、水電燃?xì)?、科技?chuàng)

新、金融投資、產(chǎn)業(yè)經(jīng)濟(jì)、土地房產(chǎn)等方面年度、季度、月度共享數(shù)據(jù),進(jìn)一步

拓展與完善法人基礎(chǔ)數(shù)據(jù)庫內(nèi)容。

包括但不限于企業(yè)所得稅信息、減稅免稅及其他相關(guān)事宜信息、納稅信用等

級納稅人備案信息、企業(yè)領(lǐng)購發(fā)票情況、營業(yè)稅入庫情況、注銷稅務(wù)登記信息、

被執(zhí)行人的“老賴”信息、企業(yè)案件信息、特種行業(yè)許可證信息、企業(yè)拖欠電費(fèi)

信息、企業(yè)用電量信息、國稅欠稅信息、一般納稅人增值稅應(yīng)納稅額信息、小規(guī)

模納稅人增值稅應(yīng)納稅額信息、企業(yè)免抵稅信息采集表、雙定戶超定額信息、雙

定戶定額信息表、國稅稅務(wù)登記基本信息、納稅信用等級納稅人備案信息、注銷

稅務(wù)登記表、工商聯(lián)會(huì)員企業(yè)信息、會(huì)員企業(yè)榮譽(yù)信息、違法違章受處罰企業(yè)信

息、吊銷登記信息、監(jiān)督抽查信息、工商開業(yè)登記信息、守合同重信用企業(yè)資料、

注銷登記信息、企業(yè)安全培訓(xùn)機(jī)構(gòu)資格認(rèn)可信息、非煤礦礦山企業(yè)安全生產(chǎn)許可

證信息、危險(xiǎn)化學(xué)品經(jīng)營許可證核發(fā)信息、危險(xiǎn)化學(xué)品生產(chǎn)許可證核發(fā)信息、、財(cái)

政補(bǔ)貼信息、地稅變更稅務(wù)登記信息、地稅欠稅信息、地稅稅務(wù)登記基本信息、

地稅停業(yè)稅務(wù)登記信息等基礎(chǔ)數(shù)據(jù)。

28

2、公共業(yè)務(wù)庫

公共業(yè)務(wù)庫是除公共基礎(chǔ)庫,即四大基礎(chǔ)庫以外的業(yè)務(wù)數(shù)據(jù)的補(bǔ)充。根據(jù)各

數(shù)據(jù)資源的分布情況,從各委辦局接入數(shù)據(jù)并與公共基礎(chǔ)庫做整合。

4.3.1.2.5應(yīng)用層

建設(shè)公共專題庫的基本框架,并實(shí)施分庫管理,以支撐其他應(yīng)用的接入。

4.3.2數(shù)據(jù)對接接口設(shè)計(jì)

4.3.2.1接口概述

生態(tài)環(huán)境大數(shù)據(jù)平臺的大數(shù)據(jù)中心提供各部門系統(tǒng)接入的接口,實(shí)現(xiàn)大數(shù)據(jù)

中心與各信息系統(tǒng)的有機(jī)結(jié)合,以統(tǒng)一的接口規(guī)范實(shí)現(xiàn)不同數(shù)據(jù)庫、不同數(shù)據(jù)格

式的數(shù)據(jù)自動(dòng)提取。

在接口的調(diào)用過程中,存在相關(guān)信息系統(tǒng)調(diào)用本統(tǒng)接口的情況,這時(shí)候,相

關(guān)信息系統(tǒng)作為客戶端,生態(tài)環(huán)境大數(shù)據(jù)平臺作為服務(wù)器端。

4.3.2.2對接方式

4.3.2.2.1WebService接口接入

需要在接入的應(yīng)用系統(tǒng)前置機(jī)上部署數(shù)據(jù)接口程序,數(shù)據(jù)接口程序通過調(diào)用

大數(shù)據(jù)中心提供的WebService接口實(shí)現(xiàn)各系統(tǒng)的數(shù)據(jù)提取等功能。

4.3.2.2.2消息中間件數(shù)據(jù)交換接入

各行政單位如果具備數(shù)據(jù)交換中間件的,可采用數(shù)據(jù)交換中間件模式進(jìn)行,

數(shù)據(jù)交換中間件可以直接從各數(shù)據(jù)接入單位的業(yè)務(wù)數(shù)據(jù)庫中提取XML格式數(shù)據(jù),

并通過大數(shù)據(jù)中心的WebService或數(shù)據(jù)庫接口直接寫入,完成數(shù)據(jù)接入,要求

數(shù)據(jù)交換中間件支持XML數(shù)據(jù)交換模式。

4.3.3大數(shù)據(jù)交換共享系統(tǒng)

29

數(shù)據(jù)交換共享系統(tǒng),以數(shù)據(jù)目錄及數(shù)據(jù)虛擬化技術(shù)為核心,將數(shù)據(jù)交換共享

平臺物理庫上的數(shù)據(jù)注冊到虛擬化平臺,上層應(yīng)用或機(jī)關(guān)單位通過數(shù)據(jù)目錄索引

查詢所需數(shù)據(jù),平臺提供及時(shí)訪問、數(shù)據(jù)加工、數(shù)據(jù)調(diào)用的服務(wù)。

4.3.3.1數(shù)據(jù)交換

依據(jù)數(shù)據(jù)提供單位、數(shù)據(jù)使用單位的特點(diǎn),數(shù)據(jù)交換主要提供三種服務(wù)能力,

即:

1.對接入單位的IT系統(tǒng)提供公共基礎(chǔ)數(shù)據(jù),為IT系統(tǒng)提供通用信息資源

以及數(shù)據(jù)的導(dǎo)入;

2.對大數(shù)據(jù)主題應(yīng)用提供元數(shù)據(jù)信息及主題數(shù)據(jù)信息;

3.對前端門戶界面展示提供數(shù)據(jù)傳輸服務(wù)。

總體如下圖所示:

數(shù)提請求方數(shù)據(jù)交換處理服務(wù)

大數(shù)據(jù)中心

問叫使和,服務(wù)

前崗六工展示應(yīng)用API.(api.webservice.jdbc^)

------------------------------------------1-------------------------

.1數(shù)據(jù)交換請求管理

用戶通過門戶發(fā)起數(shù)據(jù)交換請求,該請求總體分為兩大類:

第一類指數(shù)據(jù)傳輸采集交換,即由接入單位的IT系統(tǒng)、大數(shù)據(jù)主題應(yīng)用發(fā)

起數(shù)據(jù)采集請求;該請求通過審核審批后,直接傳輸?shù)綌?shù)據(jù)采集抽取系統(tǒng);

30

第二類指數(shù)據(jù)界面展現(xiàn)請求,即用戶通過門戶查詢基礎(chǔ)數(shù)據(jù)、主題數(shù)據(jù)及目

錄數(shù)據(jù)等,通過API形式(含jdbc等)將數(shù)據(jù)傳輸?shù)介T戶界面進(jìn)行展示,該請

求無須審核,根據(jù)用戶的權(quán)限進(jìn)行數(shù)據(jù)展示。

系統(tǒng)提供數(shù)據(jù)交換請求的管理與審批。

.2ETL數(shù)據(jù)抽取與加載服務(wù)

ETL采集與抽取工具,接收到數(shù)據(jù)采集指令后,執(zhí)行數(shù)據(jù)采集任務(wù),對基礎(chǔ)

數(shù)據(jù)、主題數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行采集,支持離線批量采集與實(shí)時(shí)采集,采集

完成的數(shù)據(jù)通過ETL工具壓縮進(jìn)行傳輸。

采集的數(shù)據(jù)由ETL傳輸?shù)綌?shù)據(jù)交換共享平臺的前置服務(wù)設(shè)備進(jìn)行存儲,待接

入單位或主題應(yīng)用單位進(jìn)行采集。

.3消息通知服務(wù)

用戶請求交換的數(shù)據(jù)完成采集后,系統(tǒng)通知相關(guān)用戶,告知用戶數(shù)據(jù)已完成

采集,由用戶自行到數(shù)據(jù)交換共享平臺的前置服務(wù)設(shè)備進(jìn)行下載。

.4API數(shù)據(jù)交換服務(wù)

用戶通過門戶檢索、查詢目錄系統(tǒng)等相關(guān)數(shù)據(jù)時(shí),由系統(tǒng)自動(dòng)調(diào)用API服務(wù),

根據(jù)數(shù)據(jù)量、計(jì)算規(guī)模的大小,實(shí)時(shí)或非實(shí)時(shí)地將數(shù)據(jù)推送給門戶界面。

4.3.3.2數(shù)據(jù)共享

4.3.3.2.1共享服務(wù)提供

數(shù)據(jù)共享基于數(shù)據(jù)虛擬化過程實(shí)現(xiàn)。數(shù)據(jù)虛擬化管理包括數(shù)據(jù)發(fā)現(xiàn)和注冊、

數(shù)據(jù)目錄、共享管理及租戶管理。

4.3.3.2.2數(shù)據(jù)注冊

平臺在復(fù)雜數(shù)據(jù)環(huán)境中定位多個(gè)數(shù)據(jù)孤島中的相關(guān)實(shí)體,自動(dòng)完成數(shù)據(jù)匹配

工作,發(fā)現(xiàn)可用數(shù)據(jù),建立隱藏關(guān)系,并注冊在數(shù)據(jù)虛擬化平臺,形成邏輯上的

數(shù)據(jù)中心。

4.3.3.2.3數(shù)據(jù)目錄

31

針對平臺發(fā)布的可共享數(shù)據(jù)接口,將數(shù)據(jù)接口最終封裝成一個(gè)一個(gè)的服務(wù)包

對外發(fā)布,并進(jìn)行分類整理。以數(shù)據(jù)目錄形式,提供在線服務(wù)查詢索引、服務(wù)展

示及數(shù)據(jù)調(diào)用功能。

4.3.3.2.4共享服務(wù)

1)查詢服務(wù)

對上層業(yè)務(wù)提供靈活的數(shù)據(jù)查詢,屏蔽下層不同存儲處理方式的查詢。通過

統(tǒng)一的接口讓使用者和物理數(shù)據(jù)源隔離開來。使異構(gòu)的數(shù)據(jù)存儲不會(huì)對使用者產(chǎn)

生不利影響。

半/非結(jié)構(gòu)化數(shù)據(jù)查詢:使用OpenApi的形式,通過HTTP協(xié)議來查詢小批量

數(shù)據(jù),系統(tǒng)提供高穩(wěn)定性與低延遲的性能保證。適用與指標(biāo)庫、標(biāo)簽庫等類應(yīng)用

的數(shù)據(jù)訪問。

結(jié)構(gòu)化數(shù)據(jù)查詢:使用各種復(fù)雜的SQL中聚合分組語法來獲取數(shù)據(jù),導(dǎo)出

XML、JSON等格式數(shù)據(jù),適用于稍大數(shù)據(jù)量的即時(shí)分析類查詢需求。

2)資料服務(wù)

對上層應(yīng)用提供幫助文檔信息,主要包含數(shù)據(jù)模型、指標(biāo)口徑和API文檔。

數(shù)據(jù)模型:把元數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)表、模型定義信息通過接口開放給業(yè)務(wù)使

用者,可以查詢出來表定義相關(guān)的數(shù)據(jù)處理流程。

指標(biāo)口徑:開放指標(biāo)的口徑信息,清晰的表達(dá)出來指標(biāo)代表的含義。

API文檔:API列表,可以在線查詢API的參數(shù),幫助信息,并提供在線測

試用戶界面。

3)文件接口服務(wù)

支持在內(nèi)外部系統(tǒng)的不同存儲間(如Hadoop、DB2等),進(jìn)行數(shù)據(jù)的交換、

同步、分發(fā)。交換可以通過接口文件、JDBC等多種方式。針對大批量數(shù)據(jù)的交

互,應(yīng)通過調(diào)用底層事件服務(wù)與分發(fā)服務(wù),提交一個(gè)異步分發(fā)請求到事件服務(wù),

如輸入分發(fā)腳本、分發(fā)目錄包裝成消息,數(shù)據(jù)導(dǎo)出完成后分發(fā)到相應(yīng)的主機(jī)目錄。

32

4.3.3.2.5數(shù)據(jù)權(quán)限管理

主要面向平臺使用者和數(shù)據(jù)資源管理人員,提供信息資源查詢和展現(xiàn)能力,

以及相應(yīng)的信息資源權(quán)限管控。

1)平臺使用者

快速目錄檢索:通過數(shù)據(jù)資源目錄,由平臺實(shí)現(xiàn)數(shù)據(jù)快速檢索功能;

權(quán)限快速申請:提供權(quán)限申請調(diào)用接口,用戶在圖列表中點(diǎn)擊申請權(quán)限,完

成申請信息提交,由管理員進(jìn)行審批。

2)權(quán)限管控

對內(nèi)數(shù)據(jù)權(quán)限管控,驗(yàn)證內(nèi)部用戶是否有能夠訪問當(dāng)前數(shù)據(jù)的權(quán)限。在具備

權(quán)限條件下,才允許調(diào)用共享服務(wù)。

提供待審批列表:數(shù)據(jù)資源管理員通過待審批列表快速瀏覽到待審批的權(quán)限

申請,包括申請時(shí)間、申請人帳號、表資產(chǎn)名稱、所屬庫、所屬表空間、權(quán)限狀

態(tài)(待審批/已審批)、用途說明等,并能夠支持根據(jù)關(guān)鍵選項(xiàng)快速檢索;

提供已審批列表:查看已審批的數(shù)據(jù)權(quán)限列表;

提供權(quán)限審批:支持打開申請記錄,審批申請人的數(shù)據(jù)權(quán)限,完成授權(quán);

提供歷史審批查詢:根據(jù)時(shí)間范圍、表資產(chǎn)、所屬庫等關(guān)鍵條件查詢歷史權(quán)

限審批列表。

3)租戶管理

共享服務(wù)調(diào)用通過多租戶形式進(jìn)行管理。

多租戶是將數(shù)據(jù)查詢、數(shù)據(jù)處理和數(shù)據(jù)調(diào)用能力按需、可控的進(jìn)行開放,在

保障數(shù)據(jù)安全性、數(shù)據(jù)可控性的前提下,通過租戶的方式實(shí)現(xiàn)用戶及用戶組管理,

以達(dá)到資源管控及數(shù)據(jù)權(quán)限控制的目的。

多租戶注冊,由管理員創(chuàng)建并維護(hù),每個(gè)租戶都被分配一定的計(jì)算資源和存

儲資源,可以根據(jù)應(yīng)用情況動(dòng)態(tài)的調(diào)整。使用開發(fā)平臺的賬號,用戶與租戶的關(guān)

33

系是多對一,同一個(gè)應(yīng)用開發(fā)廠商或是數(shù)據(jù)開發(fā)部門的用戶都屬于同一個(gè)租戶,

使用租戶對應(yīng)的計(jì)算資源和存儲資源。

資源分配,對租戶的計(jì)算資源和存儲資源進(jìn)行分配。

4)計(jì)算資源

計(jì)算資源的分配主要是依據(jù)CPU虛擬核數(shù)和內(nèi)存量。

每個(gè)租戶分配一定的計(jì)算資源,此資源為租戶的獨(dú)占資源,在租戶內(nèi)部各任

務(wù)根據(jù)優(yōu)先級搶占資源。獨(dú)占資源耗盡時(shí),自動(dòng)搶占系統(tǒng)共享的空閑資源。

5)存儲資源

計(jì)算資源的分配主要是依據(jù)硬盤容量。

每個(gè)租戶根據(jù)名稱分配不同的HDFS存儲目錄,指定目錄的存儲空間(最小

單位MB)。

4.3.3.2.6共享服務(wù)方式

共享方式說明應(yīng)用場景示例

平臺將數(shù)據(jù)主動(dòng)導(dǎo)出文件,發(fā)

文件接口即席查詢臨時(shí)周期性生成數(shù)據(jù)

送給數(shù)據(jù)需求方

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論