工業(yè)園區(qū)智慧園區(qū)建設(shè)方案

工業(yè)園區(qū)智慧園區(qū)建設(shè)方案工業(yè)園區(qū)智慧園區(qū)建設(shè)方案工業(yè)園區(qū)智慧園區(qū)建設(shè)方案工業(yè)園區(qū)智慧園區(qū)建設(shè)方案工業(yè)園區(qū)智慧園區(qū)建設(shè)方案#/636263646566676869ETL流程設(shè)計(jì)器數(shù)據(jù)融合組件輸入組件具有Access輸入、Excel輸入、Kafka輸入、數(shù)據(jù)庫連接、文本文件輸入、表輸入、配置文件輸入等數(shù)據(jù)輸入組件支持。輸出組件具有Access輸出、Excel輸出、Kafka輸出、文本文件輸出、表輸出、配置文件輸出、SQL文件輸出等數(shù)據(jù)輸出組件支持。清洗組件具有從結(jié)果獲取文件、列拆分為多行、去除重復(fù)記錄、增加常量、復(fù)制文件到結(jié)果、字符串操作、將字段值設(shè)置為常量、行扁平化、行轉(zhuǎn)列等數(shù)據(jù)清洗組件支持。應(yīng)用組件具有分組、處理文件、執(zhí)行作業(yè)、改變文件編碼、數(shù)據(jù)校驗(yàn)、數(shù)據(jù)流優(yōu)先級排序、替換NULL值等數(shù)據(jù)應(yīng)用組件支持。腳本組件具有Java代碼、JavaScript代碼、執(zhí)行SQL腳本、正則表達(dá)式、利用Janino計(jì)算Java表達(dá)式等腳本組件支持。大數(shù)據(jù)組件具有CouchDb輸入、Hbase輸入、Hive輸出、HDFSDelete、HadoopFileInput、MongoDBInput、MongoDBOutput等大數(shù)據(jù)組件支持。加密組件具有PGP加密流、PGP解密流、對稱加密、生成密鑰等加密組件支持。完成數(shù)據(jù)采集轉(zhuǎn)換過程中完成對數(shù)據(jù)的加密保護(hù)作用。批量加載組件具有MySql批量加載、Oracle批量加載、PostgreSQL、Gbase批量加載等批量加載組件支持。

70717273文件管理組件具有解壓縮文件、從結(jié)果文件中刪除文件、刪除目錄、比較文件、添加文件到結(jié)果文件中等文件管理組件支持。條件組件具有檢查多個(gè)文件是否存在、計(jì)算文件大小和個(gè)數(shù)、計(jì)算表中的記錄數(shù)、檢查文件是否被鎖、檢查web服務(wù)是否可用、檢查目錄是否為空等條件組件支持。任務(wù)流程設(shè)計(jì)轉(zhuǎn)換任務(wù)構(gòu)建具有推拽的方式快速構(gòu)建米集轉(zhuǎn)換任務(wù)流程，包含任務(wù)的保存、修改、調(diào)試等，通過設(shè)計(jì)采集流程，對采集流程進(jìn)行采集組建參數(shù)、周期性執(zhí)行等任務(wù)進(jìn)行設(shè)置。作業(yè)流程構(gòu)建具有推拽的方式快速構(gòu)建米集作業(yè)任務(wù)流程，對不同作業(yè)流程功能算子進(jìn)行參數(shù)設(shè)置，進(jìn)行包含作業(yè)的保存、修改、調(diào)試等。7475數(shù)據(jù)存儲子系統(tǒng)系統(tǒng)管理系統(tǒng)管理用戶權(quán)限管理1、平臺米用RBAC權(quán)限訪問控制機(jī)制，通過角色+用戶組+用戶的方式實(shí)現(xiàn)，實(shí)現(xiàn)減小了授權(quán)管理的復(fù)雜性，降低管理開銷。2、支持用戶角色自定義，以實(shí)現(xiàn)同一角色使用相同的平臺權(quán)限。3、支持用戶自定義分組，實(shí)現(xiàn)用戶分組集中管控。安裝運(yùn)維安裝部署物理機(jī)房管理能力1、通過WEB可視化操作方式，實(shí)現(xiàn)對機(jī)房、機(jī)架和服務(wù)器的管理能力。2、支持對服務(wù)器CPU/內(nèi)存/I0/磁盤空間進(jìn)行實(shí)時(shí)監(jiān)控和告警能力。

7677783、提供了在各服務(wù)器上所部署的服務(wù)系統(tǒng)進(jìn)行監(jiān)控管理能力。安裝部署向?qū)娇梢暬渴?、支持WEB可視化操作方式，實(shí)現(xiàn)向?qū)桨惭b部署基礎(chǔ)平臺各系統(tǒng)能力。2、支持WEB可視化呈現(xiàn)部署過程和結(jié)果及安裝日志實(shí)時(shí)反饋、跟蹤和監(jiān)控。3、支持WEB可視化最大化卸載各子系統(tǒng)和最小化卸載子系統(tǒng)中各組件能力。4、支持大規(guī)模集群的節(jié)點(diǎn)、服務(wù)角色的智能規(guī)劃。安裝部署子系統(tǒng)狀態(tài)監(jiān)控1、實(shí)現(xiàn)對基礎(chǔ)平臺各子系統(tǒng)可視化啟停管理能力。2、實(shí)現(xiàn)對基礎(chǔ)平臺各子系統(tǒng)安裝時(shí)間、運(yùn)行狀態(tài)、錯(cuò)誤信息的實(shí)時(shí)監(jiān)控能力。3、實(shí)現(xiàn)對子系統(tǒng)中各組件最后啟停時(shí)間、運(yùn)行狀態(tài)、主機(jī)信息、錯(cuò)誤信息的實(shí)時(shí)監(jiān)控能力。運(yùn)維監(jiān)控向?qū)浇M件部署1、支持組件包括HDFS/YARN/MapReduce2/Hive/Hbase/ZooKeeper/Storm/Flume/Kafka/Ranger/LogSearch/Spark2/Elasticsearch/FastDFS/Redis/MongoDB等組件。2、支持主機(jī)及組件分布式部署和靈活的橫向擴(kuò)展能力。3、支持各組件服務(wù)自定義配置參數(shù)、向?qū)桨惭b部署、實(shí)時(shí)啟停測試監(jiān)控能力。4、支持各組件配置參數(shù)快照能力，可快

798081速恢復(fù)指定快照配置，并讓組件實(shí)時(shí)生效。運(yùn)維監(jiān)控組件集群實(shí)時(shí)監(jiān)控1、支持主機(jī)IP/CPU/內(nèi)存/磁盤/網(wǎng)絡(luò)吞吐量/進(jìn)程/負(fù)載均衡實(shí)時(shí)監(jiān)控及圖形呈現(xiàn)。2、支持各組件單獨(dú)或全部啟停、下載配置參數(shù)、刪除服務(wù)、運(yùn)行服務(wù)檢查、開啟維護(hù)模式等能力。3、支持各組件健康運(yùn)行狀態(tài)概述，包括啟停狀態(tài)、運(yùn)行狀態(tài)、告警信息、運(yùn)行時(shí)間等相關(guān)信息圖形化呈現(xiàn)。4、支持監(jiān)控組件運(yùn)行狀態(tài)列表呈現(xiàn)，包括操作內(nèi)容、開始時(shí)間、執(zhí)行時(shí)長、進(jìn)度信息的可視化展示。運(yùn)維監(jiān)控實(shí)時(shí)監(jiān)控告警提示1、支持告警次數(shù)高亮顯示、配置及管理。2、支持用戶自定義告警組，方便各種告警內(nèi)容及信息分類歸檔。3、提供告警信息列表展示，包括告警名稱、狀態(tài)（正常、嚴(yán)重等不同等級）、組件服務(wù)、操作狀態(tài)等信息。4、支持通過配置郵箱的SMTP服務(wù)器IP、端口等信息，實(shí)現(xiàn)對指定告警組及嚴(yán)重級的告警信息提醒。運(yùn)維監(jiān)控多租戶管理能力1、通過建立用戶+隊(duì)列+隊(duì)列資源實(shí)現(xiàn)多租戶動態(tài)配額管理。2、支持基于cpu和內(nèi)存為粒度設(shè)計(jì)資源池，為資源池配置獨(dú)占資源量、共享資源

8283量、搶占時(shí)間、資源權(quán)重等參數(shù)。3、支持通過FIFO（先進(jìn)先出）和FAIR（公平調(diào)度）兩種資源調(diào)度模式實(shí)現(xiàn)任務(wù)優(yōu)先級管理。4、支持動態(tài)調(diào)整資源配置以達(dá)到充分利用基礎(chǔ)平臺計(jì)算能力。5、支持單一用戶獨(dú)占或多用戶共享相冋資源并在租戶下運(yùn)行任務(wù)。運(yùn)維監(jiān)控多任務(wù)調(diào)度監(jiān)控1、支持多種任務(wù)調(diào)度策略，包括FIFOScheduler（先進(jìn)先出調(diào)度策略）、CapacityScheduler（容器調(diào)度朿略）、FairScheduler（公平調(diào)度器）。2、支持任務(wù)總覽，涉及到執(zhí)行任務(wù)統(tǒng)計(jì)、任務(wù)成功失敗統(tǒng)計(jì)、內(nèi)存占用等信息。3、支持任務(wù)信息可視化呈現(xiàn)，涉及到任務(wù)名稱、開始時(shí)間、結(jié)束時(shí)間、用戶、占用資源隊(duì)列、任務(wù)當(dāng)前狀態(tài)、執(zhí)行時(shí)間等。運(yùn)維監(jiān)控多維日志分析能力1、提供將基礎(chǔ)平臺所有組件的日志信息進(jìn)行匯聚管理能力。2、支持將日志類型分為三大類型，包括故障日志、服務(wù)日志、訪問日志。3、支持將日志按嚴(yán)重級別分為致命、錯(cuò)誤、警告、提示、調(diào)試、跟蹤。4、實(shí)現(xiàn)通過主機(jī)、組件、服務(wù)按不冋類型和嚴(yán)重級別進(jìn)行圖形化統(tǒng)計(jì)和呈現(xiàn)。5、實(shí)現(xiàn)通過主機(jī)、組件、服務(wù)按不冋類

型和嚴(yán)重級別可快速查找日志信息進(jìn)行故障原因分析判斷。84運(yùn)維監(jiān)控可視化命令解析能力1、提供用戶基于WEB的Shell命令解析工具，通過該工具可以快速連接集群中服務(wù)器進(jìn)行shell操作主機(jī)。2、提供會話功能，實(shí)現(xiàn)連接集群中某服務(wù)器的連接相關(guān)信息的存儲和連接能力。85數(shù)據(jù)融合采集任務(wù)統(tǒng)計(jì)1、支持通過圖形化界面查看數(shù)據(jù)米集任務(wù)的匯總統(tǒng)計(jì)，包括：成功任務(wù)數(shù)、失敗任務(wù)數(shù)、總?cè)蝿?wù)數(shù)、正在運(yùn)行任務(wù)數(shù)。2、支持通過圖形化界面查看按時(shí)間的分類統(tǒng)計(jì)，支持按月、按周、按天分別匯總統(tǒng)計(jì)任務(wù)執(zhí)行的成功/失敗數(shù)量。86數(shù)據(jù)融合數(shù)據(jù)融合采集節(jié)點(diǎn)管理1、支持通過可視化界面配置分布式數(shù)據(jù)采集節(jié)點(diǎn)服務(wù)器，提供源數(shù)據(jù)分布式采集能力。2、支持通過可視化界面監(jiān)控所有已配置的采集節(jié)點(diǎn)服務(wù)器運(yùn)行狀態(tài)及相關(guān)信息。3、支持通過可視化界面檢索查詢指定的采集節(jié)點(diǎn)服務(wù)器。87數(shù)據(jù)融合采集數(shù)據(jù)源管理1、支持通過可視化界面配置管理多類型的外部數(shù)據(jù)源。系統(tǒng)支持?jǐn)?shù)據(jù)源：Mysql、oracle、SqlServer、FTP、Hive、Hbase等。2、支持通過可視化界面查看、檢索已配888990置的數(shù)據(jù)源列表。3、支持通過JDBC/ODBC等方式與Mysql、oracle或SqlServer等關(guān)系型數(shù)據(jù)源建立連接。4、支持通過可視化界面配置與Mysql、oracle或SqlServer連接的連接池。數(shù)據(jù)融合采集任務(wù)設(shè)計(jì)器1、支持通過可視化界面自定義配置采集任務(wù)執(zhí)行策略，策略包括：1）設(shè)置任務(wù)執(zhí)行方式：單次（手動執(zhí)行）；2）定時(shí)（需設(shè)置開始時(shí)間）；3）周期（需設(shè)置間隔時(shí)間、開始時(shí)間-結(jié)束時(shí)間）。2、支持用戶通過拖拉拽的方式在可視化界面上設(shè)計(jì)轉(zhuǎn)換及采集任務(wù)。3、支持通過可視化界面配置針對關(guān)系型數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的采集任務(wù)。4、支持通過可視化界面調(diào)度、監(jiān)控?cái)?shù)據(jù)轉(zhuǎn)換或采集任務(wù)。數(shù)據(jù)融合采集任務(wù)管理1、支持通過可視化界面配置米集任務(wù)關(guān)聯(lián)執(zhí)行策略。支持用戶新建策略關(guān)聯(lián)任務(wù)和服務(wù)器。2、支持通過可視化界面管理、調(diào)度采集任務(wù)。3、支持通過可視化界面查看歷史任務(wù)信息。數(shù)據(jù)存儲數(shù)據(jù)存儲數(shù)據(jù)存儲統(tǒng)計(jì)1、支持通過可視化界面按策略分類查看分布式文件存儲系統(tǒng)容量信息（存儲總?cè)萘?，已?jīng)使用容量，剩余容量）。919293942、支持通過可視化界面匯總查看用戶調(diào)用API接口訪問文件存儲系統(tǒng)的詳情。3、支持通過可視化界面查看對象被訪問及租戶訪問API次數(shù)TOP3的統(tǒng)計(jì)數(shù)據(jù)。數(shù)據(jù)存儲存儲池管理1、支持通過可視化界面管理HDFS/FastDFS/HBase存儲池。2、支持通過可視化界面查看HDFS/FastDFS/Hbase存儲池的存儲容量使用情況，包括：存儲總?cè)萘?，已?jīng)使用容量，剩余容量。數(shù)據(jù)存儲對象管理1、支持通過可視化界面管理文件對象及對象自定義屬性。2、支持將文本、圖片、音頻、視頻等不冋類型文件抽象為不冋對象，支持設(shè)置對象屬性（名稱、大小、存儲路徑等屬性）。3、支持通過可視化界面查看、檢索文件對象。數(shù)據(jù)存儲租戶管理1、支持通過可視化界面管理存儲租戶及租戶訪問資源路徑、權(quán)限。2、支持通過可視化界面查看、檢索存儲租戶。數(shù)據(jù)存儲策略管理1、支持通過可視化界面管理存儲策略，通過存儲策略實(shí)現(xiàn)不同文件對象化，不同對象策略化存儲。例如：>100M的音頻存儲到HDFS某路徑1,<10M的圖片存儲到FastDFS某路徑2。9596972、支持通過可視化界面查看、檢索存儲策略。數(shù)據(jù)倉庫元數(shù)據(jù)管理源數(shù)據(jù)統(tǒng)計(jì)1、支持Mysql、oracle、SqlServer、Hive、Hbase等多數(shù)據(jù)源的米集數(shù)據(jù)統(tǒng)計(jì)。2、支持?jǐn)?shù)據(jù)倉庫中的業(yè)務(wù)數(shù)據(jù)的血緣關(guān)系統(tǒng)計(jì)。3、實(shí)時(shí)監(jiān)控統(tǒng)計(jì)源數(shù)據(jù)到數(shù)據(jù)倉庫中的數(shù)據(jù)采集量、過濾量與存儲量。數(shù)據(jù)倉庫管理數(shù)據(jù)倉庫設(shè)計(jì)1、支持通過可視化與拖拉拽方式實(shí)現(xiàn)咼易用性的數(shù)據(jù)倉庫設(shè)計(jì)能力。2、支持靈活的基于主題庫和集市庫的數(shù)據(jù)倉庫分類管理和設(shè)計(jì)。3、支持靈活的基于Hive和HBase的表及字段兀數(shù)據(jù)管理和設(shè)計(jì)。4、支持通過可視化拖拉拽方式實(shí)現(xiàn)表與表之間的UML關(guān)聯(lián)關(guān)系設(shè)計(jì)。5、支持基于分區(qū)分表的高性能查詢檢索設(shè)計(jì)。6、支持基于HBase的表Rowkey自定義設(shè)置和默認(rèn)設(shè)置。7、支持通過導(dǎo)入SQL腳本進(jìn)行快速建表。8、支持Hive、HBase、Oracle多數(shù)據(jù)源對接能力數(shù)據(jù)倉庫管理數(shù)據(jù)倉庫監(jiān)控1、支持主題庫和集市庫基于圖形化的實(shí)時(shí)監(jiān)控統(tǒng)計(jì)。2、支持主題庫和集市庫兀數(shù)據(jù)詳情查看。3、支持表與表之間的UML關(guān)聯(lián)關(guān)系查看。9899100數(shù)據(jù)倉庫運(yùn)行SQL/存儲過程交互能力1、提供標(biāo)準(zhǔn)化統(tǒng)SQL解析平臺，無縫對接基于HBase與Hive的大數(shù)據(jù)數(shù)倉平臺，實(shí)現(xiàn)SQLonHadoop。2、支持ANSISQL92和SQL99標(biāo)準(zhǔn)，并且支持ANSISQL2003OLAP核心擴(kuò)展，通過TPC-DS基準(zhǔn)測試，可以滿足絕大部分現(xiàn)有的數(shù)據(jù)倉庫業(yè)務(wù)對SQL的要求，方便應(yīng)用平滑遷移。3、支持Oracle、SqlServer方言及存儲過程，大數(shù)據(jù)數(shù)倉平臺無縫對接。4、支持基于HBase與Hive作為數(shù)倉底層的跨數(shù)據(jù)源關(guān)聯(lián)分析能力。5、支持分布式事務(wù)，有效保證數(shù)據(jù)致性。6、支持系統(tǒng)級、會話級、SQL級參數(shù)優(yōu)化。數(shù)據(jù)倉庫運(yùn)行任務(wù)調(diào)度能力1、支持通過可視化界面管理、調(diào)度存儲過程任務(wù)。支持設(shè)置任務(wù)調(diào)度頻率，開始時(shí)間，結(jié)束時(shí)間，任務(wù)參數(shù)，關(guān)聯(lián)存儲過程等。2、支持調(diào)度任務(wù)的圖形化報(bào)表統(tǒng)計(jì)。3、支持通過可視化界面實(shí)現(xiàn)任務(wù)監(jiān)控與歷史任務(wù)查詢。交互分析SQL多維分析能力1、提供基于OLAP的分析引擎，具備面向海量數(shù)據(jù)進(jìn)行任意維度的交互式分析能力2、提供可視化建模工具，支持設(shè)計(jì)Cube模型，支持維度/度量/層次結(jié)構(gòu)/級別/

101102屬性，支持星型模型3、提供基于標(biāo)準(zhǔn)SQL的SQLonHBase查詢能力。4、支持查詢結(jié)果集的圖表化呈現(xiàn)。5、支持對億級數(shù)據(jù)進(jìn)行任意維度、任意過濾條件的聚合分析，秒級響應(yīng)數(shù)據(jù)檢索數(shù)據(jù)檢索高效檢索能力1、支持全文檢索，提供可視化檢索界面，支持海量數(shù)據(jù)秒級響應(yīng)。2、支持分類型檢索，根據(jù)對應(yīng)分類類型，檢索結(jié)果自動分類，能有效進(jìn)行數(shù)據(jù)查找及篩選，提高檢索效率。3、支持混合檢索，提供統(tǒng)一數(shù)據(jù)檢索平臺能力，實(shí)現(xiàn)對結(jié)構(gòu)化，非結(jié)構(gòu)化數(shù)據(jù)檢索能力。數(shù)據(jù)檢索靈活檢—1—*、.1、索萬式支持多種檢索方式，有效提咼檢索效率。1、支持模糊匹配檢索：輸入檢索關(guān)鍵字支持模糊匹配，咼亮展示。檢索結(jié)果順序按匹配度咼低進(jìn)行呈現(xiàn)。2、支持通配符匹配檢索：提供通配符檢索能力，比如：通配符*,通過輸入*可檢索全部索引字段。3、支持多關(guān)鍵字檢索：輸入多個(gè)關(guān)鍵字可支持組合檢索能力，搜索結(jié)果可包含一個(gè)或多個(gè)關(guān)鍵字。4、支持歷史記憶：提供搜索時(shí)自動匹配歷史關(guān)鍵字能力5、基于iK分詞器，提供全文檢索能力。

103數(shù)據(jù)檢索在線預(yù)覽能力1、支持結(jié)構(gòu)化數(shù)據(jù)的檢索及預(yù)覽。2、支持非結(jié)構(gòu)化數(shù)據(jù)的檢索及預(yù)覽或下載。1、支持基于HTTP的一次接口開發(fā)能力。104數(shù)據(jù)檢索快速對接能力2、支持通過JDBC方式使用SQL語句進(jìn)行查詢分析能力。3、基于Logstash,支持快速對接常見文本文件（csv\txt）。1、提供數(shù)據(jù)類型、數(shù)據(jù)索引及檢索策略的可視化配置管理能力。105索引管理靈活策略管理2、支持自定義數(shù)據(jù)的分類/分組管理能力。3、支持自定義對象屬性的索引建立與對象屬性值的呈現(xiàn)順序編排。106可視化數(shù)據(jù)探索能力支持基于索引字段的數(shù)據(jù)圖形化統(tǒng)計(jì)分析能力。1、支持基于KMS的加密傳輸，確保數(shù)據(jù)107數(shù)據(jù)安全數(shù)據(jù)安全數(shù)據(jù)傳輸安全米集后的數(shù)據(jù)傳輸安全。2、KMS支持HTTPSPNEGOKerberos身份驗(yàn)證和HTTPS安全轉(zhuǎn)換（KMS是一個(gè)密鑰管理服務(wù)器，它并不負(fù)責(zé)加密文件）。1、支持用戶或第二方接口存入數(shù)據(jù)時(shí)，108數(shù)據(jù)安全數(shù)據(jù)存儲安全可選擇是否米用數(shù)據(jù)加密存儲。2、支持?jǐn)?shù)據(jù)備份存儲，以“三副本”策略實(shí)現(xiàn)用戶數(shù)據(jù)安全存儲。

109110數(shù)據(jù)安全數(shù)據(jù)應(yīng)用安全1、支持用戶或第三方接口訪問平臺時(shí)，米用通道安全身份認(rèn)證方式：Kerberos認(rèn)證2、支持用戶或第三方接口訪問數(shù)據(jù)時(shí)，采用權(quán)限控制數(shù)據(jù)訪問方式：通過ranger，用戶+訪問權(quán)限。.提供對HDFS細(xì)粒度權(quán)限管控，支持對文件存儲路徑的read/write/execute三種權(quán)限管理，且支持遞歸賦權(quán)限。.提供對HBASE細(xì)粒度權(quán)限管控，支持針對表的列族、列進(jìn)行read/write/create等細(xì)粒度權(quán)限管理。.提供對HIVE細(xì)粒度權(quán)限管控，支持表權(quán)限，hiveudf自定義函數(shù)權(quán)限。.提供對YARN細(xì)粒度權(quán)限管控，支持submit-app提交隊(duì)列，admin-queue管理隊(duì)列兩種權(quán)限，支持隊(duì)列遞歸賦權(quán)限。3、支持基于RBAC的用戶權(quán)限管理模式，不同的用戶組，用戶，角色具備不同的權(quán)限。數(shù)據(jù)安全基礎(chǔ)平臺安全1、平臺所有功能在開發(fā)時(shí)就進(jìn)行了安全設(shè)計(jì)、開發(fā)測試過程嚴(yán)格進(jìn)行安全測試。2、提供用戶行為日志功能，對所有服務(wù)器上組件的日志收集匯總，進(jìn)行日志行統(tǒng)計(jì)、查看、審計(jì)。

111112113114115數(shù)據(jù)治理子系統(tǒng)工作臺工作臺主要展示了系統(tǒng)中較為重要的功能和用戶關(guān)注的功能，同時(shí)提供快捷操作，用戶可通過使用向?qū)Я私庀到y(tǒng)，也可查看質(zhì)量設(shè)計(jì)、問題數(shù)據(jù)、任務(wù)監(jiān)控詳情，并支持通過單擊快捷圖標(biāo)進(jìn)彳丁頁面跳轉(zhuǎn)。數(shù)據(jù)地圖數(shù)據(jù)地圖功能可從宏觀角度、以可視化的形式查看各存儲介質(zhì)之間數(shù)據(jù)流向關(guān)系。此外，系統(tǒng)支持從數(shù)倉分層到數(shù)據(jù)庫下鉆及相關(guān)信息的展示，并支持?jǐn)?shù)據(jù)庫逐層下鉆。兀數(shù)據(jù)管理元模型1、支持對技術(shù)兀數(shù)據(jù)、業(yè)務(wù)兀數(shù)據(jù)、管理元數(shù)據(jù)的元模型的定義，包含基本信息、組合關(guān)系、依賴關(guān)系關(guān)聯(lián)關(guān)系。2、系統(tǒng)中內(nèi)置數(shù)據(jù)標(biāo)準(zhǔn)、關(guān)系型數(shù)據(jù)庫、MPP、大數(shù)據(jù)（HDFS、HBase、Hive）http接口、ETL、shell腳本、FTP等的元模型。元數(shù)據(jù)采集實(shí)現(xiàn)數(shù)據(jù)源對應(yīng)兀數(shù)據(jù)米集頻率的定義，主要包括新增、查詢、編輯、立即執(zhí)行、啟用、禁用操作。采集方式包括次性、周期性；元數(shù)據(jù)質(zhì)量元數(shù)據(jù)稽核1、支持對米集的技術(shù)兀數(shù)據(jù)進(jìn)仃稽核流程的配置。支持選擇數(shù)據(jù)源、稽核任務(wù)設(shè)計(jì)、刪除數(shù)據(jù)源等操作。2、支持稽核任務(wù)的設(shè)計(jì)、變更、調(diào)度配置和添加責(zé)任人功能，稽核規(guī)則包含：命

116117118119120名規(guī)則稽核、對標(biāo)稽核、一致性校驗(yàn)、屬性填充率稽核、名稱重復(fù)性稽核規(guī)則?；私Y(jié)果支持對稽核結(jié)果進(jìn)行查詢、查看問題詳情、導(dǎo)出和處理操作；元數(shù)據(jù)管理元數(shù)據(jù)維護(hù)1、實(shí)現(xiàn)對業(yè)務(wù)兀數(shù)據(jù)，技術(shù)兀數(shù)據(jù)和管理元數(shù)據(jù)進(jìn)行維護(hù)。業(yè)務(wù)元數(shù)據(jù)和管理元數(shù)據(jù)均由治理平臺提供，其中管理元數(shù)據(jù)不允許新增，修改，刪除；2、技術(shù)兀數(shù)據(jù)通過米集自動獲取，支持對業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)進(jìn)行新增目錄、新增元數(shù)據(jù)，下載模板、導(dǎo)入、刪除操作；冋時(shí)支持元數(shù)據(jù)基本詳情、全鏈分析、血緣分析、影響分析、關(guān)聯(lián)分析查看、移動目錄操作、忽略策略配置、版本管理、關(guān)聯(lián)關(guān)系維護(hù)等功能。元數(shù)據(jù)訂閱1、支持用戶按照需求進(jìn)行兀數(shù)據(jù)訂；目錄新增、修改和刪除操作2、支持對訂閱的技術(shù)兀數(shù)據(jù)按照一級“庫”的維度展示和二級“表”的維度展示,冋時(shí)可查看該兀數(shù)據(jù)的基本詳情、關(guān)聯(lián)關(guān)系，上下級元數(shù)據(jù)詳情，可對訂閱的元數(shù)據(jù)進(jìn)行移動目錄。元數(shù)據(jù)版本支持兀數(shù)據(jù)版本的查詢、查看等管理操作，可對元數(shù)據(jù)進(jìn)行定版操作，實(shí)現(xiàn)同類兀數(shù)據(jù)的版本對比和變更詳情的導(dǎo)出。元數(shù)據(jù)地圖支持展示系統(tǒng)中全部庫與庫有關(guān)聯(lián)關(guān)系的鏈路圖，同時(shí)可單擊庫展開該庫卜表

121122123124125126127128元數(shù)據(jù)分析與表間的關(guān)系鏈路圖支持單擊鏈路，查看過程兀數(shù)據(jù)詳情。元數(shù)據(jù)分析支持按照兀數(shù)據(jù)名稱，兀數(shù)據(jù)代碼進(jìn)行元數(shù)據(jù)檢索，支持查看元數(shù)據(jù)之間的全鏈分析、血緣分析、影響分析。元數(shù)據(jù)統(tǒng)計(jì)支持按照不冋統(tǒng)計(jì)維護(hù)，以圖表形式展示元數(shù)據(jù)的統(tǒng)計(jì)詳情。元數(shù)據(jù)安全元數(shù)據(jù)權(quán)限實(shí)現(xiàn)數(shù)據(jù)庫表按照用戶和角色進(jìn)行授權(quán)，支持全部啟用、全部禁用操作。元數(shù)據(jù)日志支持以日志方式記錄、統(tǒng)計(jì)和查詢兀數(shù)據(jù)的新增、修改、刪除操作。數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)元/支持?jǐn)?shù)據(jù)兀類目新增、修改、刪除功能。針對數(shù)據(jù)兀支持查詢、新增、編輯、送申、刪除、移動分類、導(dǎo)入、導(dǎo)出、下載模板等功能，可智能生成數(shù)據(jù)元、智能映射數(shù)據(jù)元與技術(shù)元數(shù)據(jù)的關(guān)聯(lián)關(guān)系、并支持查看關(guān)聯(lián)關(guān)系、查看版本功能。代碼集/1、支持代碼集的分類、代碼的分層功能；提供對代碼集分類的增加、編輯、刪除功能；2、支持對代碼集的新增、編輯、刪除、導(dǎo)入、導(dǎo)出、下載模塊、移動分類功能；3、提供對代碼的新增、刪除、編輯功能數(shù)據(jù)集/提供數(shù)據(jù)集查詢、新增、刪除、編輯送審、導(dǎo)入、導(dǎo)出、智能生成、下載模板、變更；查看版本功能。標(biāo)準(zhǔn)指標(biāo)/支持標(biāo)準(zhǔn)指標(biāo)分類的新增、修改、刪除功能。針對指標(biāo)，支持查詢、新增、編輯、129130131132送審、刪除、停用、設(shè)置分類、導(dǎo)入、導(dǎo)出、下載模板、變更、查看版本功能，可查看指標(biāo)報(bào)表映射和字段映射標(biāo)準(zhǔn)維度/支持標(biāo)準(zhǔn)維度的新增、修改、刪除、送審、停用、導(dǎo)入、導(dǎo)出、下載模板功能。數(shù)據(jù)標(biāo)簽/支持標(biāo)簽類別的新增、修改、刪除功能。支持標(biāo)簽的查詢、新增、編輯、刪除、生效、停用、下線功能編碼規(guī)則/支持對(數(shù)據(jù)集、數(shù)據(jù)項(xiàng)、數(shù)據(jù)兀、命名稽核“表”)的編碼規(guī)則進(jìn)行自定義配置；數(shù)據(jù)模型邏輯模型/1、支持對關(guān)系型DB、hbase以及hive的邏輯模型新增、修改和刪除功能；2、關(guān)系型邏輯模型：支持自定義、從模型復(fù)制、導(dǎo)入pdm模型、導(dǎo)入ERW模型、導(dǎo)入XML文件的方式創(chuàng)建邏輯實(shí)體；支持實(shí)體查詢、刪除、移動、批量修改表名等功能；支持模型的發(fā)布、變更功能；支持模型版本的查看。3、HIVE邏輯模型支持自定義、從模型復(fù)制、導(dǎo)入pdm模型、導(dǎo)入ERW模型、導(dǎo)入XML文件的方式創(chuàng)建邏輯實(shí)體；支持實(shí)體查詢、刪除、移動、批量修改表名等功能；支持模型的發(fā)布、變更功能；支持模型版本的查看。1331341354、HBASE邏輯模型：（1）支持自定義創(chuàng)建HBASE邏輯實(shí)體；（2）支持實(shí)體查詢、刪除、移動、批量修改表名等功能；（3）支持模型的發(fā)布、變更功能；（4）支持模型版本的查看。物理模型/建模設(shè)計(jì)提供對數(shù)據(jù)庫生成相應(yīng)的模型并可在數(shù)據(jù)庫中新建表、查看數(shù)據(jù)庫表的功能，提供常規(guī)手動建表、通過數(shù)據(jù)集建表、和快速建表（復(fù)制其他源的表結(jié)構(gòu)）二種建表方式。數(shù)據(jù)質(zhì)量質(zhì)量規(guī)則/質(zhì)量規(guī)則實(shí)現(xiàn)校驗(yàn)規(guī)則進(jìn)行統(tǒng)管理，“智能生成”可根據(jù)表對應(yīng)的數(shù)據(jù)元規(guī)則快速生成校驗(yàn)規(guī)則；冋時(shí)支持新增、校驗(yàn)規(guī)則、啟用、禁用功能，并可根據(jù)所屬數(shù)據(jù)源、規(guī)則名稱、狀態(tài)進(jìn)行查詢。質(zhì)量設(shè)計(jì)/1、質(zhì)量設(shè)計(jì)實(shí)現(xiàn)對表的校驗(yàn)流程配置，冋時(shí)可依據(jù)質(zhì)量規(guī)則自動生成質(zhì)量任務(wù)。支持選擇數(shù)據(jù)源、刪除數(shù)據(jù)源、變更通知等功能。2、支持可視化拖拽的質(zhì)量規(guī)則設(shè)計(jì)，可對質(zhì)量調(diào)度流程配置頻率、調(diào)試、提交等操作。3、支持跨庫的質(zhì)量規(guī)則管理，支持校驗(yàn)規(guī)則的跨庫設(shè)計(jì)、編輯、發(fā)布、變更、刪除、查詢操作。4、組件包括：空值校驗(yàn)、值域校驗(yàn)、、字段值對比、記錄數(shù)缺失、及時(shí)性校驗(yàn)、136137138139140141身份證校驗(yàn)、唯性校驗(yàn)、主外鍵致性校驗(yàn)、數(shù)據(jù)范圍校驗(yàn)、數(shù)據(jù)格式校驗(yàn)、正則表達(dá)式、精度校驗(yàn)、java組件、JavaScript組件、表輸入、分支、表輸出。問題數(shù)據(jù)/支持根據(jù)問題責(zé)任人實(shí)現(xiàn)未處理/已處理的問題數(shù)據(jù)進(jìn)行查詢操作；可對未處理問題數(shù)據(jù)進(jìn)行處理、忽略配置、問題詳情和問題報(bào)告的查看，通過對問題數(shù)據(jù)的處理，提高數(shù)據(jù)質(zhì)量；可對已處理問題數(shù)據(jù)進(jìn)行處理日志、問題詳情查看操作。質(zhì)量報(bào)告/支持按照年份，月份和季度查看質(zhì)量報(bào)告；通過不同的統(tǒng)計(jì)維護(hù)與圖表展示校驗(yàn)數(shù)據(jù)詳情、問題數(shù)據(jù)詳情、質(zhì)量評估詳情，并支持按照word格式進(jìn)行下載。質(zhì)量評估模型/1、系統(tǒng)支持內(nèi)置質(zhì)量校驗(yàn)結(jié)果的評價(jià)維度，可展示對應(yīng)統(tǒng)計(jì)維度和校驗(yàn)組件的指標(biāo)和權(quán)重2、支持評分等級的劃分，可對評價(jià)等級的打分進(jìn)行編輯操作。數(shù)據(jù)服務(wù)服務(wù)管理/實(shí)現(xiàn)文件服務(wù)和數(shù)據(jù)服務(wù)的管理，支持對服務(wù)送審、刪除、編輯、失效、生效功能。服務(wù)監(jiān)控/支持從發(fā)布服務(wù)以及訂閱服務(wù)兩個(gè)方面進(jìn)行服務(wù)監(jiān)控，主要包括服務(wù)請求次數(shù)、累計(jì)請求次數(shù)、服務(wù)申請個(gè)數(shù)等信息。用戶管理/實(shí)現(xiàn)對共享門戶的注冊用戶進(jìn)行管理，包括激活、密碼重置等功能。

142143144145146147調(diào)度中心任務(wù)管理/任務(wù)管理實(shí)現(xiàn)對兀數(shù)據(jù)米集、數(shù)據(jù)質(zhì)量、服務(wù)數(shù)據(jù)同步、訂閱服務(wù)同步、元數(shù)據(jù)稽核、跨庫校驗(yàn)任務(wù)的統(tǒng)一調(diào)度和管理。支持調(diào)度任務(wù)的查詢、調(diào)度頻率配置、啟用、停用、立即執(zhí)行操作。任務(wù)監(jiān)控/任務(wù)監(jiān)控實(shí)現(xiàn)任務(wù)的統(tǒng)一監(jiān)控，任務(wù)類型包括數(shù)據(jù)質(zhì)量、元數(shù)據(jù)采集、服務(wù)數(shù)據(jù)同步、訂閱服務(wù)同步、元數(shù)據(jù)稽核、跨庫校驗(yàn)。支持任務(wù)的查詢、終止功能，支持運(yùn)行詳情和執(zhí)行歷史的查看。告警配置/系統(tǒng)支持對任務(wù)類型為：兀數(shù)據(jù)稽核、數(shù)據(jù)質(zhì)量校驗(yàn)、數(shù)據(jù)標(biāo)準(zhǔn)變更、任務(wù)調(diào)度、存儲空間、質(zhì)量任務(wù)調(diào)度的任務(wù)進(jìn)行告警規(guī)則配置，可新增、編輯、刪除、啟用、禁用告警規(guī)則。實(shí)現(xiàn)任務(wù)按照頻率和告警規(guī)則將告警信息推送給對應(yīng)接收人。告警通知/系統(tǒng)支持對任務(wù)類型為：數(shù)據(jù)質(zhì)量校驗(yàn)、數(shù)據(jù)標(biāo)準(zhǔn)變更、兀數(shù)據(jù)稽核、存儲空間、調(diào)度任務(wù)告警、兀數(shù)據(jù)變更且配置了告警規(guī)則的任務(wù)，進(jìn)行告警規(guī)則的查看和查詢操作。審核管理待辦中心/支持對（數(shù)據(jù)兀、數(shù)據(jù)集、指標(biāo)、數(shù)據(jù)服務(wù)、數(shù)據(jù)訂閱）進(jìn)行統(tǒng)的申核管理；申核通過/退回；流程配置/支持對系統(tǒng)審核流程的配置，可查詢、新增、編輯、刪除、啟用、禁用、變更審核流程，也支持查看流程信息及歷史版本，同時(shí)支持對配置的流程保存為模板。

148149系統(tǒng)管理數(shù)據(jù)源配置/實(shí)現(xiàn)數(shù)據(jù)源連接信息的管理，包括新增、編輯、刪除功能。數(shù)據(jù)源目前支持六種關(guān)系型數(shù)據(jù)庫、二種大數(shù)據(jù)類數(shù)據(jù)庫、MPP、處理過程、文件服務(wù)器。部門、用戶、權(quán)限管理/1）具有組織機(jī)構(gòu)管理功能，支持按照地區(qū)、部門兩級模式進(jìn)行組織機(jī)構(gòu)設(shè)置，滿足集團(tuán)式、地區(qū)式組織管理模式。2）組織機(jī)構(gòu)地區(qū)下可以有子地區(qū)，部門下可以有子部門，不冋部門可以掛載到不同地區(qū)中去。3）具有用戶、角色、權(quán)限管理功能，每個(gè)角色可具備功能使用權(quán)限和再次授予權(quán)限。150數(shù)據(jù)資產(chǎn)管理平臺數(shù)據(jù)資源生命周期管理/生命周期管理主要用于管理數(shù)據(jù)在創(chuàng)建、使用到歸檔等過程的流動。本模塊可支持對活躍表所屬數(shù)據(jù)源的查詢、新增、刪除、和查看日志操作，同時(shí)支持對表和文件進(jìn)行新增和策略配置，系統(tǒng)會自動根據(jù)設(shè)置的策略完成相應(yīng)數(shù)據(jù)的自動清理和遷移操作。支持關(guān)系型數(shù)據(jù)庫mysql，oracle,sqlserver,達(dá)夢之間數(shù)據(jù)搬移；支持關(guān)系型數(shù)據(jù)庫mysql，oracle,sqlserver,達(dá)夢往libra,pg，hive進(jìn)行數(shù)據(jù)搬移；支持gbase8a、gbase81往gbase8a、gbase81、libra,hive進(jìn)行數(shù)據(jù)搬移；151152153154155支持libra往libra、hive進(jìn)行數(shù)據(jù)搬移；主數(shù)據(jù)維護(hù)/1、支持對主數(shù)據(jù)目錄的增加、修改和刪除操作；2、支持對主數(shù)據(jù)的增加、編輯、修改、刪除、變更、導(dǎo)入、導(dǎo)出、送審等功能；3、支持對主數(shù)據(jù)進(jìn)行發(fā)布共享。資源目錄/支持資源目錄的分類管理，資源編目，資源匯總等功能數(shù)據(jù)查詢/實(shí)現(xiàn)數(shù)據(jù)庫米用SQL的方式進(jìn)行查看，并提供通過表或是查詢結(jié)果發(fā)布共享服務(wù)、查看操作日志、保存查詢結(jié)果等功能。數(shù)據(jù)網(wǎng)盤/支持對文件進(jìn)行上傳、下載、共享、移動文件到文件夾、刪除、編輯名稱操作，支持對文件夾的新增、刪除編輯名稱等操作。領(lǐng)導(dǎo)駕駛艙/從宏觀角度、以可視化的形式查看各存儲介質(zhì)之間數(shù)據(jù)流向關(guān)系。支持從數(shù)倉分層到數(shù)據(jù)主題域下鉆及相關(guān)信息的展示，支持?jǐn)?shù)據(jù)主題域逐層下鉆。序號一級主題二級主題展示內(nèi)容四）工業(yè)園區(qū)智慧園區(qū)展示中心功能建設(shè)12345管理部分可視化數(shù)據(jù)設(shè)計(jì)綜合數(shù)據(jù)采集系統(tǒng)通過“從內(nèi)至外、逐步完善”的方式對園區(qū)內(nèi)外部數(shù)據(jù)的采集方式，采集的內(nèi)容可以延伸至園區(qū)及行業(yè)監(jiān)管機(jī)構(gòu)信息、投資者信息、產(chǎn)業(yè)鏈信息、招商對象信息、競爭者信息、第二方服務(wù)機(jī)構(gòu)信息等。主題數(shù)據(jù)庫構(gòu)建系統(tǒng)建立完善的檔案庫，冋時(shí)通過大數(shù)據(jù)統(tǒng)計(jì)分析技術(shù)，將所有業(yè)務(wù)數(shù)據(jù)形成一個(gè)個(gè)主題鮮明的檔案庫，如資源信息主題庫、信息投訴處理庫、信息在線咨詢庫、便民服務(wù)信息庫、工程項(xiàng)目信息庫、產(chǎn)業(yè)配套信息庫、企業(yè)監(jiān)測監(jiān)管庫、園區(qū)人口信息庫等，信息主題庫等。建立數(shù)據(jù)分析模型實(shí)現(xiàn)定義所有的維度（包括公共維度和私有維度）以及維度擁有的粒度層級關(guān)系；可定義指標(biāo)的名稱、描述、默認(rèn)值、最大值、最小值、匯總方法、計(jì)算公式（適用于擴(kuò)展指標(biāo)）、維度等，設(shè)定指標(biāo)的粒度（適用于擴(kuò)展指標(biāo)）、預(yù)警等級劃分信息。建立數(shù)據(jù)分析指標(biāo)擴(kuò)展機(jī)制系統(tǒng)提供指標(biāo)的添加、刪除、修改、查詢等功能；提供按照指標(biāo)層次、指標(biāo)數(shù)據(jù)時(shí)間戳等條件，對指標(biāo)體系結(jié)構(gòu)、指標(biāo)體系計(jì)算關(guān)系、指標(biāo)具體數(shù)據(jù)的查看功能；并根據(jù)基