大數(shù)據(jù)平臺建設(shè)方案設(shè)計_第1頁
大數(shù)據(jù)平臺建設(shè)方案設(shè)計_第2頁
大數(shù)據(jù)平臺建設(shè)方案設(shè)計_第3頁
大數(shù)據(jù)平臺建設(shè)方案設(shè)計_第4頁
大數(shù)據(jù)平臺建設(shè)方案設(shè)計_第5頁
已閱讀5頁,還剩12頁未讀 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

1、范文范例指導參考大數(shù)據(jù)平臺建設(shè)方案(項目需求與技術(shù)方案)一、項目背景“十三五期間,隨著我國現(xiàn)代信息技術(shù)的蓬勃發(fā)展,信息化建設(shè)模式發(fā)生根本性轉(zhuǎn)變,一場以云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動應用 等技術(shù)為核心的“新IT潮風起云涌,信息化應用進入一個“新 常態(tài)。* (某政府部門)為積極應對“互聯(lián)網(wǎng)+和大數(shù)據(jù)時代的 機遇和挑戰(zhàn),適應全經(jīng)濟社會發(fā)展與改革要求,大數(shù)據(jù)平臺應運而 生。大數(shù)據(jù)平臺整合社會經(jīng)濟發(fā)展資源,打造集數(shù)據(jù)采集、數(shù)據(jù)處、監(jiān)測管、預測預警、應急指揮、可視化平臺于一體的大數(shù)據(jù)平 臺,以信息化提升數(shù)據(jù)化管與服務能,及時準確掌握社會經(jīng)濟發(fā)展情況,做到“用數(shù)據(jù)說話、用數(shù)據(jù)管、用數(shù)據(jù)決策、用數(shù)據(jù)創(chuàng)新, 把握

2、社會經(jīng)濟發(fā)展主動權(quán)和話語權(quán)。二、建設(shè)目標大數(shù)據(jù)平臺是順應目前信息化技術(shù)水平發(fā)展、服務政府職能改革 的架構(gòu)平臺。它的主要目標是強化經(jīng)濟運監(jiān)測分析,實現(xiàn)企業(yè)信用 社會化監(jiān)督,建規(guī)范化共建共享投資項目管體系, 推進政務數(shù)據(jù) 共享和業(yè)務協(xié)同,為決策提供及時、準確、可靠的信息依據(jù),提高政 務工作的前瞻性和針對性,加大宏觀調(diào)控, 促進經(jīng)濟持續(xù)健康發(fā)展。1、制定統(tǒng)一信息資源管規(guī)范,寬數(shù)據(jù)獲取渠道,整合業(yè)務信息系統(tǒng)數(shù)據(jù)、企業(yè)單位數(shù)據(jù)和互聯(lián)網(wǎng)抓取數(shù)據(jù),構(gòu)建匯聚式一體化 數(shù)據(jù)庫,為平臺打下堅實穩(wěn)固的數(shù)據(jù)基礎(chǔ)。2、梳各相關(guān)系統(tǒng)數(shù)據(jù)資源的關(guān)聯(lián)性,編制數(shù)據(jù)資源目錄,建信息資源交換管標準體系,在業(yè)務可性的基礎(chǔ)上,實現(xiàn)數(shù)據(jù)

3、信息共享,推進信息公開,建跨部門跨領(lǐng)域經(jīng)濟形勢分析制。3、在大數(shù)據(jù)分析監(jiān)測基礎(chǔ)上,為政府把握經(jīng)濟發(fā)展趨勢、預見 經(jīng)濟發(fā)展?jié)撛趩栴}、輔助經(jīng)濟決策提供基礎(chǔ)支撐。三、建設(shè)原則大數(shù)據(jù)平臺以信息資源整合為重點,以大數(shù)據(jù)應用為核心,堅持 “統(tǒng)籌規(guī)劃、分步實施,整合資源、協(xié)同共享,突出重點、注重實效, 深化應用、創(chuàng)新驅(qū)動的原則,全面提升信息化建設(shè)水平,促進全 經(jīng)濟持續(xù)健康發(fā)展。1 統(tǒng)籌規(guī)劃、分步實施。結(jié)合我經(jīng)濟發(fā)展與改革領(lǐng)域?qū)嶋H需求,明確總體目標和階段性任務,科學規(guī)劃建設(shè)項目。先期完成 大數(shù)據(jù)平臺的整體架構(gòu)建設(shè),后期分步完成業(yè)務系統(tǒng)的整合及相互間 數(shù)據(jù)共享問題。2、整合資源、協(xié)同共享。對信息資源統(tǒng)-梳,建經(jīng)

4、濟發(fā)展與改革信息標準資源庫和數(shù)據(jù)規(guī)范,逐步消滅“信息孤島,加 快推進數(shù)據(jù)資源整合,建設(shè)共享共用的大數(shù)據(jù)中心,實現(xiàn)業(yè)務協(xié)同。以用戶為中心,以需求為導向,以服務為目的,突出重點,注重實效,加強平臺可用性和用性。4、深化應用、創(chuàng)新驅(qū)動。深入解用戶需求,密跟蹤信息技術(shù)發(fā)展趨勢,斷深化應用、展新技術(shù)在應用中的廣和深, 促進跨界融合,豐富管和服務手段。四、建設(shè)方案為保證項目的順進和建設(shè)目標的可性,我們采取如下幾種建設(shè)方案。1、數(shù)據(jù)采集方案。我們統(tǒng)一信息資源標準規(guī)范,建多維數(shù)據(jù)庫,寬數(shù)據(jù)來源,通過同的方式匯聚數(shù)據(jù),增強分析,提高監(jiān)測預警 的準確性和時效性。1、預接口,支持其它系統(tǒng)各種數(shù)據(jù)的上傳導入處。將現(xiàn)存

5、有關(guān)經(jīng)濟運業(yè)務系統(tǒng)中的歷史數(shù)據(jù)和時效數(shù)據(jù),通過上傳 數(shù)據(jù)文件至服務器、分析提取有效數(shù)據(jù)導入服務器數(shù)據(jù)庫等方式 采集起來,在本平臺上復用。2、支持外接數(shù)據(jù)的上傳導入處。可以將企業(yè)單位或定點監(jiān)測機構(gòu)的數(shù)據(jù)通過同樣的方式采集起來,在本平臺上復用。3、支持非結(jié)構(gòu)化數(shù)據(jù),即搜引擎數(shù)據(jù)、社交媒體數(shù)據(jù)、 地空間數(shù)據(jù)和音視頻數(shù)據(jù)等等。2、數(shù)據(jù)分析方案。大數(shù)據(jù)之大并是難點所在,其真正難以對付的挑戰(zhàn)來自于 數(shù)據(jù)類型多樣、要求及時響應和數(shù)據(jù)的確定性,而我們所面臨 的也正是如此。我們采用批數(shù)據(jù)處系統(tǒng),借助于深學習、知識計算和可視化等大數(shù)據(jù)分析技術(shù),通過對數(shù)據(jù)的批處挖掘其中的價 值來支持決策和發(fā)現(xiàn)新的察。3、業(yè)務整合方

6、案。在對社會發(fā)展相關(guān)業(yè)務子系統(tǒng)充分調(diào)研基礎(chǔ)上,結(jié)合項目需 求,可對其進整合或嵌入處 (本方案整合公共信用信息服務 平臺、投資項目信息管平臺等)。1、整合處。將原有數(shù)據(jù)通過上傳或?qū)敕绞竭M采集, 原有功能模塊整合到本平臺中,合二為一,完美的將數(shù)據(jù)匯聚起 來。缺點是耗時較長。2、嵌入處。以單點登錄的方式將原有系統(tǒng)鏈接嵌入到本平臺中,作為子系統(tǒng)單獨存在。缺點在于數(shù)據(jù)共享難以實現(xiàn)。五、建設(shè)內(nèi)容1、宏觀經(jīng)濟監(jiān)測預測及可視化平臺政府信息化的最終目標是提高政府的決策水平,其中經(jīng)濟決 策是核心內(nèi)容。為提高宏觀調(diào)控決策水平,我們必須從依靠傳 統(tǒng)統(tǒng)計數(shù)據(jù)向依靠互聯(lián)網(wǎng)非統(tǒng)計數(shù)據(jù)轉(zhuǎn)變,從監(jiān)測預測宏觀經(jīng)濟 總向監(jiān)測預測

7、宏觀經(jīng)濟先指標轉(zhuǎn)變,從中長期監(jiān)測預測向?qū)?時監(jiān)測預測轉(zhuǎn)變??蛻魴C數(shù)據(jù)査詢子系統(tǒng)統(tǒng)計分析子系統(tǒng)預測子系統(tǒng)監(jiān)測子系統(tǒng)信息匯集子系統(tǒng)報農(nóng)定制子系統(tǒng)(查詢.預測)處理結(jié)果就攥數(shù)據(jù)庫層尹業(yè)務邏輯層WEB服務器致儁緋才各丿饑報農(nóng)輸出客門機數(shù)據(jù)庫訪問請求數(shù)攥庫訪問結(jié)果宏觀經(jīng)濟監(jiān)測預測及可視化平臺圍繞網(wǎng)絡(luò)搜、社交媒體、 電子商務、終端定位和業(yè)務交等五個方面全面整合互聯(lián)網(wǎng)相關(guān) 數(shù)據(jù)資源,建設(shè)以“容大、形式多、分類細、響應快為目標 的宏觀經(jīng)濟監(jiān)測預測數(shù)據(jù)庫,構(gòu)建基于互聯(lián)網(wǎng)數(shù)據(jù)的宏觀經(jīng)濟非 統(tǒng)計指標監(jiān)測預測應用平臺。圍繞重點產(chǎn)業(yè)活躍、區(qū)域經(jīng)濟關(guān)聯(lián)、宏觀經(jīng)濟走向社會 預期、社會消費熱點、大宗商品供求及價格走勢、全國就

8、業(yè)形勢、 外貿(mào)訂單變化趨勢等方面,構(gòu)建大數(shù)據(jù)宏觀經(jīng)濟先指標和現(xiàn)時 預測指標庫,研究能客觀、準確反映我宏觀經(jīng)濟運狀況的指 標體系,編制“山東指數(shù)。在健全完善監(jiān)測預警數(shù)據(jù)庫的基礎(chǔ)上,充分運用大數(shù)據(jù)技術(shù) 和,加強數(shù)據(jù)挖掘,強化定分析,建宏觀經(jīng)濟分析 系模型,實提高預測分析的前瞻性、準確性和可靠性。積極寬信息發(fā)布渠道,建可視化平臺,采用 Unity3D引 擎,三維界面高仿真,所見即所得。平臺針對多源構(gòu)的海 數(shù)據(jù),通過數(shù)據(jù)處、存儲管、可視化交互分析等技術(shù),實現(xiàn) 圖形化數(shù)據(jù)查詢、可視化關(guān)聯(lián)分析、證據(jù)鏈和情報線發(fā)掘等功 能。用預測信號燈系統(tǒng),形象地刻畫岀宏觀經(jīng)濟總體運狀況, 分析經(jīng)濟波動原因,及時解各地區(qū)經(jīng)

9、濟發(fā)展的平衡性,準確 判斷和測定經(jīng)濟景氣循環(huán)運狀態(tài),提高宏觀經(jīng)濟決策水平。2、企業(yè)信用監(jiān)測預警服務平臺企業(yè)信用危機僅給社會帶來嚴重危害,也是關(guān)系到企業(yè)自 身生死存亡的重大事件,它是中國企業(yè)乃至中國市場經(jīng)濟發(fā)展的 巨大障礙。因此,建企業(yè)信用危機的預警機制和管機制,對 企業(yè)信用危機進有效的預警及管是十分重要的。圖2企業(yè)信用危機預警系統(tǒng)企業(yè)信用監(jiān)測預警服務平臺,全面整合社會信用監(jiān)管信息和社會公眾反映信息,通過整歸類與加工,將這些信用危機信息轉(zhuǎn)化為可以化的指標體系,按照失信為的嚴重程和影響范 圍劃分三個預警級別,分別向企業(yè)自身、融機構(gòu)、其他政府部 門及全社會進通報。納入企業(yè)信用預警體系的企業(yè)信息包括侵

10、犯消費者權(quán)且 相關(guān)義務的信息、消費者投訴未及時處信息、政處罰逾 期未執(zhí)信息、查無下企業(yè)信息等 23種信息??梢詣討B(tài)配置預 警信息項目和相應預警等級,增強監(jiān)測預警的全面性和靈活性。企業(yè)信用監(jiān)測預警服務平臺以信息技術(shù)為支撐,以信用監(jiān)管 為手段,全面提高信用監(jiān)管信息共享程,及時預警影響社會交 安全和社會公共安全的信用信息,遵循“對外警示社會和 企業(yè);對內(nèi)明確重點,積極釆取應對措施的原則,強化企業(yè)信 用監(jiān)管防范機制,有推進“信用保稅區(qū)建設(shè),加強企業(yè)信用 監(jiān)督管的主動性、前瞻性,好地服務經(jīng)濟發(fā)展,減少交風 險,促進企業(yè)信用監(jiān)管到位,實現(xiàn)企業(yè)信用的社會化監(jiān)督。3、投資項目信息管平臺建設(shè)投資項目(特別是一些

11、大型項目)具有管上的復雜性 特點,主要是建設(shè)周期長、參建方多。投資項目信息管平臺的 建和應用,可有效解決投資建設(shè)項目管動態(tài)過程的信息分析、 信息構(gòu)建,達到各參建方信息共享的目的。項目和S食點建設(shè)更點項目1:點項H項目計劃申報廠 .下達訂蟹理克冃蹊蠶L報錄檯塊及,瑯目進追度傅.任務21穩(wěn)及4倍息匯P竇理1任務云理1度填報的抵n信息僵報及報叢項目報送 理項且且爍目標sets 目標負任評一目標貴任検 貴任評估他.統(tǒng)計分析平臺JiatrRB 劃琪目類里統(tǒng)it 分析 (玖呂建設(shè)性質(zhì)_ 一統(tǒng)計力析_ J填目確設(shè)跨同【統(tǒng)咅分僑J項目建設(shè)效愎統(tǒng)計分折一項目資金性質(zhì)I 竦汁分板 J項目行坐類別狡計分析互動交潦平

12、臺通知過皆信息知S投資項目信息管平臺,支持重大項目推介,建規(guī)范的項 目審批程和項目信息庫,管項目啟動、計劃、執(zhí)、監(jiān)控和 收尾的整個生命周期,覆蓋進、質(zhì)、成本、資源、風險等項 目管的各個要素,構(gòu)建集成項目、程、知識的信息化平臺。逐步實現(xiàn)與相關(guān)部門業(yè)務系統(tǒng)的接入,形成全覆蓋的投資項 目管統(tǒng)一工作平臺,真正做好資源共享,為項目的后期評價、領(lǐng)導決策提供支持服務。圍繞設(shè)計、招標、監(jiān)、質(zhì)、安全、進、施工、資、變、合同管“十大環(huán)節(jié),建起對投資項目進事前計劃、事中控制、事后評估、全程管的有效管控 模式,促進投資項目管體系發(fā)揮全方位、全過程的計劃、組織、 協(xié)調(diào)與控制作用。投資項目信息管平臺,以現(xiàn)代項目管方法論為

13、基礎(chǔ);以項目管為主線,全面組織、全程貫穿各個業(yè)務環(huán)節(jié);以項目計劃為依據(jù),科學協(xié)調(diào)各個部門的工作;以成本、進、質(zhì)為最 終控制目標;以完整、及時、準確的項目信息和科學的分析模型 為項目管、決策提供依據(jù);遵循“以計劃為龍頭,以合同為中 心,以投資控制為目的的現(xiàn)代項目管,構(gòu)建高效、實用 的項目協(xié)同管綜合平臺。4、政務數(shù)據(jù)共享交換平臺政務數(shù)據(jù)共享交換平臺是各個平臺中的基礎(chǔ)性和綜合性平 臺,是解決“信息孤島、實現(xiàn)數(shù)據(jù)互連互通的基礎(chǔ)設(shè)施,有于 提高各類信息資源整合共享,以及信息資源的綜合用。資源共享政第法規(guī)和標準r共拿平臺門戶鯉可視化數(shù)據(jù)共享服務 散據(jù)資源層平臺資源共5安全管理資源定位資源訂閱共拿庫一 -人

14、口基砒庫挖掘數(shù)據(jù)整合比對層ETL傲據(jù)灣洗標準化任務調(diào)度)交換管理(前首管衛(wèi)獸發(fā)布訂閱數(shù)據(jù)傳輸)前罷亶g1 00 0,前胃機閘胃Ur -. r * 11企業(yè)法人庫目錄導航0目錄注冊1全文檢索資源 目錄 系統(tǒng)建設(shè)政務數(shù)據(jù)共享交換平臺的首要目標就是要創(chuàng)造一個信息 交換、信息共享的方式和環(huán)境,按照統(tǒng)一標準和規(guī)范,建信息 資源整合機制,規(guī)范數(shù)據(jù)采集口徑、釆集方式,規(guī)范數(shù)據(jù)的服務 方式,建統(tǒng)一的資源信息整合與交換機制。我們按照統(tǒng)一、集約、高效的數(shù)據(jù)開發(fā)用,通過研究 建多級交換管體系,形成政務信息資源物分散、邏輯集中 的信息共享模式,通過以應用為抓手,進一步打通數(shù)據(jù),滿足 政府部門多方位、多層次的數(shù)據(jù)需求,

15、為跨地域、跨部門、跨平 臺同應用系統(tǒng)、同數(shù)據(jù)庫之間的互連互通提供包含提取、轉(zhuǎn)換、傳輸和加密等操作的數(shù)據(jù)交換服務。通過分布式部署和集中 式管架構(gòu),有效解決各節(jié)點間數(shù)據(jù)的及時、高效上傳下達,在 安全、快捷、方的進信息交換的同時準的保證數(shù)據(jù)的一致 性和準確性。政務數(shù)據(jù)共享交換平臺的全局目標是建 “一個系統(tǒng),解決“兩個問題,支持“三個應用,面向“四個服務。建“一個 系統(tǒng),即建一個可擴展、可集成、有統(tǒng)一數(shù)據(jù)模型、可交換和 安全可靠的分布式系統(tǒng),對各類政務資源進組織和管。解決“兩個問題,即解決政務信息資源的發(fā)現(xiàn)與定位問題,解決政務 信息資源規(guī)劃與整問題。支持“三個應用,即支持信息集成整 合應用、各業(yè)務部門

16、辦公應用和政府職能決策應用。面向“四個 服務,即面向政務協(xié)作、宏觀決策、市場監(jiān)管和社會管服務。、技術(shù)支持與平臺性能1、系統(tǒng)架構(gòu)結(jié)合該項目以大數(shù)據(jù)平臺為核心,多業(yè)務子系統(tǒng)并存的業(yè)務 需求,以及存在同種類操作系統(tǒng)、應用軟件、系統(tǒng)軟件的現(xiàn)狀, 我們采用面向服務的體系結(jié)構(gòu),即SOA架構(gòu)。SOA是一個組件模型,它將應用程序的同功能單元(稱為 服務)通過這些服務之間定義好的接口和約聯(lián)系起來。接口 是采用中的方式進定義的,它獨于實現(xiàn)服務的硬件平臺、 操作系統(tǒng)和編程語言。這使得構(gòu)建在這樣系統(tǒng)中的服務可以以一 種統(tǒng)一和通用的方式進交互。它的本質(zhì)是實現(xiàn)服務和技術(shù)的完 全分離,從而最大程上實現(xiàn)服務的集成和重組。SO

17、A實施是以業(yè)務服務為導向的,業(yè)務服務獨于技術(shù)之上, 技術(shù)處于從屬地位,采用SOA架構(gòu)的主要優(yōu)勢有:1、SOA與平臺無關(guān),減少業(yè)務應用及業(yè)務子系統(tǒng)整合的限 制。2、SOA具有低耦合的特點,各個業(yè)務子系統(tǒng)對整個業(yè)務系統(tǒng) 的影響較低,在各個系統(tǒng)斷變化情況下,節(jié)的費用會越來越多。3、SOA具有可按模塊分階段進實施的優(yōu)勢??梢猿晒σ徊?再做下一步,將實施造成的沖擊減少到最小。SOA服務交互示意圖如下:政府部門業(yè)務系統(tǒng)一企業(yè)笛位大數(shù)據(jù)平臺社會公眾業(yè)務系統(tǒng)二強務消費者服務注冊中心服務提供者1提供者A2、技術(shù)支持1、技術(shù)領(lǐng)先的J2EE框架。Java2平臺企業(yè)版 (Java 2 Platform Enterpr

18、ise Edition,J2EE)是一種用 Java2平臺來簡化且規(guī)范應用系統(tǒng)的開發(fā)與部 署,進而提高可移植性、安全與再用價值?;诵氖且唤M技術(shù)規(guī) 范與指南,其中包含的各類組件、服務架構(gòu)及技術(shù)層次,均有共 同的標準及規(guī)格,讓各種依循J2EE架構(gòu)的同平臺之間,存在好的兼容性,解決過去企業(yè)后端使用的信息產(chǎn)品彼此之間無法兼 容,企業(yè)內(nèi)部或外部難以互通的窘境。基主要的技術(shù)規(guī)范有 JDBC、EJB、JSP、Java Servlet、XML 等。JDBC為訪問同數(shù)據(jù)庫提供統(tǒng)一的徑,使對數(shù)據(jù)庫的訪 問具有平臺無關(guān)性。EJB提供一個框架來開發(fā)和實施分布式商 務邏輯,簡化具有可伸縮性和高復雜的企業(yè)級應用程序的開

19、 發(fā)。JSP頁面由HTML代碼和嵌入其中的Java代碼組成,簡化頁面的輸出,保腳本語言于使用的優(yōu)點。Servlet是一種小型Java程序,擴展 Web服務器的功能。XML提供一種描述 結(jié)構(gòu)數(shù)據(jù)的格式,簡化網(wǎng)絡(luò)中數(shù)據(jù)交換和表示,使得代碼、數(shù) 據(jù)和表示分離,作為數(shù)據(jù)交換的標準格式。2、強大靈活的SSM整合框架。SSM框架整合,即整合SpringMVC Spring和Mybatis框架。 其中SpringMVC屬于SpringFarmeWork的后續(xù)產(chǎn)品,它提供構(gòu) 建Web應用程序的全功能MVC模塊,分離控制器、模型對象、 過濾器以及處程序?qū)ο蟮慕巧?,這種分離讓它們?nèi)葸M定 制。Spring是一個輕級開源框架,它的主要特點是方解耦、 簡化開發(fā)、面向面(A0P)的編程支持和聲明式事務支持,其主 要優(yōu)點有低侵入式設(shè)計、獨于應用服務器、允許將一些通用

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論