大數(shù)據(jù)平臺技術(shù)方案大數(shù)據(jù)平臺技術(shù)解決方案

大數(shù)據(jù)平臺技術(shù)方案大數(shù)據(jù)平臺技術(shù)解決方案一、工程背景“十三五〞期間，隨著我國現(xiàn)代信息技術(shù)的蓬勃開展，信息化建設(shè)模式發(fā)Th根本性轉(zhuǎn)變，一場以云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動應(yīng)用等技術(shù)為核心的“新IT 〞浪潮風(fēng)起云涌，信息化應(yīng)用進(jìn)入一個“新常態(tài)〞***〔某政府部門〕為積極應(yīng)對“互聯(lián)網(wǎng)+〞和大數(shù)據(jù)時代的機(jī)遇和挑戰(zhàn)，適應(yīng)全省經(jīng)濟(jì)社會開展與改革要求，大數(shù)據(jù)平臺應(yīng)運而Th。二、建設(shè)目標(biāo)督，建立標(biāo)準(zhǔn)化共建共享投資工程管理體系，推進(jìn)政務(wù)數(shù)據(jù)共享和業(yè)務(wù)協(xié)同，為決策提供及時、準(zhǔn)確、可靠的信息依據(jù)，提高政務(wù)工作的前瞻性和針對性，加大宏觀調(diào)控力度，促進(jìn)經(jīng)濟(jì)持續(xù)健康發(fā)展。1、制定統(tǒng)一信息資源管理標(biāo)準(zhǔn)，拓寬數(shù)據(jù)獲取渠道，整合業(yè)務(wù)信息系統(tǒng)數(shù)據(jù)、企業(yè)單位數(shù)據(jù)和互聯(lián)網(wǎng)抓取數(shù)據(jù)，構(gòu)建會聚式一體化數(shù)據(jù)庫，為平臺打下堅實穩(wěn)固的數(shù)據(jù)根底。2、梳理各相關(guān)系統(tǒng)數(shù)據(jù)資源的關(guān)聯(lián)性，編制數(shù)據(jù)資源目錄，建立信息資源交換管理標(biāo)準(zhǔn)體系，在業(yè)務(wù)可行性的根底上，實現(xiàn)數(shù)據(jù)信息共享，推進(jìn)信息公開，建立跨部門跨領(lǐng)域經(jīng)濟(jì)形勢分析制度。3、在大數(shù)據(jù)分析監(jiān)測根底上，為政府把握經(jīng)濟(jì)開展趨勢、預(yù)見經(jīng)濟(jì)開展?jié)撛趩栴}、輔助經(jīng)濟(jì)決策提供根底支撐。三、建設(shè)原那么大數(shù)據(jù)平臺以信息資源整合為重點，以大數(shù)據(jù)應(yīng)用為核心，堅持“統(tǒng)籌規(guī)劃、分步實施，整合資源、協(xié)同共享，突出重點、注重實效，深化應(yīng)用、創(chuàng)新驅(qū)動〞的原那么，全面提升信息化建設(shè)水平，促進(jìn)全省經(jīng)濟(jì)持續(xù)健康開展。1、統(tǒng)籌規(guī)戈IJ、分步實施。結(jié)合我省經(jīng)濟(jì)開展與改革領(lǐng)域?qū)嶋H需求，明確總體目標(biāo)和階段性任務(wù)，科學(xué)規(guī)劃建設(shè)工程。先期完成大數(shù)據(jù)平題。23目的，突出重點，注重實效，加強(qiáng)平臺可用性和易用性。4、深化應(yīng)用、創(chuàng)新驅(qū)動。深入了解用戶需求，密切跟蹤信息技術(shù)開展趨勢，不斷深化應(yīng)用、拓展新技術(shù)在應(yīng)用中的廣度和深度，促進(jìn)跨界融合，豐富管理和效勞手段。四、建設(shè)方案為了保證工程的順利進(jìn)行和建設(shè)目標(biāo)的可行性，我們采取如下幾種建設(shè)方案。1、數(shù)據(jù)采集方案。性和時效性。1、預(yù)留接口，支持其它系統(tǒng)各種數(shù)據(jù)的上傳導(dǎo)入處理。將現(xiàn)存本平臺上復(fù)用。2、支持外接數(shù)據(jù)的上傳導(dǎo)入處理。可以將企業(yè)單位或定點監(jiān)測機(jī)構(gòu)的數(shù)據(jù)通過同樣的方式采集起來，在本平臺上復(fù)用。3、支持非結(jié)構(gòu)化數(shù)據(jù)，即搜索引擎數(shù)據(jù)、社交媒體數(shù)據(jù)、地理空間數(shù)據(jù)和音視頻數(shù)據(jù)等等。2、數(shù)據(jù)分析方案。我們采用批量數(shù)據(jù)處理系統(tǒng)，借助于深度學(xué)習(xí)、知識計算和可視化等大數(shù)據(jù)分析技術(shù)，通過對數(shù)據(jù)的批量處理挖掘其中的價值來支持決策和發(fā)現(xiàn)新的洞察。3、業(yè)務(wù)整合方案。1、整合處理。將原有數(shù)據(jù)通過上傳或?qū)敕绞竭M(jìn)行采集，會聚起來。缺點是耗時較長。2平臺中，作為子系統(tǒng)單獨存在。缺點在于數(shù)據(jù)共享難以實現(xiàn)。五、建設(shè)內(nèi)容1、宏觀經(jīng)濟(jì)監(jiān)測預(yù)測及可視化平臺依靠互聯(lián)網(wǎng)非統(tǒng)計數(shù)據(jù)轉(zhuǎn)變，從監(jiān)測預(yù)測宏觀經(jīng)濟(jì)總量向監(jiān)測預(yù)測宏觀經(jīng)濟(jì)先行指標(biāo)轉(zhuǎn)變，從中長期監(jiān)測預(yù)測向?qū)崟r監(jiān)測預(yù)測轉(zhuǎn)變。宏觀經(jīng)濟(jì)監(jiān)測預(yù)測及可視化平臺圍繞網(wǎng)絡(luò)搜索、社交媒體、電子商務(wù)、終端定位和業(yè)務(wù)交易等五個方面全面整合互聯(lián)網(wǎng)相關(guān)數(shù)據(jù)資臺。圍繞重點產(chǎn)業(yè)活潑度、區(qū)域經(jīng)濟(jì)關(guān)聯(lián)度、宏觀經(jīng)濟(jì)走向社會預(yù)期、觀、準(zhǔn)確反映我省宏觀經(jīng)濟(jì)運行狀況的指標(biāo)體系，編制"山東指數(shù)〞。在健全完善監(jiān)測預(yù)警數(shù)據(jù)庫的根底上，充分運用大數(shù)據(jù)技術(shù)和理型，切實提高預(yù)測分析的前瞻性、準(zhǔn)確性和可靠性。Unity3D引擎，三維界面高度仿真，所見即所得。平臺針對多源易構(gòu)的海量數(shù)據(jù)，通過數(shù)據(jù)處理、存儲管理、可視化交互分析等技術(shù)，實現(xiàn)圖形化數(shù)據(jù)查詢、可視化關(guān)聯(lián)分析、證據(jù)鏈和情報線索開掘等功能。利用預(yù)測信號燈系統(tǒng)，形象地刻畫出宏觀經(jīng)濟(jì)總體運行狀況，分析經(jīng)濟(jì)波動原因，及時了解各地區(qū)經(jīng)濟(jì)開展的不平衡性，準(zhǔn)確判斷和測定經(jīng)濟(jì)景氣循環(huán)運行狀態(tài)，提高宏觀經(jīng)濟(jì)決策水平。2、企業(yè)信用監(jiān)測預(yù)警效勞平臺企業(yè)信用危機(jī)不僅給社會帶來嚴(yán)重危害，也是關(guān)系到企業(yè)自身Th死存亡的重大事件，它是中國企業(yè)乃至中國市場經(jīng)濟(jì)開展的巨大障礙。因的預(yù)警及管理是十分重要的。企業(yè)信用監(jiān)測預(yù)警效勞平臺，全面整合社會信用監(jiān)管信息和別，分別向企業(yè)自身、金融機(jī)構(gòu)、其他政府部門及全社會進(jìn)行通報。納入企業(yè)信用預(yù)警體系的企業(yè)信息包括侵犯消費者權(quán)益且不履行相關(guān)義務(wù)的信息、消費者投訴未及時處理信息、行政處分逾期未執(zhí)行信息、 查無下落企業(yè)信息等23種信息?？梢詣討B(tài)配置預(yù)警信息工和相應(yīng)預(yù)警等級，增強(qiáng)監(jiān)測預(yù)警的全面性和靈活性。企業(yè)信用監(jiān)測預(yù)警效勞平臺以信息技術(shù)為支撐，以信用監(jiān)管為手段，全面提高信用監(jiān)管信息共享程度，及時預(yù)警影響社會交易平安和社會公共平安的不良信用信息，遵循“對外警示社會和企業(yè)；對內(nèi)明確重點，積極采取應(yīng)對措施〞的原那么，強(qiáng)化企業(yè)信用監(jiān)管防范機(jī)制，有力推進(jìn)“信用保稅區(qū)〞建設(shè)，加強(qiáng)企業(yè)信用監(jiān)督管理的主動性、前瞻現(xiàn)企業(yè)信用的社會化監(jiān)督。3、投資工程信息管理平臺應(yīng)用，可有效解決投資建設(shè)工程管理動態(tài)過程的信息分析、信息構(gòu)建，到達(dá)各參建方信息共享的目的。投資工程信息管理平臺，支持重大工程推介，建立標(biāo)準(zhǔn)的工程審批流程和工程信息庫，管理工程啟動、方案、執(zhí)行、監(jiān)控和收尾的整個Th命周期，覆蓋進(jìn)度、質(zhì)量、本錢、資源、風(fēng)險等工程管理的各個要素，構(gòu)建集成工程、流程、知識的信息化平臺。逐步實現(xiàn)與相關(guān)部門業(yè)務(wù)系統(tǒng)的接入，形成全覆蓋的投資工程管理持效勞。圍繞設(shè)計、招標(biāo)、監(jiān)理、質(zhì)量、平安、進(jìn)度、施工、資金、變更、合同管理“十大環(huán)節(jié)〞，建立起對投資工程進(jìn)行事前方案、事中控方位、全過程的方案、組織、協(xié)調(diào)與控制作用。目管理為主線，全面組織、全程貫穿各個業(yè)務(wù)環(huán)節(jié)；以工程計決策提供依據(jù)；遵循“以方案為龍頭，以合同為中心，以投資控制為目4 、政務(wù)數(shù)據(jù)共享交換平臺建設(shè)政務(wù)數(shù)據(jù)共享交換平臺的首要目標(biāo)就是要創(chuàng)造一個信息交換、信息共享的方式和環(huán)境，按照統(tǒng)一標(biāo)準(zhǔn)和標(biāo)準(zhǔn)，建立信息資源整合機(jī)制，標(biāo)準(zhǔn)數(shù)據(jù)采集口徑、采集方式，標(biāo)準(zhǔn)數(shù)據(jù)的效勞方式，建立統(tǒng)一的資源信息整合與交換機(jī)制。我們按照統(tǒng)一、集約、高效的數(shù)據(jù)開發(fā)利用理念，通過研究建立多級交換管理體系，形成政務(wù)信息資源物理分散、邏輯集中的信息共享模式，通過以應(yīng)用為抓手，進(jìn)一步打通數(shù)據(jù)流，滿足政府部門多方位、多層次的數(shù)據(jù)需求，為跨地域、跨部門、跨平臺不同應(yīng)用系統(tǒng)、不同數(shù)據(jù)庫之間的互連互通提供包含提取、轉(zhuǎn)換、傳輸和加密等操作的數(shù)據(jù)交換效勞。通過分布式部署和集中式管理架構(gòu)，有效解決各節(jié)點間數(shù)據(jù)的及時、高效上傳下達(dá)，在平安、快捷、方便的進(jìn)行信息交換的同時精準(zhǔn)的保證數(shù)據(jù)的一致性和準(zhǔn)確性。政務(wù)數(shù)據(jù)共享交換平臺的全局目標(biāo)是建立“一個系統(tǒng)〞，解決政務(wù)協(xié)作、宏觀決策、市場監(jiān)管和社會管理效勞。六、技術(shù)支持與平臺性能1、系統(tǒng)架構(gòu)結(jié)合該工程以大數(shù)據(jù)平臺為核心，多業(yè)務(wù)子系統(tǒng)并存的業(yè)務(wù)需求，以及存在不同種類操作系統(tǒng)、應(yīng)用軟件、系統(tǒng)軟件的現(xiàn)狀，SOA架構(gòu)。SOA 是一個組件模型，它將應(yīng)用程序的不同功能單元〔稱為效勞〕通過這些效勞之間定義良好的接口和契約聯(lián)系起來。接口全別離，從而最大程度上實現(xiàn)效勞的集成和重組。SOA實施是以業(yè)務(wù)效勞為導(dǎo)向的，業(yè)務(wù)效勞獨立于技術(shù)之SOA架構(gòu)的主要優(yōu)勢有：1SOA與平臺無關(guān)，減少了業(yè)務(wù)應(yīng)用及業(yè)務(wù)子系統(tǒng)整合的限制。2SOA具有低耦合的特點，各個業(yè)務(wù)子系統(tǒng)對整個業(yè)務(wù)系統(tǒng)的影響較低，在各個系統(tǒng)不斷變化情況下，節(jié)省的費用會越來越多。3SOA做下一步，將實施造成的沖擊減少到最小。SOA效勞交互示意圖如下：2、技術(shù)支持1J2EE框架。Java2平臺企業(yè)版(Java2PlatformEnterpriseEditionJ2EE)Java2平臺來簡化且標(biāo)準(zhǔn)應(yīng)用系統(tǒng)的開發(fā)與部署，進(jìn)J2EE使用的信息產(chǎn)品彼此之間無法兼容，企業(yè)內(nèi)部或外部難以互通的窘境。基主要的技術(shù)標(biāo)準(zhǔn)有JDBC、EJB、JSP、JavaServlet、XML等。JDBC為訪問不同數(shù)據(jù)庫提供了統(tǒng)一的路徑，使對數(shù)據(jù)庫的訪問具有平臺無關(guān)性。EJB化了具有可伸縮性和高度復(fù)雜的企業(yè)級應(yīng)用程序的開發(fā)。JSPHTMLJava代碼組成，簡化了頁面的輸出，保存了腳本語言易于使用的優(yōu)點。ServletJavaWeb效勞器的功能。XML的標(biāo)準(zhǔn)格式。2SSM整合框架。SSMSpringMVC>SpringMybatisSpringMVCSpringFarmeWorkMVC模塊，別離了控制器、模型對象、過濾器以Spring個輕量級開源框架，它的主要特點是方便解耦、簡化開發(fā)、面向切面〔A0P〕的編程支持和聲明式事務(wù)支持，其主要優(yōu)點有低侵入式設(shè)計、獨0RMJDBC代碼和參數(shù)的手工設(shè)置XML或注解用于配置和原始映射，將接JavaPOJOs映射成數(shù)據(jù)庫中的記錄。其框架架構(gòu)圖如下：一 發(fā)送請求----------------ath/myRequest

A RequestMoppingHandlerMappingH?ndkfEx?cwtionChain(H^MyControlM用戶" -

View

SSH

SpringMVCM7、

Mo<lel3 And、札i^MyControllerViewInternaLResourceVie^ResoLverStruts

Ecto觀觀MybatisSQL甚是方便。3、平臺性能1、先進(jìn)性、開放性。B/SJavaS0A開放式的體系框架，資的有效性和延續(xù)性。2、 可擴(kuò)展性。由于采用了平臺化構(gòu)建思想，整個系統(tǒng)可做到與底層多種硬件環(huán)境、操作系統(tǒng)、數(shù)據(jù)庫的自由適配，保證系統(tǒng)在軟件、硬件環(huán)境方面的靈活配置以及未來的拓展應(yīng)用。采用基于S0A