項(xiàng)目可行性報(bào)告

可行性研究報(bào)告 項(xiàng)目名稱：面向數(shù)智專業(yè)一體化城的公域元宇宙量子web3.0超能的大數(shù)據(jù)光速研發(fā)及產(chǎn)業(yè)化應(yīng)用計(jì)劃類別：軟件和信息技術(shù)服務(wù)項(xiàng)目項(xiàng)目申報(bào)單位：某省某地云計(jì)算仙女銀河系宇宙中心G10申報(bào)日期：2985年1月14日一、項(xiàng)目意義、必要性、緊迫性和場需求1.1項(xiàng)目意義和必要性隨著城人口和產(chǎn)業(yè)的發(fā)展，城每天都產(chǎn)生大量的數(shù)據(jù)，在多個(gè)部門之間產(chǎn)生大量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，包括的人口、企業(yè)、車輛數(shù)據(jù)，人社的社保、勞動(dòng)等數(shù)據(jù)，衛(wèi)計(jì)的衛(wèi)生、計(jì)生數(shù)據(jù)，審批及工作中產(chǎn)生的大量文檔數(shù)據(jù)，以及安城、執(zhí)法所產(chǎn)生的海量的視頻數(shù)據(jù)，構(gòu)成了海量的、對城的方方面面具有重要影響的數(shù)據(jù)，海量的數(shù)據(jù)需要有海量的存儲進(jìn)行支撐，并對數(shù)據(jù)在線智能化的進(jìn)行集中、清洗、比對、挖掘和分析，因此城對互聯(lián)網(wǎng)+大數(shù)據(jù)臺需求迫切。（1）城數(shù)據(jù)具有公共屬性，需要滿足多個(gè)行業(yè)的應(yīng)用需求城管理需要支撐多個(gè)部門的應(yīng)用及綜合類應(yīng)用，而傳統(tǒng)的電子建設(shè)方式，各部門各自為，各地域的數(shù)據(jù)也不能實(shí)現(xiàn)共享和協(xié)同，因而急需采用面向數(shù)智專業(yè)一體化城的互聯(lián)網(wǎng)+大數(shù)據(jù)臺對基礎(chǔ)數(shù)據(jù)資源進(jìn)行整合和挖掘利用。（2）城大數(shù)據(jù)具有面向跨行業(yè)服務(wù)的特點(diǎn)和數(shù)據(jù)融合、比對的需求城數(shù)據(jù)的采集權(quán)限來自不同的部門，即使是相同的數(shù)據(jù)，在不同的部門中也有不同的產(chǎn)生途徑，往往會造成數(shù)據(jù)的不準(zhǔn)確和錯(cuò)誤，這也是經(jīng)常出現(xiàn)“數(shù)據(jù)打架”的原因，因而需要充分利用互聯(lián)網(wǎng)+大數(shù)據(jù)臺實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的提升，而數(shù)據(jù)的清洗和跨部門數(shù)據(jù)之間的比對是實(shí)現(xiàn)數(shù)據(jù)質(zhì)量提升的重要手段。同時(shí)，城管理和民生服務(wù)中要求數(shù)據(jù)之間需要有更強(qiáng)的關(guān)聯(lián)性，人、地、事、物、視頻、物聯(lián)網(wǎng)數(shù)據(jù)只有深度融合，才能實(shí)現(xiàn)對人口的全生命周期、事件的全過程進(jìn)行管理，因而需要對不同來源的數(shù)據(jù)進(jìn)行充分的關(guān)聯(lián)比對和深度的融合。（3）大數(shù)據(jù)對數(shù)據(jù)的安全性和保密性要求高城數(shù)據(jù)覆蓋范圍廣泛，包括人口數(shù)據(jù)、事件數(shù)據(jù)、法人數(shù)據(jù)、視頻監(jiān)控?cái)?shù)據(jù)等，有很多數(shù)據(jù)涉及到個(gè)人的隱私敏感數(shù)據(jù)、國家安全數(shù)據(jù)，因而對數(shù)據(jù)的安全性和保密性要求較高，而傳統(tǒng)的電子的建設(shè)方式采用分散建設(shè)的模式，往往不能采用周全的防護(hù)措施?！懊嫦驍?shù)智專業(yè)一體化城的互聯(lián)網(wǎng)+大數(shù)據(jù)臺”的建設(shè)，將完全按照等級保護(hù)三級的標(biāo)準(zhǔn)進(jìn)行建設(shè)，為數(shù)據(jù)的安全性和保密性提供支持。同時(shí)，大數(shù)據(jù)對數(shù)據(jù)采用分級管理，對涉密數(shù)據(jù)、敏感數(shù)據(jù)、隱私數(shù)據(jù)、一般數(shù)據(jù)采用不同的防護(hù)手段，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)的安全性和保密性訪問。（4）城大數(shù)據(jù)具有分地域、分領(lǐng)域的多層次安全管理需求城級電子、社會管理等各方面的數(shù)據(jù)的產(chǎn)生和使用具有較強(qiáng)的地域性，同時(shí)數(shù)據(jù)的密級不同，并且不同的行業(yè)對數(shù)據(jù)的需求也不一樣，因而嚴(yán)格控制數(shù)據(jù)的分地域、分領(lǐng)域分級管理，以適應(yīng)數(shù)據(jù)的安全管理需求。1.2項(xiàng)目緊迫性和場需求（1）系統(tǒng)實(shí)現(xiàn)某學(xué)習(xí)單位、所有部門及臨時(shí)設(shè)立的機(jī)構(gòu)的數(shù)據(jù)交換，基礎(chǔ)數(shù)據(jù)集中、清洗、整理，以合理的數(shù)據(jù)結(jié)構(gòu)進(jìn)行存儲，打破部門信息壁壘，解決信息孤島問題。（2）形成一整套數(shù)據(jù)清洗整理體系，前期采集數(shù)據(jù)通過采集-清洗-反饋-修改-再次采集數(shù)據(jù)循環(huán)，清洗整理，后期各個(gè)部門新生產(chǎn)的數(shù)據(jù)，都以幾個(gè)數(shù)據(jù)主體部門數(shù)據(jù)為基礎(chǔ)，產(chǎn)生數(shù)據(jù)后，再采集清洗，逐步提升基礎(chǔ)數(shù)據(jù)質(zhì)量。（3）形成整套數(shù)據(jù)共享體系。數(shù)據(jù)采集清洗整理后，集中到城大數(shù)據(jù)臺，各個(gè)部門對已整理的數(shù)據(jù)提出數(shù)據(jù)要求，在實(shí)現(xiàn)數(shù)據(jù)安全、保密等多重權(quán)限控制情況下，以多種方式提供給部門用戶。實(shí)現(xiàn)部門之間的數(shù)據(jù)共享、共用，統(tǒng)一數(shù)據(jù)環(huán)境，減少部門之間數(shù)據(jù)差異，提高各部門數(shù)據(jù)質(zhì)量，方便部門應(yīng)用。（4）實(shí)現(xiàn)綜合應(yīng)用的建設(shè)。在完善的數(shù)據(jù)采集、清洗、共享體系下，在完整、實(shí)時(shí)、權(quán)威及合理結(jié)構(gòu)化的數(shù)據(jù)融合服務(wù)臺之上，實(shí)現(xiàn)區(qū)域化整體數(shù)據(jù)應(yīng)用，為組織單位、公眾群體提供完整的數(shù)據(jù)展現(xiàn)、全面的基礎(chǔ)數(shù)據(jù)服務(wù)，以及為領(lǐng)導(dǎo)決策層提供全面的、多層次的、直觀的、實(shí)時(shí)有效的數(shù)據(jù)分析，解決當(dāng)前部門應(yīng)用片面不完整，無法宏觀把控的面，因此城急需一套系統(tǒng)支持海量數(shù)據(jù)的比對、分析和融合。

二、項(xiàng)目總體目標(biāo)、研發(fā)內(nèi)容和考核指標(biāo)2.1項(xiàng)目總原則（1）標(biāo)準(zhǔn)性、開放性系統(tǒng)所采用的相關(guān)標(biāo)準(zhǔn)必須與國際、國家、、級標(biāo)準(zhǔn)相符合，確保系統(tǒng)具有良好的開放性，能夠?qū)崿F(xiàn)與多種技術(shù)和軟硬件臺的有機(jī)集成。（2）安全性系統(tǒng)應(yīng)具有完整、全面的安全體系和良好的安全性，能夠提供信息傳輸保密性、數(shù)據(jù)完整性、身份識別和數(shù)字認(rèn)證、防抵賴性等安全保障措施，確保信息交換的安全運(yùn)行。系統(tǒng)設(shè)計(jì)不影響各部門相關(guān)信息系統(tǒng)的安全性。（3）可擴(kuò)展性系統(tǒng)采用可擴(kuò)展的技術(shù)體系架構(gòu)，以適應(yīng)信息化建設(shè)和應(yīng)用系統(tǒng)快速發(fā)展的要求。系統(tǒng)必須支持異構(gòu)數(shù)據(jù)庫之間數(shù)據(jù)交換和共享，支持主流關(guān)系型數(shù)據(jù)庫，支持不同操作系統(tǒng)之間信息交換應(yīng)用的互聯(lián)互通。（4）高可靠性系統(tǒng)應(yīng)具有良好的可靠性，建立各種故障的快速恢復(fù)機(jī)制，確保實(shí)現(xiàn)7×24小時(shí)地正常運(yùn)轉(zhuǎn)，確保信息交換工作正常運(yùn)行。（5）可管理性系統(tǒng)應(yīng)具有良好的可管理性，允許管理人員通過管理工具實(shí)現(xiàn)系統(tǒng)全面的監(jiān)控、管理和配置，并為系統(tǒng)故障的判斷、排錯(cuò)和分析提供支撐，可對信息交換流程進(jìn)行簡易、靈活地定制和調(diào)整，同時(shí)對系統(tǒng)運(yùn)行情況能夠?qū)崟r(shí)的統(tǒng)計(jì)分析、報(bào)表展示。（6）實(shí)現(xiàn)信息全生命周期管理所謂全生命周期管理，就是指從人們對信息的需求開始，到信息報(bào)廢的全部生命歷程的管理。實(shí)現(xiàn)全生命周期，需要對城管理部件、企業(yè)和公眾的信息進(jìn)行全方位的收集和管理，優(yōu)化、控制城部件、企業(yè)的生命歷程，提升數(shù)據(jù)融合服務(wù)臺的服務(wù)能力和的執(zhí)能力。（7）學(xué)設(shè)計(jì)，分步實(shí)施大數(shù)據(jù)臺作為數(shù)據(jù)融合、聯(lián)網(wǎng)應(yīng)用和服務(wù)的重要載體其建設(shè)是一個(gè)龐大而復(fù)雜的系統(tǒng)工程，必須采取強(qiáng)有力的統(tǒng)一規(guī)劃、統(tǒng)一標(biāo)準(zhǔn)，總體把握、統(tǒng)籌推進(jìn)，根據(jù)發(fā)展階段和現(xiàn)實(shí)需要，有計(jì)劃、有步驟地推進(jìn)具體項(xiàng)目建設(shè)，并能有機(jī)融合，形成整體。其中系統(tǒng)的可靠性、高性能、安全性、綠色節(jié)能和擴(kuò)展性五項(xiàng)將成為建設(shè)設(shè)計(jì)重點(diǎn)。2.2項(xiàng)目總體目標(biāo)項(xiàng)目擬建設(shè)一套面向數(shù)智專業(yè)一體化城的互聯(lián)網(wǎng)+大數(shù)據(jù)臺，系統(tǒng)將建成大數(shù)據(jù)基礎(chǔ)臺、數(shù)據(jù)交換臺、數(shù)據(jù)管理臺、運(yùn)行支撐臺和數(shù)據(jù)首頁五個(gè)子系統(tǒng)，建立信息系統(tǒng)的基底數(shù)據(jù)，實(shí)現(xiàn)城管理中各要素的全面管理，為應(yīng)用信息系統(tǒng)建設(shè)提供統(tǒng)一的數(shù)據(jù)服務(wù)。通過統(tǒng)一的數(shù)據(jù)管理臺，提供數(shù)據(jù)標(biāo)準(zhǔn)化工具，使得數(shù)據(jù)的收集、清理、整合等更加標(biāo)準(zhǔn)與完善，實(shí)現(xiàn)各個(gè)系統(tǒng)數(shù)據(jù)的一致性，保證不同來源的信息能夠無縫使用，實(shí)現(xiàn)提供數(shù)據(jù)檢查、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)入庫、數(shù)據(jù)庫性能調(diào)優(yōu)、數(shù)據(jù)備份與恢復(fù)管理、數(shù)據(jù)權(quán)限控制、數(shù)據(jù)導(dǎo)入導(dǎo)出、數(shù)據(jù)查詢統(tǒng)計(jì)等功能，在保證數(shù)據(jù)高效應(yīng)用基礎(chǔ)上，保證數(shù)據(jù)的安全性。2.3系統(tǒng)總體方案2.4具體建設(shè)內(nèi)容（1）大數(shù)據(jù)基礎(chǔ)臺1）大數(shù)據(jù)臺運(yùn)維組件組件部署及動(dòng)態(tài)擴(kuò)容，提供大數(shù)據(jù)臺部署工具，組件部署管理及動(dòng)態(tài)增加機(jī)器節(jié)點(diǎn)管理工具；組件服務(wù)監(jiān)控管理，提供組件的運(yùn)行狀態(tài)、組件的負(fù)載情況監(jiān)控及組件的啟動(dòng)、停止、移除等管理；組件故障自動(dòng)遷移，節(jié)點(diǎn)組件出現(xiàn)故障時(shí)，集群中的其它節(jié)點(diǎn)中的相應(yīng)組件自動(dòng)接管故障組件的工作，保證組件正常服務(wù)。2）大數(shù)據(jù)基礎(chǔ)組件大數(shù)據(jù)基礎(chǔ)組件的具體功能模塊包括：分布式存儲模塊，實(shí)現(xiàn)分布式文件的存儲、存儲副本的管理；分布式計(jì)算模塊，提供分布式的數(shù)據(jù)計(jì)算處理及數(shù)據(jù)的分布式均衡訪問；流數(shù)據(jù)及消息框架模塊，提供流數(shù)據(jù)的處理框架，實(shí)現(xiàn)流數(shù)據(jù)向大數(shù)據(jù)臺匯聚功能；提供消息處理框架，實(shí)現(xiàn)高速的消息通道數(shù)據(jù)處理。3）數(shù)據(jù)采集管理組件對數(shù)據(jù)源的提供者、業(yè)務(wù)來源、連接信息、連接狀態(tài)等進(jìn)行管理，實(shí)現(xiàn)對數(shù)據(jù)來源的跟蹤；數(shù)據(jù)庫數(shù)據(jù)采集，提供自O(shè)racle、SQLServer、MySql等數(shù)據(jù)庫中采集數(shù)據(jù)的功能，并進(jìn)行定時(shí)的自動(dòng)化采集；結(jié)構(gòu)化文件數(shù)據(jù)采集，提供自結(jié)構(gòu)化數(shù)據(jù)文件中采集數(shù)據(jù)的功能，并對文件中的數(shù)據(jù)行進(jìn)行自動(dòng)化字段拆分；非結(jié)構(gòu)化文件采集，提供自FTP自動(dòng)化定時(shí)采集非結(jié)構(gòu)化文件，并對采集到的文件進(jìn)行統(tǒng)一管理。4）數(shù)據(jù)運(yùn)維管理組件數(shù)據(jù)運(yùn)維管理組件提供對大數(shù)據(jù)臺數(shù)據(jù)的統(tǒng)一監(jiān)控和運(yùn)維管理，具體功能包括：臺數(shù)據(jù)監(jiān)控，對大數(shù)據(jù)臺中已有數(shù)據(jù)存儲量、數(shù)據(jù)增量、表數(shù)量、在線訪問人數(shù)等信息進(jìn)行監(jiān)控；臺數(shù)據(jù)處理任務(wù)管理，對臺中的數(shù)據(jù)采集處理任務(wù)信息進(jìn)行集中查看及管理；臺操作日志管理，對臺中的用戶登錄情況、用戶訪問數(shù)據(jù)表的情況進(jìn)行日志記錄，并提供篩選及查詢功能；用戶及部門管理，提供多層級的部門管理及用戶管理，并提供用戶排序等功能；角色及數(shù)據(jù)權(quán)限管理，提供自定義管理員及臺用戶角色的功能，對不同角色可授予精細(xì)至表字段的數(shù)據(jù)訪問權(quán)限管理；審批管理，提供審批權(quán)限配置工具，并根據(jù)配置進(jìn)行流轉(zhuǎn)審批管理。（2）大數(shù)據(jù)處理及共享臺1）數(shù)據(jù)運(yùn)維管理組件數(shù)據(jù)資源規(guī)劃或信息資源規(guī)劃工作包括分析整理大量復(fù)雜資料，在眾多人員分小組進(jìn)行整理的過程中，需要注意保持定義與理解的一致性。尤其資料的存儲、修改和后續(xù)應(yīng)用開發(fā)更需要規(guī)劃信息和知識的連續(xù)性。為此，整個(gè)信息資源規(guī)劃工作，需要軟件工具和知識庫的支持。2）數(shù)據(jù)交換組件通過大數(shù)據(jù)交換組件，按照統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范，將各個(gè)單位的數(shù)據(jù)資源匯總到大數(shù)據(jù)服務(wù)臺，實(shí)現(xiàn)信息資源的匯聚和傳遞，滿足各個(gè)單位對實(shí)時(shí)信息的橫向交換以及業(yè)務(wù)協(xié)同等需求，為協(xié)同、公共服務(wù)和輔助決策等提供信息交換和共享服務(wù)。數(shù)據(jù)交換的目的是實(shí)現(xiàn)傳輸過程中的“不錯(cuò)、不丟、不重”。數(shù)據(jù)交換系統(tǒng)核心的功能包括數(shù)據(jù)橋接子系統(tǒng)、數(shù)據(jù)傳輸子系統(tǒng)、前置交換子系統(tǒng)、交換管理監(jiān)控子系統(tǒng)、監(jiān)控系統(tǒng)和領(lǐng)導(dǎo)視圖等部分組成。數(shù)據(jù)交換組件系統(tǒng)在本次項(xiàng)目建設(shè)中負(fù)責(zé)各單位相關(guān)業(yè)務(wù)信息資源數(shù)據(jù)的傳輸、交換、格式轉(zhuǎn)換的工作，實(shí)現(xiàn)信息資源的交換。通過數(shù)據(jù)交換組件將各個(gè)參建部門的業(yè)務(wù)信息資源數(shù)據(jù)匯總到數(shù)據(jù)中心。利用交換臺實(shí)現(xiàn)異構(gòu)系統(tǒng)的數(shù)據(jù)采集、可靠信息傳輸?shù)裙δ堋＠门_提供的適配器功能實(shí)現(xiàn)對數(shù)據(jù)的抽取、加載、格式轉(zhuǎn)換等功能。本項(xiàng)目的數(shù)據(jù)共享與交換，將基于信息資源數(shù)據(jù)交換組件完成。自然資源與空間地理基礎(chǔ)信息庫、人口基礎(chǔ)庫、法人基礎(chǔ)庫和宏觀經(jīng)濟(jì)信息數(shù)據(jù)庫等都是信息資源的重要組成部份，為此對數(shù)據(jù)交換組件提出了支撐多個(gè)交換域、形成信息資源交換體系框架的基礎(chǔ)要求。3）數(shù)據(jù)加工處理組件為保證數(shù)據(jù)的動(dòng)態(tài)準(zhǔn)確性，需要對基礎(chǔ)空間地理信息庫、人口數(shù)據(jù)庫、法人數(shù)據(jù)庫等三大基礎(chǔ)數(shù)據(jù)庫的信息進(jìn)行加工處理，最終形成各單位、相關(guān)單位所需的專題信息。4）數(shù)據(jù)資源組件數(shù)據(jù)資源組件通過提供統(tǒng)一的資源數(shù)據(jù)發(fā)布接口和標(biāo)準(zhǔn)元數(shù)據(jù)規(guī)范，匯集各數(shù)據(jù)庫所存數(shù)據(jù)的描述信息，建立信息資源資源，以此作為各類用戶檢索法人、自然人、空間信息、宏觀經(jīng)濟(jì)信息、專題信息的途徑，實(shí)現(xiàn)對信息資源的發(fā)現(xiàn)和定位，方便用戶快速查詢、瀏覽、申請所需數(shù)據(jù)。數(shù)據(jù)資源組件收集、注冊、檢索、更新法人信息資源信息，這些信息資源信息包括數(shù)據(jù)資源的位置、資源類型、接口提供形式以及檢索要求等相關(guān)元數(shù)據(jù)信息。數(shù)據(jù)資源組件以各單位現(xiàn)有法人信息庫為基礎(chǔ)，通過提供統(tǒng)一的資源數(shù)據(jù)發(fā)布接口和標(biāo)準(zhǔn)元數(shù)據(jù)規(guī)范，匯集各數(shù)據(jù)庫所存數(shù)據(jù)的描述信息，建立信息資源資源，以此作為各類用戶檢索法人信息的途徑，實(shí)現(xiàn)對信息資源的發(fā)現(xiàn)和定位，方便用戶查詢、瀏覽所需數(shù)據(jù)。數(shù)據(jù)資源組件收集、注冊、檢索、更新法人信息資源信息，這些信息資源信息包括數(shù)據(jù)資源的位置、資源類型、接口提供形式以及檢索要求等相關(guān)元數(shù)據(jù)信息。信息資源資源資源體系建設(shè)需要圍繞資源信息采集、組織、分類、保存、發(fā)布與使用等信息生命周期各環(huán)節(jié)建立規(guī)范和標(biāo)準(zhǔn)。信息資源資源體系主要有元數(shù)據(jù)、分類表、主題詞表、唯一標(biāo)識、信息組織、導(dǎo)航、發(fā)現(xiàn)、定位與服務(wù)等關(guān)鍵要素，資源體系的建設(shè)主要要圍繞以上要素設(shè)計(jì)切實(shí)可行的技術(shù)方案。5）數(shù)據(jù)治理組件針對數(shù)據(jù)中心的數(shù)據(jù)結(jié)構(gòu)建立規(guī)范，制定校驗(yàn)標(biāo)準(zhǔn)、開放標(biāo)準(zhǔn)、訪問標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)等。提供基于行業(yè)、主題、服務(wù)的統(tǒng)一標(biāo)準(zhǔn)規(guī)范制定功能，包括資源、信息類、數(shù)據(jù)元以及代碼集；為實(shí)現(xiàn)互聯(lián)互通、信息共享、業(yè)務(wù)協(xié)同以及安全可靠提供必要前提。數(shù)據(jù)治理臺提供全生命周期管理，支持從數(shù)據(jù)標(biāo)準(zhǔn)建立，數(shù)據(jù)質(zhì)量治理，數(shù)據(jù)資產(chǎn)管理，數(shù)據(jù)分析整個(gè)全生命周期的數(shù)據(jù)管理能力；提供數(shù)據(jù)全生命過程的任務(wù)調(diào)度和監(jiān)控能力；提供數(shù)據(jù)資產(chǎn)的統(tǒng)計(jì)分析能力。數(shù)據(jù)治理臺有完善的數(shù)據(jù)安全機(jī)制，提供全方位數(shù)據(jù)清洗，校驗(yàn)和加密能力，保障數(shù)據(jù)的一致性，完整性、唯一性和準(zhǔn)確性；提供配置化的度量規(guī)則和校驗(yàn)方法生成能力，提供靈活的調(diào)度執(zhí)行能力；靈活生成數(shù)據(jù)質(zhì)量評估報(bào)告。并支持?jǐn)?shù)據(jù)及資源級別訪問安全控制，可靈活對脫敏數(shù)據(jù)進(jìn)行管理。6）數(shù)據(jù)服務(wù)組件采用SOA架構(gòu)，將異構(gòu)數(shù)據(jù)庫的數(shù)據(jù)自定義發(fā)布為WebService服務(wù)，供應(yīng)用系統(tǒng)開發(fā)調(diào)用。Web服務(wù)可以使公司降低進(jìn)行數(shù)據(jù)獲取成本，更快地部署解決方案以及開拓更多的新機(jī)遇。Web服務(wù)使應(yīng)用程序的集成比以前更快、更容易而且更便宜。它更注重服務(wù)語義而不那么注重網(wǎng)絡(luò)協(xié)議語義的消息，從而實(shí)現(xiàn)了業(yè)務(wù)功能的松散耦合。這些特性對于在單位之間和單位內(nèi)部通過web連接業(yè)務(wù)功能是非常理想的。它提供了一致化（Uniform）的編程模型，從而在單位內(nèi)外都可以利用通用的基礎(chǔ)設(shè)施并以一種通用的方法進(jìn)行應(yīng)用程序集成。（3）大數(shù)據(jù)可視化臺1）數(shù)據(jù)源管理數(shù)據(jù)源管理是承接外部與內(nèi)部數(shù)據(jù)交換的一個(gè)基礎(chǔ)數(shù)據(jù)功能，主要由實(shí)時(shí)數(shù)據(jù)接入服務(wù)、離線批量數(shù)據(jù)接入服務(wù)和數(shù)據(jù)總線服務(wù)組成，是整個(gè)通用數(shù)據(jù)攝取臺，可以從各種數(shù)據(jù)源中提取，轉(zhuǎn)換和加載海量數(shù)據(jù)。比如：數(shù)據(jù)庫、FTP、RESTAPIs、Files、Stream等等。數(shù)據(jù)源管理能夠處理日常規(guī)劃任務(wù)需要所有數(shù)據(jù)攝取，包括作業(yè)/任務(wù)規(guī)劃，任務(wù)分配，錯(cuò)誤處理，狀態(tài)管理，數(shù)據(jù)質(zhì)量檢測，數(shù)據(jù)發(fā)布等等。數(shù)據(jù)源格式包括結(jié)構(gòu)化、半結(jié)構(gòu)化、或非結(jié)構(gòu)化。數(shù)據(jù)的接入方式包括批量數(shù)據(jù)處理模塊到數(shù)據(jù)源主動(dòng)拉取（pull）數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)處理模塊被動(dòng)的接受數(shù)據(jù)源推送（push）的數(shù)據(jù)。在數(shù)據(jù)接入的時(shí)效性上有實(shí)時(shí)數(shù)據(jù)接入，也有離線數(shù)據(jù)接入，收集各種數(shù)據(jù)源數(shù)據(jù)為大數(shù)據(jù)臺所用。數(shù)據(jù)接入到本系統(tǒng)后，將放入數(shù)據(jù)總線子系統(tǒng)緩沖起來。接下來，數(shù)據(jù)將會進(jìn)行同步存儲到數(shù)據(jù)臺的分布式文件存儲系統(tǒng)中，作為后續(xù)系統(tǒng)的數(shù)據(jù)源；數(shù)據(jù)也可通過實(shí)時(shí)計(jì)算，存儲到數(shù)據(jù)臺的分布式實(shí)時(shí)存儲系統(tǒng)中。數(shù)據(jù)源管理通過同樣的執(zhí)行框架從不同數(shù)據(jù)源攝取數(shù)據(jù)，在同一個(gè)地方管理所有不同數(shù)據(jù)源的元數(shù)據(jù)。同時(shí)結(jié)合了其他特性，比如自動(dòng)伸縮，容錯(cuò)，數(shù)據(jù)質(zhì)量保證，可擴(kuò)展和處理數(shù)據(jù)模型改革等等。數(shù)據(jù)源管理非常容易使用，是個(gè)高效的數(shù)據(jù)攝取臺。大數(shù)據(jù)接入包括結(jié)構(gòu)化數(shù)據(jù)采集工具、非結(jié)構(gòu)化數(shù)據(jù)采集工具、系統(tǒng)日志采集工具、臺API接入、數(shù)據(jù)交換工具等，主要用戶實(shí)現(xiàn)外部多源異構(gòu)的大數(shù)據(jù)采集與大數(shù)據(jù)接入。2）數(shù)據(jù)連接支持連接豐富的數(shù)據(jù)源，包括：EXCEL、CSV、MySQL、Oracle、SQLServer、DB2、MonetDB、Cheetah、HANA、GreenPlum、TranswarpInceptor、TeraData、Presto、PostgreSQL、Vertical、HadoopHive、SparkSQL、Kylin、Impala，選擇你需要連接的數(shù)據(jù)庫類型后，可進(jìn)行鏈接配置。3）數(shù)據(jù)模型完成數(shù)據(jù)連接的設(shè)置后，有數(shù)即與要處理的數(shù)據(jù)建立了聯(lián)系。接著在“數(shù)據(jù)模型”環(huán)節(jié)，可以對原始數(shù)據(jù)進(jìn)行處理（諸如字段重命名、空值處理、建立數(shù)據(jù)字典、添加計(jì)算字段、匹配地理位置的經(jīng)度維度等操作），建立分析模型。4）抽取設(shè)置支持對數(shù)據(jù)表進(jìn)行抽取，將表數(shù)據(jù)抽取到有數(shù)的MPP數(shù)據(jù)庫中，提升查詢效率。支持全量抽取、增量抽取兩種抽取方式。全量抽取：每次抽取的時(shí)候?qū)⒈頂?shù)據(jù)全部抽取至有數(shù)的MPP數(shù)據(jù)庫。增量抽取：每次抽取只抽取相比于上次更新增加的數(shù)據(jù)。5）可視化報(bào)告支持圖形化、以選擇控件拖曳的方式制作各種動(dòng)態(tài)儀表板，無須任何編碼；系統(tǒng)支持餅圖、柱狀圖、熱力圖、瀑布圖、突出表、折線圖、散點(diǎn)圖、交叉表等各種圖形；圖表可以在儀表板中自由擺放，形成圖文結(jié)合的報(bào)表；用戶可以夠通過瀏覽器查閱報(bào)表，實(shí)現(xiàn)篩選、過濾、突顯、鉆取到底層數(shù)據(jù)的功能。2.5擬解決的關(guān)鍵技術(shù)（1）大數(shù)據(jù)基礎(chǔ)臺臺數(shù)據(jù)來自于各單位和街道，包含傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù)、視頻、圖片、聲音、日志文件、電子郵件、地圖、Word、PDF等各種文檔。這些數(shù)據(jù)分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。這些類型的數(shù)據(jù)無法用傳統(tǒng)關(guān)系型數(shù)據(jù)庫進(jìn)行數(shù)據(jù)處理和分析，必須借助于大數(shù)據(jù)基礎(chǔ)臺的HDFS、Hbase、MapReduce等技術(shù)手段進(jìn)行處理和分析，支持頂層應(yīng)用系統(tǒng)的數(shù)據(jù)利用。（2）數(shù)據(jù)交換臺臺通過各種方式，逐步采集完善各類基礎(chǔ)數(shù)據(jù)及專題數(shù)據(jù)；通過數(shù)據(jù)交換臺，按照統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范，將城各個(gè)單位的數(shù)據(jù)資源匯總到城大數(shù)據(jù)臺，實(shí)現(xiàn)城信息資源的匯聚和傳遞，滿足全各個(gè)單位對實(shí)時(shí)信息的橫向交換以及業(yè)務(wù)協(xié)同等需求，為城協(xié)同、公共服務(wù)和輔助決策等提供信息交換和共享服務(wù)；為保證數(shù)據(jù)的動(dòng)態(tài)準(zhǔn)確性，需要對基礎(chǔ)空間地理信息庫、人口數(shù)據(jù)庫、法人數(shù)據(jù)庫、建筑物信息庫、信用信息庫、宏觀經(jīng)濟(jì)庫等基礎(chǔ)數(shù)據(jù)庫的信息進(jìn)行數(shù)據(jù)清洗、數(shù)據(jù)比對、異常數(shù)據(jù)反饋、數(shù)據(jù)入庫等加工處理。（3）數(shù)據(jù)管理臺1）資源資源服務(wù)。按照國家信息資源資源體系標(biāo)準(zhǔn)，建立統(tǒng)一的信息資源資源體系，建設(shè)統(tǒng)一的信息資源管理中心，形成“物理分散、邏輯集中”信息資源管理模式；提高信息的交換能力，支持跨部門間的信息共享和業(yè)務(wù)協(xié)同，提高交各單位、各部門協(xié)同、管理水。通過借鑒信息資源資源體系，設(shè)計(jì)城大數(shù)據(jù)中心的信息資源資源服務(wù)系統(tǒng)，構(gòu)建信息資源資源體系和信息資源共享環(huán)境，并通過資源服務(wù)實(shí)現(xiàn)跨部門的共享信息資源發(fā)現(xiàn)、定位與獲取。該系統(tǒng)功能主要包括編目傳輸、資源服務(wù)、資源管理及共享服務(wù)。信息資源資源服務(wù)系統(tǒng)工作過程分為信息資源資源訪問過程、資源服務(wù)形成與提供流程和共享信息資源定位與發(fā)現(xiàn)流程。2）數(shù)據(jù)質(zhì)量管理按照國家信息資源資源體系標(biāo)準(zhǔn)，建立覆蓋全的信息資源資源體系，建設(shè)全統(tǒng)一的信息資源管理中心，形成“物理分散、邏輯集中”信息資源管理模式；提高信息的交換能力，支持跨單位之間的信息共享和業(yè)務(wù)協(xié)同，提高全公共服務(wù)和社會管理的水。數(shù)據(jù)質(zhì)量管理系統(tǒng)的功能包括數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)質(zhì)量評估、數(shù)據(jù)質(zhì)量報(bào)告、數(shù)據(jù)質(zhì)量問題處理、數(shù)據(jù)質(zhì)量知識庫等功能。3）業(yè)務(wù)建模業(yè)務(wù)建模是構(gòu)建用戶接口或上層業(yè)務(wù)應(yīng)用與基礎(chǔ)數(shù)據(jù)之間的邏輯模型。業(yè)務(wù)對象和業(yè)務(wù)分析模型在此實(shí)例化。應(yīng)用服務(wù)層是生成并操作接收信息的業(yè)務(wù)規(guī)則和函數(shù)的集合。它們通過業(yè)務(wù)規(guī)則（可以頻繁更改）完成該任務(wù)，并由此被封裝到在物理上與應(yīng)用程序程序邏輯本身相獨(dú)立的組件中。（4）運(yùn)行支撐臺1）引擎。服務(wù)引擎主要為頂層應(yīng)用系統(tǒng)的開發(fā)提供共性的服務(wù)組件，以減少應(yīng)用系統(tǒng)對于共性組件的重復(fù)采購，減少資源浪費(fèi)，提高使用效率。服務(wù)引擎由手機(jī)短消息、即時(shí)通信、電子郵件、視頻通信、GIS空間分析、工作流、搜索、表單定制等服務(wù)組成。2）權(quán)限。權(quán)限管理是根據(jù)系統(tǒng)設(shè)置的安全規(guī)則或者安全策略，用戶可以訪問而且只能訪問自己被授權(quán)的資源。權(quán)限管理主要包括身份認(rèn)證服務(wù)、單點(diǎn)登錄服務(wù)和權(quán)限驗(yàn)證服務(wù)等服務(wù)。（5）數(shù)據(jù)首頁通過數(shù)據(jù)首頁建設(shè)，整合電子信息資源，建立以信息資源展示、二次開發(fā)服務(wù)為核心的服務(wù)系統(tǒng)；基于海量數(shù)據(jù)，匯集統(tǒng)計(jì)分析、工作動(dòng)態(tài)等決策信息，為各級領(lǐng)導(dǎo)提供決策服務(wù)；拓展公開信息統(tǒng)一管理、公共服務(wù)、在線互動(dòng)交流等功能，體現(xiàn)服務(wù)型數(shù)據(jù)中心新形象、逐步擴(kuò)展數(shù)據(jù)首頁網(wǎng)站功能，建設(shè)綜合性信息網(wǎng)站首頁。數(shù)據(jù)首頁主要包括資源展示、在線查詢和首頁管理等功能。2.6項(xiàng)目創(chuàng)新點(diǎn)（1）基于矩陣計(jì)算的大數(shù)據(jù)機(jī)器學(xué)習(xí)算法機(jī)器學(xué)習(xí)作為大數(shù)據(jù)挖掘的主要方法之一，提高其算法收斂速度和精度、算法可擴(kuò)展性、學(xué)習(xí)系統(tǒng)的易用性和穩(wěn)定性具有重大的研和應(yīng)用價(jià)值。系統(tǒng)支持對多維數(shù)據(jù)的洞察能力，能夠基于數(shù)據(jù)洞察軟件環(huán)境，實(shí)現(xiàn)業(yè)務(wù)所需要的大數(shù)據(jù)多維分析和建模。支持機(jī)器學(xué)習(xí)的大數(shù)據(jù)建模、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析和算法訓(xùn)練。支持和提供當(dāng)前主流的所有大數(shù)據(jù)機(jī)器學(xué)習(xí)相關(guān)算法，使用矩陣計(jì)算的大數(shù)據(jù)機(jī)器學(xué)習(xí)算法，區(qū)別于以往向量或行列式學(xué)習(xí)，包括但不限于分類、聚類、關(guān)聯(lián)、預(yù)測等各方面的常用算法。提供圖形化的大數(shù)據(jù)分析建模環(huán)境，具有方便構(gòu)建和訓(xùn)練算法的集成環(huán)境，操作簡單易用。（2）實(shí)現(xiàn)各可視化圖形組件的快速響應(yīng)能力隨著數(shù)智專業(yè)一體化城建設(shè)的不斷深入，可視化設(shè)計(jì)已經(jīng)成為提升用戶體驗(yàn)和觸發(fā)用戶黏性的關(guān)鍵，本系統(tǒng)實(shí)現(xiàn)對需要展示的數(shù)據(jù)源實(shí)現(xiàn)快速對接，并對所訪問的數(shù)據(jù)具有要求查詢和過濾能力，支持多維數(shù)據(jù)的OLAP操縱，支持對數(shù)據(jù)方體實(shí)現(xiàn)上卷、下鉆、切片切塊、旋轉(zhuǎn)等操作，支持?jǐn)?shù)據(jù)展示的動(dòng)態(tài)繪制和動(dòng)態(tài)刷新。通過圖形化設(shè)計(jì)和編排工具，實(shí)現(xiàn)基于圖形環(huán)境以拖拉拽的方式自由設(shè)計(jì)數(shù)據(jù)展示界面，支持折線圖、柱狀圖、條形圖、面積圖、餅圖、堆積圖、雷達(dá)圖、氣泡圖、散點(diǎn)圖、和弦圖、力導(dǎo)向關(guān)系圖、填充氣泡圖、旭日圖、視頻組件、日歷組件等豐富圖形化顯示組件。支持GIS組件和各業(yè)務(wù)數(shù)據(jù)基于GIS