“數(shù)字城市”公共智慧底座項(xiàng)目解決方案

解解決方案第一章項(xiàng)目概述 51.1項(xiàng)目背景 51.2建設(shè)原則 51.3建設(shè)依據(jù) 7 91.5建設(shè)范圍 1.6總體要求 第二章平臺(tái)建設(shè)要求 2.1數(shù)據(jù)湖服務(wù)平臺(tái) 2.1.1數(shù)據(jù)資源湖建設(shè) 2.1.2公共數(shù)據(jù)服務(wù) 2.1.3數(shù)據(jù)中臺(tái)建設(shè) 402.1.4數(shù)據(jù)資產(chǎn)湖建設(shè) 2.1.5政府?dāng)?shù)據(jù)開(kāi)放服務(wù) 652.1.6數(shù)據(jù)運(yùn)營(yíng) 2.1.7數(shù)據(jù)運(yùn)維 912.1.8數(shù)據(jù)標(biāo)準(zhǔn)體系建設(shè) 922.2人工智能公共服務(wù)平臺(tái) 932.2.1人工智能應(yīng)用服務(wù) 932.2.2人工智能運(yùn)營(yíng)管理 972.2.3人工智能算法訓(xùn)練 2.2.4人工智能公共服務(wù)引擎 2.2.5人工智能技術(shù)服務(wù)體系 2.3CIM公共服務(wù)平臺(tái) 1242.3.1CIM標(biāo)準(zhǔn)規(guī)范 1242.3.2CIM數(shù)據(jù)專題圖層 1252.3.3CIM數(shù)據(jù)管理 1262.3.4CIM模擬分析引擎 1272.3.5CIM應(yīng)用超市 1282.3.6CIM示范區(qū) 1282.3.7GIS軟件 1292.4區(qū)塊鏈公共服務(wù)平臺(tái) 2.4.1區(qū)塊鏈公共服務(wù) 2.4.2區(qū)塊鏈運(yùn)營(yíng)管理 2.4.3區(qū)塊鏈公共服務(wù)引擎 2.4.4標(biāo)準(zhǔn)規(guī)范要求 2.5物聯(lián)感知公共服務(wù)平臺(tái) 2.5.1物聯(lián)基礎(chǔ)管理 2.5.2物聯(lián)公共應(yīng)用 2.5.3物聯(lián)公共服務(wù)引擎 2.5.4統(tǒng)一服務(wù)門戶 2.5.5物聯(lián)應(yīng)用使能 2.5.6物聯(lián)標(biāo)準(zhǔn)建設(shè) 2.6視頻綜合公共服務(wù)平臺(tái) 2.6.1視頻公共應(yīng)用 2.6.2視頻公共運(yùn)營(yíng) 2.6.3視頻服務(wù)總線 2.6.4雪亮工程升級(jí) 2.6.5服務(wù)器和存儲(chǔ)系統(tǒng)要求 2.7統(tǒng)一應(yīng)用公共服務(wù)平臺(tái) 2.7.1公共智慧底座總門戶 2.7.2統(tǒng)一應(yīng)用服務(wù) 2.7.3鹿政通APP 2.7.4統(tǒng)一運(yùn)營(yíng)管理 2.7.5統(tǒng)一運(yùn)維管理 2022.7.6統(tǒng)一基礎(chǔ)管理 2072.8基礎(chǔ)支撐平臺(tái) 2082.8.1物聯(lián)網(wǎng)建設(shè) 2092.8.2政務(wù)外網(wǎng)組網(wǎng)要求 209讓城市更聰明一些、更智慧一些。”2021年《國(guó)務(wù)院政府工作報(bào)告》中指出：加快數(shù)字化發(fā)展，打造數(shù)字經(jīng)濟(jì)濟(jì)發(fā)展指導(dǎo)意見(jiàn)的工作部署，結(jié)合XX市《關(guān)于貫徹落實(shí)<XX市推進(jìn)數(shù)字經(jīng)濟(jì)和數(shù)字化發(fā)展三年行動(dòng)計(jì)劃（2021—2023年）>的實(shí)施方案》，圍繞“強(qiáng)富美高”加強(qiáng)5G、物聯(lián)網(wǎng)、云計(jì)算、區(qū)塊鏈、大數(shù)據(jù)、人工智能等新一代信息技術(shù)數(shù)據(jù)的正確性、有效性和相容性;數(shù)據(jù)發(fā)生故障或用戶輸人數(shù)據(jù)不合理的情況下計(jì)時(shí)要考慮到新技術(shù)，新產(chǎn)品出現(xiàn)時(shí)對(duì)本系統(tǒng)的兼容性;當(dāng)業(yè)務(wù)需求、外部環(huán)境是要符合工作人員的思維方式和工作習(xí)慣，方便非計(jì)算機(jī)專業(yè)人員的使用;二是《國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十四個(gè)五年規(guī)劃和2035年遠(yuǎn)景目標(biāo)綱要》《中共中央關(guān)于制定國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十四個(gè)五年規(guī)劃和二〇三五年工業(yè)和信息化部2018年6月發(fā)布《工業(yè)互聯(lián)網(wǎng)發(fā)展行動(dòng)計(jì)劃信息化部《信息技術(shù)人工智能機(jī)器學(xué)習(xí)模型及系統(tǒng)的質(zhì)量要素和測(cè)試方法》《信息技術(shù)人工智能面向機(jī)器學(xué)習(xí)的系統(tǒng)框架和功能要求》（T/CESA《信息技術(shù)智能設(shè)備操作系統(tǒng)身份識(shí)別服務(wù)接口》GB/T36468-2018《物聯(lián)網(wǎng)系統(tǒng)評(píng)價(jià)指GB/T51243-2017《物聯(lián)網(wǎng)應(yīng)用支撐平GB/T37044-2018《信息安全技術(shù)物聯(lián)網(wǎng)安全參考模型及通用要求》GB/T36951-2018《信息安全技術(shù)物聯(lián)網(wǎng)感知終端應(yīng)GB/T37025-2018《信息安全技術(shù)物聯(lián)網(wǎng)數(shù)據(jù)傳GB/T37093-2018《信息安全技術(shù)物聯(lián)網(wǎng)感知層接入通XX省2012年8月發(fā)布《無(wú)錫國(guó)家傳感網(wǎng)創(chuàng)新示范區(qū)發(fā)展規(guī)劃綱要（2012-2020）》得感，使智慧城市建設(shè)更有溫度，更有人情味。旨在通過(guò)本項(xiàng)目的建設(shè)，助推XX數(shù)字化改革進(jìn)入深水區(qū)，爭(zhēng)創(chuàng)全國(guó)縣域級(jí)新型智慧城市建設(shè)的先行區(qū)、理念包括數(shù)據(jù)湖服務(wù)平臺(tái)、人工智能公共服務(wù)平臺(tái)CIM公共服務(wù)平臺(tái)、區(qū)塊鏈公投標(biāo)人針對(duì)本項(xiàng)目現(xiàn)狀及實(shí)際需求，提供數(shù)字XX公共智慧底座總體方揮數(shù)據(jù)資源的綜合效益，實(shí)現(xiàn)XX城市運(yùn)行狀態(tài)和事件實(shí)時(shí)監(jiān)測(cè)、數(shù)據(jù)分析通過(guò)數(shù)據(jù)探查主要對(duì)來(lái)源數(shù)據(jù)進(jìn)行數(shù)據(jù)探查分析政務(wù)信息資源元數(shù)據(jù)：政務(wù)信息資源元數(shù)據(jù)包括核心政務(wù)信息資源代碼：參照GBT210634-2007《政務(wù)信息資源目錄體系第4部可通過(guò)數(shù)據(jù)資源目錄的展示功能查看數(shù)據(jù)處理平臺(tái)內(nèi)所有數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)定數(shù)據(jù)湖，第三方數(shù)據(jù)源商業(yè)數(shù)據(jù)通過(guò)API接口推送方式匯聚到數(shù)據(jù)湖?；?非結(jié)構(gòu)化格式文件的讀寫，以及通過(guò)多種協(xié)議與其他應(yīng)用系統(tǒng)的交互。對(duì)于支持對(duì)接各種主流數(shù)據(jù)庫(kù)，如Mysql、Oracle、SqlServer、postgresql和文件）、非結(jié)構(gòu)化文件（文本、圖片、音視頻等）和特定日志文件(文本文件、Excel文件等)的數(shù)據(jù)進(jìn)行采集，將數(shù)據(jù)整理或?qū)С鰹楣潭ǜ袷?，然后通過(guò)數(shù)據(jù)支持的數(shù)據(jù)導(dǎo)入方式：從源系統(tǒng)通過(guò)物理拷貝、橋接、導(dǎo)入/導(dǎo)出、ETL等數(shù)據(jù)采集接入工具：Flume、Sqoop、Canal和ETL，支撐離線集采集的全部數(shù)據(jù)，按源系統(tǒng)的數(shù)據(jù)格式臨時(shí)存儲(chǔ)，為數(shù)據(jù)檢查和ET數(shù)據(jù)處海量的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)可利用云化RPA（Roboticprocessautomation）是機(jī)器人流程自動(dòng)化的簡(jiǎn)稱，是以軟是能與Web系統(tǒng)非常友好的進(jìn)行數(shù)據(jù)交互，包括數(shù)據(jù)回填和數(shù)據(jù)采集。息系統(tǒng)的支撐。通過(guò)磁盤數(shù)據(jù)結(jié)構(gòu)提供消息的持久化，這種結(jié)構(gòu)對(duì)于即使數(shù)以業(yè)務(wù)系統(tǒng)數(shù)據(jù)遷移需要將實(shí)時(shí)數(shù)據(jù)庫(kù)中的歷史數(shù)據(jù)與實(shí)時(shí)數(shù)據(jù)整齊地通過(guò)Kafka消息隊(duì)列輸出到Hadoop數(shù)據(jù)湖的Hbase中進(jìn)行存儲(chǔ)。實(shí)時(shí)數(shù)據(jù)庫(kù)中配套輸出適配器將緩沖區(qū)的數(shù)據(jù)解析并生成指定格式的數(shù)據(jù)，實(shí)時(shí)向Hadoop數(shù)據(jù)湖業(yè)務(wù)系統(tǒng)數(shù)據(jù)源，結(jié)構(gòu)化數(shù)據(jù)通過(guò)Sqoop/Nifi腳本進(jìn)行批量的導(dǎo)入，在MysqlBinlog則是一種實(shí)時(shí)的數(shù)據(jù)流，用于主從節(jié)點(diǎn)之間的數(shù)據(jù)復(fù)制，我嚴(yán)重影響，對(duì)平臺(tái)的實(shí)用性危害極大，所以具有將數(shù)據(jù)加載到HDFS上的能力，加載數(shù)據(jù)的格式包括定長(zhǎng)格式格式和名值對(duì)格式。同時(shí)支持的編碼格式包括UTF-8、GBK等，支持的行分隔符為CR、LF、CRLF，支持追加或者覆蓋的是順序?qū)?，也就是在文件?chuàng)建時(shí)的寫入或者在現(xiàn)有文件之后的添加操作。HDFS底層分布式文件存儲(chǔ)系統(tǒng)采用HDFS，它被設(shè)計(jì)成適合運(yùn)行在通用硬件同點(diǎn)。但同時(shí)，它和其他的分布式文件系統(tǒng)的區(qū)別也是很明顯的。HDFS是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。HDFS能提供高吞吐量的數(shù)據(jù)訪3.基于Kerberos認(rèn)證支持安全認(rèn)證及文件訪問(wèn)權(quán)限控第20頁(yè)業(yè)中數(shù)據(jù)傳輸中的數(shù)據(jù)恢復(fù),是一種編碼容錯(cuò)技術(shù)。他通過(guò)在原始數(shù)據(jù)中加入新的校驗(yàn)數(shù)據(jù),使得各個(gè)部分的數(shù)據(jù)產(chǎn)生關(guān)聯(lián)性。在一定范圍的數(shù)據(jù)出錯(cuò)情況下,數(shù)據(jù)塊進(jìn)行恢復(fù),原則如下:如果校驗(yàn)數(shù)據(jù)塊發(fā)生錯(cuò)誤，通過(guò)對(duì)原始數(shù)據(jù)塊進(jìn)行編碼重新生成。6.基于集成平臺(tái)一鍵啟動(dòng)HDFSHA高可用功能，排除8.提供數(shù)據(jù)負(fù)載均衡工具，盡量均勻的將數(shù)據(jù)（二）分布式數(shù)據(jù)庫(kù)Hbase（Column-Oriented）、適合存儲(chǔ)海量非結(jié)構(gòu)化數(shù)據(jù)或半結(jié)構(gòu)化數(shù)據(jù)的、具備高可靠性、高性能、可靈活擴(kuò)展伸縮的、支持實(shí)時(shí)第21頁(yè)存儲(chǔ)在Hbase中的表的典型特征：）：任務(wù)進(jìn)行運(yùn)行。其學(xué)習(xí)成本低，可以通過(guò)類SQL語(yǔ)句快速實(shí)現(xiàn)簡(jiǎn)單的MapRedHive作為建立在Hadoop上的數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)構(gòu)架，提供了一系列的工具，可以用來(lái)進(jìn)行數(shù)據(jù)提取轉(zhuǎn)化加載（ETL）操作，這是一種可以存儲(chǔ)、查詢和分析存儲(chǔ)在Hbase中的大規(guī)模數(shù)據(jù)的機(jī)制。Hive定義的簡(jiǎn)單的類SQL查詢語(yǔ)言-HQL，允許熟悉SQL的用戶快速查詢數(shù)據(jù)。同時(shí)，這個(gè)語(yǔ)言也允許熟悉MapReduce開(kāi)發(fā)者的開(kāi)發(fā)自定義的mapper和reducer來(lái)處理內(nèi)建的mapper第22頁(yè)默認(rèn)采用集群模式。提供支持網(wǎng)絡(luò)、可基于內(nèi)存亦可持久化的日志型、Key-Value數(shù)據(jù)庫(kù)，并提供多種語(yǔ)言的API。它通常被稱為數(shù)據(jù)結(jié)構(gòu)服務(wù)器，因Redis用于緩存加速場(chǎng)景，大幅減少后端數(shù)據(jù)庫(kù)的IO壓力，存儲(chǔ)數(shù)據(jù)庫(kù)緩量IO，增加后端數(shù)據(jù)庫(kù)壓力。添加Redis后，第一次的數(shù)據(jù)讀取會(huì)從數(shù)據(jù)庫(kù)中消耗IO獲取，然后緩存在Redis中，第二次讀取時(shí)會(huì)優(yōu)先從Redis數(shù)據(jù)庫(kù)中獲不同，關(guān)系在圖數(shù)據(jù)庫(kù)中占首要地位。與關(guān)系數(shù)據(jù)庫(kù)或其他NoSQL數(shù)據(jù)庫(kù)相比，第23頁(yè)求?？梢詧?zhí)行CREATETABLE語(yǔ)句指定表的冷熱存儲(chǔ)策略為：全熱部存儲(chǔ)在SSD）、全冷存儲(chǔ)（數(shù)據(jù)全部存儲(chǔ)在HDD）、冷熱混合存儲(chǔ)（指定一定數(shù)量的分區(qū)存儲(chǔ)在SSD，其余數(shù)據(jù)存儲(chǔ)在HDD）。數(shù)據(jù)入庫(kù)開(kāi)始是在RealTime引擎，經(jīng)過(guò)build會(huì)應(yīng)用冷熱存儲(chǔ)策略，將數(shù)存儲(chǔ)在SSD，其余分區(qū)為冷分區(qū)，存儲(chǔ)在HDD。N的值可以在指定冷熱存儲(chǔ)策略源湖部分主題庫(kù)及BI大屏報(bào)表等高價(jià)值密度的海量結(jié)構(gòu)化數(shù)據(jù)存入結(jié)構(gòu)化數(shù)據(jù)第24頁(yè)數(shù)據(jù)的交換，對(duì)接城市大腦存量XX市各部委辦局系統(tǒng)數(shù)據(jù)主要包括:人工智能庫(kù)、物聯(lián)網(wǎng)庫(kù)、CIM庫(kù)、區(qū)塊鏈庫(kù)、統(tǒng)一應(yīng)用服務(wù)庫(kù)，第25頁(yè)實(shí)時(shí)查詢：通過(guò)presto實(shí)時(shí)查詢引擎，以SQL語(yǔ)言作為接口的分布式實(shí)時(shí)查詢引擎，可以對(duì)PB級(jí)的數(shù)據(jù)進(jìn)行快速的交互式查詢。它支持標(biāo)準(zhǔn)的ANS|SQL似于通過(guò)字典中的檢索字表查字的過(guò)程。全文搜索搜索文件搜索：能夠?qū)?shù)據(jù)庫(kù)，文件服務(wù)器，HDFS等分布式文件存儲(chǔ)，等多種表格，標(biāo)簽等等，漢字識(shí)別率超過(guò)98%?？蓪?duì)HTML、Htm、Txt，Word、Excle、Ppt、Pdf，OFD等常見(jiàn)第26頁(yè)索和分析引擎，一鍵搜索除了應(yīng)包含全文搜索第27頁(yè)成的數(shù)據(jù)集，完成數(shù)據(jù)質(zhì)量校驗(yàn)后，有管理賬第28頁(yè)數(shù)據(jù)資源管控功能是數(shù)據(jù)由資源數(shù)據(jù)各類基礎(chǔ)庫(kù)和專題庫(kù)數(shù)據(jù)向數(shù)據(jù)共享求和問(wèn)題做出及時(shí)準(zhǔn)確的反饋，大屏數(shù)據(jù)從不同的第29頁(yè)第30頁(yè)冊(cè)、登錄、創(chuàng)建應(yīng)用、申請(qǐng)接口、接口調(diào)用第31頁(yè)用戶可以將查詢出的數(shù)據(jù)按照訪問(wèn)量或下載量或更新時(shí)間或數(shù)據(jù)容量從大數(shù)據(jù)容量、數(shù)據(jù)提供者、數(shù)據(jù)領(lǐng)域、數(shù)據(jù)格式、第32頁(yè)相關(guān)應(yīng)用：以圖標(biāo)+列表形式展示出應(yīng)用了該數(shù)據(jù)集的相關(guān)應(yīng)用，方便用戶支持?jǐn)?shù)據(jù)預(yù)覽、數(shù)據(jù)接口API、數(shù)據(jù)圖譜、數(shù)據(jù)可視化、數(shù)據(jù)集下載快速入對(duì)于用戶獲取的數(shù)據(jù)共享集的預(yù)覽數(shù)據(jù)支持基于BI智能引擎自助式可視化第33頁(yè)若有更新則會(huì)將最新的數(shù)據(jù)集進(jìn)行更新并在用戶中心的<我的訂閱>模塊中以右展，體現(xiàn)事件與實(shí)體間的關(guān)聯(lián)；并利用時(shí)序第34頁(yè)支持并以EXCEL格式保存到本地，以便查看數(shù)據(jù)集目錄的集合。第35頁(yè)支持并以EXCEL格式保存到本地，以便查看數(shù)據(jù)集目錄的集合。放，新增數(shù)據(jù)集默認(rèn)狀態(tài)為不開(kāi)放。支持對(duì)服務(wù)接口審核是用于管理員審核服務(wù)接口注冊(cè)信息,需要審核服務(wù)接口的在關(guān)文件。服務(wù)接口的發(fā)布和刪除必須經(jīng)過(guò)管理平臺(tái)的線_上審核審批后才能進(jìn)行除和服務(wù)啟停等。大數(shù)據(jù)局審批后才允許使用服務(wù)，已發(fā)布的服務(wù),必須經(jīng)過(guò)中密、身份認(rèn)證、權(quán)限管理和流量控制等多重手段保證API安全，降低API開(kāi)放風(fēng)險(xiǎn)。提供代理訪問(wèn)真實(shí)API的能力，數(shù)據(jù)供應(yīng)方的真實(shí)API僅暴露給數(shù)據(jù)共享平臺(tái)，其它用戶看到的都是數(shù)據(jù)共享平臺(tái)提供的代理訪問(wèn)地址;為上層開(kāi)發(fā)者第36頁(yè)用戶可以將查詢出的接口按照訪問(wèn)量或下載管理賬號(hào)對(duì)服務(wù)API接口進(jìn)行設(shè)置，可將API接口設(shè)置為開(kāi)放、受限開(kāi)放和不開(kāi)放，新增API接口默認(rèn)狀態(tài)為不開(kāi)放。只有開(kāi)放或者受限開(kāi)發(fā)的接口才可以接口預(yù)覽支持對(duì)應(yīng)接口返回結(jié)果內(nèi)容樣例展示，將接口返回Demo樣例，方第37頁(yè)管理賬號(hào)對(duì)受限的API接口申請(qǐng)進(jìn)行審批，只有審批通過(guò)的接入請(qǐng)求才能按前平臺(tái)URL地址，并附上申請(qǐng)接口時(shí)所提供的應(yīng)用的AppSecret，才能正確調(diào)用服務(wù)接口文檔編制上傳需要對(duì)原始接口文檔按照政務(wù)信息系統(tǒng)互通接口管提供API服務(wù)快速錄入的能力，用戶可以通過(guò)Swagger文檔快速導(dǎo)入RESTful，或通過(guò)WSDL文檔快速導(dǎo)入WebService,亦或是手工錄入API。可以1、支持RESTful反向代理能力支持手工錄入和通過(guò)Swagger文檔導(dǎo)入API服務(wù)。適應(yīng)于后臺(tái)以RESTful的形式提供服務(wù),同時(shí)希望網(wǎng)關(guān)仍然以RESTful的2、支持WebService轉(zhuǎn)RESTful能力支持通過(guò)指定WSDL文檔自動(dòng)生成第38頁(yè)RESTfulAPI功能。適應(yīng)于后臺(tái)以WebService的形式提供服務(wù),同時(shí)希望網(wǎng)關(guān)轉(zhuǎn)服務(wù)接口發(fā)布是對(duì)服務(wù)接口正式對(duì)外發(fā)布,發(fā)布的服務(wù)接口會(huì)與政務(wù)服務(wù)信布服務(wù)、已發(fā)布服務(wù)和待刪除服務(wù)的形式展示當(dāng)前發(fā)布狀態(tài),每種發(fā)布狀態(tài)按照第39頁(yè)加委辦局和大數(shù)據(jù)局的溝通交流，獲取各委辦局支持對(duì)交流內(nèi)容進(jìn)行分類匯總分析，幫助大數(shù)第40頁(yè)第41頁(yè)數(shù)據(jù)轉(zhuǎn)換是將從業(yè)務(wù)應(yīng)用系統(tǒng)抽取出來(lái)的不同格式的業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)第42頁(yè)第43頁(yè)到端的，也就意味著數(shù)據(jù)只能被客戶端加密和解密。HDFS從來(lái)不會(huì)存儲(chǔ)或訪問(wèn)未加密的數(shù)據(jù)或者為加密的加密key。這滿足了2個(gè)典型的加密要求靜態(tài)加密：HDFS層級(jí)加密適合在數(shù)據(jù)庫(kù)級(jí)別和文件系統(tǒng)級(jí)別之間的棧進(jìn)行第44頁(yè)第45頁(yè)Reduce函數(shù)接受Map函數(shù)生成的列表，然后根據(jù)它們的鍵縮小鍵/值對(duì)列表。第46頁(yè)ApacheSpark是一個(gè)開(kāi)源的，通用的分布式集群計(jì)算引擎。Spark擁有HadoopMapReduce所具有的優(yōu)點(diǎn)；但不同可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)發(fā)，統(tǒng)一的大數(shù)據(jù)應(yīng)用，對(duì)數(shù)據(jù)進(jìn)行協(xié)處理，流式處理，交互式布式并行數(shù)據(jù)庫(kù)技術(shù)和Hadoop進(jìn)行結(jié)合，幫助用戶能夠直接查詢存儲(chǔ)于HDFS和Hbase的數(shù)據(jù)而不用進(jìn)行數(shù)據(jù)遷移或者轉(zhuǎn)變。Impala設(shè)計(jì)之初就定位為），個(gè)節(jié)點(diǎn)上，由各個(gè)節(jié)點(diǎn)上的QueryExecEngine負(fù)責(zé)子查詢的執(zhí)行，最后返回子Impala的查詢效率比Hive有數(shù)量級(jí)的提升。從技術(shù)角度上來(lái)看，Impala之所以能有好的性能，主要有以下幾方面的原因:第47頁(yè)省掉了MapReduce作業(yè)啟動(dòng)的開(kāi)銷。MapRImpala完全拋棄了MapReduce這個(gè)不太適合做SQL查詢的范式，而是像通過(guò)使用LLVM來(lái)統(tǒng)一編譯運(yùn)行時(shí)代碼，避免了為支持通用編譯而帶來(lái)的不用C++實(shí)現(xiàn)，做了很多有針對(duì)性的硬件優(yōu)化，例如使用SSE指令。任何種類數(shù)據(jù)的Hadoop，但是需要交互式響應(yīng)，用戶就不得不把數(shù)據(jù)轉(zhuǎn)移到一Time-to-Insigt：Impala具有秒級(jí)，分鐘級(jí)別的響應(yīng)速度，能夠讓用戶更第48頁(yè)ApacheFlink是一個(gè)框架和分布式處理引擎，用于對(duì)無(wú)界和有界數(shù)據(jù)流進(jìn)像ApacheSpark也只能兼顧高吞吐和高性能特ApacheStorm只能支持低延時(shí)和高性能特性，無(wú)法滿足高吞吐第49頁(yè)所謂狀態(tài)就是在流式計(jì)算過(guò)程中將算子的中間結(jié)果保存在內(nèi)存或者文件系Flink能夠分布運(yùn)行在上千個(gè)節(jié)點(diǎn)上，通過(guò)基于分布式快照技術(shù)的Checkpoints，將執(zhí)行過(guò)程中的狀態(tài)信息進(jìn)行持久化存儲(chǔ)，一旦任務(wù)出現(xiàn)異常停止，F(xiàn)link能夠從Checkpoints中進(jìn)行集成在Tablelibrary中提供，在流和批上都可以用此API開(kāi)發(fā)業(yè)務(wù)。通過(guò)SQL層Runtime本身就是一個(gè)流與批統(tǒng)一的引擎，而SQL可以做到API層的流與第50頁(yè)而SparkStreaming對(duì)離散數(shù)據(jù)流的轉(zhuǎn)換操作在執(zhí)行過(guò)程中會(huì)被映射到核心RDD口選取范圍在0.5~2秒，延遲要求越高，則窗口時(shí)間越短。總體而言，Spark另外，SparkStreaming的容錯(cuò)性是轉(zhuǎn)換操作：兼容原始Spark操作符，將離散數(shù)據(jù)流的操作映射到原始RDD操作符，包括map、reduce、groupBy、join等。通過(guò)轉(zhuǎn)換操作，應(yīng)用程序可以第51頁(yè)流式處理引擎基于開(kāi)源ApacheStorm，是一個(gè)分布式、可靠、容錯(cuò)的實(shí)時(shí)時(shí)間內(nèi)沒(méi)有獲得成功處理響應(yīng)的數(shù)據(jù)，會(huì)在Spout處進(jìn)行重發(fā)，供后續(xù)Bolt再第52頁(yè)精確一次：數(shù)據(jù)成功傳遞，不丟失，不冗余處理NimbusHA機(jī)制，避免了Storm集群中Nimbus成為單點(diǎn)問(wèn)題，從而導(dǎo)致集該Worker所在節(jié)點(diǎn)上的Supervisor會(huì)重新在該節(jié)點(diǎn)上重新則該節(jié)點(diǎn)上的所有分配的任務(wù)會(huì)超時(shí)，而Nimbus會(huì)將這些制，且是無(wú)狀態(tài)的，并不影響正在該節(jié)點(diǎn)上運(yùn)行的worker，但是會(huì)無(wú)法接收新的Worker分配。當(dāng)Supervisor失效時(shí)，Nimbus也是無(wú)狀態(tài)且快速失效的。當(dāng)主Nimbus失效時(shí)，備第53頁(yè)具有MPP（大規(guī)模并行處理系統(tǒng)）的性能，比其他Hadoop里面的SQL引擎彈性執(zhí)行引擎：可以根據(jù)查詢大小來(lái)決定執(zhí)行查詢使用的節(jié)點(diǎn)及Segment支持多種分區(qū)方法及多級(jí)分區(qū)：比如List分區(qū)和Range分區(qū)。分區(qū)表對(duì)性多種UDF（用戶自定義函數(shù)）語(yǔ)言支持：java,python,c/c++,perl,R動(dòng)態(tài)擴(kuò)容：動(dòng)態(tài)按需擴(kuò)容，按照存儲(chǔ)大小或者），與Hadoop系統(tǒng)無(wú)縫集成：存儲(chǔ)、資源、安裝部署（Amb第54頁(yè)完善的安全及權(quán)限管理：kerberos；數(shù)據(jù)庫(kù)，表等各個(gè)級(jí)別的授權(quán)管理。7）近實(shí)時(shí)查詢開(kāi)發(fā)方案Hbase+ESHbase適用于大表的存儲(chǔ)，通過(guò)單一的RowKey查詢雖然能快速查詢，但是作為一個(gè)高性能，采用Java5開(kāi)發(fā)，基于Lucene（同時(shí)對(duì)其進(jìn)行了擴(kuò)展）的全文搜索服務(wù)器，提供了比Lucene更為豐富的查詢語(yǔ)言，同時(shí)實(shí)現(xiàn)了可配置、可LilyHbaseIndexer是一款靈活的、可擴(kuò)展的、高容錯(cuò)的、事務(wù)性的，并且近實(shí)時(shí)的處理Hbase列索引數(shù)據(jù)的分布式服務(wù)軟件。LilyHbaseIndexer使件，并用來(lái)保證寫入ES中的Hbase索引數(shù)據(jù)的一致性自定義的抽取，轉(zhuǎn)換規(guī)則來(lái)索引Hbase列數(shù)據(jù)。ES搜索結(jié)果會(huì)包含用戶自定義第55頁(yè)API，從而構(gòu)建知識(shí)圖譜，提升數(shù)據(jù)應(yīng)用圖譜分析引擎支持用戶根據(jù)不同的業(yè)務(wù)場(chǎng)景或業(yè)務(wù)需求進(jìn)行個(gè)性化的圖譜圖譜分析引擎可將存放在數(shù)據(jù)資源湖的數(shù)據(jù)進(jìn)行連通調(diào)用及規(guī)則適配的映第56頁(yè)為提升行業(yè)數(shù)據(jù)建模分析的響應(yīng)能力，平臺(tái)融合常用TensorFlow、kera、sparkmlib、Orange等算法模型框架，通過(guò)可視化的數(shù)據(jù)分析和機(jī)器學(xué)習(xí)建模第57頁(yè)第58頁(yè)供靈活多變的行篩選機(jī)制，可以通過(guò)組合并集和或第59頁(yè)行、每日新增開(kāi)放數(shù)據(jù)集數(shù)量及總量、每日第60頁(yè)高精企業(yè)、數(shù)字創(chuàng)新實(shí)驗(yàn)室的專題數(shù)據(jù)集資產(chǎn)。效數(shù)據(jù)資產(chǎn)集是基于數(shù)據(jù)資源湖基礎(chǔ)庫(kù)和各類專題庫(kù)通過(guò)數(shù)據(jù)中臺(tái)計(jì)算分析第61頁(yè)據(jù)、公共底座主題數(shù)據(jù)。不涉及國(guó)家安全、商業(yè)秘密和個(gè)人隱第62頁(yè)基礎(chǔ)數(shù)據(jù)集的主要數(shù)據(jù)來(lái)源為XX市人口基礎(chǔ)數(shù)據(jù)、法度價(jià)值數(shù)據(jù)的一部分，供特定部門和專屬人員調(diào)加工、匯總、計(jì)算和分析，按照城市運(yùn)營(yíng)特色，沉淀出12類特色主題庫(kù)數(shù)據(jù)。第63頁(yè)數(shù)據(jù)管控功能是數(shù)據(jù)由資產(chǎn)湖向數(shù)據(jù)開(kāi)放服務(wù)平臺(tái)遷移的流程和質(zhì)量管控第64頁(yè)實(shí)時(shí)查詢：通過(guò)presto實(shí)時(shí)查詢引擎，以SQL語(yǔ)言作為接口的分布式實(shí)時(shí)查詢引擎，可以對(duì)PB級(jí)的數(shù)據(jù)進(jìn)行快速的交互式查詢。它支持標(biāo)準(zhǔn)的ANS|SQL即席查詢:即席查詢是用戶根據(jù)自己的需求，靈活選擇查詢條件，系統(tǒng)文件搜索：能夠?qū)?shù)據(jù)庫(kù)，文件服務(wù)器，HDFS等分布式文件存儲(chǔ)，等多種表格，標(biāo)簽等等，漢字識(shí)別率超過(guò)98%?？蓪?duì)HTML、Htm、Txt，Word、Excle、Ppt、Pdf，OFD等常見(jiàn)第65頁(yè)索和分析引擎，一鍵搜索除了應(yīng)包含全文搜索湖里，有效促進(jìn)數(shù)據(jù)在湖里的流動(dòng)，形成湖水內(nèi)將數(shù)字創(chuàng)新實(shí)驗(yàn)室里沉淀的有價(jià)值數(shù)據(jù)，反哺到第66頁(yè)第67頁(yè)冊(cè)、登錄、創(chuàng)建應(yīng)用、申請(qǐng)接口、接口調(diào)用第68頁(yè)按照數(shù)據(jù)主題分類對(duì)全市開(kāi)放數(shù)據(jù)資源進(jìn)行統(tǒng)一展示,展示的內(nèi)容包括數(shù)據(jù)瀏覽量、數(shù)據(jù)下載次數(shù)以及數(shù)據(jù)簡(jiǎn)單介紹(包括所屬)等,可以通過(guò)點(diǎn)擊更多按鈕進(jìn)行更多部門展示的數(shù)據(jù),包括資源發(fā)布部門、資源摘要、更新時(shí)間、評(píng)價(jià)信息根據(jù)開(kāi)放數(shù)據(jù)提供機(jī)構(gòu)進(jìn)行展示,具體展示的信息包括資源主題分類、數(shù)據(jù)第69頁(yè)用戶可以將查詢出的數(shù)據(jù)按照訪問(wèn)量或下載量或更新時(shí)間或數(shù)據(jù)容量從大據(jù)集詳情包括:摘要、資源代碼、標(biāo)簽、更新周期、資源格式、數(shù)據(jù)單位地址、相關(guān)應(yīng)用：以圖標(biāo)+列表形式展示出應(yīng)用了該數(shù)據(jù)集的相關(guān)應(yīng)用，方便用戶支持?jǐn)?shù)據(jù)預(yù)覽、數(shù)據(jù)接口API、數(shù)據(jù)圖譜、數(shù)據(jù)可視化、數(shù)據(jù)集下載快速入對(duì)于用戶獲取的數(shù)據(jù)集的預(yù)覽數(shù)據(jù)支持基于BI智能引擎自助式可視化數(shù)據(jù)若有更新則會(huì)將最新的數(shù)據(jù)集進(jìn)行更新并在用戶中心的<我的訂閱>模塊中以右展，體現(xiàn)事件與實(shí)體間的關(guān)聯(lián)；并利用時(shí)序系統(tǒng)提供審核功能可對(duì)服務(wù)請(qǐng)求方的請(qǐng)求信息進(jìn)行審核,只有審核確認(rèn)的用系統(tǒng)提供服務(wù)資源審核功能,服務(wù)注冊(cè)發(fā)布后,系統(tǒng)對(duì)服務(wù)接口信息進(jìn)行核系統(tǒng)對(duì)服務(wù)請(qǐng)求方、用戶、資源進(jìn)行了分級(jí)管理,支持服務(wù)以及目錄權(quán)限控級(jí),控制用戶可訪問(wèn)和訂閱的范圍,可基于行政層級(jí)系統(tǒng)發(fā)布的服務(wù)會(huì)選擇發(fā)布的目錄,通過(guò)發(fā)布目錄來(lái)確認(rèn)發(fā)布范圍,同時(shí)設(shè)置共享等級(jí),根據(jù)共享等級(jí)來(lái)保證哪些申請(qǐng)方可以瀏覽訂閱該資源。通過(guò)對(duì)共享數(shù)據(jù)訪問(wèn)方式的控制以及數(shù)據(jù)顆粒度控制,服務(wù)方實(shí)現(xiàn)對(duì)自身共享數(shù)據(jù)的管理,支持并以EXCEL格式保存到本地，以便查看數(shù)據(jù)集目錄的集合。支持并以EXCEL格式保存到本地，以便查看數(shù)據(jù)集目錄的集合。放，新增數(shù)據(jù)集默認(rèn)狀態(tài)為不開(kāi)放。支持對(duì)中應(yīng)用大數(shù)據(jù)，助力業(yè)務(wù)發(fā)展和產(chǎn)業(yè)升級(jí)。為了安全考慮，接口需要用戶申請(qǐng)據(jù)用戶可以將查詢出的接口按照訪問(wèn)量或下載管理賬號(hào)對(duì)服務(wù)API接口進(jìn)行設(shè)置，可將API接口設(shè)置為開(kāi)放、受限開(kāi)放和不開(kāi)放，新增API接口默認(rèn)狀態(tài)為不開(kāi)放。只有開(kāi)放或者受限開(kāi)發(fā)的接口才可以接口預(yù)覽支持對(duì)應(yīng)接口返回結(jié)果內(nèi)容樣例展示，將接口返回Demo樣例，方入?yún)?列出調(diào)用接口時(shí)都需要傳入哪些參數(shù)及參數(shù)描述。講述哪些是必傳哪出參:統(tǒng)一接口返回?cái)?shù)據(jù)格式,帶有返回碼和消息體內(nèi)容,自動(dòng)帶入，申請(qǐng)方需選擇對(duì)接的應(yīng)用或者創(chuàng)建管理賬號(hào)對(duì)受限的API接口申請(qǐng)進(jìn)行審批，只有審批通過(guò)的接入請(qǐng)求才能按前面加上當(dāng)前平臺(tái)URL地址，并附上申請(qǐng)接口時(shí)所提供的應(yīng)用的AppSecret，才能正確調(diào)用接口，返回對(duì)應(yīng)的數(shù)據(jù)，同時(shí)平臺(tái)為了安全，也會(huì)對(duì)接口的調(diào)用做應(yīng)用超市是用來(lái)展示已經(jīng)接入數(shù)據(jù)開(kāi)放服務(wù)的社會(huì)面應(yīng)用系統(tǒng)、便民生活應(yīng)用詳細(xì)信息頁(yè)面展示應(yīng)用的具體信息包括:應(yīng)用名稱、數(shù)源單位、所屬領(lǐng)提供給普通用戶對(duì)個(gè)人信息進(jìn)行管理的模塊,主要包括用戶個(gè)人資料維護(hù)、查看自己相關(guān)應(yīng)用的狀態(tài)、應(yīng)用名稱、應(yīng)用領(lǐng)域、應(yīng)用AppSecret、查看接口、支持對(duì)交流內(nèi)容進(jìn)行分類匯總分析，幫助大數(shù)任務(wù)集中在Hive和shell腳本，怎么讓大量的ETL任務(wù)準(zhǔn)確完成調(diào)度不出現(xiàn)問(wèn)具體的任務(wù)執(zhí)行器，同時(shí)也支持HA，當(dāng)主節(jié)點(diǎn)掛掉后，會(huì)選舉出一個(gè)從節(jié)點(diǎn)充第80頁(yè)匯聚整合任務(wù)，支持?jǐn)?shù)據(jù)中心數(shù)據(jù)資源的準(zhǔn)確庫(kù)等數(shù)據(jù)庫(kù)基于日志、觸發(fā)器、時(shí)間戳等方式的對(duì)任務(wù)的刪除編輯等操作。新任務(wù)支持cron表達(dá)式轉(zhuǎn)換和第81頁(yè)通過(guò)配置任務(wù)的DAG上下游節(jié)點(diǎn)來(lái)維護(hù)配置任務(wù)的依賴關(guān)系，通過(guò)對(duì)DAG賴調(diào)度、任務(wù)主從切換、任務(wù)隊(duì)列等待、失敗重依賴關(guān)系，通過(guò)任務(wù)依賴來(lái)自動(dòng)映射數(shù)據(jù)加工第82頁(yè)者值得關(guān)注的一部分。如果數(shù)據(jù)出現(xiàn)了錯(cuò)誤，可以幫助用戶審視數(shù)據(jù)關(guān)系，溯源數(shù)據(jù)錯(cuò)誤，數(shù)據(jù)血緣以歷史事實(shí)的方式記錄每項(xiàng)數(shù)據(jù)的來(lái)源,處理過(guò)程,應(yīng)用對(duì)接情況等,記錄了數(shù)據(jù)表在治理過(guò)程中的全鏈血緣關(guān)系。數(shù)據(jù)血緣就是通過(guò)對(duì)數(shù)據(jù)處理的全過(guò)程追蹤,找到以某個(gè)數(shù)據(jù)對(duì)象為起點(diǎn)的所有與該對(duì)象相關(guān)的元數(shù)據(jù)和它們第83頁(yè)第84頁(yè)的應(yīng)用場(chǎng)景來(lái)構(gòu)建，如果沒(méi)有應(yīng)用場(chǎng)景構(gòu)建脫敏，用戶數(shù)據(jù)的分類管理，以及支撐不同業(yè)務(wù)應(yīng)用第85頁(yè)第86頁(yè)數(shù)據(jù)湖環(huán)境下的多租戶CDH平臺(tái)需要具備多租戶資源管理能力，支持PB級(jí)的服務(wù)支持等。多租戶Hadoop平臺(tái)框架如左圖所示，可以滿足統(tǒng)一數(shù)據(jù)存放，提高數(shù)據(jù)湖數(shù)據(jù)共享率，優(yōu)化資源調(diào)度策略，提升數(shù)據(jù)湖資源利用率，支撐PB理、資源管理、機(jī)構(gòu)管理、權(quán)限管理，應(yīng)用及數(shù)據(jù)提交的任務(wù)運(yùn)行情況(歷史任務(wù)/正在運(yùn)行的任務(wù))、所擁有的數(shù)據(jù)列表、密鑰申管理、用戶/租戶針對(duì)CDH平臺(tái)組件的權(quán)限管理(YA第87頁(yè)），（2）湖和倉(cāng)有統(tǒng)一的開(kāi)發(fā)體驗(yàn)，存儲(chǔ)在不同系統(tǒng)的數(shù)據(jù)，可以通過(guò)一個(gè)統(tǒng)（3）數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)，系統(tǒng)可以根據(jù)自動(dòng)的規(guī)則決定哪些數(shù)據(jù)放實(shí)時(shí)數(shù)據(jù)的查詢服務(wù)，又能承載分析報(bào)表、批處理、數(shù)通過(guò)對(duì)機(jī)器學(xué)習(xí)和AI算法的支持，實(shí)現(xiàn)數(shù)據(jù)湖+數(shù)據(jù)倉(cāng)庫(kù)的閉環(huán)，極大地基于100%自研的分布式數(shù)據(jù)庫(kù)內(nèi)核，湖倉(cāng)一體數(shù)據(jù)平臺(tái)。面向聯(lián)機(jī)數(shù)據(jù)中第88頁(yè)SQL、NoSQL、Object并存，避免了傳統(tǒng)數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)獨(dú)立建設(shè)帶來(lái)的ETL多計(jì)算實(shí)例兼容MySQL、MariaDB、PostgreSQL、SparkSQL高容量、高擴(kuò)展性支持4096臺(tái)物理服務(wù)器的擴(kuò)容能力，能夠提供萬(wàn)億級(jí)、百PB級(jí)的海量數(shù)據(jù)高并發(fā)處理能力。強(qiáng)大的分布式事務(wù)能力支持事務(wù)ACIHTAP混合負(fù)載能力基于多副本隔離機(jī)制，實(shí)現(xiàn)計(jì)算、I/O資源互不干擾的生態(tài)兼容提供豐富的生態(tài)對(duì)接，支持包括Tableau、PowerBI、帆軟、SmartBI第89頁(yè)利用Docker,基于kubernetes主打的容器技術(shù)與微服務(wù)應(yīng)用基礎(chǔ)平臺(tái)，使用資源隔離，基于linux提供的LXC技術(shù),EDH提供靜態(tài)的資源隔離分利用計(jì)算資源。創(chuàng)建分析引擎及計(jì)算引擎鏡像，部署到docker中?；赿evicemapper動(dòng)態(tài)擴(kuò)容、縮容，將中心湖的數(shù)據(jù)進(jìn)行分片，然后同步導(dǎo)入到沙第90頁(yè)沙箱管理系統(tǒng)管理下的實(shí)驗(yàn)室環(huán)境，這套沙箱第91頁(yè)第92頁(yè)件層面、系統(tǒng)層面、Hadoop集群層面進(jìn)行監(jiān)控，一旦監(jiān)測(cè)到數(shù)據(jù)加工鏈路或者處理；一般預(yù)警/告警移動(dòng)端消息自動(dòng)推送到運(yùn)維人員，通知運(yùn)維人員在一定時(shí)第93頁(yè)運(yùn)營(yíng)管理、人工智能算法訓(xùn)練、人工智能服務(wù)引擎等內(nèi)容。通過(guò)實(shí)現(xiàn)AI算法技術(shù)的持續(xù)升級(jí)，滿足各部委辦局在其業(yè)務(wù)實(shí)戰(zhàn)場(chǎng)景下的AI算法技術(shù)應(yīng)用個(gè)性化人工智能應(yīng)用服務(wù)平臺(tái)主要為各部委辦局調(diào)用人工智能能力的應(yīng)用服務(wù)平成功上架應(yīng)用成熟的AI算法為依托與精準(zhǔn)訓(xùn)練的算法模型有效的協(xié)同運(yùn)作，最法模型及服務(wù)部署等模塊組成完整的AI解決方案。全球領(lǐng)先的圖像、語(yǔ)音、NLP等多項(xiàng)人工智能技術(shù)，共享AI領(lǐng)域最新的應(yīng)用場(chǎng)接口體系，實(shí)現(xiàn)了多個(gè)AI服務(wù)、應(yīng)用服務(wù)的AI開(kāi)放，并提供咨詢服務(wù)幫助創(chuàng)建利用人工智能AI，數(shù)據(jù)和分析的智能工作流程，并將人工智能愿望轉(zhuǎn)化為切實(shí)本平臺(tái)基于數(shù)字XX建設(shè)中使用AI技術(shù)資源的功能、使用場(chǎng)景等介介紹人工智能公共服務(wù)平臺(tái)首頁(yè)、AI服務(wù)、最新動(dòng)態(tài)。第94頁(yè)當(dāng)前城市建設(shè)最新的AI算法和算法模型，其次還可以了解AI技術(shù)最新分享。各部委辦局或頭局企業(yè)也可以通過(guò)人工智能公共服務(wù)平臺(tái)查看各部委辦局分享出AI服務(wù)體驗(yàn)：用于各部委辦局對(duì)AI模型初步體驗(yàn)了解與使用，同時(shí)還可以對(duì)AI模型應(yīng)用場(chǎng)景提供參考，各部委辦局根據(jù)自己業(yè)務(wù)需要做初步篩選和參AI模型：AI+BI雙核驅(qū)動(dòng)做各部委辦局的數(shù)字軍師通過(guò)內(nèi)置AI算法自動(dòng)挖AI服務(wù)是介紹人工智能門戶網(wǎng)提供所有AI服務(wù)，主要提供人工智能基礎(chǔ)引人工智能基礎(chǔ)引擎是大數(shù)據(jù)局初始化人工智能公共服務(wù)時(shí)在人工智能運(yùn)營(yíng)人工智能算法模型是各部委辦局根據(jù)各自業(yè)務(wù)需求在算法訓(xùn)練平臺(tái)訓(xùn)練后共享出來(lái)的算法模型，現(xiàn)AI服務(wù)子菜單如下：第95頁(yè)AI服務(wù)體驗(yàn)是對(duì)人工智能公共服務(wù)提供的算法力進(jìn)行體驗(yàn)。如語(yǔ)音聽(tīng)寫能AI智能知識(shí)庫(kù)是結(jié)合認(rèn)知和語(yǔ)義理解”一搜即達(dá)”提高知識(shí)第96頁(yè)算法管理主要展示各部委辦局所共享的所有算法信息以及算法更新迭代信提問(wèn)或創(chuàng)建問(wèn)題反饋遇到的問(wèn)題，提交到大數(shù)第97頁(yè)具服務(wù)的發(fā)布上架，提供能力開(kāi)放的標(biāo)準(zhǔn)API和SDK方式接入，為前臺(tái)支持對(duì)XX城市大腦公共智慧底座建設(shè)中所有可使用的AI技術(shù)模型發(fā)布、下運(yùn)行質(zhì)態(tài)展示大數(shù)據(jù)對(duì)所有各部委辦局使用人工智能模型和應(yīng)用的動(dòng)態(tài)數(shù)據(jù)統(tǒng)一監(jiān)測(cè)，讓用戶直觀了解數(shù)據(jù)內(nèi)容，實(shí)時(shí)掌第98頁(yè)對(duì)告警信息進(jìn)行過(guò)濾、去重、關(guān)聯(lián)、歸并以及執(zhí)對(duì)，系統(tǒng)能夠自動(dòng)判斷其是否出現(xiàn)變更，并在發(fā)生異常第99頁(yè)供基礎(chǔ)的告警通知流程功能，系統(tǒng)可以根據(jù)策略果展示列表、成果展示查詢、成果展示下載模型管理是對(duì)各部門自己進(jìn)行人工智能算法模型訓(xùn)練或第三方供應(yīng)商進(jìn)行委辦局按類別找到所需的模型，這一形式在本據(jù)模型被接入單位數(shù)量及情況對(duì)模型具體下架時(shí)間及模型下架公示時(shí)間進(jìn)行審作流，指定不同的發(fā)布手續(xù)、不同的采集人、平臺(tái)提供了每個(gè)模型所配置的資源使用情況的預(yù)警告警實(shí)時(shí)展示及消息通便在其他功能界面中涉及這些基礎(chǔ)數(shù)據(jù)的相關(guān)操作時(shí)能快速的進(jìn)行選擇而不用實(shí)現(xiàn)對(duì)AI算法技術(shù)的持續(xù)升級(jí)，各類用戶在其業(yè)務(wù)實(shí)戰(zhàn)場(chǎng)景下的AI算法技術(shù)應(yīng)算法訓(xùn)練平臺(tái)的首頁(yè)提供對(duì)登錄用戶在本平臺(tái)的全局使用數(shù)據(jù)做一個(gè)總體看審批狀態(tài)。如果無(wú)需審核，已申請(qǐng)的訓(xùn)練注的數(shù)據(jù)是指算法開(kāi)發(fā)人員利用其它第三方標(biāo)注工具已平臺(tái)進(jìn)行數(shù)據(jù)在線標(biāo)注的數(shù)據(jù)，主要包括圖片、音標(biāo)注類型（圖片分類、圖像分割、目標(biāo)檢測(cè)、O在為數(shù)據(jù)集導(dǎo)入數(shù)據(jù)時(shí)，分為3種情況：①數(shù)據(jù)來(lái)源該模塊能主要用于算法訓(xùn)練人員根據(jù)數(shù)據(jù)類型選擇數(shù)據(jù)集進(jìn)行在線標(biāo)該模塊能主要用于算法訓(xùn)練人員對(duì)本地已經(jīng)訓(xùn)練好的模型或系統(tǒng)中訓(xùn)練好人工智能算法倉(cāng)庫(kù)，支持對(duì)算法技術(shù)的持續(xù)深化、特定需求的模型訓(xùn)練，實(shí)現(xiàn)AI算法技術(shù)的創(chuàng)新和持續(xù)升級(jí)，支持在框架類中訓(xùn)練各類用戶在其業(yè)務(wù)實(shí)戰(zhàn)場(chǎng)景下的AI算法技術(shù)應(yīng)用個(gè)性化需求。算法倉(cāng)庫(kù)以數(shù)據(jù)探索-數(shù)據(jù)離群點(diǎn)分析、數(shù)數(shù)據(jù)特征分布分析、模型數(shù)據(jù)預(yù)處理-數(shù)據(jù)矯正、數(shù)據(jù)光滑、數(shù)據(jù)規(guī)約、數(shù)據(jù)規(guī)活的可視化界面，能夠滿足不同的深度學(xué)習(xí)場(chǎng)景運(yùn)營(yíng)管理人員在算法模型倉(cāng)庫(kù)中，可對(duì)某個(gè)），人工智能技術(shù)是由引擎+模型組成，模型是通過(guò)大量數(shù)據(jù)經(jīng)過(guò)訓(xùn)練后得到的工智能公共服務(wù)引擎不僅提升人工智能在各種場(chǎng)景下的應(yīng)用給各個(gè)行業(yè)帶來(lái)巨建設(shè)基于Docker技術(shù)的智能引擎框架，為人工智能公共服務(wù)的活性。智能引擎框架支持多種Docker技術(shù)的加載應(yīng)用和運(yùn)行，第一種提供基礎(chǔ)務(wù)；第二種提供預(yù)裝選配的Docker服務(wù)模式，框架已加載深度學(xué)習(xí)框架TensorFlow、PyTorch、Caffe、Kears等，機(jī)器學(xué)習(xí)框架Spark、Theano、Scikit-learning等，以及算法模型支撐的K-means、KNN等算法，能夠支持算法模型服務(wù)無(wú)縫發(fā)布運(yùn)行；第三種提供適配加載Docker的靈活服務(wù)模式，支持第三方Docker能夠遷移載入，實(shí)現(xiàn)算法模型的無(wú)縫融入，快速提供服務(wù)。語(yǔ)音識(shí)別服務(wù)就是讓機(jī)器通過(guò)識(shí)別和理解過(guò)程把語(yǔ)音信號(hào)轉(zhuǎn)變?yōu)橄鄳?yīng)的文音識(shí)別，前者只能識(shí)別一個(gè)或幾個(gè)人的語(yǔ)音，提取駕駛?cè)藛T的身份信息，輸出關(guān)鍵字段，營(yíng)業(yè)執(zhí)照識(shí)別:基于行業(yè)先進(jìn)的光學(xué)字符識(shí)別技術(shù)，將圖片上的文字內(nèi)容直過(guò)字符比較，返回帶比較文本和標(biāo)準(zhǔn)文本之間的相似度得分，得分值為<=1.0，引入和定制用于實(shí)現(xiàn)智能行政審批的關(guān)鍵AI能力，其中重點(diǎn)對(duì)行政審批業(yè)務(wù)中票據(jù)，圖片，表單，合同等文件的AI識(shí)別和讀取能力進(jìn)行加強(qiáng)和定制，如光學(xué)字符識(shí)別（OCR）能力，表格讀取能力，長(zhǎng)文本內(nèi)容的智能讀取等，對(duì)行政審批領(lǐng)域特有的AI算法和模型進(jìn)行長(zhǎng)期的迭代和改進(jìn)。審批相關(guān)AI模型：光學(xué)字符識(shí)別（OCR）模型：對(duì)影印版文檔，合同，票據(jù)等文件進(jìn)行文字識(shí)別，提取文件中的文字，是智能審批流程處理的第一步。模型需要同時(shí)支持中/英文的識(shí)別。需要針對(duì)具體改造的審批業(yè)務(wù)中出各類形式的實(shí)線表格。需要針對(duì)具體改造的審批業(yè)務(wù)中出現(xiàn)的文檔進(jìn)行定制和身份證讀取模型：通過(guò)AI模型讀取申請(qǐng)材料中的身份證的正反面信息，包簽名定位模型：定位文檔中的簽名，判斷文檔中是否被正確簽名，是否有請(qǐng)材料中是否蓋章一般是審批人員進(jìn)行審核時(shí)候進(jìn)行的必須的步驟。針對(duì)具體的真實(shí)性和有效性。需要針對(duì)具體改造的審批業(yè)務(wù)中出現(xiàn)的文檔進(jìn)行定制和優(yōu)手寫體數(shù)字識(shí)別模型：識(shí)別審批文檔中的手寫體數(shù)字。部分業(yè)務(wù)中申請(qǐng)表格模板中含有未填寫的數(shù)字內(nèi)容，企業(yè)/個(gè)人用戶下載后打印出來(lái)，并通過(guò)手寫的形式完成申請(qǐng)表格。識(shí)別此類申請(qǐng)文檔/表格中的數(shù)字需要通過(guò)手寫別模型來(lái)完成。需要針對(duì)具體改造的審批業(yè)務(wù)用打勾，填叉或填實(shí)的方法選擇自己的申請(qǐng)選項(xiàng)。通過(guò)AI模型將這些勾選項(xiàng)識(shí)語(yǔ)義，提供對(duì)該領(lǐng)域知識(shí)的共同理解。語(yǔ)義Web（theSemanticWeb）是在本體以理解的語(yǔ)義，在本體的支持下實(shí)現(xiàn)信息系統(tǒng)間語(yǔ)義上的互操作性，以及對(duì)Webword，excel，網(wǎng)頁(yè)，pdf等等，在質(zhì)量上，也是表現(xiàn)得參差不齊。這極大地提高了知識(shí)圖譜的自動(dòng)構(gòu)建的難度。系統(tǒng)提供以下一套完整的解決方全面集成XX市人才、項(xiàng)目、政策服務(wù)資源，集成發(fā)布各類項(xiàng)目申報(bào)信息，鏡排查危險(xiǎn)人員，查詢?nèi)藛T信息，實(shí)現(xiàn)人員的實(shí)為持續(xù)鞏固農(nóng)村人居環(huán)境整治成果，利用無(wú)人機(jī)對(duì)農(nóng)村村貌高清航拍歸檔，展現(xiàn)村貌變遷記錄。通過(guò)大數(shù)據(jù)、人工智能技術(shù)對(duì)垃圾、污染等自動(dòng)識(shí)別，以”人工智能基礎(chǔ)服務(wù)為人工智能認(rèn)知服務(wù)和人工智能應(yīng)用服務(wù)提供基礎(chǔ)的軟1幫助用戶通過(guò)機(jī)器學(xué)習(xí)技術(shù)發(fā)現(xiàn)已有數(shù)據(jù)中23的硬件加速資源，結(jié)合預(yù)裝的圖形渲染軟件Maya、3DMax等，為用戶提供專業(yè)級(jí)的圖形加4為用戶提供基礎(chǔ)設(shè)施和工具以加速云計(jì)算上人工智能建模服務(wù)主要為用戶提供人工智能開(kāi)發(fā)研究過(guò)程中各個(gè)環(huán)境的工123對(duì)訓(xùn)練好的模型進(jìn)行發(fā)布，可在平臺(tái)內(nèi)被其它架，提供支持多種主流AI開(kāi)源框架應(yīng)用運(yùn)行的人工智能統(tǒng)一開(kāi)放框架，通過(guò)標(biāo)環(huán)境。主流的深度學(xué)習(xí)框架包括TensorFlow、Caffe、MXNet、CNTK配，實(shí)現(xiàn)對(duì)TensorFlow、Caffe、MXNet、CNTK等深度學(xué)習(xí)框架支持、數(shù)據(jù)依托BIM、GIS、大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能、區(qū)塊鏈等技術(shù)為基礎(chǔ)，整合參照國(guó)家、XX省和XX市標(biāo)準(zhǔn)規(guī)范及行業(yè)標(biāo)準(zhǔn)，結(jié)合XX市實(shí)際需求，梳理數(shù)據(jù)資源類數(shù)據(jù)規(guī)范：XX市城市信息模型基礎(chǔ)平臺(tái)數(shù)據(jù)資源目錄標(biāo)準(zhǔn)、XX市城市信息模型基礎(chǔ)平臺(tái)數(shù)據(jù)匯交標(biāo)準(zhǔn)、XX市城市信息模型簡(jiǎn)單模型數(shù)據(jù)加工的數(shù)據(jù)關(guān)系，利用AI人工智能多維賦能，實(shí)現(xiàn)基于空間關(guān)系的數(shù)據(jù)融合，建立CIM中心數(shù)據(jù)庫(kù)需要收集錄入XX市現(xiàn)有BIM模型數(shù)據(jù)，包括規(guī)劃報(bào)建BIMCIM基礎(chǔ)平臺(tái)包括數(shù)據(jù)匯聚和治理平臺(tái)、全息展示平臺(tái)、CIM二次開(kāi)發(fā)接口，為各部門開(kāi)發(fā)CIM+應(yīng)用提供支撐。同時(shí)與統(tǒng)一應(yīng)用公共服務(wù)平設(shè)計(jì)通用性的數(shù)據(jù)管理模塊，管理從數(shù)據(jù)湖共享的數(shù)據(jù)、從內(nèi)部其他系統(tǒng)通過(guò)二次開(kāi)發(fā)API接口管理和應(yīng)用中心實(shí)現(xiàn)平臺(tái)數(shù)據(jù)的集成與擴(kuò)展，基礎(chǔ)平模塊、數(shù)據(jù)接口模塊、前端UI模塊及其他模塊在內(nèi)的數(shù)據(jù)API和功能API。染、瀏覽、操作、漫游、二三維聯(lián)動(dòng)、BIM模型比對(duì)等功能。加載XX市底圖數(shù)一步通過(guò)平臺(tái)分析與模擬引擎支持按照規(guī)則協(xié)議進(jìn)行地址別名識(shí)別等，并支持匹配成果下載，結(jié)果數(shù)據(jù)可導(dǎo)出為excel格式。和模型，通過(guò)AI算法和人工智能進(jìn)行分門別類的羅列和呈現(xiàn)，供后續(xù)應(yīng)用中快模，建立分層分戶數(shù)據(jù)模型，建立業(yè)務(wù)數(shù)據(jù)輸入度上進(jìn)行信息、人員和空間的高效管理，支撐主管部門支持二三維一體化的空間數(shù)據(jù)采集、存儲(chǔ)、管理、分析、處理、制圖與可信息)。聯(lián)盟名稱可以根據(jù)聯(lián)盟用途進(jìn)行命名，聯(lián)盟描述可以詳細(xì)介紹聯(lián)盟內(nèi)數(shù)途變更，對(duì)聯(lián)盟名稱進(jìn)行更名，以及對(duì)聯(lián)盟通過(guò)應(yīng)用名稱和應(yīng)用描述，介紹應(yīng)用數(shù)據(jù)相關(guān)業(yè)務(wù)用戶下載數(shù)據(jù)上鏈模板，將業(yè)務(wù)數(shù)據(jù)按照模板據(jù)。數(shù)據(jù)內(nèi)容包括,上鏈數(shù)據(jù)哈希，上鏈時(shí)間、交易哈希、區(qū)塊高度。支持導(dǎo)出上鏈數(shù)據(jù)質(zhì)態(tài)，包含應(yīng)用名稱、上鏈部委、共享應(yīng)用信息。支持對(duì)部委應(yīng)用上鏈數(shù)量上節(jié)點(diǎn)管理包括啟動(dòng)、停止、開(kāi)啟記賬、停止記賬、段包括字段名稱、字段長(zhǎng)度、是否索引等，定義好3.支持成員權(quán)限設(shè)置，包括節(jié)點(diǎn)管理權(quán)限、聯(lián)盟管理權(quán)限、記賬等3.應(yīng)用模板應(yīng)包括數(shù)據(jù)存證、合同存證、積分、商品追溯、版權(quán)2.支持?jǐn)?shù)據(jù)存證、合同存證、積分、商品追溯、版權(quán)存證等典型應(yīng)4.支持應(yīng)用的運(yùn)維管理，包括應(yīng)用部署、應(yīng)用參數(shù)查看、應(yīng)用狀態(tài)、應(yīng)用4.防止任何獨(dú)立的共識(shí)節(jié)點(diǎn)未經(jīng)其它共識(shí)節(jié)節(jié)約成本，提高政府行政效能，提升政府管理能力。建立適應(yīng)XX城市發(fā)展的物基于TCP連接的設(shè)備，提供TLS安全傳輸機(jī)制，對(duì)于基于UDP連接的設(shè)高擴(kuò)容至千萬(wàn)級(jí)聯(lián)接，百萬(wàn)級(jí)并發(fā)，支持設(shè)備同時(shí)在線數(shù)目≥10萬(wàn)，數(shù)據(jù)上報(bào)并發(fā)處理能力≥500TPS，數(shù)據(jù)推送并發(fā)處理能力≥500TPS，API接口調(diào)用并發(fā)處物聯(lián)基礎(chǔ)管理平臺(tái)主要實(shí)現(xiàn)對(duì)接入的海量感知設(shè)備進(jìn)行統(tǒng)一的接入管理和周期管理、邊緣網(wǎng)關(guān)管理、協(xié)議管理、證書(shū)設(shè)備生命周期管理是對(duì)各部委辦局建設(shè)物聯(lián)網(wǎng)終端進(jìn)行全生命周期檔案信直接使用平臺(tái)前端頁(yè)面，或者通過(guò)平臺(tái)提供的API接口，對(duì)終端設(shè)備進(jìn)行遠(yuǎn)物模型使用場(chǎng)景:前端通過(guò)模型定義動(dòng)態(tài)展示設(shè)備運(yùn)行狀態(tài)或者設(shè)備操作界面。服務(wù)端可通過(guò)統(tǒng)一的API獲取物模型并進(jìn)行相關(guān)操作,如:在發(fā)送設(shè)備消息該功能主要是用來(lái)監(jiān)控和查看部署在系統(tǒng)服務(wù)器中的設(shè)備監(jiān)聽(tīng)服務(wù)運(yùn)行情列表形式展現(xiàn)服務(wù)相關(guān)信息并且支持excel文件的導(dǎo)出。該功能主要為了跟蹤從物聯(lián)網(wǎng)設(shè)備發(fā)送的數(shù)據(jù)到數(shù)據(jù)預(yù)處理后統(tǒng)計(jì)分析以據(jù)權(quán)限，根據(jù)業(yè)務(wù)可以不斷補(bǔ)充接口的維度，展示所有API被調(diào)用的情況，記錄用來(lái)編輯和復(fù)用一定的規(guī)則內(nèi)容，避免用戶在規(guī)反饋結(jié)果的推送API后，指令信息會(huì)寫入kafka集群的交互發(fā)主題中，并且緩存設(shè)備信息服務(wù),從基本庫(kù)中每24小時(shí)同步一次設(shè)備數(shù)據(jù)和設(shè)備配置信數(shù)據(jù)中心中的配置方式進(jìn)行api推送或者socket推送，同時(shí)數(shù)據(jù)保存一份寫入按年月日的方式寫入redis中保存，并且記錄日志信息提供給日志系統(tǒng)分析。數(shù)據(jù)中心中的配置方式進(jìn)行api推送或者socket推送，同時(shí)數(shù)據(jù)保存一份寫入按年月日的方式寫入redis中保存，并且記錄日志信息提供給日志系統(tǒng)分析。發(fā)送指令調(diào)用API接口傳輸指令和反饋API推送地址。告警API接口：給項(xiàng)目查詢歷史預(yù)警告警數(shù)據(jù)；數(shù)據(jù)查詢API接口：記錄日志信息提供給日志系統(tǒng)分析；上下行消息分析：上行消息日志主要包括：設(shè)備發(fā)生消息到Topic，消息流首先，是XX一張圖展示各部委辦局在各區(qū)鎮(zhèn)的整體統(tǒng)計(jì)分析支持進(jìn)行設(shè)備數(shù)據(jù)共享/取消共享，共享后各部委辦局可以直接調(diào)閱共享數(shù)過(guò)點(diǎn)擊設(shè)備圖標(biāo)可以查看相應(yīng)的設(shè)備信息，單位信息，設(shè)備名稱/編碼，運(yùn)行狀），支持告警規(guī)則的新增、編輯、刪除，停用/啟用；規(guī)則支持根據(jù)物模型屬性進(jìn)行表達(dá)式配置；支持根據(jù)區(qū)域下所有設(shè)備或指定設(shè)名稱、當(dāng)前處理狀態(tài)、設(shè)備型號(hào)實(shí)現(xiàn)對(duì)重點(diǎn)設(shè)備已產(chǎn)生的告警日志全面查詢.還通過(guò)各類感知設(shè)備對(duì)空間中的人、事、物進(jìn)的感知來(lái)及時(shí)發(fā)現(xiàn)城市運(yùn)行足，對(duì)于不再滿足觸發(fā)條件事件記錄系統(tǒng)自間下的接入的實(shí)時(shí)數(shù)據(jù)信息，還可以單獨(dú)分該功能主要是分析所有接入設(shè)備接入的實(shí)時(shí)數(shù)據(jù)通過(guò)設(shè)備配置閥值中臺(tái)產(chǎn)息，還可以單獨(dú)分析某個(gè)設(shè)備的實(shí)時(shí)預(yù)警數(shù)據(jù)信息。且平臺(tái)提供API接口給項(xiàng)目支持資產(chǎn)維度下設(shè)備種類、在線/離線情況分析，設(shè)備的告警情況分析，操⑤根據(jù)所選擇的設(shè)備類型來(lái)統(tǒng)計(jì)分析展示設(shè)備國(guó)標(biāo)/行標(biāo)協(xié)議適配器：提供部分強(qiáng)監(jiān)管領(lǐng)域（如交通、數(shù)據(jù)波動(dòng)，對(duì)于設(shè)備上報(bào)數(shù)據(jù)持續(xù)超出合理范關(guān)方式接入平臺(tái)。邊緣網(wǎng)關(guān)接入方式架構(gòu)圖如下所示。邊緣網(wǎng)關(guān)直接通過(guò)MQTT問(wèn)的設(shè)備，其可以調(diào)用的API。通過(guò)應(yīng)用集成可以對(duì)外部系統(tǒng)訪問(wèn)平臺(tái)匯聚的感應(yīng)用管理主要負(fù)責(zé)創(chuàng)建應(yīng)用、啟用應(yīng)用、停用應(yīng)用等。應(yīng)用作為訪問(wèn)平臺(tái)為其生成應(yīng)用的APPKey和APPSecret，作為調(diào)用平臺(tái)的API的憑證。API、并且配置應(yīng)用接收平臺(tái)推送消息的地址，配置完成后應(yīng)用才可以開(kāi)始和平通過(guò)API訪問(wèn)平臺(tái)資源，通過(guò)應(yīng)用授權(quán)控制通過(guò)API具體能訪問(wèn)哪些資源，另外對(duì)于應(yīng)用可調(diào)用的API也可以在應(yīng)用授權(quán)中進(jìn)行管控。用戶可以方便的選擇滿足其需要的各個(gè)組件，即包括IoT終端設(shè)備，網(wǎng)絡(luò)，應(yīng)第一種方式，基于平臺(tái)呈現(xiàn)的API接口進(jìn)行開(kāi)發(fā)；開(kāi)發(fā)者自行準(zhǔn)備開(kāi)發(fā)環(huán)平臺(tái)提供多樣的RestfulAPI給應(yīng)用開(kāi)發(fā)者，方便應(yīng)用開(kāi)發(fā)者能夠基于平下發(fā)的命令，應(yīng)用服務(wù)器可以調(diào)用物聯(lián)網(wǎng)平臺(tái)開(kāi)放的API接口向單個(gè)設(shè)備或批量備的遠(yuǎn)程控制。物聯(lián)網(wǎng)平臺(tái)有兩種命令下發(fā)機(jī)供的物模型標(biāo)準(zhǔn)API開(kāi)發(fā)；硬件開(kāi)發(fā)者基于平臺(tái)提供的標(biāo)準(zhǔn)協(xié)議開(kāi)發(fā)；從而達(dá)到3）數(shù)據(jù)分析API報(bào)修、新建、改造等工作，平臺(tái)會(huì)自動(dòng)動(dòng)態(tài)監(jiān)支持在地圖上直觀查看各個(gè)視頻監(jiān)控設(shè)備是否離線或在線（用圖標(biāo)顏色區(qū)顯示。展示同一個(gè)立桿上的所有視頻監(jiān)控設(shè)備信息，根據(jù)設(shè)備類型/部門名稱查地圖上對(duì)該地點(diǎn)缺失監(jiān)控設(shè)備進(jìn)行標(biāo)注，方便用戶科調(diào)閱查看和修改。進(jìn)行組合查詢，并以列表形式返回查詢結(jié)果?？刹榭磫瘟繉?dǎo)入并完成數(shù)據(jù)校驗(yàn)，能夠?qū)⒃O(shè)備查詢結(jié)果以EXCEL格式文件導(dǎo)出。1、變更點(diǎn)位信息流程：?jiǎn)渭兊脑悬c(diǎn)位信息的變更，流程由業(yè)2、改造新建流程：該類點(diǎn)位ID為平臺(tái)新增點(diǎn)位信息的ID，流程由業(yè)務(wù)部CIM視頻融合是將實(shí)景視頻數(shù)據(jù)與虛擬三維模型關(guān)聯(lián)融合其中實(shí)景視頻可（1）建設(shè)數(shù)量統(tǒng)計(jì)：支持前端設(shè)備的總數(shù)統(tǒng)計(jì)，并按照標(biāo)簽分類，視頻鏡（3）視頻鏡頭運(yùn)行指標(biāo)，支持一、二類鏡頭的在線率、一機(jī)一檔建檔正確（5）支持各區(qū)域的指標(biāo)查看，包括視頻鏡頭運(yùn)行、人臉抓拍、車輛抓拍的（5）定期運(yùn)維的成果展示，提供當(dāng)前完成進(jìn)展及趨勢(shì)的展示，支持各類運(yùn)（4）核心設(shè)備和存儲(chǔ)性能統(tǒng)計(jì)。支持對(duì)支撐視頻綜合公共服務(wù)平臺(tái)業(yè)務(wù)的（5）支持按照各個(gè)部門的完好率指標(biāo)數(shù)據(jù)查看，支持對(duì)各個(gè)區(qū)域的監(jiān)控設(shè)對(duì)設(shè)備進(jìn)行實(shí)時(shí)的巡檢,在3-5秒鐘內(nèi)對(duì)一路圖像的信）；支持新增、修改、撤銷、刪除布控（符合GAT1400.3附錄AA.17布控對(duì)支持視圖庫(kù)服務(wù)器（符合GAT1400.3附錄AA.21聯(lián)網(wǎng)服務(wù)器對(duì)象）的管基于GB/T28181協(xié)議，雪亮工程視頻平臺(tái)做為下級(jí)域，將全部視性與靈活性，為各行業(yè)視頻監(jiān)控業(yè)務(wù)提供高）；支持GB/T28181-2011（根據(jù)ParentID掛載父子關(guān)系）及GB/T28181-2016（根據(jù)行政區(qū)劃掛載父子關(guān)系）方式的目錄推送；支持GB/T28181-2016支持標(biāo)準(zhǔn)國(guó)標(biāo)碼流協(xié)商方式；支持第三方獲取PS負(fù)載H264；支持信令TCP），），設(shè)備下發(fā)配置/命令，訂閱設(shè)備產(chǎn)生的告警、事件等等。然而，不同廠商的前端視頻圖像資源，使得其他部門系統(tǒng)可以在其系統(tǒng)中應(yīng)遵循此標(biāo)準(zhǔn)。GB/T28181《安全防范視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)信息傳輸、交換、控制控資源按照其他維度進(jìn)行劃分，實(shí)現(xiàn)監(jiān)控資源更加貼夾，將個(gè)人重點(diǎn)關(guān)注的監(jiān)控資源進(jìn)行收藏，實(shí)稱、用戶名稱、IP地址以及操作時(shí)間進(jìn)行組合，形成水印疊加在畫(huà)面上，防止意第三方云存儲(chǔ)都能接入到綜合視頻公共服務(wù)平臺(tái),為各項(xiàng)圖像、視頻業(yè)務(wù)的存監(jiān)控點(diǎn)國(guó)標(biāo)編碼進(jìn)行唯一性鑒定,通過(guò)請(qǐng)求流的起始時(shí)間與結(jié)束時(shí)間確定歷史流建設(shè)內(nèi)容主要包括將雪亮工程平臺(tái)接入防火墻和交換機(jī)更換為萬(wàn)兆，政務(wù)口，或者18個(gè)40GE高速接口；通過(guò)選擇FC接口板，整機(jī)最高可以支持48個(gè)FC/FCoE/Ethernet的融合端口。通過(guò)選擇安全接口板，還可以支持防火墻、入支持邊緣虛擬橋EVB(EdgeVirtualBridging)，通過(guò)VEPA(VirtualEthernetPortAggregator)模式實(shí)現(xiàn)將虛擬機(jī)VM(VirtualMachine)產(chǎn)生的數(shù)量轉(zhuǎn)發(fā)，同時(shí)還解決了虛擬機(jī)與網(wǎng)絡(luò)之間的TRILL（TransparentInterconnectionofLotsofLinks，多鏈路透明互之中，建立了一個(gè)靈活、易擴(kuò)展的高性能二層網(wǎng)絡(luò)架構(gòu)。采用支持軟件定義網(wǎng)絡(luò)（SoftwareDefinedNetwork，SDN）是一種創(chuàng)新的網(wǎng)絡(luò)架構(gòu)體系。其核心技術(shù)Openflow通過(guò)將網(wǎng)絡(luò)的控制層和數(shù)據(jù)轉(zhuǎn)發(fā)層進(jìn)行分離，），和維護(hù)）及能效以太網(wǎng)（EEE），充分滿足了數(shù)據(jù)中心對(duì)設(shè)備高性能及綠Macsec是一種非常適合于以太網(wǎng)的Hop1.報(bào)文加密：通過(guò)加密算法和密鑰，將明文變成亂碼的密文，支持AAA，RADIUS認(rèn)證，支持用戶帳號(hào)、IP、MAC、VLAN、端口等用戶標(biāo)識(shí)支持最多8個(gè)端口聚合；支持最多128個(gè)聚合組；支實(shí)現(xiàn)CPU保護(hù)功能，能限制非法報(bào)文對(duì)CPU的攻擊，保護(hù)交換支持基于端口的VLAN，支持基于協(xié)議的VLAN；支持本地端口鏡像和遠(yuǎn)程端口鏡像RSPAN；符合IEEE802.3az（EEE）節(jié)能標(biāo)準(zhǔn),端口定時(shí)down功能（Schedulejob）,支持端口休眠，關(guān)閉沒(méi)有應(yīng)用的端口，節(jié)省能源.設(shè)備基本要求用先進(jìn)的多核網(wǎng)絡(luò)專用架構(gòu),非X86的多核架構(gòu)或ASIC架構(gòu),硬件平臺(tái)采用多核處理器，使用64位MIPS多核處理器，處理器最低配置為4核心以上并行處理CPU（RMI或者IPS入侵防御吞吐量數(shù)SSLVPN用戶數(shù)本次配置8個(gè)，最大需支持支持將任意接口數(shù)據(jù)完全鏡像到設(shè)備自身的相鄰設(shè)備間的通信故障，減小設(shè)備故障對(duì)業(yè)務(wù)的影響。通過(guò)與動(dòng)態(tài)路由協(xié)議聯(lián)動(dòng)，縮短收斂時(shí)間，提升可靠性。支持線路過(guò)載保護(hù)功能，當(dāng)某條外網(wǎng)線路擁塞時(shí)，自動(dòng)將其流量切換到其他鏈路；系統(tǒng)對(duì)各出口的流量帶寬進(jìn)行實(shí)時(shí)監(jiān)測(cè)，當(dāng)自身接口的流量帶寬超過(guò)配置的閾值時(shí)，新建會(huì)話的流量將不再?gòu)倪@個(gè)接口轉(zhuǎn)發(fā)。當(dāng)此接口的流量帶寬回落到正常值以下時(shí)，新建會(huì)話的流量再恢復(fù)從這支持虛擬系統(tǒng)技術(shù)。支持在旁路模式下對(duì)流多鏈路負(fù)載均衡支持智能鏈路負(fù)載均衡技術(shù)，可動(dòng)態(tài)探測(cè)鏈路響應(yīng)速度并選擇最優(yōu)鏈路進(jìn)行轉(zhuǎn)發(fā)。支持基于源、基于源和目的、基于會(huì)話等多種負(fù)端口的方式探測(cè)被監(jiān)控鏈路或被監(jiān)控服務(wù)器支持對(duì)服務(wù)器的負(fù)務(wù)器狀態(tài),支持服務(wù)器負(fù)載均衡，支持智能基于應(yīng)用的健康監(jiān)測(cè)支持HTTPGET、DNS請(qǐng)求和TCP端口的方式支持免費(fèi)ARP廣播，ARP客戶端認(rèn)證（基于OSPF、BGP和RIPv1/v2（動(dòng)態(tài)路由協(xié)議非透?jìng)鳎┲С植呗月酚?、支持ISP路由并內(nèi)置多由；支持基于會(huì)話的原路回包功能，可設(shè)置優(yōu)先于路由策略而通過(guò)會(huì)話表中的入接口進(jìn)行回包；支持基于動(dòng)態(tài)端口應(yīng)用協(xié)議的策略路由；支持基于角色、用戶、用戶組的策略支持地址自動(dòng)配置功能，包括全狀態(tài)自動(dòng)配置（StatefulAutoconfiguration）和無(wú)狀以及手工配置，并支持IPv6/v4雙協(xié)議棧功能透明、路由模式下支持將多條鏈路帶寬進(jìn)行的端口擴(kuò)展技術(shù)，突破傳統(tǒng)單個(gè)公網(wǎng)地址要求支持基于標(biāo)準(zhǔn)SYSLOG及二進(jìn)制的日志格式，且需具備高性能硬件日志服務(wù)器設(shè)備供護(hù)，包括地址欺騙攻擊、路由通告欺騙攻擊PingofDeath、Smurf、支持會(huì)話控制功能，要求能夠限制會(huì)話新建支持DNS代理黑白名單功能，用戶可通過(guò)該服務(wù)端口、物理端口等方式對(duì)數(shù)據(jù)進(jìn)行訪問(wèn)認(rèn)證用戶提供有效期功能，并在登錄成功頁(yè)支持本地用戶通過(guò)Web認(rèn)證后，通過(guò)認(rèn)證登支持對(duì)使用SSL代理功能支持請(qǐng)求、例外、外模式是針對(duì)cert-subject-name為為黑名則不會(huì)對(duì)連接做代理；卸載模式是設(shè)備檢測(cè)然后將解密后的數(shù)據(jù)以明文的方式發(fā)送給支持對(duì)使用SSL代理功能自定義執(zhí)行動(dòng)作，支持對(duì)使用SSL代理功能自定義執(zhí)行動(dòng)作，支持對(duì)使用SSL代理功能自定義執(zhí)行動(dòng)作，阻斷指定加密算法，包括DES、3DES、RC支持基于策略方式的網(wǎng)頁(yè)重定向功能。當(dāng)用多出口鏈路下支持選擇最快響應(yīng)鏈路建立支持登錄SSLVPN后自動(dòng)打開(kāi)可自定義的網(wǎng)頁(yè)支持對(duì)登錄SSLVPN的用戶端系統(tǒng)進(jìn)行端點(diǎn)安全檢查，至少包括指定文件、指定進(jìn)程、3DES、AES128、AES192、AES256，SHA-256、支持速連VPN部署技術(shù)，中心端自動(dòng)下發(fā)配智能移動(dòng)終端免客android智能終端無(wú)需安裝客戶端程序即可支持2個(gè)系統(tǒng)軟件并存，并支持系統(tǒng)軟件回滾，防止配置不當(dāng)或系統(tǒng)故障造成的網(wǎng)絡(luò)中錄支持監(jiān)控設(shè)備系統(tǒng)資源的實(shí)時(shí)狀況，包括管理功能：中、英文操作界面，支持命令行下操作。提供手機(jī)APP，實(shí)施監(jiān)控展現(xiàn)設(shè)備等狀態(tài)，提供防火墻威脅分析服務(wù)，包括攻擊級(jí)別展示、攻擊類型分析、攻擊者和受害有效性檢測(cè)，避免因NAT地址無(wú)法使用導(dǎo)致支持在NAT的動(dòng)態(tài)端口資源利用率達(dá)到一定值時(shí),設(shè)備能夠主動(dòng)發(fā)送告警信息通知設(shè)備要求支持基于應(yīng)用的流量統(tǒng)計(jì)功能，包括短要求支持基于應(yīng)用的會(huì)話統(tǒng)計(jì)，包括短時(shí)間護(hù)防御未知SQL注入需采用基于語(yǔ)法分析的檢測(cè)模式、有效防御未知SQL注入或XSS攻擊，對(duì)常見(jiàn)注入點(diǎn)的過(guò)濾CC攻擊或HTTP需具有四種檢測(cè)技術(shù)識(shí)別CC攻擊，包括Manual-confirm、Manual-CAPTCHA。即識(shí)別某一訪問(wèn)請(qǐng)求是來(lái)自正常網(wǎng)絡(luò)訪問(wèn)或是攻擊軟件的自動(dòng)化攻擊。同時(shí)需支持對(duì)開(kāi)放代理的識(shí)別，用戶可以選擇對(duì)通過(guò)開(kāi)放代理訪問(wèn)的速率進(jìn)行限制，從而有效應(yīng)對(duì)通過(guò)開(kāi)放代可額外擴(kuò)展安全風(fēng)險(xiǎn)評(píng)全網(wǎng)健康檢測(cè)與預(yù)警提供對(duì)網(wǎng)絡(luò)節(jié)點(diǎn)延遲、丟包率等可達(dá)性和可用性的實(shí)時(shí)檢測(cè)并預(yù)警；提供對(duì)關(guān)鍵業(yè)務(wù)的延遲、可用性的實(shí)時(shí)檢測(cè)并預(yù)警，并提供上述檢測(cè)項(xiàng)預(yù)警結(jié)果的顯示以及查詢功能；提供可視化的故障診斷：模擬、在線、導(dǎo)入報(bào)文回放三種不同的診斷方式，將數(shù)據(jù)包在AV防病毒模塊采用基于并行流引擎技術(shù)，被檢測(cè)文件大小支持對(duì)HTTP、FTP、SMTP、POP3、IMAP協(xié)議支持防惡意網(wǎng)站功能，防止用戶點(diǎn)擊惡意鏈NNTP、DHCP、LDAP、VoIP、NETBIOS、TFTP、證帶寬，最大帶寬的控制，支持針對(duì)7層應(yīng)多層QoS功能多層QoS功能要求包含應(yīng)用QoS和IPQoS是兩個(gè)獨(dú)立的數(shù)據(jù)流控制功能，應(yīng)用QoS下可以嵌套IPQos策略；IPQoS可以嵌套應(yīng)用彈性QoS功能支持彈性帶寬功能，可自定義閥值來(lái)上彈或在國(guó)內(nèi)有應(yīng)用特征庫(kù)開(kāi)發(fā)團(tuán)隊(duì)，并提供國(guó)內(nèi)間960T，要求基于高可靠X86存儲(chǔ)服務(wù)器，以及高速萬(wàn)兆網(wǎng)絡(luò)提供分