2024智慧社區(qū)大數(shù)據(jù)平臺技術(shù)要求

Q/LB.□XXXXX-XXXX錯誤！文檔中沒有指定樣式的文字。目次TOC\o"1-1"\h\t"標(biāo)準(zhǔn)文件_一級條標(biāo)題,2,標(biāo)準(zhǔn)文件_附錄一級條標(biāo)題,2,"前言 II1范圍 12規(guī)范性引用文件 13術(shù)語和定義 14縮略語 25平臺參考框架 26數(shù)據(jù)接入框架技術(shù)要求 36.1數(shù)據(jù)接入要求 36.2數(shù)據(jù)源管理要求 37數(shù)據(jù)管理框架技術(shù)要求 57.1數(shù)據(jù)存儲要求 57.2數(shù)據(jù)治理要求 57.3數(shù)據(jù)計算要求 67.4數(shù)據(jù)共享要求 67.5資源管理要求 67.6安全管理要求 68數(shù)據(jù)分析框架技術(shù)要求 68.1數(shù)據(jù)模型管理要求 68.2算法管理要求 69數(shù)據(jù)服務(wù)框架技術(shù)要求 79.1服務(wù)對象管理 79.2服務(wù)方式管理 79.3服務(wù)內(nèi)容管理 8參考文獻 10智慧社區(qū)大數(shù)據(jù)平臺技術(shù)要求范圍本文件給出了智慧社區(qū)大數(shù)據(jù)平臺參考框架，規(guī)定了數(shù)據(jù)接入、數(shù)據(jù)平臺、數(shù)據(jù)分析和數(shù)據(jù)服務(wù)的相應(yīng)要求。本文件適用于新建社區(qū)或老舊社區(qū)進行智慧化改造，而設(shè)計開發(fā)智慧社區(qū)大數(shù)據(jù)平臺。規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T22239-2019信息安全技術(shù)網(wǎng)絡(luò)安全等級保護基本要求GB/T18578-2008城市地理信息系統(tǒng)設(shè)計規(guī)范GB/T21740-2008基礎(chǔ)地理信息城市數(shù)據(jù)庫建設(shè)規(guī)范GB/T35114-2017公共安全視頻監(jiān)控聯(lián)網(wǎng)信息安全技術(shù)要求GB/T28181-2016公共安全視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)信息傳輸、交換、控制技術(shù)要求GB/T31488-2015安全防范視頻監(jiān)控人臉識別系統(tǒng)技術(shù)要求GB/T35678-2017人臉識別應(yīng)用圖像技術(shù)要求GB/T31488-2015安全防范視頻監(jiān)控人臉識別系統(tǒng)技術(shù)要求GB/T37973-2019信息安全技術(shù)大數(shù)據(jù)安全管理指南GB/T35273-2020信息安全技術(shù)個人信息安全規(guī)范GA/T497-2016道路車輛智能監(jiān)測記錄系統(tǒng)通用技術(shù)條件術(shù)語和定義下列術(shù)語和定義適用于本文件。

智慧社區(qū)smartcommunity利用物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、人工智能等新一代信息技術(shù)，融合社區(qū)場景下的人、事、地、物、情、組織等多種數(shù)據(jù)資源，提供面向政府、物業(yè)、居民和企業(yè)的社區(qū)管理與服務(wù)類應(yīng)用，提升社區(qū)管理與服務(wù)的科學(xué)化、智能化、精細化水平，實現(xiàn)共建、共治、共享管理模式的一種社區(qū)。

大數(shù)據(jù)bigdata具有體量巨大、來源多樣、生成極快、且多變等特征，并且難以用傳統(tǒng)數(shù)據(jù)體系結(jié)構(gòu)有效處理的包含大量數(shù)據(jù)集的數(shù)據(jù)。國際上，大數(shù)據(jù)的4個特征普遍不加修飾地直接用volume、variety、velocity和variability予以表述，并分別賦予了它們在大數(shù)據(jù)語境下的定義：體量volume：構(gòu)成大數(shù)據(jù)的數(shù)據(jù)集的規(guī)模。多樣性variety：數(shù)據(jù)可能來自多個數(shù)據(jù)倉庫、數(shù)據(jù)領(lǐng)域或多種數(shù)據(jù)類型。速度velocity：單位時間的數(shù)據(jù)流量。多變性variability：大數(shù)據(jù)其他特征，即體量、速度和多樣性等特征都處于多變狀態(tài)。[來源：GB/T35295-2017，2.1.1]

大數(shù)據(jù)平臺bigdataplatform實現(xiàn)大數(shù)據(jù)參考體系結(jié)構(gòu)的全部或部分功能的系統(tǒng)平臺。

智慧社區(qū)大數(shù)據(jù)平臺bigdataplatformofsmartcommunity面向智慧社區(qū)的數(shù)據(jù)與服務(wù)運營平臺，大數(shù)據(jù)平臺集數(shù)據(jù)采集、數(shù)據(jù)接入、數(shù)據(jù)管理、數(shù)據(jù)建模、數(shù)據(jù)分析、數(shù)據(jù)可視化、數(shù)據(jù)運營等服務(wù)于一體，以智慧社區(qū)場景為中心，構(gòu)建用戶、家庭、物業(yè)、商家全方位的社區(qū)數(shù)據(jù)服務(wù)體系，支撐社區(qū)平臺化、生態(tài)化運營?？s略語下列縮略語適用于本文件。API：應(yīng)用程序編程接口（ApplicationProgrammingInterface）SDK：軟件開發(fā)工具包（SoftwareDevelopmentKit）JDBC：Java數(shù)據(jù)庫連接（JavaDatabaseConnectivity）CPU：中央處理器(CentralProcessingUnit)平臺參考框架智慧社區(qū)大數(shù)據(jù)平臺參考框架智慧社區(qū)大數(shù)據(jù)平臺參考框架如圖1所示，包括數(shù)據(jù)接入框架、數(shù)據(jù)平臺框架、數(shù)據(jù)分析框架和數(shù)據(jù)服務(wù)框架。數(shù)據(jù)接入框架技術(shù)要求數(shù)據(jù)接入要求數(shù)據(jù)接入宜符合以下要求：具備提供SDK對采集數(shù)據(jù)進行接入的能力；具備提供標(biāo)準(zhǔn)化API接口對相關(guān)數(shù)據(jù)進行接入的能力；具備提供JDBC對數(shù)據(jù)庫進行接入的能力；具備設(shè)備對接、系統(tǒng)對接、文件導(dǎo)入等數(shù)據(jù)接入方式；按第三方非標(biāo)準(zhǔn)協(xié)議對相關(guān)數(shù)據(jù)進行接入的能力；對非標(biāo)準(zhǔn)化協(xié)議的標(biāo)準(zhǔn)化轉(zhuǎn)換處理的能力；能支持高并發(fā)的數(shù)據(jù)接入。數(shù)據(jù)源管理要求人員信息人員信息宜符合以下要求：包括業(yè)主信息、租戶信息、訪客信息；包括社區(qū)人員身份信息、居住地址、戶籍地址、人員類別、人像登記照片信息等；支持對人員信息進行標(biāo)簽分類管理；標(biāo)識登記時間和數(shù)據(jù)來源信息，并定期或?qū)崟r對數(shù)據(jù)進行更新。房屋信息房屋信息宜符合以下要求：包括建筑編號、房屋編號、區(qū)縣公安機關(guān)、派出所、所屬區(qū)縣、所屬街鎮(zhèn)、所屬社區(qū)、所屬小區(qū)、樓棟號、單元號、樓層號、室號、房屋地理坐標(biāo)等基本信息；包括姓名、性別、證件號碼、證件類型等房主及租住人信息；包括居住人員姓名、性別、國籍、民族、籍貫、證件號碼、證件類型、居住時間、離開時間等歷史居住人員信息；標(biāo)識數(shù)據(jù)入庫時間和數(shù)據(jù)來源，并定期或?qū)崟r對數(shù)據(jù)進行更新。車輛信息車輛信息宜符合以下要求：包括機動車號牌號碼、號牌顏色、號牌類型、品牌類型、車身顏色、車輛類型、車輛大小類型、車輛登記圖片等機動車基本信息；包括車主姓名、車主性別、車主證件號碼、車主證件類型、車主聯(lián)系方式等車主基本信息；標(biāo)識數(shù)據(jù)入庫時間和數(shù)據(jù)來源，并定期或?qū)崟r對數(shù)據(jù)進行更新。社區(qū)設(shè)施信息社區(qū)設(shè)施信息宜符合以下要求：包括設(shè)施編號、設(shè)施名稱、設(shè)施類別、設(shè)施廠家、設(shè)施安裝位置、設(shè)施安裝時間等社區(qū)設(shè)施基本信息；包括設(shè)施地理坐標(biāo)、設(shè)施所屬單位、維護責(zé)任人、IP地址、端口、用戶名、密碼等社區(qū)設(shè)施擴展信息；標(biāo)識數(shù)據(jù)入庫時間和數(shù)據(jù)來源，并定期或?qū)崟r對數(shù)據(jù)進行更新。地理信息地理信息數(shù)據(jù)應(yīng)符合《GB/T18578-2008城市地理信息系統(tǒng)設(shè)計規(guī)范》、《GB/T21740-2008基礎(chǔ)地理信息城市數(shù)據(jù)庫建設(shè)規(guī)范》等相關(guān)要求。組織機構(gòu)信息組織機構(gòu)信息宜符合以下要求：支持按省、市、區(qū)/縣、街鎮(zhèn)、社區(qū)、小區(qū)劃分；包括組織名稱、組織類別、組織省市縣等信息，以及組織機構(gòu)地理坐標(biāo)信息。社區(qū)感知信息數(shù)據(jù)庫要求社區(qū)感知信息數(shù)據(jù)庫宜包括視頻圖像感知信息數(shù)據(jù)、人像感知信息識別數(shù)據(jù)、車輛感知信息識別數(shù)據(jù)、門禁感知信息數(shù)據(jù)、物聯(lián)感知信息數(shù)據(jù)等由智能感知設(shè)施采集的數(shù)據(jù)。視頻圖像感知信息數(shù)據(jù)視頻圖像感知信息數(shù)據(jù)宜符合《GB/T35114-2017公共安全視頻監(jiān)控聯(lián)網(wǎng)信息安全技術(shù)要求》、《GB/T28181-2016公共安全視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)信息傳輸、交換、控制技術(shù)要求》等相關(guān)標(biāo)準(zhǔn)的要求。人臉感知信息數(shù)據(jù)人臉感知信息識別數(shù)據(jù)宜符合《GB/T31488-2015安全防范視頻監(jiān)控人臉識別系統(tǒng)技術(shù)要求》、《GB/T35678-2017人臉識別宜用圖像技術(shù)要求》、《GB/T31488-2015安全防范視頻監(jiān)控人臉識別系統(tǒng)技術(shù)要求》等標(biāo)準(zhǔn)相關(guān)要求。車輛感知信息數(shù)據(jù)車輛感知信息識別數(shù)據(jù)宜符合《GA/T497-2016道路車輛智能監(jiān)測記錄系統(tǒng)通用技術(shù)條件》等標(biāo)準(zhǔn)的相關(guān)要求。門禁感知信息數(shù)據(jù)門禁識別數(shù)據(jù)宜符合以下要求：包括開門人姓名、性別、聯(lián)系方式、證件類型、證件號碼等開門人身份信息；包括小區(qū)編號、樓棟編號、房屋編號、單元號、樓層號、室號等開門人登記房屋信息；包括開門時間、開門方式等開門事件信息；標(biāo)識數(shù)據(jù)入庫時間和數(shù)據(jù)來源，并定期或?qū)崟r對數(shù)據(jù)進行更新。物聯(lián)感知信息數(shù)據(jù)物聯(lián)感知信息數(shù)據(jù)宜符合以下要求：包括窨井蓋異常狀態(tài)的感知信息數(shù)據(jù)、電梯運行異常狀態(tài)的感知信息數(shù)據(jù)、水質(zhì)異常的感知信息數(shù)據(jù)、消防狀態(tài)異常的感知信息數(shù)據(jù)、環(huán)境氣象的感知信息數(shù)據(jù)等社區(qū)基礎(chǔ)設(shè)施、環(huán)境氣象信息；窨井蓋狀態(tài)異常數(shù)據(jù)宜包括設(shè)備編號、異常類型、異常發(fā)生時間等屬性；電梯運行異常數(shù)據(jù)宜包括設(shè)備編號、異常類型、異常發(fā)生時間等屬性；水質(zhì)異常數(shù)據(jù)宜包括設(shè)備編號、異常類型、異常等級、閾值、實際值、異常發(fā)生時間等屬性；消防異常數(shù)據(jù)宜包括設(shè)備編號、異常類型、異常發(fā)生時間等屬性；環(huán)境氣象數(shù)據(jù)宜包括設(shè)備編號、噪聲值、PM2.5值、空氣溫度、空氣濕度、大氣壓強、風(fēng)向、風(fēng)速等屬性。其他事件信息數(shù)據(jù)其他事件信息數(shù)據(jù)宜符合以下要求：包括政務(wù)服務(wù)信息數(shù)據(jù)、交通出行信息數(shù)據(jù)、生活繳費信息數(shù)據(jù)、綜合執(zhí)法信息數(shù)據(jù)、環(huán)境衛(wèi)生信息數(shù)據(jù)、物業(yè)管理信息數(shù)據(jù)、社區(qū)醫(yī)療信息數(shù)據(jù)、社區(qū)警務(wù)信息數(shù)據(jù)、社區(qū)商業(yè)信息數(shù)據(jù)、市民熱線上報信息數(shù)據(jù)等；智能感知信息設(shè)備采集的事件信息、網(wǎng)格員上報等多種途徑上報的社區(qū)事件信息等；提供標(biāo)準(zhǔn)化接口，供第三方系統(tǒng)調(diào)用上報事件信息；其他事件信息宜包括事件基本信息和事件處置信息，事件基本信息宜包括事件編號、事件名稱、設(shè)備編號、事件類型、事件描述等屬性。事件處置信息宜包括處置狀態(tài)、處置人、處置時間等屬性。數(shù)據(jù)管理框架技術(shù)要求數(shù)據(jù)存儲要求數(shù)據(jù)存儲能力宜符合以下要求：支持對視頻數(shù)據(jù)、音頻數(shù)據(jù)和圖片數(shù)據(jù)等非結(jié)構(gòu)化數(shù)據(jù)及結(jié)構(gòu)化數(shù)據(jù)存儲的能力；支持分布式關(guān)系型數(shù)據(jù)庫、分布式列式數(shù)據(jù)庫、分布圖式數(shù)據(jù)庫、分布式文件系統(tǒng)等數(shù)據(jù)分布式存儲方式；平臺業(yè)務(wù)數(shù)據(jù)存儲容量和性能宜可靠，且支持水平擴展。宜支持?jǐn)?shù)據(jù)冗余多節(jié)點可靠存儲，支持單節(jié)點故障業(yè)務(wù)不中斷；提供數(shù)據(jù)的容錯和高可用機制，包括數(shù)據(jù)的備份和快速恢復(fù)；支持對不同數(shù)據(jù)類型設(shè)置相宜的存儲策略，并自動執(zhí)行存儲策略。數(shù)據(jù)治理要求數(shù)據(jù)治理宜符合以下要求：具備數(shù)據(jù)資源編目管理功能，支持對數(shù)據(jù)資源編目進行動態(tài)管理，包括編制、審核、發(fā)布等；支持對數(shù)據(jù)資源的分級分類管理；提供數(shù)據(jù)在各類業(yè)務(wù)宜用中的使用情況監(jiān)控，針對各類數(shù)據(jù)提供數(shù)據(jù)考核與管控，針對長期不使用數(shù)據(jù)可進行數(shù)據(jù)清洗和歸檔；提供數(shù)據(jù)質(zhì)量定義、數(shù)據(jù)校驗規(guī)則管理、數(shù)據(jù)質(zhì)量檢測及數(shù)據(jù)質(zhì)量預(yù)警等功能；支持對靜態(tài)和動態(tài)元數(shù)據(jù)進行管理，包括創(chuàng)建、存儲、整合與控制等；支持對數(shù)據(jù)的產(chǎn)生、融合、流轉(zhuǎn)，到消亡之間形成的關(guān)系進行跟蹤，包括數(shù)據(jù)的歸屬性、多源性、可追溯性及層次性；能自動監(jiān)測數(shù)據(jù)資源的變化情況，對數(shù)據(jù)源中各信息表的數(shù)據(jù)量、每日增量和數(shù)據(jù)變化趨勢等數(shù)據(jù)進行自動匯總統(tǒng)計。自動監(jiān)測平臺數(shù)據(jù)庫相關(guān)索引、觸發(fā)器狀態(tài)及每類數(shù)據(jù)存儲空間使用情況等數(shù)據(jù)庫系統(tǒng)狀態(tài)信息，定時發(fā)布監(jiān)測結(jié)果，對出現(xiàn)的異常狀態(tài)及時報警。數(shù)據(jù)計算要求數(shù)據(jù)計算宜符合以下要求：支持?jǐn)?shù)據(jù)實時計算、即時計算和離線分析等計算模式；支持批量計算、流計算、圖計算等計算方式；支持對視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)的計算；支持計算的任務(wù)管理、調(diào)度和監(jiān)控；具備計算任務(wù)的容錯能力，支持任務(wù)的重新調(diào)度。數(shù)據(jù)共享要求數(shù)據(jù)共享宜符合以下要求：遵循GB/T35273-2020《信息安全技術(shù)個人信息安全規(guī)范》的相關(guān)信息安全要求；定義統(tǒng)一的數(shù)據(jù)共享交換接口；設(shè)定嚴(yán)格的注冊認證與鑒權(quán)機制，確保數(shù)據(jù)共享交換的安全性；支持接口訪問負載均衡、流量控制等機制；提供對外共享交換的數(shù)據(jù)目錄管理功能；支持對數(shù)據(jù)共享交換API接口的異常狀態(tài)進行監(jiān)測；支持在多用戶并發(fā)調(diào)用場景下，保持接口穩(wěn)定性和可用性。資源管理要求資源管理宜符合以下要求：支持內(nèi)存、CPU、網(wǎng)絡(luò)等資源的管理；支持資源的調(diào)度和回收；支持資源使用的監(jiān)控。安全管理要求安全管理應(yīng)符合以下要求：遵循GB/T37973-2019《信息安全技術(shù)大數(shù)據(jù)安全管理指南》的相關(guān)要求；采用國家密碼管理局鑒定的密碼算法，采用多重密鑰保護機制對數(shù)據(jù)進行存儲加密保護；提供文件級細粒度安全存儲，可單獨設(shè)置文件的密級、加密算法、加密密鑰等；支持對涉密數(shù)據(jù)以及個人敏感信息等進行脫敏處理。數(shù)據(jù)分析框架技術(shù)要求數(shù)據(jù)模型管理要求數(shù)據(jù)模型管理宜符合以下要求：a) 支持對用戶、家庭、社區(qū)、場景、商戶、商品等對象進行建模；b) 支持基于服務(wù)對用戶、家庭、社區(qū)、場景、商戶、商品等進行關(guān)聯(lián)；c) 支持?jǐn)?shù)據(jù)模型的可視化。算法管理要求算法管理宜符合以下要求：支持對視頻、圖片、語音、自然語言等非結(jié)構(gòu)化數(shù)據(jù)的處理能力；支持基于文本、語音、界面等人機交互能力；支持實體識別、知識抽取、知識推理等知識圖譜構(gòu)建與應(yīng)用能力；支持機器學(xué)習(xí)、深度學(xué)習(xí)等數(shù)據(jù)學(xué)習(xí)能力；支持?jǐn)?shù)據(jù)統(tǒng)計分析、關(guān)聯(lián)分析等數(shù)據(jù)挖掘能力；支持多層次的數(shù)據(jù)分析能力，包括描述性分析、診斷性分析、預(yù)測性分析、因果性分析等能力；提供可視化的工具，建立數(shù)據(jù)分析模型，實現(xiàn)對數(shù)據(jù)分析模型的可視化編排。數(shù)據(jù)服務(wù)框架技術(shù)要求服務(wù)對象管理服務(wù)對象包括用戶、物業(yè)組織、訪客、商戶等。用戶管理要求用戶管理宜符合以下要求：支持對系統(tǒng)用戶進行增刪改查；用戶信息包括用戶賬號、登陸密碼、用戶姓名、電話號碼、有效期、超時時間、最大登陸次數(shù)、用戶角色等信息；支持按用戶賬號、用戶姓名檢索用戶信息，用戶記錄以列表方式呈現(xiàn)，展示用戶相關(guān)屬性；支持對用戶信息進行修改，刪除；支持對用戶登陸密碼進行重置。物業(yè)組織管理物業(yè)組織管理應(yīng)符合以下要求：支持對物業(yè)組織數(shù)據(jù)的增刪改查操作；物業(yè)組織信息包括基本信息及擴展信息，基本信息包括組織編號、組織類型、組織名稱等信息，擴展信息可按需擴展。訪客管理要求訪客管理宜符合以下要求：訪客信息包括訪客賬號、訪客姓名、電話號碼、訪客目