《城市供水信息系統(tǒng) 基礎(chǔ)信息加工處理技術(shù)指南》

CECS×××:20××

中國工程建設(shè)標(biāo)準(zhǔn)化協(xié)會(huì)標(biāo)準(zhǔn)

城市供水信息系統(tǒng)基礎(chǔ)信息加工處理技術(shù)

指南

Guidelinesforbasicinformationprocessingofurbanwatersupplyinformationsystem

（征求意見稿）

目錄

前言..........................................................................................................................................1

第一章總則............................................................................................................................2

第二章基礎(chǔ)信息分類編碼....................................................................................................3

第三章基礎(chǔ)信息加工處理基本流程....................................................................................6

第一節(jié)國內(nèi)外城市供水信息系統(tǒng)發(fā)展現(xiàn)狀....................................................................6

第二節(jié)基礎(chǔ)信息加工處理基本流程................................................................................9

第三節(jié)相關(guān)行業(yè)信息系統(tǒng)標(biāo)準(zhǔn)規(guī)范................................................................................9

第四章基礎(chǔ)信息加工處理的單元技術(shù)..............................................................................11

第一節(jié)數(shù)據(jù)采集..............................................................................................................11

第二節(jié)數(shù)據(jù)清洗、轉(zhuǎn)換及裝載......................................................................................13

第三節(jié)數(shù)據(jù)存儲(chǔ)與備份..................................................................................................16

第四節(jié)數(shù)據(jù)分析及展示..................................................................................................17

第五節(jié)信息安全..............................................................................................................20

第五章質(zhì)量保障..................................................................................................................22

第六章系統(tǒng)維護(hù)與管理........................................................................................................26

附錄..........................................................................................................................................28

編制依據(jù)..................................................................................................................................28

I

前言

近年來，隨著國內(nèi)城市供水監(jiān)管信息化建設(shè)進(jìn)程的不斷加快，很多供水監(jiān)管

機(jī)構(gòu)及企業(yè)等都構(gòu)建很多供水管理信息系統(tǒng)，為城市的供水管理工作提供了有效

支撐，但是，很多城市的供水信息系統(tǒng)存在信息孤島、數(shù)據(jù)質(zhì)量不佳、加工處理

方面缺少標(biāo)準(zhǔn)規(guī)范等問題，給數(shù)據(jù)的有效分析、價(jià)值挖掘和提取帶來很多困難，

進(jìn)而影響到了信息化建設(shè)對(duì)供水監(jiān)管的支撐作用。

為規(guī)范城市供水信息系統(tǒng)基礎(chǔ)信息的加工處理，提高城市供水信息系統(tǒng)中基

礎(chǔ)信息的真實(shí)性、準(zhǔn)確性、完整性和有效性，編制組經(jīng)過廣泛調(diào)研，認(rèn)真總結(jié)實(shí)

踐經(jīng)驗(yàn)，參考國家和行業(yè)有關(guān)標(biāo)準(zhǔn)，并廣泛征求意見的基礎(chǔ)上，特編制了本指南。

本指南的主要技術(shù)內(nèi)容有：1總則；2基礎(chǔ)信息的分類編碼；3基礎(chǔ)信息加

工處理的基本流程；4基礎(chǔ)信息加工處理的單元技術(shù)；5質(zhì)量保障；6系統(tǒng)維護(hù)

與管理。

本指南由中國工程建設(shè)標(biāo)準(zhǔn)化協(xié)會(huì)標(biāo)準(zhǔn)負(fù)責(zé)管理，由中國城市規(guī)劃設(shè)計(jì)研究

院、山東省城市供排水水質(zhì)監(jiān)測中心負(fù)責(zé)具體技術(shù)內(nèi)容的解釋。執(zhí)行過程中如有

意見或建議，請(qǐng)將意見或建議寄送至中國城市規(guī)劃設(shè)計(jì)研究院（地址：北京車公

莊西路5號(hào)，郵政編碼：10004），山東省城市供排水水質(zhì)監(jiān)測中心（地址：濟(jì)

南市奧體中路5111號(hào)，郵編250000）。

主編單位：中國城市規(guī)劃設(shè)計(jì)研究院、山東省城市供排水水質(zhì)監(jiān)測中心。

參編單位：青島積成電子股份有限公司、濟(jì)南水務(wù)集團(tuán)有限公司、杭州綠潔

水務(wù)科技有限公司、力合科技（湖南）股份有限公司

主要起草人員：

主要審查人員：

1

第一章總則

1編制目的

為建立基礎(chǔ)信息加工處理技術(shù)規(guī)范體系，提高城市供水信息系統(tǒng)中基礎(chǔ)信息

的真實(shí)性、準(zhǔn)確性、完整性和有效性，指導(dǎo)供水信息系統(tǒng)的設(shè)計(jì)與開發(fā)，制定本

指南。

2主要內(nèi)容

本指南提出了城市供水信息系統(tǒng)中基礎(chǔ)信息分類編碼、數(shù)據(jù)采集、數(shù)據(jù)清洗、

轉(zhuǎn)換和裝載、數(shù)據(jù)存儲(chǔ)與備份、數(shù)據(jù)分析與展示、質(zhì)量保障等方面的基本方法和

要求。

3適用范圍

本指南適用于城市供水監(jiān)管及供水企業(yè)信息系統(tǒng)基礎(chǔ)信息的加工處理。

2

第二章基礎(chǔ)信息分類編碼

1基礎(chǔ)信息類型

城鎮(zhèn)供水信息系統(tǒng)基礎(chǔ)信息包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，

參照CJ/T541的規(guī)定對(duì)其進(jìn)行分類。

1.1結(jié)構(gòu)化數(shù)據(jù)

(1)城鎮(zhèn)供水管理基礎(chǔ)信息主要包括以下內(nèi)容：

1)城鎮(zhèn)供水行政主管部門基本情況；

2)城鎮(zhèn)供水單位水廠數(shù)量、綜合生產(chǎn)能力等匯總信息；

3)城鎮(zhèn)年供水量；

4)城鎮(zhèn)年用水量；

5)城鎮(zhèn)二次供水管理情況；

6)城鎮(zhèn)供水水源地基本情況；

7)城鎮(zhèn)應(yīng)急水源基本信息；

8)城鎮(zhèn)取水、供水管道信息。

(2)城鎮(zhèn)供水單位基礎(chǔ)信息主要包括以下內(nèi)容：

1)城鎮(zhèn)供水單位名稱、地址、類型、企業(yè)性質(zhì)、服務(wù)類別等基本情況；

2)城鎮(zhèn)供水設(shè)施基礎(chǔ)情況；

3)城鎮(zhèn)供水單位運(yùn)營情況：包括水廠數(shù)量、服務(wù)人口、用戶水表數(shù)、客戶

服務(wù)、生產(chǎn)運(yùn)營信息情況等；

4)水質(zhì)檢測部門基本信息，包括名稱、聯(lián)系方式、資質(zhì)狀況和級(jí)別、部門

人員情況、檢測能力、檢測設(shè)備等；

5)水質(zhì)在線監(jiān)測基礎(chǔ)信息：包括監(jiān)測點(diǎn)布局和建設(shè)信息、監(jiān)測設(shè)備信息等；

6)水質(zhì)檢測基礎(chǔ)信息：包括水源、水廠、管網(wǎng)（包括管網(wǎng)末梢）、二次供

水的采樣點(diǎn)數(shù)量和布設(shè)情況。

(3)城鎮(zhèn)供水水廠基礎(chǔ)信息：包括水廠名稱、水廠類型、所屬供水單位、水源類

型、水源地基本信息、水廠規(guī)模、凈水工藝、供水總量、消毒方式、水質(zhì)檢

測項(xiàng)目、在線監(jiān)測項(xiàng)目、生產(chǎn)能力、水廠安全管理信息和應(yīng)急水源等。

3

(4)城鎮(zhèn)供水設(shè)施在建、規(guī)劃擬建項(xiàng)目基礎(chǔ)信息：包括項(xiàng)目基本情況、建設(shè)內(nèi)容、

投資情況、設(shè)計(jì)情況、審批情況、水廠凈水工藝、管道材質(zhì)及長度等。

(5)城鎮(zhèn)供水單位月供水水量與水壓動(dòng)態(tài)信息

1)月供水流量監(jiān)測信息；

2)月供水壓力監(jiān)測信息；

3)供水壓力在線監(jiān)測信息；

4)供水流量在線監(jiān)測信息；

(6)城鎮(zhèn)供水水質(zhì)動(dòng)態(tài)監(jiān)測信息

1)水源水水質(zhì)在線監(jiān)測信息；

2)出廠水水質(zhì)在線監(jiān)測信息；

3)供水管網(wǎng)水質(zhì)在線監(jiān)測信息。

(7)城鎮(zhèn)供水水質(zhì)基礎(chǔ)信息

1)城鎮(zhèn)供水水質(zhì)檢測數(shù)據(jù)：包括水源水、出廠水、管網(wǎng)（管網(wǎng)末梢）水、

二次供水等日檢、周檢、月檢、季檢、半年檢、年檢的實(shí)驗(yàn)室水質(zhì)檢測

數(shù)據(jù)、水質(zhì)匯總數(shù)據(jù)及質(zhì)量控制等相關(guān)信息。

2)實(shí)驗(yàn)室水質(zhì)檢測數(shù)據(jù)應(yīng)包括樣品編號(hào)、采樣點(diǎn)名稱、采樣點(diǎn)地址或位置、

水樣類型、采樣時(shí)間、水廠名稱、水樣檢測類型、檢驗(yàn)時(shí)間、檢測機(jī)構(gòu)、

指標(biāo)代碼、指標(biāo)名稱、檢測值、指標(biāo)計(jì)量單位等內(nèi)容。

(8)城鎮(zhèn)二次供水基礎(chǔ)信息：包括二次供水設(shè)施地址、管理單位、設(shè)施分類、用

水人口、建設(shè)時(shí)間、建設(shè)單位、水質(zhì)檢測單位和時(shí)間、清洗單位、清洗時(shí)間、

日常水質(zhì)檢測數(shù)據(jù)等。

(9)城鎮(zhèn)供水設(shè)施在建項(xiàng)目季報(bào)信息：包括本季度投入資金金額、資金來源、項(xiàng)

目完成情況等。

(10)城鎮(zhèn)供水突發(fā)水質(zhì)事件快報(bào)信息

1)事件基本情況：發(fā)生時(shí)間、發(fā)生地點(diǎn)、事故類型、特征污染物等；

2)水質(zhì)跟蹤情況。

1.2半結(jié)構(gòu)化數(shù)據(jù)

主要包括城鎮(zhèn)供水單位和供水廠的值班日志、電子郵件、維修記錄、投訴工

單等記錄信息類。

4

1.3非結(jié)構(gòu)化數(shù)據(jù)

主要包括以下內(nèi)容：

(1)城鎮(zhèn)供水各類報(bào)表、國家/行業(yè)公開的標(biāo)準(zhǔn)文本等文檔與圖片類信息；

(2)通知公告類：包括水質(zhì)督查等通知、供水水質(zhì)信息公開結(jié)果等；

(3)城鎮(zhèn)供水突發(fā)水質(zhì)事件新聞報(bào)道類信息；

(4)城鎮(zhèn)供水安防監(jiān)控類的圖像、音頻和視頻類信息；

(5)城鎮(zhèn)供水規(guī)范化考核、二次供水專項(xiàng)檢查等專項(xiàng)業(yè)務(wù)的圖像和視頻類信

息；

(6)城鎮(zhèn)供水客戶投訴和處理等客戶服務(wù)、設(shè)備檢修系統(tǒng)的圖像、音頻和視

頻類信息；

(7)城鎮(zhèn)供水質(zhì)量控制考核的檢測結(jié)果上報(bào)、考核結(jié)果的通報(bào)等圖片類信息。

2基礎(chǔ)信息分類與編碼

2.1編碼管理

在建立供水信息系統(tǒng)時(shí)，應(yīng)依據(jù)CJ/T474-2015和CJ/T541-2019的規(guī)定，建

立城鎮(zhèn)供水水質(zhì)指標(biāo)及城鎮(zhèn)供水管理系統(tǒng)基礎(chǔ)信息的編碼體系和管理制度，作為

供水信息系統(tǒng)開發(fā)建設(shè)的基礎(chǔ)。

2.2分類與編碼

為保證城市供水基礎(chǔ)信息在同一系統(tǒng)內(nèi)或不同系統(tǒng)間的交互與加工處理，應(yīng)

對(duì)城鎮(zhèn)供水信息系統(tǒng)基礎(chǔ)信息和供水水質(zhì)指標(biāo)進(jìn)行分類與編碼。分類與編碼應(yīng)符

合下列規(guī)定：

(1)城鎮(zhèn)供水信息系統(tǒng)基礎(chǔ)信息的分類與編碼符合CJ/T541的規(guī)定；

(2)城鎮(zhèn)供水水質(zhì)指標(biāo)分類與編碼應(yīng)符合CJ/T474-2015的規(guī)定；

(3)非結(jié)構(gòu)化數(shù)據(jù)可參考CJ/T541中第4章的規(guī)定進(jìn)行分類與編碼；

(4)為保證編碼系統(tǒng)的完整性，對(duì)于CJ/T541中未涉及的新增基礎(chǔ)信息，應(yīng)

依據(jù)CJ/T541中第4章的規(guī)定進(jìn)行分類與編碼；對(duì)于CJ/T474-2015未涉及的新

增水質(zhì)指標(biāo)，應(yīng)依據(jù)CJ/T474-2015中的規(guī)定進(jìn)行分類與編碼。

5

第三章基礎(chǔ)信息加工處理基本流程

第一節(jié)國內(nèi)外城市供水信息系統(tǒng)發(fā)展現(xiàn)狀

1國外城市供水信息系統(tǒng)發(fā)展現(xiàn)狀

國外城市供水信息系統(tǒng)起步早，經(jīng)過幾十年的發(fā)展，達(dá)到了建立信息系統(tǒng)基

礎(chǔ)、完善信息系統(tǒng)數(shù)據(jù)、細(xì)化信息系統(tǒng)模塊、整合信息系統(tǒng)平臺(tái)的整體目標(biāo)。在

這個(gè)過程中，不僅保證了城市供水信息系統(tǒng)功能的可靠性、完整性、實(shí)用性，而

且積累了大量的生產(chǎn)運(yùn)營數(shù)據(jù)以及使用經(jīng)驗(yàn)，為其進(jìn)行數(shù)據(jù)分析，建立水質(zhì)、水

利模型提供了基礎(chǔ)。

大多數(shù)國外供水信息系統(tǒng)由計(jì)算機(jī)輔助(IT)和業(yè)務(wù)技術(shù)支持(OT)兩塊技術(shù)

組成，加強(qiáng)IT與OT之間的融合是國外供水信息系統(tǒng)的主要工作，因此，國外

供水信息系統(tǒng)相較于國內(nèi)，尤其重視生產(chǎn)運(yùn)營數(shù)據(jù)的分析與應(yīng)用。國外供水信息

系統(tǒng)不僅在水系統(tǒng)范圍內(nèi)得到大量應(yīng)用，而且延伸到用戶用水量預(yù)測、分析相關(guān)

服務(wù)，如對(duì)不同類型用水的實(shí)時(shí)數(shù)據(jù)進(jìn)行分析歸納、獲得為提高水費(fèi)發(fā)票精準(zhǔn)度

和靈活性的信息、基于歷史數(shù)據(jù)對(duì)水的消費(fèi)趨勢進(jìn)行分析等。事實(shí)上，越來越多

發(fā)達(dá)國家對(duì)未來城市供水信息系統(tǒng)所提倡的概念是：建立一個(gè)有彈性理念的供水

信息系統(tǒng)，也就是通過對(duì)系統(tǒng)可能產(chǎn)生的風(fēng)險(xiǎn)進(jìn)行評(píng)估，對(duì)系統(tǒng)接納風(fēng)險(xiǎn)的能力

進(jìn)行評(píng)估，進(jìn)而提出系統(tǒng)彈性恢復(fù)的建議措施。

國外城市供水信息系統(tǒng)在發(fā)展過程中也存在一些問題。例如，缺少可以參考

的經(jīng)驗(yàn)先例。由于國外起步早，進(jìn)度快，在尋找有價(jià)值的參考案例方面也存在困

難，因此只能一邊摸索一邊發(fā)展。

2國內(nèi)城市供水信息系統(tǒng)發(fā)展現(xiàn)狀

受限于國內(nèi)早期信息化能力的不足，國內(nèi)城市供水信息系統(tǒng)相比國外起步較

晚。大體來看，我國城市供水信息系統(tǒng)的發(fā)展主要分為自動(dòng)化、數(shù)字化和智慧化

三個(gè)階段：

（1）自動(dòng)化階段

在這一階段，我國城市供水信息系統(tǒng)的建設(shè)集中在基礎(chǔ)信息的自動(dòng)化采集上，

通過對(duì)閥門、泵站、生產(chǎn)工藝過程等的自動(dòng)化操控，不僅提高了水質(zhì)、水壓和流

6

量等涉水?dāng)?shù)據(jù)的測量水平，而且很大程度上代替了繁重的人工操作，降低了工人

的勞動(dòng)強(qiáng)度。

（2）數(shù)字化階段

在這一階段，國內(nèi)城市各供水相關(guān)單位利用局域網(wǎng)絡(luò)、3G/4G網(wǎng)絡(luò)和數(shù)據(jù)庫

技術(shù)等，逐步建立起各自的業(yè)務(wù)系統(tǒng)和數(shù)據(jù)存儲(chǔ)系統(tǒng)，極大提高了信息存儲(chǔ)、查

詢和回溯的效率，初步實(shí)現(xiàn)了業(yè)務(wù)管理和行政辦公的信息化。目前，我國絕大部

分城市供水信息系統(tǒng)正處于該階段。

（3）智慧化階段

這一階段我國城市供水相關(guān)單位成熟運(yùn)用物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)和機(jī)器學(xué)

習(xí)等新一代信息技術(shù)，在實(shí)現(xiàn)對(duì)數(shù)據(jù)全方位采集的同時(shí)，對(duì)數(shù)據(jù)進(jìn)行深度處理，

實(shí)現(xiàn)信息化建設(shè)和管理水平提升的充分結(jié)合。目前，我國大多數(shù)城市供水信息系

統(tǒng)的建設(shè)正處于從數(shù)字化階段向智慧化階段邁進(jìn)的過程中。

國內(nèi)城市供水信息系統(tǒng)在建設(shè)時(shí)期大多缺少整體規(guī)劃，“重建設(shè)，輕管理”

的現(xiàn)象較為普遍，系統(tǒng)碎片化問題突出?？傮w來說，主要存在以下問題：

（1）系統(tǒng)間整合程度低，功能重疊。由于不同單位、企業(yè)在依照各自需求

進(jìn)行信息系統(tǒng)建設(shè)時(shí)缺乏統(tǒng)一的規(guī)劃，各類業(yè)務(wù)系統(tǒng)大多按照不同部門各自開展

的業(yè)務(wù)進(jìn)行職能劃分，因此不同系統(tǒng)建設(shè)時(shí)所采用標(biāo)準(zhǔn)不統(tǒng)一，系統(tǒng)之間交互性

差，且存在重復(fù)建設(shè)問題。

（2）系統(tǒng)內(nèi)業(yè)務(wù)流程不統(tǒng)一、不規(guī)范。由于業(yè)務(wù)流程不規(guī)范，相對(duì)原始的

管理模式仍然存在，城市供水行業(yè)信息化僅僅實(shí)現(xiàn)了現(xiàn)有管理模式的計(jì)算機(jī)化。

與業(yè)務(wù)流程相配套的國家統(tǒng)一法規(guī)、標(biāo)準(zhǔn)相對(duì)滯后，因此各地區(qū)的單位或企業(yè)在

建設(shè)信息系統(tǒng)時(shí)往往根據(jù)自身需求，自行制定工作規(guī)范和標(biāo)準(zhǔn)，導(dǎo)致信息共享、

交換不暢，各系統(tǒng)間無法通力合作，信息系統(tǒng)應(yīng)有的優(yōu)勢得不到充分發(fā)揮。

（3）安全管理與運(yùn)行維護(hù)問題。主要體現(xiàn)在四個(gè)方面，一是缺少統(tǒng)一的安

全策略，安全防護(hù)水平參差不齊；二是網(wǎng)絡(luò)安全基礎(chǔ)設(shè)施建設(shè)不完善；三是沒有

全面的IT資源管理平臺(tái)；四是沒有明確的機(jī)房建設(shè)標(biāo)準(zhǔn)。

7

3基礎(chǔ)信息管理存在的問題

3.1信息孤島問題

目前，國內(nèi)供水機(jī)構(gòu)大都構(gòu)建有供水業(yè)務(wù)管理信息系統(tǒng)，也花費(fèi)了大量的人

力和財(cái)力，經(jīng)過一段時(shí)間運(yùn)行后也積累了大量歷史數(shù)據(jù)，如何準(zhǔn)確、高效地對(duì)這

些數(shù)據(jù)進(jìn)行處理，充分挖掘數(shù)據(jù)中的價(jià)值，是當(dāng)前面臨的一個(gè)重要挑戰(zhàn)。而且在

實(shí)際應(yīng)用中也存在一些問題：供水機(jī)構(gòu)的SCADA系統(tǒng)、GIS系統(tǒng)、管維系統(tǒng)、

水力模型等各個(gè)業(yè)務(wù)子系統(tǒng)各自為政，信息孤島現(xiàn)象嚴(yán)重，沒有實(shí)現(xiàn)共享；因孤

島、分散問題，造成了數(shù)據(jù)流轉(zhuǎn)周期長，出錯(cuò)率高；還會(huì)造成技術(shù)、生產(chǎn)部門不

能及時(shí)獲得信息數(shù)據(jù)，信息整合、處理滯后，即使有“數(shù)據(jù)中心”也只是將各類來

源的數(shù)據(jù)從一個(gè)模塊“機(jī)械”地拷貝或?qū)氲搅硪粋€(gè)模塊數(shù)據(jù)庫中，當(dāng)歷史數(shù)據(jù)過

于龐大時(shí)，就會(huì)導(dǎo)致系統(tǒng)運(yùn)行緩慢、數(shù)據(jù)丟失等各類問題，從而難以對(duì)供水生產(chǎn)

全過程進(jìn)行監(jiān)控并有效指導(dǎo)公司的生產(chǎn)和經(jīng)營。

各地智慧水務(wù)建設(shè)正如火如荼的開展，結(jié)合供水機(jī)構(gòu)供水管理現(xiàn)狀，開發(fā)一

套面向服務(wù)的耦合城市供水水質(zhì)綜合管理系統(tǒng)很有必要，數(shù)據(jù)綜合分析、深度挖

掘不能只停留在口號(hào)上。

3.2數(shù)據(jù)質(zhì)量問題

目前，數(shù)據(jù)質(zhì)量的定義還沒有統(tǒng)一的形式。很多文獻(xiàn)從不同的角度和應(yīng)用范

圍對(duì)數(shù)據(jù)質(zhì)量進(jìn)行了定義，包括如下三種:1）數(shù)據(jù)質(zhì)量指信息系統(tǒng)滿足模式和數(shù)

據(jù)實(shí)例的一致性、正確性、完整性和最小性四個(gè)指標(biāo)的程度。2）數(shù)據(jù)質(zhì)量是數(shù)

據(jù)適合使用的程度。3）數(shù)據(jù)質(zhì)量是數(shù)據(jù)滿足特定用戶期望的程度。數(shù)據(jù)質(zhì)量維

度是數(shù)據(jù)質(zhì)量的特征，它們?yōu)槎攘亢凸芾頂?shù)據(jù)的質(zhì)量提供了一種途徑和標(biāo)準(zhǔn)，一

般包括數(shù)據(jù)的一致性、準(zhǔn)確性、完整性、統(tǒng)一性等四個(gè)方面。

隨著水務(wù)信息化進(jìn)程的不斷深入，供水信息系統(tǒng)積累了海量數(shù)據(jù)，但當(dāng)用戶

根據(jù)需要使用這些數(shù)據(jù)時(shí)，卻往往會(huì)因各種數(shù)據(jù)質(zhì)量問題影響到數(shù)據(jù)的深層分析

和價(jià)值挖掘，無法實(shí)現(xiàn)真正的“智慧”。常見的問題包括完整性、拼寫度、矛盾性，

命名沖突以及不一致等問題。數(shù)據(jù)質(zhì)量問題來源是多個(gè)方面的，可以由人員、流

程和系統(tǒng)等問題造成，主要問題包括：1）可能由于采集過程中收集了不符合要

求的數(shù)據(jù)；2）在信息傳播過程中數(shù)據(jù)失真、誤碼；3）在信息處理過程中數(shù)據(jù)壓

8

縮、轉(zhuǎn)換的執(zhí)行失??；4）在信息存儲(chǔ)過程中某些原因?qū)е碌募虞d失敗等。

第二節(jié)基礎(chǔ)信息加工處理基本流程

1必要性

因城市供水信息系統(tǒng)建設(shè)存在信息孤島、數(shù)據(jù)質(zhì)量不高等問題，數(shù)據(jù)的有效

分析與價(jià)值挖掘大打折扣，為使系統(tǒng)中各類基礎(chǔ)信息發(fā)揮出巨大的經(jīng)濟(jì)效益和社

會(huì)效益，應(yīng)對(duì)其進(jìn)行篩選、加工、濃縮、整理、去粗取精、去偽存真等加工處理，

使得零散、無序、彼此獨(dú)立的信息具有條理性和系統(tǒng)性。信息的加工處理過程，

是把大量的這種信息變成能夠?qū)ζ髽I(yè)的決策有指導(dǎo)意義的信息。

2加工處理基本流程

信息加工處理基本流程可分為采集-清洗、轉(zhuǎn)換、裝載-存儲(chǔ)-檢索分析-展示

等五個(gè)階段。涉及到具體項(xiàng)目應(yīng)用時(shí)，根據(jù)數(shù)據(jù)采集方式、應(yīng)用的目的等不同，

加工處理流程略有區(qū)別。如數(shù)據(jù)采集方式為人工錄入時(shí)，因未涉及到數(shù)據(jù)的跨信

息系統(tǒng)抽取問題，其加工處理流程為采集-存儲(chǔ)-檢索分析-展示等。

加工處理后的信息變成易于觀察、傳遞、分析、利用的形式，實(shí)現(xiàn)了信息的

效用。如在信息加工處理的關(guān)鍵環(huán)節(jié)—檢索分析中，利用數(shù)據(jù)分析挖掘技術(shù)，從

大量的、不完全的、隨機(jī)的數(shù)據(jù)中，找尋隱藏在數(shù)據(jù)背后的信息，揭示數(shù)據(jù)整體

的特征，并預(yù)測其發(fā)展趨勢，進(jìn)而指導(dǎo)企業(yè)的決策活動(dòng)。

第三節(jié)相關(guān)行業(yè)信息系統(tǒng)標(biāo)準(zhǔn)規(guī)范

標(biāo)準(zhǔn)規(guī)范對(duì)我國各地正在興起的供水系統(tǒng)建設(shè)起著重要的指導(dǎo)和規(guī)范作用。

目前，在國家與行業(yè)層面已形成了不少信息化建設(shè)標(biāo)準(zhǔn)，現(xiàn)有標(biāo)準(zhǔn)按內(nèi)容大致分

為信息化標(biāo)準(zhǔn)體系標(biāo)準(zhǔn)、數(shù)據(jù)庫建設(shè)類標(biāo)準(zhǔn)、數(shù)據(jù)采集傳輸交換類標(biāo)準(zhǔn)、信息安

全類標(biāo)準(zhǔn)等。生態(tài)環(huán)境部在信息化建設(shè)工作上起步較早，其標(biāo)準(zhǔn)體系相對(duì)完善，

但仍缺少基礎(chǔ)信息質(zhì)量控制方面的標(biāo)準(zhǔn)規(guī)范。而供水行業(yè)信息化標(biāo)準(zhǔn)建設(shè)正處于

探索性階段，標(biāo)準(zhǔn)規(guī)范的數(shù)量還存在不少差距，目前僅在指標(biāo)編碼標(biāo)準(zhǔn)、編制數(shù)

據(jù)交換標(biāo)準(zhǔn)、數(shù)據(jù)庫建設(shè)規(guī)范、系統(tǒng)建設(shè)規(guī)范、系統(tǒng)安全規(guī)范等方面出臺(tái)了相應(yīng)

的標(biāo)準(zhǔn)規(guī)范。在供水基礎(chǔ)信息加工方面，也僅制定了《城鎮(zhèn)供水管理信息系統(tǒng)基

9

礎(chǔ)信息分類與編碼規(guī)則》（CJ/T541），規(guī)定了供水管理信息系統(tǒng)的基礎(chǔ)數(shù)據(jù)分

類方法、編碼原則與方法、基礎(chǔ)信息分類與構(gòu)成、數(shù)據(jù)字典分類與代碼等內(nèi)容，

但是尚缺乏分類編碼后的供水基礎(chǔ)信息在采集、清洗、入庫、分析展示等具體加

工處理質(zhì)量控制方面的規(guī)范文件。供水監(jiān)管信息化平臺(tái)建設(shè)與管理對(duì)基礎(chǔ)信息日

益增長的質(zhì)量要求與當(dāng)前較為落后的標(biāo)準(zhǔn)規(guī)范體系之間存在顯著矛盾。

10

第四章基礎(chǔ)信息加工處理的單元技術(shù)

第一節(jié)數(shù)據(jù)采集

1結(jié)構(gòu)化數(shù)據(jù)采集

1.1抽取

選擇socket、webservice、websocket、http、數(shù)據(jù)庫共享等技術(shù)，通過系統(tǒng)

中受控的接口定期從供水調(diào)度系統(tǒng)、實(shí)驗(yàn)室管理系統(tǒng)、管網(wǎng)監(jiān)測系統(tǒng)等子業(yè)務(wù)系

統(tǒng)或跨平臺(tái)系統(tǒng)中，對(duì)如城市水質(zhì)動(dòng)態(tài)信息、實(shí)驗(yàn)室水質(zhì)檢測數(shù)據(jù)、壓力監(jiān)測數(shù)

據(jù)、流量監(jiān)測數(shù)據(jù)、供水企業(yè)設(shè)備工況、材料庫存、售水情況、維護(hù)檢修記錄等

進(jìn)行跨系統(tǒng)的全量或增量抽取，并完成數(shù)據(jù)庫對(duì)應(yīng)臨時(shí)表的數(shù)據(jù)插入。針對(duì)以上

數(shù)據(jù)可以從原始業(yè)務(wù)記錄中根據(jù)定義的數(shù)據(jù)抽取規(guī)則，將已錄入的數(shù)據(jù)抽取出來

并形成標(biāo)準(zhǔn)格式的數(shù)據(jù)緩存，供進(jìn)一步的數(shù)據(jù)轉(zhuǎn)換處理或備份使用。

1.2在線采集傳輸

選擇socket、光纖、NB-IoT、4G等通訊方式，通過網(wǎng)絡(luò)端口從城市供水信

息系統(tǒng)外部的在線采集設(shè)備中，對(duì)如壓力、流量、水質(zhì)等監(jiān)測數(shù)據(jù)進(jìn)行采集。數(shù)

據(jù)上傳至系統(tǒng)后進(jìn)行存儲(chǔ)，供進(jìn)一步的數(shù)據(jù)轉(zhuǎn)換處理或備份使用。被采集數(shù)據(jù)可

以是模擬量，也可以是數(shù)字量。

1.3人工錄入

對(duì)于以紙質(zhì)文檔或電子文檔形式保存的系統(tǒng)無法通過跨系統(tǒng)抽取的結(jié)構(gòu)化

數(shù)據(jù)，如城市供水基礎(chǔ)信息、供水單位（公司級(jí)）基本信息、水廠基本信息、在

建（規(guī)劃、擬建）項(xiàng)目信息、城市供水單位水質(zhì)水量月報(bào)、在建項(xiàng)目季報(bào)、突發(fā)

水質(zhì)快報(bào)等，可以采用人工錄入的方式將數(shù)據(jù)采集到系統(tǒng)中。負(fù)責(zé)人工錄入的系

統(tǒng)合法用戶既可以采用http、ftp等技術(shù)將數(shù)據(jù)上傳至系統(tǒng)中存儲(chǔ)，也可以登錄

系統(tǒng)中相應(yīng)的數(shù)據(jù)錄入界面，通過前端嵌入式電子表格工具人工輸入相關(guān)數(shù)據(jù)，

保存后上傳至系統(tǒng)中存儲(chǔ)。

11

1.4網(wǎng)絡(luò)爬蟲

對(duì)于廣泛分布于互聯(lián)網(wǎng)中的結(jié)構(gòu)化的城鎮(zhèn)供水信息，可以采用網(wǎng)絡(luò)爬蟲技術(shù)，

按照預(yù)先定義好的與城鎮(zhèn)供水信息有關(guān)的主題有選擇地進(jìn)行網(wǎng)頁爬取，然后根據(jù)

一定的采集策略從抓取的網(wǎng)頁中采集相關(guān)數(shù)據(jù)并逐條存儲(chǔ)到數(shù)據(jù)庫中。

2半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)采集

2.1抽取

可以選擇socket、webservice、websocket、http等技術(shù)，通過系統(tǒng)中受控的

接口定期從電子郵件系統(tǒng)、設(shè)備檢修系統(tǒng)、客戶服務(wù)系統(tǒng)、安保監(jiān)控系統(tǒng)等業(yè)務(wù)

系統(tǒng)中，對(duì)電子郵件、維修記錄、投訴工單、視頻信息等進(jìn)行跨系統(tǒng)的數(shù)據(jù)抽取，

將半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲(chǔ)，將非結(jié)構(gòu)化數(shù)據(jù)以文件的形式存儲(chǔ)

到系統(tǒng)中。

2.2人工錄入

對(duì)于以紙質(zhì)文檔或電子文檔形式保存的系統(tǒng)無法通過跨系統(tǒng)抽取的半結(jié)構(gòu)

化或非結(jié)構(gòu)化數(shù)據(jù)，如值班日志、辦公文檔、圖片、各類報(bào)表、圖像等，可以采

用人工錄入的方式將數(shù)據(jù)采集到系統(tǒng)中。負(fù)責(zé)人工錄入的系統(tǒng)合法用戶既可以采

用http、ftp等技術(shù)將數(shù)據(jù)以xml、json、文件的格式上傳至系統(tǒng)中，并將半結(jié)構(gòu)

化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲(chǔ)，將非結(jié)構(gòu)化數(shù)據(jù)以文件的形式存儲(chǔ)到系統(tǒng)中。

2.3網(wǎng)絡(luò)爬蟲

對(duì)于廣泛分布于互聯(lián)網(wǎng)中的結(jié)構(gòu)化的城鎮(zhèn)供水信息，如發(fā)布的信息、新聞、

通知公告等，可以采用聚焦網(wǎng)絡(luò)爬蟲技術(shù)，按照預(yù)先定義好的與城鎮(zhèn)供水信息有

關(guān)的主題有選擇地進(jìn)行網(wǎng)頁爬取，然后根據(jù)一定的采集策略從抓取的網(wǎng)頁中采集

相關(guān)數(shù)據(jù)，并將半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲(chǔ)，將非結(jié)構(gòu)化數(shù)據(jù)以文

件的形式存儲(chǔ)到系統(tǒng)中。

12

第二節(jié)數(shù)據(jù)清洗、轉(zhuǎn)換及裝載

1數(shù)據(jù)清洗

1.1結(jié)構(gòu)化數(shù)據(jù)清洗

(1)數(shù)據(jù)清洗原則

結(jié)構(gòu)化數(shù)據(jù)針對(duì)數(shù)據(jù)重復(fù)性、有效性、時(shí)效性、合法性進(jìn)行清洗。

結(jié)構(gòu)化數(shù)據(jù)清洗前應(yīng)定義結(jié)構(gòu)化數(shù)據(jù)編碼規(guī)則及數(shù)據(jù)字典，數(shù)據(jù)編碼用于數(shù)

據(jù)身份的唯一識(shí)別。數(shù)據(jù)清洗時(shí)根據(jù)定義的合理性規(guī)則對(duì)所抽取的數(shù)據(jù)進(jìn)行合法

性校驗(yàn)。只有符合過濾條件且具有合法標(biāo)識(shí)的數(shù)據(jù)才能用于后續(xù)的數(shù)據(jù)轉(zhuǎn)換處理

及裝載。

(2)庫表清洗

庫表清洗主要針對(duì)結(jié)構(gòu)化數(shù)據(jù)，清洗過程應(yīng)包括對(duì)原始數(shù)據(jù)編碼字典進(jìn)行轉(zhuǎn)

換、無效數(shù)據(jù)的處理、特殊符號(hào)的替換、指標(biāo)或監(jiān)測值是否在合格范圍內(nèi)的判斷

等，將整理后的數(shù)據(jù)更新到原有的數(shù)據(jù)表中。

清洗方法包括非空檢核、主鍵重復(fù)清洗、非法代碼清洗、非法值清洗、數(shù)據(jù)

格式檢核、記錄數(shù)檢核，詳見表4-1庫表清洗方法。

表4-1庫表清洗方法

序號(hào)清洗方法主要內(nèi)容

1非空檢核要求實(shí)時(shí)庫表字段為非空的情況下，需要對(duì)該字段數(shù)據(jù)進(jìn)行檢核。

主鍵重復(fù)清多個(gè)業(yè)務(wù)系統(tǒng)中同類數(shù)據(jù)經(jīng)過清洗后，在統(tǒng)一保存時(shí)，為保證主鍵唯一性，需

2

洗進(jìn)行檢核工作。

非法代碼清

3非法代碼、代碼與數(shù)據(jù)標(biāo)準(zhǔn)不一致等，主要針對(duì)實(shí)時(shí)監(jiān)測數(shù)據(jù)中的異常數(shù)據(jù)。

洗

4非法值清洗取值錯(cuò)誤、格式錯(cuò)誤、多余字符、亂碼等，需根據(jù)具體情況進(jìn)行校核及修正。

數(shù)據(jù)格式檢通過檢查表中屬性值的格式是否正確來衡量其準(zhǔn)確性，如時(shí)間格式、多余

5

核字符、亂碼。

6記錄數(shù)檢核指各個(gè)系統(tǒng)相關(guān)數(shù)據(jù)之間的數(shù)據(jù)總數(shù)檢核。

(3)缺失值清洗

在線監(jiān)測數(shù)據(jù)具有體量大、連續(xù)性等特點(diǎn)，為不影響分析結(jié)果，在跨系統(tǒng)抽

取過程中，應(yīng)對(duì)缺失的數(shù)據(jù)進(jìn)行清洗。

確定缺失值范圍，按照缺失比例和字段重要性分別制定策略：

重要性高，缺失率低：通過計(jì)算進(jìn)行填充；通過經(jīng)驗(yàn)或業(yè)務(wù)知識(shí)估計(jì)；

重要性高，缺失率高：嘗試從其他渠道取數(shù)補(bǔ)全；使用其他字段通過計(jì)算獲

13

??；

重要性低，缺失率低：不做處理或簡單填充；

重要性低，缺失率高：刪除該字段。

填充缺失值方法有以下三種：以監(jiān)測數(shù)據(jù)經(jīng)驗(yàn)推測填充缺失值；以同一監(jiān)測

類型的計(jì)算結(jié)果（均值、中位數(shù)、眾數(shù)等）填充缺失值；以不同監(jiān)測類型的計(jì)算

結(jié)果填充缺失值。

(4)邏輯錯(cuò)誤清洗

針對(duì)結(jié)構(gòu)化數(shù)據(jù)中時(shí)效性要求不高的數(shù)據(jù)，應(yīng)采用邏輯錯(cuò)誤清洗的方式進(jìn)行，

主要規(guī)則如下：1）去重。常見的就是去掉多余的空格，人工錄入數(shù)據(jù)時(shí)難免會(huì)

添加一些肉眼不易辨別的空格，造成數(shù)據(jù)重復(fù)等問題。2）去除不合理值。常見

的就是單位未注意造成數(shù)量級(jí)不合理，例如管網(wǎng)漏損率（%）超過100，當(dāng)檢測

到不合理值時(shí)，需要去除或者用缺失值代替。3）修正矛盾內(nèi)容。例如某市的城

市供水總量必然是大于其公共供水總量，如果出現(xiàn)小于的情況，就需要修正基礎(chǔ)

信息。

1.2半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)清洗

針對(duì)半結(jié)構(gòu)化及非架構(gòu)化數(shù)據(jù)以保證數(shù)據(jù)的合法性為主要清洗目的，對(duì)可能

出現(xiàn)的數(shù)據(jù)二義性、重復(fù)、不完整、違反業(yè)務(wù)規(guī)則等問題，將有問題的數(shù)據(jù)先剔

除，根據(jù)實(shí)際情況調(diào)整相應(yīng)的清洗操作，有效清除無效數(shù)據(jù)，保證數(shù)據(jù)質(zhì)量。數(shù)

據(jù)清洗處理有多種形式：取值范圍檢查、交叉記錄驗(yàn)證、格式校驗(yàn)、空值檢查、

重復(fù)記錄清除、數(shù)據(jù)源糾錯(cuò)等。

2數(shù)據(jù)轉(zhuǎn)換

2.1結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換

結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換應(yīng)根據(jù)供水信息系統(tǒng)已定義的基礎(chǔ)信息數(shù)據(jù)、監(jiān)測數(shù)據(jù)的格

式進(jìn)行邏輯轉(zhuǎn)換，將從其他供水業(yè)務(wù)系統(tǒng)抽取的數(shù)據(jù)進(jìn)行必要的轉(zhuǎn)換處理，形成

滿足目供水信息系統(tǒng)數(shù)據(jù)庫業(yè)務(wù)規(guī)則要求的數(shù)據(jù)形式。

結(jié)構(gòu)化數(shù)據(jù)由其他類型業(yè)務(wù)系統(tǒng)進(jìn)行轉(zhuǎn)換時(shí)，主要轉(zhuǎn)換方法如下：

（1）共享數(shù)據(jù)庫方式

從其他業(yè)務(wù)系統(tǒng)接入實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)或?qū)?shù)據(jù)一致性要求較高時(shí)，可采

14

用共享數(shù)據(jù)庫方式。采用此方式應(yīng)避免接入的系統(tǒng)出現(xiàn)訪問受限情況，不建議在

本地業(yè)務(wù)系統(tǒng)設(shè)置共享數(shù)據(jù)庫。

（2）遠(yuǎn)程過程調(diào)用方式

此方式適用于從其他業(yè)務(wù)系統(tǒng)接入實(shí)時(shí)數(shù)據(jù)或?qū)?shù)據(jù)同步性要求較高時(shí)，常

用方式為WebServices協(xié)議。此方式較易實(shí)現(xiàn)，但要求通信雙方必須同時(shí)工作。

2.2半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換

半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)在加工處理時(shí)，由于受數(shù)據(jù)格式影響，不可直接轉(zhuǎn)

換成量化信息用于分析，可將其轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)，轉(zhuǎn)換方法如下：

（1）文件共享方式

需從其他業(yè)務(wù)系統(tǒng)進(jìn)行結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換時(shí)，包含固定格式的圖片、統(tǒng)計(jì)報(bào)表、

報(bào)告等文件，可采用文件共享方式進(jìn)行交互，常用方式為FTP方式。

文件共享方式須搭建文件共享服務(wù)器，宜使用局域網(wǎng)或虛擬局域網(wǎng)網(wǎng)絡(luò)，保

障文件安全。

（2）非機(jī)構(gòu)化數(shù)據(jù)轉(zhuǎn)換

投訴工單、值班記錄等非架構(gòu)化數(shù)據(jù)，可使用分詞技術(shù)或預(yù)先設(shè)定的匹配規(guī)

則，進(jìn)行數(shù)據(jù)分類轉(zhuǎn)換，按照內(nèi)容屬性、時(shí)間屬性、空間屬性、來源屬性、格式

屬性、使用屬性等進(jìn)行統(tǒng)一分類命名。

3數(shù)據(jù)裝載

3.1結(jié)構(gòu)化數(shù)據(jù)裝載

結(jié)構(gòu)化數(shù)據(jù)裝載宜使用關(guān)系型數(shù)據(jù)庫進(jìn)行裝載和管理，滿足對(duì)數(shù)據(jù)的檢索、

分析、統(tǒng)計(jì)需求，同時(shí)裝載應(yīng)考慮應(yīng)用需求、數(shù)據(jù)備份需求、數(shù)據(jù)共享需求及數(shù)

據(jù)容災(zāi)需求。

3.2半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)裝載

半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)可按照樹形文件形式進(jìn)行數(shù)據(jù)裝載，樹形文件可按

照不同文件類型設(shè)計(jì)，可對(duì)單個(gè)數(shù)據(jù)壓縮裝載，可對(duì)多個(gè)數(shù)據(jù)打包壓縮。可使用

工具軟件對(duì)已裝載數(shù)據(jù)進(jìn)行索引。

15

第三節(jié)數(shù)據(jù)存儲(chǔ)與備份

1結(jié)構(gòu)化及半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)

結(jié)構(gòu)化數(shù)據(jù)應(yīng)針對(duì)不同業(yè)務(wù)數(shù)據(jù)類型，按照不同的數(shù)據(jù)庫表格進(jìn)行存儲(chǔ)。數(shù)

據(jù)庫表格主要包括城鎮(zhèn)供水管理基礎(chǔ)信息、城鎮(zhèn)供水單位基礎(chǔ)信息、城鎮(zhèn)供水水

廠基礎(chǔ)信息、城鎮(zhèn)供水設(shè)施在建、規(guī)劃擬建項(xiàng)目基礎(chǔ)信息、城鎮(zhèn)供水單位月供水

水量與水壓動(dòng)態(tài)信息、城鎮(zhèn)供水水質(zhì)基礎(chǔ)信息等表格。

針對(duì)監(jiān)測數(shù)據(jù)，依據(jù)樣品來源不同可分為水樣數(shù)據(jù)和質(zhì)控?cái)?shù)據(jù)，質(zhì)控?cái)?shù)據(jù)又

包括標(biāo)樣數(shù)據(jù)、加標(biāo)回收數(shù)據(jù)、手工比對(duì)數(shù)據(jù)。

依據(jù)數(shù)據(jù)數(shù)值大小對(duì)可以數(shù)據(jù)分類為超儀器檢出限數(shù)據(jù)、零值數(shù)據(jù)、負(fù)值數(shù)

據(jù)等。

依據(jù)數(shù)據(jù)變化趨勢可對(duì)數(shù)據(jù)分類為連續(xù)恒值數(shù)據(jù)、離群偏小數(shù)據(jù)、離群偏大

數(shù)據(jù)。

對(duì)于水質(zhì)監(jiān)測數(shù)據(jù)的分類標(biāo)識(shí)設(shè)置可參考表4-2數(shù)據(jù)分類標(biāo)識(shí)。

表4-2數(shù)據(jù)分類標(biāo)識(shí)

數(shù)據(jù)標(biāo)識(shí)標(biāo)識(shí)定義說明

N正常測量數(shù)據(jù)正常有效

T超上限監(jiān)測濃度超儀器測量上限

L超下限監(jiān)測濃度超儀器下限或小于檢出限

P電源故障系統(tǒng)電源故障

F儀器通信故障儀器數(shù)據(jù)采集失敗

Z取水點(diǎn)無水樣取水點(diǎn)沒有水樣或采水泵未正常上水

S手工輸入數(shù)據(jù)手工輸入的補(bǔ)測值

M維護(hù)調(diào)試數(shù)據(jù)儀器儀表處于維護(hù)期間產(chǎn)生的數(shù)據(jù))

ZF零值異常測量數(shù)據(jù)為零

WQW水質(zhì)明顯變差當(dāng)前參數(shù)水質(zhì)類別變差

WQB水質(zhì)明顯好轉(zhuǎn)當(dāng)前參數(shù)水質(zhì)類別變好

QCF質(zhì)控失敗質(zhì)控?cái)?shù)據(jù)不合格，該監(jiān)測數(shù)據(jù)無效

OVS離群偏小數(shù)據(jù)小于上一次監(jiān)測值的1/3倍

OVL離群偏大數(shù)據(jù)大于上一次監(jiān)測值的3倍

KPF關(guān)鍵參數(shù)異常儀器上傳的關(guān)鍵參數(shù)不合格標(biāo)準(zhǔn)

CF恒值不變數(shù)據(jù)連續(xù)3條及以上不變

D儀器故障儀器故障

B儀器離線儀器離線(數(shù)據(jù)通訊正常)

現(xiàn)場人員通過基站監(jiān)測系統(tǒng)以手工即時(shí)執(zhí)行的方式發(fā)出的命

HD現(xiàn)場啟動(dòng)測試

令，并讓儀器自動(dòng)完成操作，包括水樣測試、標(biāo)樣核查測試、

16

加標(biāo)回收測試、零點(diǎn)核查、跨度核查等

對(duì)于工作日志、電子郵件、運(yùn)行維護(hù)、客戶服務(wù)等半結(jié)構(gòu)化數(shù)據(jù)，需先轉(zhuǎn)換

成結(jié)構(gòu)化數(shù)據(jù)再進(jìn)行存儲(chǔ)。

2非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)

非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)應(yīng)遵循集中管理、高效利用和支持管理決策的原則，在

存儲(chǔ)過程中，可以按照文檔、圖片、音頻、視頻等類別進(jìn)行文件存儲(chǔ)。為便于數(shù)

據(jù)檢索宜對(duì)非結(jié)構(gòu)化數(shù)據(jù)按照一定的規(guī)則進(jìn)行重命名并建立索引。非結(jié)構(gòu)化數(shù)據(jù)

的存儲(chǔ)時(shí)間原則上不低于半年。

3數(shù)據(jù)備份

為保證運(yùn)行安全和數(shù)據(jù)安全，應(yīng)建立數(shù)據(jù)備份、信息冗余和災(zāi)害恢復(fù)機(jī)制，

當(dāng)系統(tǒng)出現(xiàn)故障、數(shù)據(jù)傳輸中斷等突發(fā)事故時(shí)，應(yīng)能在24小時(shí)內(nèi)恢復(fù)，數(shù)據(jù)缺

失間隔不能大于1小時(shí)。

對(duì)數(shù)據(jù)庫進(jìn)行定期備份，每天自動(dòng)備份一次，備份數(shù)據(jù)與原數(shù)據(jù)宜異地存儲(chǔ)，并

進(jìn)行加密保護(hù)。

第四節(jié)數(shù)據(jù)分析及展示

數(shù)據(jù)分析與展示可采用GIS技術(shù)、BI技術(shù)、組合報(bào)表、數(shù)字媒體、人工智能

等技術(shù)手段，實(shí)現(xiàn)入庫基礎(chǔ)信息的條件檢索查詢、統(tǒng)計(jì)、以及監(jiān)測和檢測數(shù)據(jù)的

綜合分析。根據(jù)不同的分析結(jié)果，采用豐富的圖表形式直觀展示。

1結(jié)構(gòu)化數(shù)據(jù)分析

1.1在線監(jiān)測數(shù)據(jù)分析

(1)監(jiān)測指標(biāo)自動(dòng)排序，可實(shí)現(xiàn)不同站點(diǎn)的同一指標(biāo)按監(jiān)測數(shù)值大小進(jìn)行排

序。

(2)站點(diǎn)監(jiān)測類型分類篩選，可按照水源、水廠、管網(wǎng)、二次供水等不同監(jiān)

測點(diǎn)類型進(jìn)行篩選。

(3)監(jiān)測指標(biāo)超標(biāo)自動(dòng)排序，可實(shí)現(xiàn)數(shù)據(jù)超標(biāo)站點(diǎn)自動(dòng)排序至最前。

(4)監(jiān)測指標(biāo)歷史曲線分析，可實(shí)現(xiàn)每個(gè)指標(biāo)月度、年度曲線分析，提供柱

17

狀圖、曲線圖，統(tǒng)計(jì)顯示該指標(biāo)最大值、最小值、平均值。

(5)監(jiān)測指標(biāo)對(duì)比曲線分析，可實(shí)現(xiàn)不同站點(diǎn)同一指標(biāo)的變化曲線對(duì)比。

(6)監(jiān)測指標(biāo)站點(diǎn)合格率統(tǒng)計(jì)分析，可實(shí)現(xiàn)不同站點(diǎn)任意指標(biāo)、任意時(shí)間段

內(nèi)的合格率統(tǒng)計(jì)，包含監(jiān)測次數(shù)、合格次數(shù)、最大值、最小值、平均值等。

(7)監(jiān)測站點(diǎn)實(shí)時(shí)上數(shù)率分析，可實(shí)現(xiàn)不同站點(diǎn)的月度上數(shù)率、有效上數(shù)率

分析，包含應(yīng)上數(shù)、實(shí)際上數(shù)、有效上數(shù)、采集指標(biāo)數(shù)、運(yùn)維公司等。

(8)監(jiān)測站點(diǎn)指標(biāo)合格率對(duì)比，可實(shí)現(xiàn)同一年份不同站點(diǎn)同一指標(biāo)的合格率

對(duì)比。

(9)監(jiān)測站點(diǎn)歷年合格率對(duì)比，可實(shí)現(xiàn)歷年不同站點(diǎn)相同指標(biāo)的合格率對(duì)比。

(10)監(jiān)測數(shù)據(jù)時(shí)空渲染分析，可實(shí)現(xiàn)歷年在線監(jiān)測指標(biāo)熱力渲染分析、等值

線變化分析，分析時(shí)間、指標(biāo)可選擇。

(11)報(bào)警分析，可實(shí)現(xiàn)不同站點(diǎn)的不同指標(biāo)在任意時(shí)間段內(nèi)的報(bào)警信息匯總，

提供儀器量程、國標(biāo)限值對(duì)比。

1.2實(shí)驗(yàn)室檢測數(shù)據(jù)分析

(1)檢測報(bào)告屬性檢索應(yīng)用：檢索屬性包括樣品類型、檢測性質(zhì)、采樣計(jì)劃、

采樣單位、受檢單位、評(píng)價(jià)標(biāo)準(zhǔn)、采樣點(diǎn)、采樣時(shí)間等。

(2)檢測報(bào)告指標(biāo)統(tǒng)計(jì)應(yīng)用：可實(shí)現(xiàn)不同采樣地點(diǎn)任意檢測指標(biāo)在任意時(shí)間

段內(nèi)的統(tǒng)計(jì)分析，包括樣品個(gè)數(shù)、指標(biāo)個(gè)數(shù)、合格率等，可根據(jù)采樣計(jì)劃、數(shù)據(jù)

來源、檢測類型進(jìn)行篩選，可根據(jù)指標(biāo)數(shù)值進(jìn)行排序。

(3)檢測報(bào)告樣品統(tǒng)計(jì)應(yīng)用：可實(shí)現(xiàn)不同采樣地點(diǎn)的樣品在任意時(shí)間段內(nèi)的

統(tǒng)計(jì)分析，包括樣品個(gè)數(shù)、合格率等，可根據(jù)采樣計(jì)劃、數(shù)據(jù)來源、評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)

行合格情況篩選。

(4)檢測指標(biāo)歷史曲線分析應(yīng)用：可實(shí)現(xiàn)歷年實(shí)驗(yàn)室檢測指標(biāo)變化分析，包

含該指標(biāo)歷年最大值、最小值、平均值等。

(5)檢測指標(biāo)歷史曲線對(duì)比分析應(yīng)用，可實(shí)現(xiàn)不同實(shí)驗(yàn)室采樣點(diǎn)的同一指標(biāo)

變化曲線對(duì)比分析，對(duì)比指標(biāo)包括各采樣點(diǎn)指標(biāo)最大值、最小值、平均值。

(6)供水單位上報(bào)數(shù)據(jù)統(tǒng)計(jì)應(yīng)用，實(shí)現(xiàn)同一供水單位內(nèi)不同檢測指標(biāo)檢測次

數(shù)、超標(biāo)次數(shù)、最大值、平均值的統(tǒng)計(jì)，可調(diào)閱不同供水單位不同水廠檢測指標(biāo)

明細(xì)。

18

(7)供水單位上報(bào)數(shù)據(jù)分析應(yīng)用，可實(shí)現(xiàn)不同供水單位同一檢測指標(biāo)合格率

排名分析，可根據(jù)采樣類型、時(shí)間篩選?？蓪?shí)現(xiàn)同一供水單位內(nèi)不同檢測指標(biāo)合

格率排名分析，可根據(jù)采樣類型、時(shí)間篩選?？蓪?shí)現(xiàn)不同供水單位不同采樣類型

的敏感指標(biāo)分析。

1.3專項(xiàng)業(yè)務(wù)數(shù)據(jù)分析

專項(xiàng)業(yè)務(wù)包括水質(zhì)督察、供水規(guī)范化考核、檢測業(yè)務(wù)培訓(xùn)，數(shù)據(jù)分析以報(bào)表

形式進(jìn)行匯總，可進(jìn)行時(shí)間、空間維度查詢、統(tǒng)計(jì)、排序。

2半結(jié)構(gòu)化數(shù)據(jù)分析

對(duì)水質(zhì)投訴歷史數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，基于投訴信息對(duì)應(yīng)的水廠和水質(zhì)檢測項(xiàng)

目進(jìn)行對(duì)比分析。

(1)投訴工單時(shí)空數(shù)據(jù)分析應(yīng)用，實(shí)現(xiàn)任意時(shí)間段內(nèi)不同水質(zhì)問題、不同供

水區(qū)域的工單時(shí)空分布檢索，實(shí)現(xiàn)工單熱力渲染識(shí)別敏感區(qū)。

(2)投訴工單解構(gòu)數(shù)據(jù)分析應(yīng)用，實(shí)現(xiàn)任意時(shí)間段內(nèi)不同水質(zhì)問題、不同供

水區(qū)域的工單構(gòu)成比例分析，可調(diào)閱投訴工單明細(xì)。

(3)投訴工單時(shí)間軸數(shù)據(jù)分析應(yīng)用，實(shí)現(xiàn)不同年度不同水質(zhì)問題、不同供水

區(qū)域的工單月度數(shù)量曲線分析，可調(diào)閱投訴工單明細(xì)。

3數(shù)據(jù)展示

3.1結(jié)構(gòu)化數(shù)據(jù)展示

(1)數(shù)據(jù)地圖模式

可按照所屬供水單位、所屬水廠、監(jiān)測點(diǎn)類型、監(jiān)測點(diǎn)名稱等屬性進(jìn)行分層

顯示，并可進(jìn)行瀏覽模式切換。

(2)數(shù)據(jù)列表模式

可按照所屬供水單位、所屬水廠、監(jiān)測點(diǎn)類型、監(jiān)測點(diǎn)名稱等屬性進(jìn)行查詢。

可進(jìn)行實(shí)時(shí)監(jiān)測值自動(dòng)排序，并提示超標(biāo)報(bào)警信息。。

(3)數(shù)據(jù)曲線模式

可按照所屬供水單位、所屬水廠、監(jiān)測點(diǎn)類型、監(jiān)測點(diǎn)名稱等屬性進(jìn)行數(shù)據(jù)

曲線查詢，并顯示對(duì)應(yīng)的站點(diǎn)以及站點(diǎn)的各項(xiàng)監(jiān)測指標(biāo)曲線。

19

(4)數(shù)據(jù)卡片模式

可按照所屬供水單位、所屬水廠、監(jiān)測點(diǎn)類型、監(jiān)測點(diǎn)名稱等屬性進(jìn)行查詢。

站點(diǎn)監(jiān)測數(shù)據(jù)實(shí)時(shí)循環(huán)更新播放。

(5)歷史數(shù)據(jù)報(bào)表導(dǎo)出

可按照采樣點(diǎn)、監(jiān)測項(xiàng)目、監(jiān)測時(shí)間、合格狀態(tài)等屬性字段查詢歷史數(shù)據(jù)并

導(dǎo)出報(bào)表。

3.2半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)展示

半結(jié)構(gòu)化數(shù)據(jù)宜轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)展示，具體展示方式參照結(jié)構(gòu)化

數(shù)據(jù)展示章節(jié)。

非結(jié)構(gòu)化數(shù)據(jù)可以樹形文件索引形式或文件存儲(chǔ)工具展示，按照內(nèi)容屬性、

時(shí)間屬性、空間屬性、來源屬性、格式屬性、使用屬性等分類展示。

第五節(jié)信息安全

信息安全是基礎(chǔ)信息數(shù)據(jù)采集、傳輸、處理、存儲(chǔ)的基本保障，在基礎(chǔ)信息

加工處理過程中，通常應(yīng)采用的基礎(chǔ)性安全保障技術(shù)包括以下方面。

（1）身份認(rèn)證技術(shù)：供水信息系統(tǒng)須使用身份認(rèn)證技術(shù)確定用戶身份的合

法性，具體技術(shù)手段可使用戶名口令、身份識(shí)別、PKI證書和指紋認(rèn)證等。

（2）加解密技術(shù)：在數(shù)據(jù)傳輸、存儲(chǔ)過程中進(jìn)行數(shù)據(jù)的加解密，可使用的

典型的加密算法有對(duì)稱加密和非對(duì)稱加密。

（3）邊界防護(hù)技術(shù)：應(yīng)防止外部網(wǎng)絡(luò)用戶以非法手段進(jìn)入內(nèi)部網(wǎng)絡(luò)，保護(hù)

內(nèi)部網(wǎng)絡(luò)環(huán)境、內(nèi)部數(shù)據(jù)存儲(chǔ)資源，可安裝防火墻和入侵檢測設(shè)備。

（4）訪問控制技術(shù)：數(shù)據(jù)庫訪問與讀取，應(yīng)設(shè)置合理的網(wǎng)絡(luò)安全防范和保

護(hù)策略，設(shè)置數(shù)據(jù)庫資源訪問的限制，并在身份識(shí)別的基礎(chǔ)上，根據(jù)身份對(duì)數(shù)據(jù)

資源訪問的請(qǐng)求加以權(quán)限控制。

（5）主機(jī)加固技術(shù)：應(yīng)使用主機(jī)加固技術(shù)，對(duì)供水信息系統(tǒng)相關(guān)的操作系

統(tǒng)、數(shù)據(jù)庫等進(jìn)行漏洞加固和保護(hù)，提高系統(tǒng)的抗攻擊能力。

（6）安全審計(jì)技術(shù)：供水信息系統(tǒng)的訪問記錄應(yīng)包含日志審計(jì)和行為審計(jì)，

通過日志審計(jì)協(xié)助系統(tǒng)管理員在受到攻擊后察看網(wǎng)絡(luò)日志，從而評(píng)估網(wǎng)絡(luò)配置的

20

合理性、安全策略的有效性，追溯分析安全攻擊軌跡，并能為實(shí)時(shí)防御提供手段。

通過對(duì)用戶的網(wǎng)絡(luò)行為審計(jì)，確認(rèn)行為的合規(guī)性，確保數(shù)據(jù)訪問、處理過程的安

全。

21

第五章質(zhì)量保障

數(shù)據(jù)采集作為城市供水信息系統(tǒng)基礎(chǔ)信息加工處理的首要環(huán)節(jié)，采集數(shù)據(jù)的

質(zhì)量好壞決定了信息系統(tǒng)能否有效發(fā)揮作用。

1基本要求

1.1水質(zhì)實(shí)驗(yàn)室數(shù)據(jù)質(zhì)量

水質(zhì)檢測實(shí)驗(yàn)室在機(jī)構(gòu)、人員、場所環(huán)境、設(shè)備設(shè)施、管理體系等方面要符

合《檢驗(yàn)檢測機(jī)構(gòu)資質(zhì)認(rèn)定能力評(píng)價(jià)檢驗(yàn)檢測機(jī)構(gòu)通用要求》（RB/T214—2017）。

1.2水質(zhì)在線監(jiān)測數(shù)據(jù)質(zhì)量

在線監(jiān)測數(shù)據(jù)質(zhì)量保證與控制需符合《城鎮(zhèn)供水水質(zhì)在線監(jiān)測技術(shù)標(biāo)準(zhǔn)》

（CJJ/T271-2017）相關(guān)要求。

2結(jié)構(gòu)化數(shù)據(jù)質(zhì)量保障

2.1人工錄入數(shù)據(jù)

(1)預(yù)審核

數(shù)據(jù)錄入人員應(yīng)首先對(duì)數(shù)據(jù)信息進(jìn)行審核，并保留電子版或紙質(zhì)版原始記錄

信息，檢查無誤后將數(shù)據(jù)錄入系統(tǒng)并對(duì)原始記錄信息進(jìn)行存檔。審核錄入完畢后，

數(shù)據(jù)進(jìn)入下一級(jí)審核。

(2)正式審核

對(duì)初步提交系統(tǒng)的預(yù)審核數(shù)據(jù)進(jìn)行審核，對(duì)存在疑問數(shù)據(jù)進(jìn)行標(biāo)記并加批注

寫明原因，將存疑數(shù)據(jù)及相關(guān)佐證材料發(fā)送給數(shù)據(jù)錄入人員協(xié)商認(rèn)定，再次檢查

原始記錄有關(guān)信息的準(zhǔn)確性，并由預(yù)審核人員負(fù)責(zé)更改數(shù)據(jù)并重新錄入。正式審

核人員對(duì)重新錄入數(shù)據(jù)進(jìn)行再次審核，確保無誤后將數(shù)據(jù)進(jìn)行入庫。

2.2在線采集傳輸數(shù)據(jù)

(1)審核內(nèi)容

審核內(nèi)容主要包括在線監(jiān)測設(shè)備的運(yùn)行信息，水源、水廠、管網(wǎng)水質(zhì)在線監(jiān)

測設(shè)備獲取的實(shí)時(shí)水質(zhì)數(shù)據(jù)。

22

(2)自助預(yù)審核

1)存疑數(shù)據(jù)判定

當(dāng)監(jiān)測數(shù)據(jù)出現(xiàn)以下情況時(shí)，系統(tǒng)標(biāo)記為存疑數(shù)據(jù)，便于人工復(fù)核。

a)監(jiān)測數(shù)據(jù)發(fā)生突變或連續(xù)不變。

b)監(jiān)測數(shù)據(jù)為0值。

c)監(jiān)測數(shù)據(jù)低于儀器檢出限。

d)監(jiān)測項(xiàng)目的關(guān)鍵狀態(tài)值（消解溫度、消解時(shí)長、顯色溫度等）不在合理

范圍。

e)數(shù)值間邏輯關(guān)系不符合要求。

2)無效數(shù)據(jù)判定

監(jiān)測數(shù)據(jù)出現(xiàn)以下情況時(shí)，系統(tǒng)標(biāo)記為無效數(shù)據(jù)，便于人工復(fù)核。

a)水站維護(hù)測試時(shí)間段內(nèi)產(chǎn)生的數(shù)據(jù)。

b)水質(zhì)自動(dòng)分析儀出現(xiàn)故障產(chǎn)生的數(shù)據(jù)。

(3)一級(jí)審核

對(duì)系統(tǒng)自動(dòng)預(yù)審核、自動(dòng)標(biāo)記結(jié)果進(jìn)行初審，對(duì)系統(tǒng)自動(dòng)預(yù)審的結(jié)果進(jìn)行確

認(rèn)，針對(duì)存疑數(shù)據(jù)和無效數(shù)據(jù)進(jìn)行標(biāo)記，并加批注寫明原因，在規(guī)定時(shí)間內(nèi)提交

存疑數(shù)據(jù)及相關(guān)佐證材料。因儀器設(shè)備故障導(dǎo)致的數(shù)據(jù)無效，須詳細(xì)說明原因（如

泵故障、采水故障等）。

1)審核時(shí)限

a)日審核

每天完成對(duì)上一天數(shù)據(jù)的審核，如果沒有在規(guī)定時(shí)間內(nèi)審核完畢，數(shù)據(jù)則自

動(dòng)進(jìn)入下一級(jí)審核。

b)月審核

每月初完成對(duì)上月數(shù)據(jù)的一級(jí)審核