基于水廠大數(shù)據(jù)的混凝投藥系統(tǒng)智能模型的構(gòu)建

基于水廠大數(shù)據(jù)的混凝投藥系統(tǒng)智能模型的構(gòu)建

韓梅，李玉寶，鄒放，劉暢，樊玉芳，顧軍農(nóng)(1.北京市自來水集團(tuán)有限責(zé)任公司，北京市供水水質(zhì)工程技術(shù)研究中心，北京100012；2.成都九鼎瑞信科技股份有限公司，四川成都610000；3.重慶大學(xué)環(huán)境與生態(tài)學(xué)院，重慶400044)混凝沉淀工藝一直是凈水廠的核心處理單元，而混凝投藥的精細(xì)化控制更是關(guān)乎水質(zhì)效果和能耗的關(guān)鍵，是水廠一直追求的目標(biāo)。近年來，隨著科技發(fā)展的驅(qū)動，物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等多領(lǐng)域的技術(shù)和理念已融入水處理領(lǐng)域，混凝投藥系統(tǒng)正在從人工控制向智能控制、精準(zhǔn)控制邁進(jìn)。傳統(tǒng)的混凝過程具有時延、滯后的特性[1-3]，在水源水質(zhì)、水量等條件發(fā)生變化時，難以實(shí)現(xiàn)混凝劑投加量的精準(zhǔn)控制，導(dǎo)致水質(zhì)不穩(wěn)定，影響后續(xù)濾池等工藝的濾程、反洗周期等。智能控制技術(shù)準(zhǔn)確性高、響應(yīng)快，能夠依據(jù)水源水質(zhì)的變化，及時確定混凝劑的投加量，對建立安全、高效、節(jié)能型水廠具有深遠(yuǎn)的現(xiàn)實(shí)意義。而如何通過精準(zhǔn)感知，借力大數(shù)據(jù)、人工智能等新一代信息技術(shù)，真正實(shí)現(xiàn)混凝加藥的智能控制還需不斷探索。目前，XGBoost、LSTM、支持向量機(jī)、隨機(jī)森林等算法已應(yīng)用于各個領(lǐng)域的信息挖掘、預(yù)測等方面，是相對較成熟的算法[4-7]。XGBoost(extremegradientboosting)算法是GradientBoosting算法的高效實(shí)現(xiàn)版本，可認(rèn)為是在GBDT算法基礎(chǔ)上的進(jìn)一步優(yōu)化。首先，XGBoost算法在基學(xué)習(xí)器損失函數(shù)中引入了正則項(xiàng)，控制減少訓(xùn)練過程當(dāng)中的過擬合；其次，XGBoost算法不僅使用一階導(dǎo)數(shù)計(jì)算偽殘差，還計(jì)算二階導(dǎo)數(shù),可近似快速剪枝的構(gòu)建新的基學(xué)習(xí)器；此外，XGBoost算法還做了很多工程上的優(yōu)化，例如，支持并行計(jì)算、提高計(jì)算效率、處理稀疏訓(xùn)練數(shù)據(jù)等，因而，其在應(yīng)用實(shí)踐中表現(xiàn)出優(yōu)良的效果和效率，被工業(yè)界廣為推崇[8]。LSTM算法即長短時記憶(longshort-termmemory)，最早由Hochreiter等[9]于1997年提出，是一種特定形式的循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrentneuralnetwork，RNN)。然而，RNN在處理長期依賴(時間序列上距離較遠(yuǎn)的節(jié)點(diǎn))時會遇到巨大的困難，計(jì)算距離較遠(yuǎn)的節(jié)點(diǎn)之間的聯(lián)系時，涉及雅可比矩陣的多次相乘，會帶來梯度消失(經(jīng)常發(fā)生)或者梯度膨脹(較少發(fā)生)的問題。LSTM的巧妙之處在于，通過增加輸入門、遺忘門和輸出門，使自循環(huán)的權(quán)重發(fā)生變化，避免了梯度消失或者梯度膨脹的問題[10]。此外，隨機(jī)森林(randomforest，RF)算法是以決策樹為基礎(chǔ)的集成學(xué)習(xí)算法，作為機(jī)器學(xué)習(xí)算法，在處理復(fù)雜數(shù)據(jù)源、數(shù)據(jù)噪聲及有限訓(xùn)練樣本方面有較好的表現(xiàn)[6]。支持向量機(jī)(supportvectormachine)是一類按監(jiān)督學(xué)習(xí)(supervisedlearning)方式對數(shù)據(jù)進(jìn)行二元分類的廣義線性分類器[11]。本文以大型水廠人工數(shù)據(jù)和在線數(shù)據(jù)為基礎(chǔ)，通過LSTM、支持向量機(jī)、隨機(jī)森林、XGBoost等分別建立了混凝投藥模型，系統(tǒng)比較了各種算法的建模效果，并嘗試采用箱線圖結(jié)合移動平滑的技術(shù)對異常值進(jìn)行處理，使得最終混凝投藥模型更精準(zhǔn)、適用性更強(qiáng)。1試驗(yàn)裝置和方法1.1水廠數(shù)據(jù)劃分A、B水廠原水均是南水北調(diào)水源，是接收南水的主力水廠，同時，兩個水廠均采用機(jī)械加速澄清池作為主要除濁工藝。因此，分別以A、B水廠為研究對象，進(jìn)行智能投藥模型的構(gòu)建。A水廠粗粒度數(shù)據(jù)建模以d為單位，訓(xùn)練數(shù)據(jù)取自2016年7月1日—2018年12月31日，共計(jì)914條數(shù)據(jù)量；測試數(shù)據(jù)取自2019年1月1日—2019年5月31日，共計(jì)151條數(shù)據(jù)量。細(xì)粒度數(shù)據(jù)建模以5min為一個粒度，均為在線數(shù)據(jù)，同樣，將數(shù)據(jù)集分為訓(xùn)練集和測試集。訓(xùn)練集是2015年1月1日—2018年12月31日，共計(jì)420768條；測試集是2019年1月1日—2019年10月15日，共計(jì)82944條。B水廠數(shù)據(jù)包括人工數(shù)據(jù)和在線數(shù)據(jù)，具體進(jìn)水量和加藥數(shù)據(jù)選取2015年1月1日—2020年7月6日，數(shù)據(jù)粒度為h；在線數(shù)據(jù)包括進(jìn)水、機(jī)加池、炭池和出廠的水質(zhì)數(shù)據(jù)，時間為2015年1月1日—2020年6月30日，數(shù)據(jù)粒度為5min；此外，氯投加量、臭氧投加量及混凝劑投加數(shù)據(jù)的時間是2015年1月1日—2020年6月28日，數(shù)據(jù)粒度為周。將上述數(shù)據(jù)合并后，共計(jì)578304條，時間為2015年1月1日—2020年6月30日，數(shù)據(jù)粒度為5min。經(jīng)過處理后得到有效數(shù)據(jù)共計(jì)486252條，訓(xùn)練集為2015年1月1日—2018年12月31日，共計(jì)363684條，測試集為2019年1月1日—2019年10月31日，共計(jì)85992條。1.2異常數(shù)據(jù)的處理方法細(xì)粒度數(shù)據(jù)的數(shù)據(jù)量較大，且由于在線儀表維護(hù)和檢修等會存在一定的異常數(shù)據(jù)，此外，部分?jǐn)?shù)據(jù)大量重復(fù)對建模工作不利，需在建模前對數(shù)據(jù)進(jìn)行預(yù)處理。對A水廠細(xì)粒度數(shù)據(jù)采用了兩種方案的異常數(shù)據(jù)處理方法。方案一是根據(jù)經(jīng)驗(yàn)對水質(zhì)指標(biāo)進(jìn)行約束，限定范圍，如直接去除進(jìn)水渾濁度大于20NTU的數(shù)據(jù)、機(jī)加池出水渾濁度大于5NTU的數(shù)據(jù)、預(yù)臭氧大于0.7mg/L的數(shù)據(jù)和pH值大于8.6或小于4.66的數(shù)據(jù)，對于進(jìn)水電導(dǎo)率大于400μS/cm或小于100μS/cm的數(shù)據(jù)使用電導(dǎo)率的均值替代，對于進(jìn)水氨氮大于0.24mg/L的數(shù)據(jù)使用均值替代，同時，去除部分時間段高度重復(fù)的數(shù)據(jù)；方案二是采用基于滑動均值的異常數(shù)據(jù)識別技術(shù)，本研究窗口大小為200，即某一時刻的滑動均值等于從該時刻開始往前的200條數(shù)據(jù)的加權(quán)平均值，數(shù)據(jù)的權(quán)重呈指數(shù)分布，離該時刻越近的數(shù)據(jù)權(quán)重越大。B水廠異常數(shù)據(jù)采用箱線圖和基于滑動均值的異常數(shù)據(jù)識別技術(shù)相結(jié)合的方法處理。如圖1所示，箱線圖是對數(shù)據(jù)分布的一種常用表示方法，先將數(shù)據(jù)從小到大排序，然后找到最小值、1/4位數(shù)、中位數(shù)、3/4位數(shù)、最大值，進(jìn)而計(jì)算最小觀察值和最大觀察值，如式(1)～式(2)。如果最小值≤最小觀察值，則下邊緣=最小觀察值；反之，最小值>最小觀察值，則下邊緣=最小值。如果最大值≥最大觀察值，則上邊緣=最大觀察值；反之，最大值圖1箱線圖說明Fig.1DescriptionofBoxplots最小觀察值=1/4位數(shù)-1.5×(3/4位數(shù)-1/4位數(shù))(1)最大觀察值=3/4位數(shù)+1.5×(3/4位數(shù)-1/4位數(shù))(2)使用箱線圖分別對進(jìn)水流量和進(jìn)水渾濁度數(shù)據(jù)進(jìn)行異常數(shù)據(jù)的篩分，如圖2所示，將數(shù)據(jù)按照每月分組，分析各自的數(shù)據(jù)范圍，對不在正常范圍的數(shù)據(jù)標(biāo)記為異常數(shù)據(jù)直接刪除。如圖3所示，對聚合氯化鋁(PAC)和三氯化鐵(FeCl3)采用箱線圖篩分，如果PAC大于50，直接剔除該條數(shù)據(jù)，否則采用滑動均值替換異常值，F(xiàn)eCl3的異常數(shù)據(jù)采用滑動均值替換異常值的方法進(jìn)行處理。對水溫、pH和機(jī)加池出水渾濁度數(shù)據(jù)也采用類似的方法進(jìn)行處理。此外，對部分時間缺失字段較多的樣本直接刪除，對少量缺失數(shù)據(jù)使用均值、插值填充。圖2異常數(shù)據(jù)篩分(a)進(jìn)水流量;(b)進(jìn)水渾濁度Fig.2ScreeningofAbnormalData(a)InflowRate;(b)InflowTurbidity圖3異常數(shù)據(jù)篩分(a)PAC;(b)FeCl3Fig.3ScreeningofAbnormalData(a)PAC;(b)FeCl31.3中試試驗(yàn)裝置將混凝投藥模型應(yīng)用于中試全工藝流程試驗(yàn)系統(tǒng)中(圖4)。全流程工藝系統(tǒng)設(shè)計(jì)產(chǎn)水量為1m3/h，包括原水箱、進(jìn)水泵、預(yù)臭氧接觸池、混凝反應(yīng)池、斜管沉淀池、砂濾池、臭氧接觸池、碳濾池、清水箱等。該試驗(yàn)系統(tǒng)配置全方位的在線水質(zhì)分析設(shè)備，包括UV254、濁度儀、pH、余氯測定儀及臭氧濃度儀。在線儀表將數(shù)據(jù)傳輸給中控端PLC，PLC通過遠(yuǎn)程模塊將水質(zhì)參數(shù)和工藝運(yùn)行參數(shù)遠(yuǎn)傳到數(shù)據(jù)采集終端。采集的數(shù)據(jù)用于機(jī)器學(xué)習(xí)，最終一方面在混凝投藥管控平臺上展示，另一方面反饋輸出加藥指令。圖4中試工藝系統(tǒng)Fig.4PilotTestProcessSystem2結(jié)果和討論2.1基于A水廠數(shù)據(jù)對不同算法的建模效果評估2.1.1水廠數(shù)據(jù)探索要建立加藥量的模型，首先對水廠水質(zhì)數(shù)據(jù)、工藝運(yùn)行數(shù)據(jù)與加藥量的相關(guān)性做了探索。由于粗粒度數(shù)據(jù)類型較多，包括水廠日檢水質(zhì)數(shù)據(jù)，如溫度、色度、渾濁度、溶解氧、電導(dǎo)率、氨氮、pH和余氯等；還包括工藝運(yùn)行參數(shù)，如水量、預(yù)臭氧投加量、預(yù)氯化投加量、PAC投加量、FeCl3投加量等；此外，還包括機(jī)械加速澄清池的運(yùn)行維護(hù)參數(shù)，如攪拌機(jī)轉(zhuǎn)速、排泥時長、沉降比。鑒于后續(xù)濾池是直接反饋機(jī)械加速澄清池運(yùn)行效果的工藝，因而，濾池出水閥開度、反洗周期也需納入考慮范圍。由于粗粒度數(shù)據(jù)水質(zhì)參數(shù)和工藝參數(shù)種類較多，為全面分析各種數(shù)據(jù)之間關(guān)系的權(quán)重，做了相關(guān)性矩陣。如圖5所示，以矩陣的形式展示各指標(biāo)之間的相關(guān)性，絕對值越大，相關(guān)性越高，發(fā)現(xiàn)PAC、FeCl3投加量和進(jìn)水溫度、渾濁度、預(yù)加氯、時均水量、排泥時長、濾池出水閥開度、月份和季節(jié)等相關(guān)性較大。因此，在建模過程中，應(yīng)對相關(guān)水質(zhì)指標(biāo)和運(yùn)行參數(shù)重點(diǎn)關(guān)注，作為特征值輸入。圖5各指標(biāo)參數(shù)間的相關(guān)性矩陣Fig.5CorrelationMatrixofEachIndexParameters2.1.2建模效果評估水廠機(jī)械加速澄清池采用PAC和FeCl3雙藥投加的模式，因而，對PAC和FeCl3的投加量分別進(jìn)行了模型構(gòu)建。基于A水廠日檢的粗粒度數(shù)據(jù)對PAC的建模，分別嘗試采用了隨機(jī)森林、支持向量機(jī)、LSTM、XGBoost算法，各種算法輸入的特征具體為[‘原水渾濁度’,‘炭池渾濁度差值’,‘原水色度’,‘原水pH’,‘預(yù)加氯投加率’,‘溫度區(qū)間’,‘季節(jié)’,‘預(yù)臭氧投加率’,‘機(jī)加池渾濁度’,‘炭池出水渾濁度’]。基于水廠日檢的粗粒度數(shù)據(jù)對FeCl3建模，分別嘗試采用了隨機(jī)森林、線性回歸、LSTM、XGBoost算法，各種算法輸入的特征具體為[‘原水渾濁度’,‘機(jī)加池渾濁度差值’,‘炭池渾濁度差值’,‘原水色度’,‘原水pH’,‘預(yù)加氯投加率’,‘原水溫度’,‘季節(jié)’,‘預(yù)臭氧投加率’,‘機(jī)加池渾濁度’,‘炭池出水渾濁度’]。建模的精確性評估標(biāo)準(zhǔn)以平均絕對百分比誤差(MAPE)和平均絕對誤差(MAE)為指標(biāo)，如式(3)～式(4)，建模的目標(biāo)是MAPE、MAE越小越好。結(jié)果如表1所示，對不同模型的評估值MAPE進(jìn)行比較，發(fā)現(xiàn)采用XGBoost算法對PAC和FeCl3加藥量建立的預(yù)測模型均最優(yōu)，其MAPE最小。因此，為進(jìn)一步優(yōu)化模型的準(zhǔn)確度，需采用細(xì)粒度數(shù)據(jù)做進(jìn)一步訓(xùn)練模型。表1采用多種模型算法預(yù)測的評估值比較Tab.1ComparisonofEvaluationPredictedbyVariousModelAlgorithms(3)(4)其中：MAPE——平均絕對百分比誤差；MAE——平均絕對誤差；n——樣本數(shù)量；yk——第k個樣本的實(shí)際值；為進(jìn)一步提高模型的預(yù)測精度，對A水廠采用以5min為單位的細(xì)粒度數(shù)據(jù)進(jìn)行建模。通過粗粒度建模，發(fā)現(xiàn)XGBoost算法建模效果最好，此外，LSTM在數(shù)據(jù)量比較大的情況其算法也具有一定的優(yōu)勢。因此，基于A水廠細(xì)粒度數(shù)據(jù)對XGBoost算法和LSTM做了進(jìn)一步的比較，同時，也比較了方案一和方案二兩種異常數(shù)據(jù)處理方法在建模效果上的差異(表2)。在細(xì)粒度數(shù)據(jù)支撐下，XGBoost較LSTM模型仍具有較大的優(yōu)勢，評估效果較好。細(xì)粒度較粗粒度數(shù)據(jù)對建立模型的效果更好，如對PAC的MAPE評估值由粗粒度的15.99降到細(xì)粒度的8.87；采用基于滑動均值的異常數(shù)據(jù)識別技術(shù)(方案二)與常規(guī)異常數(shù)據(jù)處理方法(方案一)相比，MAPE進(jìn)一步下降，對PAC的MAPE評估值由方案一的12.38降到8.87，說明模型預(yù)測的效果更好。表2不同粒度模型效果對比Tab.2ComparisonofDifferentGranularityModels2.2基于B水廠數(shù)據(jù)構(gòu)建智能混凝投藥精準(zhǔn)模型2.2.1PAC加藥模型的構(gòu)建為進(jìn)一步提升模型的預(yù)測效果，將B水廠人工記錄和在線數(shù)據(jù)相結(jié)合，并采用箱線圖和移動平滑技術(shù)相結(jié)合的方法對數(shù)據(jù)進(jìn)行預(yù)處理，提取到小時粒度的水量數(shù)據(jù)和加藥數(shù)據(jù)，最終以得到的近50萬條有效數(shù)據(jù)進(jìn)行建模。對B水廠混凝劑投加量的建模分別采用XGBoost、LSTM和隨機(jī)森林算法進(jìn)行了比較。模型輸入特征為[‘進(jìn)水pH’,‘進(jìn)水溫度’,‘進(jìn)水流量’,‘出水溫度’,‘出水渾濁度’,‘進(jìn)水渾濁度’,‘出水pH’,‘最近1dPAC投加量的均值’,‘最近3hPAC投加量的均值’,‘月份’,‘日期’]，模型預(yù)測值為PAC投加量，其中，采用滑窗統(tǒng)計(jì)的方法獲得‘最近1dPAC投加量的均值’和‘最近3hPAC投加量的均值’。采用XGBoost建模預(yù)測結(jié)果如圖6所示，評估結(jié)果MAPE為3.42；采用LSTM建模預(yù)測結(jié)果如圖7所示，評估結(jié)果MAPE為8.50；采用隨機(jī)森林建模預(yù)測結(jié)果如圖8所示，評估結(jié)果MAPE為4.20。通過將隨機(jī)森林建模效果與XGBoost、LSTM做縱向比較，發(fā)現(xiàn)XGBoost預(yù)測效果最好，隨機(jī)森林次之，LSTM最差。圖6采用XGBoost對PAC的預(yù)測效果Fig.6ApplicationofXGBoostinPACPrediction圖7采用LSTM對PAC的預(yù)測效果Fig.7ApplicationofLSTMinPACPrediction圖8采用隨機(jī)森林對PAC的預(yù)測效果Fig.8ApplicationofRandomForestinPACPrediction2.2.2FeCl3加藥模型的構(gòu)建對B水廠FeCl3投加量的建模同樣采用XGBoost、LSTM和隨機(jī)森林算法進(jìn)行了比較。模型輸入特征[‘進(jìn)水pH’,‘進(jìn)水溫度’,‘進(jìn)水流量’,‘出水溫度’,‘出水渾濁度’,‘進(jìn)水渾濁度’,‘出水pH’,‘最近1dFeCl3投加量的均值’,‘最近3hFeCl3投加量的均值’,‘月份’,‘日期’]，預(yù)測值為FeCl3投加量。采用XGBoost建模效果如圖9所示，評估結(jié)果MAPE為3.72；采用LSTM建模預(yù)測效果如圖10所示，評估結(jié)果MAPE為4.70；采用隨機(jī)森林建模預(yù)測效果如圖11所示，評估結(jié)果MAPE為5.09。通過將隨機(jī)森林建模效果與XGBoost、LSTM比較，發(fā)現(xiàn)對鐵鹽的預(yù)測與鋁鹽有差異，但均顯示XGBoost預(yù)測效果最好，不同的是LSTM次之，隨機(jī)森林效果最差。圖9采用XGBoost對FeCl3的預(yù)測效果Fig.9ApplicationofXGBoostinFerricChloridePrediction圖10采用LSTM對FeCl3的預(yù)測效果Fig.10ApplicationofLSTMinFerricChloridePrediction圖11采用隨機(jī)森林對FeCl3的預(yù)測效果Fig.11ApplicationofRandomForestinFerricChloridePredicion同時，B水廠較A水廠混凝劑投加量變化更頻繁，且提取到了小時粒度的水量、加藥數(shù)據(jù)，模型預(yù)測的準(zhǔn)確性更高。在異常數(shù)據(jù)處理方面，使用了箱線圖的異常數(shù)據(jù)識別方法，構(gòu)建了基于滑動窗口的加藥歷史數(shù)據(jù)統(tǒng)計(jì)特征，模型效果大幅提升。如對A水廠采用XGBoost對PAC投加量建模，最優(yōu)情況下的MAPE評估值為8.87；而對B水廠采用XGBoost對PAC投加量建模，最優(yōu)情況下的MAPE評估值僅為3.42，明顯低于8.87，可見對模型的效果提升明顯。2.2.3雙藥投加的模型構(gòu)建方法由2.2可知，采用XGBoost、LSTM和隨機(jī)森林3種算法對混凝劑投加量分別建模，效果最優(yōu)的是XGBoost算法，因此，雙藥投加的建模方法仍采用XGBoost。對雙藥投加的建模方法嘗試采用PAC的預(yù)測效果作為FeCl3的輸入，即首先預(yù)測PAC，預(yù)測結(jié)果作為特征輸入FeCl3預(yù)測模型。FeCl3模型輸入的特征值為[‘進(jìn)水PH’,‘進(jìn)水溫度’,‘進(jìn)水流量’,‘出水溫度’,‘出水渾濁度’,‘進(jìn)水渾濁度’,‘出水pH’,‘每dFeCl3投加量的均值’,‘每3hFeCl3投加量的均值’，‘PAC預(yù)測’,‘月份’,‘日期’]，預(yù)測值為FeCl3投加量。采用XGBoost建模預(yù)測結(jié)果如圖12所示，評估結(jié)果MAPE為3.70。采用FeCl3的預(yù)測效果作為PAC的輸入，即首先預(yù)測FeCl3，預(yù)測結(jié)果作為特征輸入PAC預(yù)測模型。PAC模型輸入的特征值為[‘進(jìn)水PH’,‘進(jìn)水溫度’,‘進(jìn)水流量’,‘出水溫度’,‘出水渾濁度’,‘進(jìn)水渾濁度’,‘出水pH’,‘每dPAC投加量的均值’,‘每3hPAC投加量的均值’，‘FeCl3預(yù)測’,‘月份’,‘日期’]，預(yù)測值為PAC投加量。采用XGBoost建模預(yù)測結(jié)果如圖13所示，評估結(jié)果MAPE為3.39。圖12采用XGBoost對FeCl3的預(yù)測效果Fig.12ApplictionofXGBoostinFerricChloridePrediction圖13采用XGBoost對PAC的預(yù)測效果Fig.13ApplictionofXGBoostinPACPrediction對于雙藥投加，通過將一種藥劑的投加量作為另一種