基于時(shí)間序列的異常值概率識(shí)別及應(yīng)用

基于時(shí)間序列的異常值概率識(shí)別及應(yīng)用

通過分析監(jiān)測(cè)數(shù)據(jù)，對(duì)水庫進(jìn)行安全分析、安全評(píng)估和監(jiān)測(cè)，確保水庫的安全。大壩監(jiān)測(cè)數(shù)據(jù)為大壩運(yùn)行性態(tài)的直接反映,測(cè)值的變化與大壩運(yùn)行的環(huán)境荷載及大壩本身的結(jié)構(gòu)性態(tài)有關(guān)。因此,監(jiān)測(cè)數(shù)據(jù)的真實(shí)性和可靠性對(duì)水工建筑物安全狀況的最終評(píng)判至關(guān)重要。但由于隨機(jī)因素的影響或收集分析數(shù)據(jù)的失誤而出現(xiàn)異常值。目前,對(duì)大壩監(jiān)測(cè)數(shù)據(jù)異常值的識(shí)別方法主要有人工識(shí)別、概率識(shí)別、準(zhǔn)則評(píng)判等。隨著大壩安全自動(dòng)化監(jiān)測(cè)系統(tǒng)的普及,通過計(jì)算機(jī)及時(shí)自動(dòng)識(shí)別異常值并分析原因是大壩安全監(jiān)測(cè)評(píng)價(jià)首先面臨的問題。鑒此,本文基于概率識(shí)別方法進(jìn)行了算法改進(jìn),并結(jié)合實(shí)例進(jìn)行應(yīng)用。結(jié)果表明,該法有效可行,便于計(jì)算機(jī)應(yīng)用。1概率識(shí)別方法1.1異常值的判定假定測(cè)值服從隨機(jī)樣本的正態(tài)分布,根據(jù)正態(tài)分布特征,偏離隨機(jī)樣本均值程度越大,概率越小。依據(jù)此原理,假定測(cè)值在某一顯著性水平下為小概率事件,則判定為異常值。常用的方法有格魯布斯檢驗(yàn)法、t檢驗(yàn)法、偏—峰度檢驗(yàn)法等。傳統(tǒng)的概率識(shí)別方法存在如下缺陷:①僅適用于規(guī)律性較好、呈正態(tài)分布的數(shù)據(jù)序列;②需先確定可疑值,對(duì)可能存在多個(gè)異常值數(shù)據(jù)列的工作量大;③將監(jiān)測(cè)數(shù)據(jù)作為一維數(shù)據(jù)序列(測(cè)值)處理,忽略了時(shí)間即測(cè)值位置對(duì)識(shí)別結(jié)果的影響。1.2異常值的預(yù)處理文獻(xiàn)中提出了一種改進(jìn)方法,將監(jiān)測(cè)數(shù)據(jù)列按每年的同一時(shí)間進(jìn)行數(shù)據(jù)抽樣,抽樣后的數(shù)據(jù)服從或近似服從隨機(jī)正態(tài)分布,不再具有二維屬性。該法對(duì)各種分布規(guī)律的監(jiān)測(cè)數(shù)據(jù)均可進(jìn)行識(shí)別,但其抽樣方式適用性與實(shí)用性尚有所欠缺:①監(jiān)測(cè)數(shù)據(jù)須為多年數(shù)據(jù)(通常20a以上),不適用于近年新建壩和在建壩的監(jiān)測(cè)數(shù)據(jù)異常值識(shí)別;②按每月3次測(cè)量的監(jiān)測(cè)頻率,對(duì)全部監(jiān)測(cè)數(shù)據(jù)識(shí)別需進(jìn)行36次計(jì)算,步驟繁瑣;③忽視了數(shù)據(jù)的時(shí)間屬性,未考慮前后數(shù)據(jù)的相關(guān)性、整體數(shù)據(jù)的變化趨勢(shì)。本文對(duì)概率識(shí)別方法計(jì)算進(jìn)行了改進(jìn),步驟如下。步驟1數(shù)據(jù)抽樣。水工建筑物物理量的實(shí)測(cè)資料實(shí)際為一個(gè)時(shí)間序列。取一測(cè)點(diǎn)的全部數(shù)據(jù)進(jìn)行分析,記為Y={Y1,Y2,…,Ym}。若監(jiān)測(cè)頻率變化隨機(jī)性較大,可對(duì)數(shù)據(jù)按常規(guī)監(jiān)測(cè)頻率變化抽樣。步驟2數(shù)據(jù)處理。對(duì)Y={Y1,Y2,…,Ym}中的數(shù)據(jù)按Xi=Yi+1-Yi進(jìn)行逐差處理,若部分時(shí)段監(jiān)測(cè)數(shù)據(jù)缺失,將其后的數(shù)據(jù)重新逐差處理,獲得數(shù)據(jù)構(gòu)成樣本空間X={X1,X2,…,Xn},且服從或近似服從正態(tài)分布,其特征值為:Xˉˉˉ=1n∑i=1nXi(1)Xˉ=1n∑i=1nXi(1)S=[(∑i=1nX2i?nXˉˉˉ2)/(n?1)]12(2)S=[(∑i=1nXi2-nXˉ2)/(n-1)]12(2)步驟3概率檢驗(yàn)。運(yùn)用小概率法確定X的可疑值分布區(qū)間。取顯著性水平α=5%,根據(jù)α和X的分布函數(shù),查表求得:Xmax=F?1(Xˉˉˉ,S,α/2)(3)Xmax=F-1(Xˉ,S,α/2)(3)Xmin=F?1(Xˉˉˉ,S,1?α/2)(4)Xmin=F-1(Xˉ,S,1-α/2)(4)當(dāng)X>Xmax或X<Xmin時(shí),則X可疑。將可疑值同正常值置于同一正態(tài)總體。與傳統(tǒng)概率識(shí)別方法相比,精度雖有所降低,但可通過調(diào)整顯著性水平α控制,且可用求可疑區(qū)間的方式進(jìn)行數(shù)據(jù)識(shí)別,識(shí)別效率顯著提高。步驟4異常值判斷及分析。①當(dāng)Xi與Xi+1均可疑且符號(hào)相反時(shí),則Yi+1為尖點(diǎn)型異常值,其原因可能是由于環(huán)境量變化、疏失誤差或偶然誤差等因素造成;②當(dāng)Xi單點(diǎn)可疑時(shí),則Yi+1為臺(tái)階型異常值,其原因可能是由于環(huán)境量變化、系統(tǒng)誤差或結(jié)構(gòu)性態(tài)變化、偶然誤差或疏失誤差等因素造成。尋求效應(yīng)量異常值后檢驗(yàn)環(huán)境量、監(jiān)測(cè)系統(tǒng)、壩體結(jié)構(gòu)等。對(duì)異常值分析及處理,對(duì)環(huán)境量變化造成的異常值著重分析大壩安全性,對(duì)由疏失誤差造成的異常值予以剔除,由系統(tǒng)誤差造成的異常值應(yīng)對(duì)監(jiān)測(cè)系統(tǒng)進(jìn)行調(diào)校等。步驟5復(fù)核。將需要剔除的異常值剔除后,按同樣方法再進(jìn)行概率檢驗(yàn),避免異常值間的屏蔽效應(yīng)。若再次出現(xiàn)異常值按同樣的方法進(jìn)行檢查、分析、處理。2點(diǎn)內(nèi)異常值數(shù)據(jù)分析以曬北灘水電站碾壓混凝土重力壩齒槽裂縫監(jiān)測(cè)數(shù)據(jù)為例,對(duì)#3測(cè)點(diǎn)部分監(jiān)測(cè)數(shù)據(jù)進(jìn)行異常值識(shí)別。#3測(cè)點(diǎn)埋設(shè)初期1d監(jiān)測(cè)1次,隨工程進(jìn)展監(jiān)測(cè)頻率逐漸放緩,穩(wěn)定階段每10d監(jiān)測(cè)1次,#3測(cè)點(diǎn)原數(shù)據(jù)見表1,過程線見圖1。由圖可知,2007年12月2日測(cè)值疑為異常值。為驗(yàn)證該法的可行性,另隨機(jī)抽取1個(gè)測(cè)值并替換為錯(cuò)誤的測(cè)值(2008年6月30日,實(shí)測(cè)值-0.040mm替換為0.040mm)。2.1可疑值的認(rèn)定取顯著性水平α=5%,求得X正常時(shí),Xmax=0.044,Xmin=-0.047。當(dāng)X>0.044或X<-0.047時(shí),認(rèn)為X為可疑值。檢驗(yàn)X序列中的各數(shù)據(jù),發(fā)現(xiàn)X28(0.0816)和X29(-0.0873)為可疑值,進(jìn)而確定Y29的測(cè)值為異常值,其測(cè)值為0.0401mm(2008年6月30日),為人工修改后錯(cuò)誤測(cè)值。2.2大壩壓力監(jiān)測(cè)由文獻(xiàn)可知,混凝土重力壩裂縫開合度相應(yīng)的環(huán)境量有溫度和水位,考慮該期間大壩尚未蓄水發(fā)電,相應(yīng)的環(huán)境量僅需分析溫度即可。檢查相應(yīng)效應(yīng)量、監(jiān)測(cè)系統(tǒng)等。結(jié)果表明,環(huán)境量與監(jiān)測(cè)系統(tǒng)均正常、壩體及周邊建筑物未發(fā)生結(jié)構(gòu)性變化,效應(yīng)量異常值由疏失誤差造成,應(yīng)予以剔除。2.3顯著性水平0.338mm異常值將人為替換值剔除后,按上述方法重新計(jì)算,以復(fù)核有無遺漏的異常值。結(jié)果表明,在顯著性水平α=5%時(shí),2007年12月2日的測(cè)值(-0.038mm)為異常值,相應(yīng)環(huán)境量在正常范圍內(nèi)變化,監(jiān)測(cè)系統(tǒng)正常,同時(shí)考慮到施工期各種因素的影響,異常值可能由偶然誤差或疏失誤差造成,且由于測(cè)值變化不突出,可保留或剔除。3算法的改進(jìn)測(cè)試a.針對(duì)大壩安全自動(dòng)化監(jiān)測(cè)系統(tǒng)計(jì)算機(jī)自動(dòng)識(shí)別異常值的問題,對(duì)基于傳統(tǒng)的概率識(shí)別方法進(jìn)行