基于核算法的設(shè)備故障智能診斷理論及方法探究

83/83基于核算法的故障智能診斷理論及方法研究摘要設(shè)備故障診斷與監(jiān)測技術(shù)是一門正在不斷進展和完善的新技術(shù)，它具有保障安全生產(chǎn)，防止突發(fā)事故，節(jié)約維修費用等特點，在現(xiàn)代化大生產(chǎn)中發(fā)揮著重要的作用。然而正是因為生產(chǎn)設(shè)備結(jié)構(gòu)日趨復(fù)雜及內(nèi)部關(guān)系日益緊密，造成了設(shè)備運行狀態(tài)監(jiān)測和故障診斷的難度不斷增大，迫使人們需要不斷探究新的理論或方法來解決實際中所遇到的問題。自20世紀(jì)60年代以來，以Vapnik為代表的研究人員致力于統(tǒng)計學(xué)習(xí)理論的研究，并在此基礎(chǔ)上創(chuàng)建出一類新的機器學(xué)習(xí)算法：支持向量機(SupportVectorMachine，SVM)。正是核函數(shù)在SVM的成功應(yīng)用，基于核函數(shù)的學(xué)習(xí)方法(簡稱核算法)的研究受到重視。將核算法應(yīng)用到故障診斷中有望解決其中的非線性、不精確性和不確定性等問題，為該領(lǐng)域的研究提供了全新且可行的研究途徑?；诤怂惴ǖ墓收现悄茉\斷技術(shù)，在國際上都屬于一個全新的研究領(lǐng)域，這一方法在實際應(yīng)用中還有許多問題值得進行深入的研究和探討。本論文圍繞核算法在故障智能診斷中的應(yīng)用，對故障診斷中不確定信息的處理、故障診斷實時性的實現(xiàn)、核函數(shù)的選擇和參數(shù)優(yōu)化、多類故障診斷、早期故障的發(fā)覺以及樣本數(shù)據(jù)的壓縮等幾個方面進行了較為系統(tǒng)深入的研究，為核算法應(yīng)用于故障診斷提供了理論依據(jù)，促進了故障診斷技術(shù)的進展。論文的要緊工作及創(chuàng)新之處為：針對故障診斷中兩類誤判造成損失不等的情況，提出一種基于幾何距離的后驗概率計算方法；在定義基于風(fēng)險的診斷可信度的基礎(chǔ)上，將SVM與貝葉斯決策理論相結(jié)合，提出一種基于最小風(fēng)險的SVM方法；同時將該方法應(yīng)用于電液伺服閥故障診斷實例，證實了該方法的可行性。針對單值SVM只訓(xùn)練單類不樣本的特點，證明了徑向基核函數(shù)的參數(shù)s→0和s→∞時兩個定理；探究了兩種支持向量(邊界支持向量或非邊界支持向量)與目標(biāo)識不率的關(guān)系，提出一種改進的“留一法”模型參數(shù)選擇方法，該方法在確保分類器泛化性能的前提下，大大減少模型參數(shù)選擇的時刻，可針對性地確定目標(biāo)識不率或非目標(biāo)識不率。面對時變系統(tǒng)的故障診斷，提出了一種基于滾動時刻窗的單值SVM學(xué)習(xí)算法，為將單值SVM有用化作出了努力。提出了將單值SVM推廣到多故障診斷的兩種方法，并將之應(yīng)用到基準(zhǔn)數(shù)據(jù)庫和液壓泵多故障識不中，不僅解決了目前存在的SVM多值分類方法存在的不屬于任何一類以及同時屬于多類的情況，同時提高了算法的訓(xùn)練與決策速度。針對支持向量回歸機(SupportVectorRegression，SVR)模型參數(shù)選擇難的問題，探究了SVR各參數(shù)對其性能的阻礙，提出了一種基于遺傳算法的SVR參數(shù)自動優(yōu)化的方法；同時通過建立SVR預(yù)測模型，用于實現(xiàn)早期故障診斷以及強混沌背景下微弱信號的檢測。仿真驗證，該方法比徑向基神經(jīng)網(wǎng)絡(luò)更具有穩(wěn)健性和泛化性。最后，詳細討論了核矩陣維度縮減問題，給出了殘差可能的界定理；在綜合考慮選取列的獨立性和殘差范數(shù)大小兩者關(guān)系的基礎(chǔ)上，提出了解決核矩陣維度縮減的啟發(fā)性算法－貪心算法。并在此基礎(chǔ)上，在再生核Hilbert空間又提出一種稀疏性回歸算法。關(guān)鍵詞：故障診斷；機器學(xué)習(xí)；支持向量機；核算法；多類故障；早期故障診斷；核矩陣Subject:StudyonTheoryandMethodsofIntelligentFaultDiagnosisBasedonKernelAlgorithmSpecialty:SafetyTechnologyandEngineeringName:DuJing-yi(signature)Instructor:HouYuan-bin(signature)AbstractThenewtechniqueoffaultdiagnosisandmonitoringofequipmentsisdevelopingandperfectingcontinuously.Itplaysanimportantroleinthemodernduplicateproductionswiththecharacteristicsthatsafeguardsthesafetyproductionandpreventsfromtheaccidentsandsavesthemaintenancecosts.However,themorecomplexstructuresofthefacilitiesanditscloserinnerconnectionincreasethedifficultiesindiagnosingfaultandmonitoringtherunningstateoftheequipments.Thenewtheoriesandmethodshavetobeinvestigatedinordertosolvetheproblemsencounteredinreality.Since1960s,researchersrepresentedbyVapnikhavedevotedthemselvestothestudyonstatisticlearningtheory.Theyestablishedanewtypeoflearningalgorithm,supportvectormachine(SVM),basedonthestatisticlearningtheory.ItisthesuccessfulapplicationofkernelfunctiontoSVMthatthestudyonlearningalgorithmbasedonkernelfunctionsorkernelalgorithmforsimplificationhasattractedgreatinterest.Applyingthekernelalgorithmtofaultdiagnosiswillsolvethenon-linear,impreciseanduncertainproblems.Thisprovidesacompletelynewandfeasibleapproachinthedomain.Manyproblemsareworthdeeplystudyinganddiscussingaboutthepracticeoftheapproachforthetechniqueofintelligentfaultdiagnosis,basedonkernelalgorithm,isabrandnewfieldintheworld.Thispaperprovidesthetheoreticalfoundationsfortheapplicationsofkernelalgorithmtofaultdiagnosesthoughthedeepandsystematicalstudyontheapplicationofkernelalgorithmtointelligentfaultdiagnosis,theprocessingoftheuncertaininformationinthediagnosis,thereal-timerealizationoffaultdiagnoses,thechoiceofkernelfunctionandparameteroptimization,multipleclassesoffaultdiagnoses,andincipientfaultdiagnosis,andthesampledatacompaction.Thus,itpromotesthedevelopmentoffaultdiagnosestechnique.Themaintasksandtheinnovationsworksareasthefollows.Aposteriorprobabilityalgorithmispresentedbasedonthegeometricdistancetosolvetheproblemthatthemiscarriageofjusticeintwoclassescausesthedifferentlossinthefaultdiagnosis,Furthermore,aSVMmethodonthebaseoftheminimumriskisproposedbycombiningtheSVMwiththeBayesiandecisiontheoryafterthedefinitionofthedegreeofdiagnosisconfidence.Finally,themethodisvalidatedbyapplyingittothepracticalfaultdiagnosisofelectro-hydraulicservovalve.Twotheoremsabouttheradialbasisfunctionontheparameterconditionofs→0ors→∞arepresentedandprovedaimingatthecharacteristicsthattheone-classofsamplesistrainedbytheone-classSVM.Thispaperexplorestherelationbetweenthetwotypesofsupportvectors(boundarysupportvectorsandnon-boundarysupportvectors)andtherecognitionrateofobject;proposesanimprovedmethodofthemodelparameterchoiceof“l(fā)eaveoneout”;whichdramaticallydecreasesthetimeofmodelparameterchoiceinthepreconditionofgeneralizingperformanceofclassifier,sothattherecognitionratesoftheobjectsandthenon-objectsaredeterminedonpurpose;presentsanewone-classSVMlearningalgorithmbasedontime–rollingwindowforthefaultdiagnosisofdynamicsystem,whichwillcontributetothepracticalapplicationofone-classSVM.Inaddition,twomethodsarepresentedthoughwhichtheoneclassSVMisextendedintomultiplefaultsdiagnoses.Ifthemethodsareappliedtothefiduciallydatabaseandthehydraulicpressurepumprespectively,wecansolvetheproblemexistinginthemethodoftheavailableSVMmulti-classclassificationthattheobjectdoesnotbelongtoanyclassortheobjectbelongstomorethanoneclasssimultaneouslyandspeedupthetraininganddecisionmakingofthealgorithm.Aimingatthedifficultyofchoosingtheparametersofsupportvectorregression(SVR)model,anautomaticallyoptimizedmethodofSVRparameterispresentedbasedonthegeneticalgorithmaftertheinfluenceofeachSVRparameteronSVRperformance.Inaddition,incipientfaultdiagnosisandamethodofweakinformationretrievalinthebackgroundofheavychaosarecreatedbyusingthepredictiveSVRmodel.Simulationshowsthatthemethodhasamorestableperformanceandamoregeneralcharacteristic.Finally,theboundarytheoremoftheresidualerrorestimationispresentedafterdiscussingtheproblemofthedimensionalreductionsofkernelmatricesindetail.Withtheconsiderationofdata’scorrelationandminimalresidualnorm,theheuristicalgorithm,whichisthegreedyalgorithm,isproposedforthedimensionalreductionsofthekernelmatrices.Also,akindofsparseregressionalgorithmispresentedbasedonthegreedyalgorithminthereproducingkernelHilbertspace.Keywords:FaultDiagnosisMachineLearningSupportVectorMachineKernelAlgorithmMulti-classFaultIncipientFaultDiagnosisKernelMatrix1緒論11.1選題背景及意義11.2故障智能診斷中的機器學(xué)習(xí)31.2.1機器學(xué)習(xí)的進展31.2.2故障診斷的智能模型31.3核算法與故障診斷61.3.1故障診斷存在的要緊問題61.3.2統(tǒng)計學(xué)習(xí)理論的要緊內(nèi)容71.3.3核算法概述71.3.4支持向量機理論與應(yīng)用91.3.5線性算法的核變換理論與應(yīng)用121.3.6核算法的研究內(nèi)容131.4本文的工作141.4.1差不多框架結(jié)構(gòu)141.4.2要緊內(nèi)容142基于最小風(fēng)險的SVM方法的研究172.1引言172.2支持向量機182.2.1線性可分182.2.2線性不可分192.2.3非線性可分192.3基于最小風(fēng)險的SVM研究202.3.1近年來的工作202.3.2基于幾何距離的后驗概率概念222.3.3基于最小風(fēng)險的SVM242.4仿真研究272.5實驗研究282.5.1特征參數(shù)的提取292.5.2SVM對電液伺服閥故障模式的識不312.6本章小結(jié)343單值SVM用于故障診斷353.1引言353.2單值支持向量機363.2.1支持向量的區(qū)域描述363.2.2單值ν?SVM373.3模型分析及選擇研究403.3.1訓(xùn)練集的選取及特征選擇問題403.3.2單值SVM算法的確定403.3.3核函數(shù)的選擇413.3.4核參數(shù)對分類性能的阻礙423.4核函數(shù)的參數(shù)確定483.4.1留一法誤差可能483.4.2改進的留一法誤差可能493.4.3實驗結(jié)果及比較513.5基于單值SVM的故障診斷533.6本章小結(jié)534單值SVM時刻滾動式學(xué)習(xí)算法的研究554.1引言554.2支持向量特點分析564.2.1KKT條件與樣本點的幾何分布564.2.2新增訓(xùn)練樣本后支持向量的變化574.3時刻滾動式學(xué)習(xí)算法584.3.1增量式學(xué)習(xí)算法584.3.2在線式學(xué)習(xí)算法624.4液壓泵故障預(yù)警系統(tǒng)的設(shè)計624.4.1特征參數(shù)的提取634.4.2預(yù)警推斷644.4.3液壓泵振動理論模型654.5仿真實驗654.5.1對非線性函數(shù)的逼近664.5.2液壓泵故障預(yù)警674.6本章小結(jié)695基于單值SVM的多故障識不715.1引言715.2幾種常用的多類SVM方法715.2.11對余(1-a-r)715.2.21對1(1-a-1)725.2.3層次多值分類735.3基于單值SVM的多值分類735.3.1基于單值SVM的Bayes分類器745.3.2多故障分類器的設(shè)計765.4實驗研究805.4.1基準(zhǔn)數(shù)據(jù)識不805.4.2液壓泵多故障識不815.5本章小結(jié)826基于SVR的早期故障預(yù)示研究836.1引言836.2支持向量回歸836.2.1ε不敏感損失函數(shù)836.2.2非線性SVR846.3SVR性能分析研究856.3.1參數(shù)ε的阻礙856.3.2參數(shù)C的阻礙866.3.3核參數(shù)s的阻礙876.4基于遺傳算法的SVR參數(shù)選擇886.4.1遺傳算法886.4.2基于遺傳算法的調(diào)參策略886.4.3參數(shù)選擇實驗896.5基于SVR的故障預(yù)測916.5.1基于SVR的預(yù)測模型916.5.2基于模型的早期故障警示926.5.3仿真實驗936.6本章小結(jié)957混沌背景中微弱信號檢測967.1引言967.2基于SVR的微弱信號檢測967.2.1用SVR重構(gòu)相空間977.2.2檢測混沌中微弱信號的模型997.3仿真實驗1007.4本章小結(jié)1048核矩陣的逼近1058.1引言1058.2核矩陣的逼近1068.2.1核矩陣的構(gòu)成1068.2.2核矩陣的低秩逼近1078.2.3殘差可能的界1108.2.4有效秩確定準(zhǔn)則1108.3貪心算法1118.3.1子集的選擇1118.3.2向前貪心算法1128.3.3向后貪心算法1138.3.4混合貪心算法1138.4實驗研究1148.4.1再生核Hilbert空間的回歸1148.4.2實驗測試1168.5本章小結(jié)1179結(jié)論與展望1189.1內(nèi)容總結(jié)1189.2展望119致謝120參考文獻121附錄136攻讀博士學(xué)位期間的研究成果1381緒論1.1選題背景及意義現(xiàn)代制造業(yè)設(shè)備具有規(guī)模大、復(fù)雜性高、變量多、并在閉環(huán)操縱下運行的特點。由于存在許多無法幸免的因素，會導(dǎo)致設(shè)備出現(xiàn)各種故障，從而降低或失去其預(yù)定的功能，甚至?xí)斐蓢?yán)峻的以至災(zāi)難性的事故[1,2]。長期的生產(chǎn)實踐使人們認識到，消除事故，保證設(shè)備的安全、可靠、有效的運行是十分迫切的問題。這就使設(shè)備的狀態(tài)檢測與故障診斷的重要性更加突出。早在1967年，美國國家宇航局(NASA)就創(chuàng)立了美國機械故障預(yù)防小組(MFPG)，標(biāo)志了故障診斷技術(shù)的誕生，日本和歐洲的一些發(fā)達國家也相繼開展了故障診斷技術(shù)的研究和應(yīng)用[3]。20世紀(jì)70年代以來，國外的設(shè)備狀態(tài)檢測與故障診斷進入了有打算的研究和應(yīng)用時期，國內(nèi)的許多教學(xué)科研院所從20世紀(jì)80年代中期，也先后開展故障診斷的研究工作，取得了許多研究成果，有一些系統(tǒng)已投入了實際運行，而且在工程應(yīng)用方面也積存了寶貴的實踐經(jīng)驗。國內(nèi)外許多報道表明[4]，故障診斷關(guān)于工業(yè)用的系統(tǒng)不僅具有必要性，而且具有特不巨大的經(jīng)濟價值，能夠為企業(yè)節(jié)約大量的經(jīng)費，因此關(guān)于故障診斷系統(tǒng)的研制就顯得十分重要。美國帕克魯發(fā)電廠采納診斷技術(shù)后有50%的事故能被檢測出來，故障診斷系統(tǒng)的收益達到了投入的36倍。日本資料報道，實施故障診斷后，事故率可減少75%，可降低維修費用25%~50%。英國對2000個大型工廠調(diào)查，采用診斷技術(shù)后每年節(jié)約維修費用3億英鎊，而用于故障診斷系統(tǒng)的成本為0.5億英鎊，收益為投入的6倍，凈獲益達2.5億英鎊/年。國內(nèi)的某30×104合成氨廠，過去每年大修一次，需時45天，檢修費用占年產(chǎn)值的15%；采納故障診斷后改為三年內(nèi)修二次，一次不到30天，檢修費用降為年產(chǎn)值的10%，產(chǎn)生的經(jīng)濟效益十分顯著。故障診斷技術(shù)的研究，重點不僅在于故障本身，而且在于診斷的方法?；貞浧溥M展歷程，大致能夠分為三個時期[4,5]。在第一時期，診斷結(jié)果在專門大程度上取決于領(lǐng)域?qū)＜业母泄俸蛯I(yè)經(jīng)驗。伴隨著傳感器技術(shù)、動態(tài)測試技術(shù)以及信號分析技術(shù)的進展，診斷技術(shù)進入了第二時期，同時在工程中得到廣泛應(yīng)用。近年來，為了滿足復(fù)雜系統(tǒng)的診斷需求，隨著計算機技術(shù)的進展及人工智能技術(shù)的應(yīng)用，診斷技術(shù)已進入一個嶄新的進展時期，即智能化診斷時期。故障智能診斷被認為是最具有生命力的診斷技術(shù)，這是因為，一方面復(fù)雜系統(tǒng)和工業(yè)生產(chǎn)過程具有過多的工作點以及多輸入多輸出等特點，難以采納一般的故障診斷方法；另一方面，故障智能診斷是以知識處理技術(shù)為基礎(chǔ)，無需被診系統(tǒng)的定量數(shù)學(xué)模型，能夠充分利用專家經(jīng)驗和領(lǐng)域知識。眾所周知，在人工智能領(lǐng)域，知識獵取是專家系統(tǒng)研制中的“瓶頸”，知識的自動獵取更是人工智能研究的難點與熱點[6,7]，關(guān)于故障智能診斷系統(tǒng)來講也是如此。目前多數(shù)的診斷系統(tǒng)在知識自動獵取方面表現(xiàn)的能力還比較差，限制了系統(tǒng)性能的自我完善、進展和提高。不同于專家系統(tǒng)過分依靠于經(jīng)驗知識庫，機器學(xué)習(xí)則是一門研究機器獵取新知識和新技能，并識不現(xiàn)有知識的學(xué)問[6]。繼專家系統(tǒng)之后，機器學(xué)習(xí)成為提高故障診斷智能水平的要緊途徑，同時成為人工智能在診斷技術(shù)中應(yīng)用的又一重要研究領(lǐng)域[8~10]。包括模式識不、人工神經(jīng)網(wǎng)絡(luò)等在內(nèi)，現(xiàn)有機器學(xué)習(xí)方法共同的重要理論基礎(chǔ)之一是統(tǒng)計學(xué)，傳統(tǒng)統(tǒng)計學(xué)所研究的要緊是漸進理論，既當(dāng)樣本數(shù)趨向于無窮大時的統(tǒng)計性質(zhì)。但在故障診斷領(lǐng)域，特征知識的獵取具有一定的約束，樣本的數(shù)目往往是有限的，甚至是小樣本的，故障與征兆之間常常呈現(xiàn)出本質(zhì)非線性。因此，我們希望尋求一種學(xué)習(xí)方法，能夠在有限的樣本數(shù)據(jù)下盡可能地發(fā)覺其中蘊含的知識，強調(diào)學(xué)習(xí)方法具有較強的推廣能力，即對符合某規(guī)律，但沒有學(xué)習(xí)過的樣本也能給出合理的結(jié)論，這正是學(xué)習(xí)機器體現(xiàn)其智能性的最為重要的一個方面[11,12]。盡管，直到目前人工神經(jīng)網(wǎng)絡(luò)仍是解決非線性問題的一個有力的工具，然而它是一種經(jīng)驗非線性方法，這種方法利用已知樣本建立非線性模型，但當(dāng)樣本數(shù)有限時，即使訓(xùn)練效果良好的一個算法結(jié)構(gòu)卻可能表現(xiàn)出專門差的推廣能力，即產(chǎn)生了所謂的過學(xué)習(xí)[13,14]。Vapnik等人[15]從20世紀(jì)60年代開始就致力于統(tǒng)計學(xué)習(xí)理論(StatisticalLearningTheory，SLT)的研究，到九十年代中期，隨著其理論的不斷進展和成熟，也由于人工神經(jīng)網(wǎng)絡(luò)等學(xué)習(xí)方法在理論上缺乏實質(zhì)性進展，統(tǒng)計學(xué)習(xí)理論開始受到越來越廣泛的重視。與傳統(tǒng)統(tǒng)計學(xué)相比，SLT是一種專門研究小樣本情況下機器學(xué)習(xí)規(guī)律的理論。該理論針對小樣本統(tǒng)計問題建立了一套新的理論體系，在這種體系下的統(tǒng)計推理規(guī)則不僅考慮了對漸近性能的要求，而且追求在現(xiàn)有有限信息的條件下得到最優(yōu)結(jié)果。以支持向量機(SupportVectorMachine，SVM)為代表的核算法(機器)[16~20]是近10年來機器學(xué)習(xí)領(lǐng)域最有阻礙力的成果之一，它是基于統(tǒng)計學(xué)習(xí)理論和核技術(shù)建立的。SVM包含4大技術(shù)：⑴大間隔思想或正則化技術(shù)，依據(jù)結(jié)構(gòu)風(fēng)險最小化原則，以獲得較好的推廣能力；⑵核技術(shù)，利用滿足Mercer條件的核函數(shù)實現(xiàn)線性算法的非線性化；⑶凸優(yōu)化技術(shù)，算法最終將轉(zhuǎn)化成為標(biāo)準(zhǔn)的最優(yōu)化問題或凸二次規(guī)劃，從理論上講，得到的將是全局最優(yōu)點；⑷稀疏對偶表示，結(jié)果得到可用于訓(xùn)練點和測試點求解的高效算法。這4大技術(shù)中最先得到研究人員青睞的是核技術(shù)，這是一種特不有效的設(shè)計非線性算法的數(shù)學(xué)手段。隨后，專門多研究人員利用核技術(shù)改造經(jīng)典的線性算法，得到相應(yīng)的基于核函數(shù)的非線性形式(簡稱為核算法或核機器)。核算法已表現(xiàn)出專門多優(yōu)于已有方法的分類、回歸性能，在解決小樣本、非線性以及高維模式識不等問題中有許多特有的優(yōu)勢，因此其適合于故障診斷的實際工程需要。應(yīng)當(dāng)看出，核算法盡管差不多提出多年，但從它自身趨向成熟和被廣泛重視到現(xiàn)在怎么講只有幾年的時刻，其中還有許多尚未解決或尚未充分解決的問題，特不是在應(yīng)用方面的研究更是剛剛起步，我們認為開展核算法的研究將對機器學(xué)習(xí)等學(xué)科領(lǐng)域會產(chǎn)生重要阻礙，其應(yīng)用研究應(yīng)該是一個大有作為的方向。因此，本文選擇基于核算法的故障智能診斷作為研究方向?qū)⒕哂兄匾膶W(xué)術(shù)意義和工程意義。1.2故障智能診斷中的機器學(xué)習(xí)1.2.1機器學(xué)習(xí)的進展機器學(xué)習(xí)是研究從觀測數(shù)據(jù)(樣本)動身查找規(guī)律，利用這些規(guī)律對以后數(shù)據(jù)或無法觀測的數(shù)據(jù)進行預(yù)測。機器學(xué)習(xí)的核心是讓機器具有獵取知識的能力，使其在實際工作中不斷總結(jié)成功的經(jīng)驗和失敗的教訓(xùn)，對知識庫中的知識自動進行調(diào)整和修改，從而逐步豐富和完善系統(tǒng)知識。人類學(xué)習(xí)是人類智能的關(guān)鍵，機器學(xué)習(xí)則是機器智能的關(guān)鍵。迄今為止，關(guān)于機器學(xué)習(xí)還沒有一種被共同同意的理論框架，它的進展過程大體上可分為3個時期[21,22]：第一時期是在20世紀(jì)60年代。在那個時期，引入了在向量集內(nèi)檢測線性關(guān)系的高效算法，并分析了這些算法的計算行為和統(tǒng)計行為。Rosenblatt提出了第一個學(xué)習(xí)機器的模型，稱之為感知器[23]，這標(biāo)志著人們對學(xué)習(xí)過程進行數(shù)學(xué)研究的真正開始。如何檢測非線性關(guān)系，是那個時候的要緊研究目標(biāo)。盡管如此，開發(fā)具有相同效率水平的算法，同時確保該算法得到統(tǒng)計理論的支持，已被證明是一個專門困難的目標(biāo)。第二時期是在20世紀(jì)80年代，學(xué)習(xí)問題的研究經(jīng)歷了一場“非線性革命”，幾乎同時引入了向后傳播多層神經(jīng)網(wǎng)絡(luò)算法和高效的決策樹學(xué)習(xí)算法。盡管這些方法用到了啟發(fā)式算法和不完全統(tǒng)計分析，它們第一次使得檢測非線性成為可能。然而，這些非線性算法，是建立在梯度下降法或貪心啟發(fā)式的基礎(chǔ)上，因而受到局部微小化的限制。由于沒有專門好理解它們在統(tǒng)計上的行為，在利用這些算法時，人們經(jīng)常遇到過度擬合現(xiàn)象(過學(xué)習(xí))。第三時期發(fā)生在20世紀(jì)90年代中期，當(dāng)時出現(xiàn)了以統(tǒng)計學(xué)習(xí)理論和核技術(shù)為基礎(chǔ)的核學(xué)習(xí)方法(核算法)，該方法最終使得人們能夠高效的分析非線性關(guān)系，而這種高效率原先只可能利用線性算法才能夠?qū)崿F(xiàn)。從計算、統(tǒng)計和概念角度，在此期間進展起來的非線性分析方法，和線性方法一樣，高效而富有理論依據(jù)。神經(jīng)網(wǎng)絡(luò)和決策樹中典型的局部極值問題和過學(xué)習(xí)問題，也已得到解決。1.2.2故障診斷的智能模型故障智能診斷技術(shù)是人工智能和故障診斷相結(jié)合的產(chǎn)物，它涉及廣泛的學(xué)科領(lǐng)域和應(yīng)用領(lǐng)域。智能診斷系統(tǒng)的性能取決于所采納的智能模型[24,25]。在智能診斷方法研究中，目前研究較多的要緊有五種智能模型：基于知識推理的診斷(KnowledgeBasedReasoning，KBR)、基于實例的診斷(CaseBasedReasoning，CBR)、基于故障樹的診斷(FaultTreeReasoning，F(xiàn)TR)、基于模糊邏輯的診斷(FuzzLogicReasoning，F(xiàn)LR)和基于人工神經(jīng)網(wǎng)絡(luò)的診斷(ArtificialNeuralNetworksReasoning，ANNR)。下面對這五種智能模型在故障診斷中存在的問題進行分析討論。⑴基于知識推理的診斷基于知識推理的診斷模型是設(shè)備診斷領(lǐng)域中最為引人注目的進展方向之一，也是研究最多、應(yīng)用最廣的一類智能診斷技術(shù)。按照診斷知識的層次可分為兩種類型：基于淺知識型(人類專家的經(jīng)驗知識)的第一代故障診斷專家系統(tǒng)和基于深知識型(診斷對象的模型知識)的第二代故障診斷專家系統(tǒng)。淺知識型不需要被診斷對象的系統(tǒng)模型，以啟發(fā)性經(jīng)驗知識為核心，包括基于規(guī)則推理和因果模型推理；深知識型通過建立系統(tǒng)模型，在模型的基礎(chǔ)上通過對實際系統(tǒng)的觀測，獲得信息來預(yù)測故障和進行診斷，包括基于結(jié)構(gòu)和行為的模型、診斷推理模型和定性模型等方法[26]。然而，基于知識推理的診斷模型存在許多明顯的局限性[27]，要緊表現(xiàn)在以下幾個方面：①知識獵取的瓶頸問題聞名人工智能學(xué)者A.Barr和A.Feigenbaum曾精辟地指出：“專家系統(tǒng)的性能水平主要是它擁有的知識數(shù)量和質(zhì)量的函數(shù)?！迸c領(lǐng)域?qū)＜医鉀Q問題的能力相類似，一個專家系統(tǒng)占有的知識越多、質(zhì)量越高，它解決問題的能力就越強。然而在基于知識推理的診斷模型中，知識的獵取是間接的，不但費勁，而且效率低。另外，領(lǐng)域?qū)＜业哪承┙?jīng)驗知識往往只能意會，難以言傳，專門難用一定的規(guī)則來描述。因此，要把經(jīng)驗知識以適當(dāng)?shù)姆绞浇M織成高質(zhì)量的知識庫是專門困難的，它已成為研制基于知識推理的診斷模型的瓶頸問題。②自適應(yīng)能力差基于知識推理的診斷模型強烈依靠于被診斷系統(tǒng)。然而在工程實際中，即使是同一型號的設(shè)備，由于其安裝、檢修、負載等因素的阻礙及設(shè)備運行環(huán)境的變化，故障模式也會存在較大的差不，現(xiàn)在專業(yè)領(lǐng)域知識的適用性與可靠性會大大降低。因此，假如診斷系統(tǒng)只具有淺知識，而缺乏深層次或原理性的知識，診斷系統(tǒng)對診斷結(jié)果的自適應(yīng)性就會變得專門差，使系統(tǒng)對診斷問題的求解能力變得脆弱。③學(xué)習(xí)能力差人類專家能夠在不斷的實踐中總結(jié)經(jīng)驗(成功或失敗)或從專業(yè)領(lǐng)域本身的進展中學(xué)習(xí)新的知識，當(dāng)代基于知識推理的診斷模型大多不具備這一特性。系統(tǒng)在其運行過程中不能從診斷成敗中吸取經(jīng)驗教訓(xùn)，從診斷的實例中自動學(xué)習(xí)新的知識、修正并更新原有知識庫中的知識。系統(tǒng)的智能水平取決于系統(tǒng)最初所具備的知識，缺乏學(xué)習(xí)能力，限制了系統(tǒng)性能的自我完善、進展和提高。④實時性差聞名人工智能先驅(qū)Newell講過：“符號和搜索是人工智能的中心。”知識推理系統(tǒng)正是基于符號處理方法。而在符號處理中，問題求解是一個在解空間搜索的過程。關(guān)于復(fù)雜的診斷對象，搜索空間大，速度慢，難以實現(xiàn)實時診斷的要求。⑵基于實例的診斷模型在故障診斷方面，實際的經(jīng)驗實例特不重要，基于實例方法提供了一個快速有效的診斷途徑[28,29]?；趯嵗脑\斷模型是：關(guān)于所診斷的對象，依照其特征和癥狀從實例庫中檢索出與該對象的診斷問題最相似匹配的實例，然后對該實例的診斷結(jié)果進行修正作為該對象的診斷結(jié)果?；趯嵗评淼年P(guān)鍵是如何建立一個有效的實例索引機制與實例組織方式。在實際應(yīng)用中，該方法面臨的問題是能搜集到的診斷實例是有限的，不可能覆蓋所有解空間，搜索時可能會漏掉最優(yōu)解。當(dāng)出現(xiàn)異常征兆時，假如找不到最佳匹配，可能造成誤診或漏診，產(chǎn)生嚴(yán)峻后果。⑶基于故障樹的診斷模型基于故障樹的診斷方法將可靠性分析中的故障樹加以改造，以其每一個結(jié)點為一個框架，加入時刻、因果邏輯關(guān)系等信息，使一般的故障樹成為增廣故障樹，作為診斷推理的依據(jù)。在故障樹中每個層次故障，有涉及該故障的直接緣故，表示為該故障緣故的輸入事件；以及涉及該故障的全然緣故，在故障樹中表示為底事件(或底事件組合)?；诠收蠘涞脑\斷模型能夠較好地表達不同層次故障之間的邏輯關(guān)系，以及它們之間的關(guān)聯(lián)程度[30]?；诠收蠘涞脑\斷模型要緊不足在于復(fù)雜系統(tǒng)的建樹工作量大，數(shù)據(jù)收集困難，并且要求分析人員對所研究的對象必須有透徹的了解，具有比較豐富的設(shè)計和運行經(jīng)驗以及較高的知識水平和嚴(yán)密清晰的思維能力；否則，在建樹過程中易導(dǎo)致錯漏和脫節(jié)。特不是無法滿足時變系統(tǒng)及非平穩(wěn)過程的診斷要求。⑷基于模糊邏輯的診斷模型在故障診斷中，存在許多模糊的概念，有的是用語言表達的主觀模糊概念，有的是由于客觀上不完全信息帶來的模糊或由于測量、加工、建模精度等緣故所帶來的模糊。模糊理論是處理這類問題最恰當(dāng)?shù)墓ぞ摺Ｒ阅：硎镜哪：Z言變量不僅能更準(zhǔn)確地表示具有模糊特性的征兆和故障，符合事物的客觀本質(zhì)；而且能處理診斷中的不確定信息和不完整信息。當(dāng)今模糊故障診斷有兩種差不多方法[31]，一種是先建立征兆與故障類型之間的因果關(guān)系矩陣R，再建立故障與征兆的模糊關(guān)系方程，即F=SR，F(xiàn)為模糊故障矢量；S為模糊征兆矢量；“”為模糊合成算子；這是基于模糊關(guān)系及合成算法的診斷方法[32]。另一種方法是先建立故障與征兆的模糊規(guī)則庫，再進行模糊邏輯推理的診斷過程[33]。模糊語言變量接近自然語言，知識的表示可讀性強，模糊推理邏輯嚴(yán)謹，類似人類思維過程，易于解釋。然而，模糊診斷知識獵取困難，尤其是故障與征兆的模糊關(guān)系較難確定，且系統(tǒng)的診斷能力依靠模糊知識庫，學(xué)習(xí)能力差，容易發(fā)生漏診或誤診。另外，由于模糊語言變量是用模糊數(shù)(即隸屬度)表示的，如何實現(xiàn)語言變量與模糊數(shù)之間的轉(zhuǎn)換，是實現(xiàn)上的一個難點。通常將其與其他各種人工智能技術(shù)如與神經(jīng)網(wǎng)絡(luò)結(jié)合[34]，分析不確定因素對智能診斷系統(tǒng)的阻礙，提高診斷的準(zhǔn)確性。⑸人工神經(jīng)網(wǎng)絡(luò)方法神經(jīng)網(wǎng)絡(luò)具有分布式信息存儲、并行處理、自學(xué)習(xí)、自組織和自適應(yīng)等特點，具有強大的非線性處理能力，為故障診斷問題提供了一條新的解決途徑。神經(jīng)網(wǎng)絡(luò)在故障診斷領(lǐng)域的應(yīng)用研究要緊集中在三個方面：從模式識不角度應(yīng)用神經(jīng)網(wǎng)絡(luò)作為分類器進行故障診斷[35]；從預(yù)測角度應(yīng)用神經(jīng)網(wǎng)絡(luò)作為動態(tài)預(yù)測模型進行故障預(yù)測[36]；從知識處理角度建立基于神經(jīng)網(wǎng)絡(luò)的診斷專家系統(tǒng)[37]。時至今日，神經(jīng)網(wǎng)絡(luò)差不多在模式識不、函數(shù)逼近、故障診斷等領(lǐng)域取得了一定的成果。然而，任何事物都不是完美無缺的，神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)是傳統(tǒng)統(tǒng)計學(xué)，具有一些與生俱來的缺陷和不足。神經(jīng)網(wǎng)絡(luò)故障診斷是建立在大量的故障樣本訓(xùn)練基礎(chǔ)之上，系統(tǒng)性能受到所選訓(xùn)練樣本的數(shù)量及其分布情況的限制。假如樣本選擇不當(dāng)，特不在訓(xùn)練樣本少，樣本分布不均勻的情況下，專門難有良好的診斷效果。1.3核算法與故障診斷1.3.1故障診斷存在的要緊問題盡管故障智能診斷技術(shù)差不多獲得了專門大的進展，然而還存在許多有待進一步進展和解決的問題，特不是在復(fù)雜系統(tǒng)和過程的診斷中。目前存在的問題要緊表現(xiàn)在以下幾個方面。⑴小樣本問題故障診斷中，首先遇到的是要解決小樣本問題。一方面，設(shè)備故障的出現(xiàn)具有一定的突發(fā)性，同時難以重復(fù)或模擬，因此故障信號往往是可遇而不可求的；第二，對一些關(guān)鍵設(shè)備，其運行狀態(tài)關(guān)系到整個企業(yè)的生產(chǎn)，因此不可能讓其長時刻帶病運行；第三，在多數(shù)情況下，信號與故障之間存在著模糊關(guān)系，而且有可能一種信號對應(yīng)多種故障。因此對大多數(shù)設(shè)備而言，典型故障的樣本獵取是特不有限的。⑵觀測數(shù)據(jù)和運行狀態(tài)之間呈現(xiàn)高度的非線性世界在本質(zhì)上是非線性的，非線性所具有的豐富多彩的特征是客觀的，不因人們的興趣或觀測條件不同而不同，它反映了世界的客觀性質(zhì)，具有客體性的規(guī)定[38]。實際診斷過程中總是存在著或多或少的非線性，如受噪聲、模型偏差等非線性因素的阻礙，或者系統(tǒng)本身確實是非線性的。當(dāng)非線性的因素成為要緊時，應(yīng)用基于線性系統(tǒng)的故障診斷方法難以取得令人中意的效果，因而在實際應(yīng)用中必須考慮被診斷對象的非線性特性。⑶未知故障和多故障處理能力非線性系統(tǒng)具有多樣性和復(fù)雜性，通過對實際系統(tǒng)的分析或仿真，包容所有的故障模式信息是不可能的；通過實際觀測獵取所有故障模式的樣本數(shù)據(jù)也是不現(xiàn)實的。而目前的智能診斷技術(shù)由于診斷能力要緊依靠知識庫中的現(xiàn)有知識或已有的故障模式樣本，對未知故障和并發(fā)多故障的處理無法獲得中意的結(jié)果[39,40]。⑷動態(tài)過程信息的利用實際系統(tǒng)和過程往往具有明顯的非線性動力學(xué)特性[25]，其過渡態(tài)或動態(tài)過程的系統(tǒng)輸出包含有豐富的、冗余的診斷信息，相關(guān)于穩(wěn)態(tài)更利于故障的檢測和診斷。目前的故障智能診斷技術(shù)在描述系統(tǒng)狀態(tài)變化、動態(tài)過程信息的處理和利用方面有待進一步的研究。此外，誤報和漏報是任何故障診斷方法均可能存在的問題，故障的誤報率和漏報率是評價故障診斷系統(tǒng)性能的重要指標(biāo)，加強這方面的系統(tǒng)研究是十分重要的。同時，如何確定非線性系統(tǒng)故障檢測的最優(yōu)閾值及故障發(fā)生時刻等問題仍有待解決。1.3.2統(tǒng)計學(xué)習(xí)理論的要緊內(nèi)容20世紀(jì)60年代以來，Vapnik等人系統(tǒng)地研究了機器學(xué)習(xí)問題，特不是有限樣本情況下的統(tǒng)計學(xué)習(xí)問題。到20世紀(jì)70年代，他們建立了統(tǒng)計學(xué)習(xí)理論的差不多體系。統(tǒng)計學(xué)習(xí)理論的核心問題是查找一種歸納原則以實現(xiàn)最小化風(fēng)險泛函，從而實現(xiàn)最佳的推廣能力。在隨后的幾十年里，Vapnik等人[41~44]一直潛心研究基于該理論的學(xué)習(xí)方法，終于在90年代[45]提出了支持向量機(SVM)這一新的通用機器學(xué)習(xí)方法。實際上，在某種程度上，正是由于SVM方法所表現(xiàn)的卓越性能，才促使人們重新審視統(tǒng)計學(xué)習(xí)理論。統(tǒng)計學(xué)習(xí)理論是研究有限樣本統(tǒng)計可能和預(yù)測的理論，是傳統(tǒng)統(tǒng)計學(xué)的重要進展和補充。其要緊內(nèi)容包括四個方面[15,46,47]：⑴經(jīng)驗風(fēng)險最小化準(zhǔn)則統(tǒng)計學(xué)習(xí)一致性的條件；⑵在這些條件統(tǒng)計學(xué)習(xí)方法推廣性的界的結(jié)論；⑶在這些界的基礎(chǔ)上建立的小樣本歸納推理準(zhǔn)則；⑷實現(xiàn)新的準(zhǔn)則的實際方法(算法)。統(tǒng)計學(xué)習(xí)理論的核心概念是VC維[48](VapnikChervonenkisDimension)，它用VC維來描述學(xué)習(xí)機器的復(fù)雜度，并以此為動身點導(dǎo)出了學(xué)習(xí)機器推廣能力界的理論。1.3.3核算法概述核算法已成為當(dāng)前機器學(xué)習(xí)領(lǐng)域一個十分活躍的研究方向，它是以統(tǒng)計學(xué)習(xí)理論和核技術(shù)為基礎(chǔ)的。把核函數(shù)用作特征空間中的內(nèi)積這一思想，早在1964年，通過Aizerman等[49]關(guān)于勢函數(shù)方法的研究已被引入到機器學(xué)習(xí)領(lǐng)域。但直到1992年，這種思想才引起Vapnik等人的注意[50]，他們把它和大間隔超平面結(jié)合起來，導(dǎo)致SVM的產(chǎn)生，并把核的概念(重新)引入到機器學(xué)習(xí)的主流中。核函數(shù)k(x,z)是計算兩個數(shù)據(jù)點在非線性變換φ(.)下的映像的內(nèi)積，即k(x,z)={φ(x),φ(z)}，那個地點的φ:X→φ(X)為核函數(shù)k(x,z)導(dǎo)出的特征變換，X為輸入空間，φ(X)為特征空間。k(x,z)定義為某個Hilbert空間的內(nèi)積，它首先應(yīng)該是對稱的，其次還要滿足一些額外條件，即Mercer條件。這確實是聞名的Mercer定理[51]。核算法的差不多思想是將n維向量空間中的隨機向量x利用非線性函數(shù)φ(?)映射到高維特征空間H，然后在那個高維特征空間中設(shè)計線性的學(xué)習(xí)算法。假如其中各坐標(biāo)重量間的相互作用僅限于內(nèi)積，則無需明白φ(?)的具體形式，只要利用滿足Mercer定理的核函數(shù)替換線性算法中的內(nèi)積，就可實現(xiàn)原空間中對應(yīng)的非線性算法。核算法的解決方案是由兩部分所構(gòu)成[52]：一個模塊和一種學(xué)習(xí)算法。模塊執(zhí)行的是映射到特征空間的過程，而學(xué)習(xí)算法則用來發(fā)覺這一空間的線性模式。核算法的流程如圖1.1所示。概括起來，核算法的要緊特點如下。⑴它是一類將非線性問題線性化的普適方法。核函數(shù)的使用提供了一種強有力的、符合原理的方法，在適當(dāng)?shù)奶卣骺臻g中用線性算法能夠得到原空間的一個非線性判不函數(shù)或回歸函數(shù)。⑵核算法的模塊性證明它本身作為學(xué)習(xí)算法的可重用性。同一個算法，能夠和任何一個核函數(shù)配合，從而能夠用于任何數(shù)據(jù)域。核函數(shù)能夠和不同的算法結(jié)合起來，形成多種不同的基于核函數(shù)技術(shù)的算法。⑶核算法的計算量與特征空間的維數(shù)無關(guān)。核函數(shù)代替特征空間的內(nèi)積計算，從而推導(dǎo)出一個與樣本數(shù)有關(guān)，與樣本維數(shù)無關(guān)的優(yōu)化問題，幸免了“維數(shù)災(zāi)難”。⑷核函數(shù)的引入，使得利用具有指數(shù)維數(shù)甚至無限維數(shù)的特征空間變成可能，使核算法具有更大的假設(shè)空間，以提高模式分類或回歸能力。⑸無需關(guān)注非線性函數(shù)φ(.)的形式及其參數(shù)。原空間進行的核函數(shù)計算實質(zhì)上是隱式地對應(yīng)于在非線性函數(shù)φ(.)變換后的特征空間的運算，如此克服了一般的映射方法中非線性函數(shù)結(jié)構(gòu)及其參數(shù)的確定以及特征空間維數(shù)的限制。⑹滿足Mercer條件的對稱函數(shù)都可作為核函數(shù)。常用的核函數(shù)：①多項式核函數(shù)：k(x,y)=(xTy)d或k(x,y)=(xTy+1)d②徑向基核函數(shù)：k(x,y)=exp(-|x-y|2/2s2)③Sigmoid核函數(shù)：k(x,y)=tanh(xTy-θ)近年來，SVM在機器學(xué)習(xí)領(lǐng)域的巨大成功，掀起了用核函數(shù)技術(shù)(KernelTricks)改造傳統(tǒng)線性數(shù)據(jù)處理方法的研究熱潮，從而形成了多種基于核函數(shù)技術(shù)的核算法。按照其進展時期，核算法能夠分為兩類，SVM和線性算法的核形式。1.3.4支持向量機理論與應(yīng)用SVM是統(tǒng)計學(xué)習(xí)理論中最年輕的內(nèi)容、也是最有用的部分。它具有理論完備、適應(yīng)性強、全局優(yōu)化、推廣性能好等優(yōu)點，差不多成為目前國際、國內(nèi)研究的熱點[53]。SVM最初是解決模式識不。隨后，又出現(xiàn)了針對實函數(shù)的支持向量回歸機[54]。SVM的核心內(nèi)容從1992年才開始提出，是到目前為止統(tǒng)計學(xué)習(xí)理論最成功的實現(xiàn)，目前仍處于不斷進展時期[55]。據(jù)統(tǒng)計，1999年往常國際上公開發(fā)表的有關(guān)統(tǒng)計學(xué)習(xí)理論的文章不足50篇，但1999年之后，這方面的文章有數(shù)千篇之多，其應(yīng)用范圍和成果不斷擴大。近年來專門或相關(guān)的國際、國內(nèi)會議(如ICANN，ICONIP，ICML，CCSP等)也都列有統(tǒng)計學(xué)習(xí)理論和SVM的專題。SVM的訓(xùn)練從本質(zhì)上是解一個二次規(guī)劃問題，此類問題的傳統(tǒng)解法要緊有對偶方法和內(nèi)點算法等。然而當(dāng)訓(xùn)練樣本的規(guī)模專門大時，這些算法面臨著“維數(shù)災(zāi)難”，或者由于內(nèi)存的限制，導(dǎo)致無法在計算機上正常處理[56]。此外，在一些對實時性要求較高的場合對算法的快速性也要求較高。綜合來講，在SVM算法研究上，要緊有分解方法、修正優(yōu)化問題法、增量學(xué)習(xí)法等。分解方法的思想是通過循環(huán)迭代解決對偶尋優(yōu)問題，立即原問題分解成更易于處理的若干子問題，按照某種迭代策略，通過反復(fù)求解子問題，最終使結(jié)果收斂到原問題的最優(yōu)解。1992年，Boser、Guyon和Vapnik[57]提出了塊算法(ChunkingAlgorithm)，只有支持向量數(shù)遠小于訓(xùn)練樣本數(shù)時，塊算法才具有較高的效率；假如支持向量數(shù)較大時，算法仍然專門復(fù)雜。針對這一問題，1997年，Osuna等[58]提出了另一種固定工作樣本集的分解算法，并將算法用于人臉檢測；Joachims[59]在1998年使之系統(tǒng)化，形成了軟件SVMlight，使SVM的訓(xùn)練速度得到了一定的提高。Platt[60]在1998年提出串行算法(SequentialMinimalOptimization，SMO)，算法最大的優(yōu)點是不需要進行任何數(shù)值優(yōu)化，只需要進行數(shù)值分析即可。在2003年，Dong等[61]在SVM分解方法的基礎(chǔ)上也提出了一種快速訓(xùn)練算法。通過修改目標(biāo)函數(shù)、約束條件來簡化優(yōu)化問題本身，也是提高SVM算法效率的途徑之一。Keerthi等[62]于1999年提出最近點法(NearestPointAlgorithm)，把分類問題轉(zhuǎn)化為計算兩個凸多邊形的最近點，遺憾的是算法不能求解回歸問題。Suykens等[63]于1999年提出最小平方支持向量機(LeastSquaresSupportVectorMachine，LS-SVM)，在目標(biāo)函數(shù)中使用平方誤差。Mangasarian和Musicant[64]于1999年提出SOR算法(SuccessiveOverrelaxation)，算法同樣利用了變型的目標(biāo)函數(shù)。Yang等[65]于2000年提出了一種幾何方法，通過求解一組線性規(guī)劃問題查找“衛(wèi)向量”(GuardVector)即支持向量的一個小的超集，再求解以“衛(wèi)向量”構(gòu)成的小型二次規(guī)劃找出支持向量，算法較傳統(tǒng)的二次規(guī)劃方法效率更高，且需要更少的內(nèi)存。Pavlov等[66]于2000年提出BoostSMO算法，該算法一般情況下雖不能達到最佳，但速度比SMO快3～10倍。Pavlov等[67]于2000年又提出Squashing算法，利用聚類方法形成壓縮數(shù)據(jù)集合，樣本數(shù)減少50～100倍，從而提高了效率。上述兩種方法均假設(shè)訓(xùn)練集大小是固定的，由于現(xiàn)實問題的高度復(fù)雜性或因?qū)嶋H條件所限，在訓(xùn)練初期就收集一個完備的訓(xùn)練集是特不困難甚至難以實現(xiàn)的。因此，希望學(xué)習(xí)機應(yīng)具有增量學(xué)習(xí)(IncrementalLearning)能力，即學(xué)習(xí)精度應(yīng)隨著不斷應(yīng)用過程中樣本集的積存而逐步提高。然而標(biāo)準(zhǔn)SVM算法不直接支持增量學(xué)習(xí)。1999年，Syed等[68]提出了增量學(xué)習(xí)算法，增量訓(xùn)練由支持向量和新樣本組成，所有的非支持向量都被拋棄。蕭嶸等[69]于2001年提出的增量學(xué)習(xí)算法，新的訓(xùn)練集要緊從支持向量、誤分樣本及有選擇的淘汰一些樣本組成。Cauwenberghs等[70]于2001年提出一種增量式求解全局優(yōu)化問題精確解的方法，增加一個樣本或減少一個樣本SVM有關(guān)的參數(shù)都需要修正。Lau等[71]于2003年提出了一種在線SVM算法。張英等[72]針對軟測量模型在現(xiàn)場的失效問題，在2005年提出一種基于支持向量增量學(xué)習(xí)的軟測量建模方法。訓(xùn)練好的SVM，判不函數(shù)或回歸函數(shù)是由支持向量所構(gòu)成。關(guān)于大規(guī)模樣本集，假如支持向量數(shù)目專門大，則進行測試新樣本時的計算代價確實是一個值得考慮的問題。Burges等[73]于1997年給出一種縮減集(ReducedSet)SVM方法，用較少數(shù)目的向量代替支持向量，該方法盡管縮減了分類器的計算量，但用最小二乘法構(gòu)造近似分類器的計算量卻特不大。2001年，Downs等[74]提出了一種精確的簡化算法，利用某些支持向量在特征空間線性相關(guān)的特點進行簡化，減少了支持向量數(shù)目。2001年，張莉等[75]證明了SVM的訓(xùn)練與非支持向量無關(guān)，并依照支持向量的幾何分布特性，提出了一種支持向量的預(yù)選方法。SVM本質(zhì)上是兩類分類器，需對其進行推廣以解決多分類問題。常用的方法有兩種[76,77]：一種是通過某種方式構(gòu)造一系列的兩類分類器并將它們組合在一起來實現(xiàn)多類分類；另一種，將多個分類面的參數(shù)求解合并到一個最優(yōu)化問題中，通過求解該最優(yōu)化問題“一次性”地實現(xiàn)多類分類。第二種方法看似簡潔，然而在最優(yōu)化問題求解過程中的變量往往多于前者，訓(xùn)練速度也不及前者，而且在分類精度上也不占優(yōu)[78]。正因如此，第一種方法更為常用。SVM的性能專門大程度上取決于核函數(shù)的種類及參數(shù)，如何進行類不選擇和參數(shù)優(yōu)化一直缺少理論指導(dǎo)，這是核算法研究急需解決的問題。Sch?lkopf等[79]，Burges等[80]]和Chapelle等[81]在核函數(shù)的構(gòu)造中，融入關(guān)于研究對象的先驗知識，以提高核函數(shù)方法的性能。Sch?lkopf等[82]，Tsuda[83]和張周鎖等[84]相繼提出了依靠推廣能力界的核函數(shù)參數(shù)選擇原則。依照交叉驗證(CrossValidation)，Joachims[85]，Vapnik等[86]和Chapelle等[87]也分不提出了模型選擇的方法。SVM由于在理論上的突出優(yōu)勢，促進了SVM的應(yīng)用研究。在模式識不方面最突出的是貝爾實驗室對美國郵政手寫數(shù)字庫進行的實驗，用SVM得到的識不結(jié)果明顯優(yōu)于決策樹和多層神經(jīng)網(wǎng)絡(luò)[88,89]。從1997年至2000年間，Osuna等[90]，Pontil等[91]，Chapelle等[92]，Roobaert[93,94]和Evgeniou等[95]將SVM分不用于圖像、人臉和三維目標(biāo)識不等。可見，早期的SVM的應(yīng)用大多集中在圖像處理方面。隨著其理論的不斷完善，應(yīng)用范圍也不斷拓寬，除了分類、圖像識不外，還擴展到其它領(lǐng)域。Mukherjee等[96]，Vapnik等[97]，Suykens等[98]，馮瑞等[99,100]分不將SVM用于非線性時刻序列預(yù)測、信號處理、最優(yōu)操縱、系統(tǒng)建模等。SVM根植于VC維和結(jié)構(gòu)風(fēng)險最小化基礎(chǔ)上，其應(yīng)用于故障診斷的最大優(yōu)勢在于它適合于小樣本決策。SVM的出現(xiàn)引起了國內(nèi)外眾多從事故障診斷領(lǐng)域研究人員的廣泛重視，紛紛開展這方面的研究工作。Poyhonen等[101]在電子機器故障診斷進行了應(yīng)用研究。Gao等[102]將SVM用于往復(fù)泵故障診斷。Leo等[103]將Fish判不式與SVM相結(jié)合，提高了SVM在故障診斷中的性能。Ganyun等[104]提出了多層SVM概念，并將其用于電力變壓器故障診斷。肖健華對SVM在故障診斷中應(yīng)用進行了理論分析[105]，提出了樣本不對稱時的改進算法[106]，并對齒輪故障診斷進行了應(yīng)用研究[107]。胡壽松等[108]將SVM用于非線性系統(tǒng)故障診斷。馬笑瀟等對SVM在智能故障診斷中的應(yīng)用進行了詳細的探討[11,109,110]。朱永生等[111]和張周鎖等[112]分不對基于SVM的機械故障診斷方法進行了研究。楊云等[113]在電子裝備系統(tǒng)故障智能診斷中使用了SVM。翟永杰等[114]在兩類SVM的基礎(chǔ)上，綜合分級聚類和決策樹的思想構(gòu)造多類SVM，并將其用于多類汽輪機故障診斷。何學(xué)文等[115]提出結(jié)合小波包分解和SVM在機械故障診斷的方法。王成棟等[116]將時頻分析與SVM結(jié)合，應(yīng)用于柴油機氣閥故障診斷。汪江等[117]結(jié)合遺傳算法與SVM建立聯(lián)合模型，將其應(yīng)用于汽輪發(fā)電機組的故障診斷。鄭水波等[118]提出了SVM用于傳感器故障診斷的方法。袁勝發(fā)等[119]提出SVM與人工免疫相結(jié)合，并用于機械故障診斷。王華忠等[120]總結(jié)了基于SVM的故障診斷方法和步驟，并將其用于冷凍機組故障診斷。綜上可知，SVM用于故障診斷采取的策略要緊有：用SVM建立故障診斷模型，直接進行故障診斷；利用SVM產(chǎn)生殘差，再進行故障診斷；將SVM方法與其它方法結(jié)合使用，進行故障診斷。1.3.5線性算法的核變換理論與應(yīng)用利用核函數(shù)技術(shù)，研究人員推廣了十幾種常用的線性算法，得到了對應(yīng)的非線性核形式。下面介紹幾種典型的核算法。⑴特征分析算法的核形式利用廣義特征向量，這類算法是一種把一族代價函數(shù)最優(yōu)化的高效方法。在核定義的特征空間，利用線性代數(shù)就能夠研究廣義特征向量問題，利用計算代數(shù)的技術(shù)就能夠解決該問題或高效地求出近似解。利用特征問題來解決統(tǒng)計問題能夠追溯到20世紀(jì)30年代[121]。主成分分析(PCA)是從高維數(shù)據(jù)提取其結(jié)構(gòu)的有效方式，它舍棄了相關(guān)性不清的信息[122]。自1998年至2003年間，Sch?lkopf等[123,124]，Rosipal等[125,126]和Girolami[127]借用核思想改造了經(jīng)典的線性主成分分析，提出了基于核函數(shù)的非線性主成分分析，即核主成分分析(KernelPrincipalComponentAnalysis，KPCA)。其目的是找到一組非線性的投影方向，使得各個重量之間不相關(guān)。Fisher線性判不分析(FLD)通過找到一個最有利于分類的線性投影方向，將兩類的高維問題降低到一維問題來處理[53]。從1999年至2000年間，Mika等[128,129]和Baudat等[130]提出了基于核函數(shù)的非線性形式，稱為核Fisher判不分析(KernelFisherdiscriminantanalysis，KFD)。KFD試圖找到一個最佳的非線性投影方向使得同類樣本盡可能地聚攏在一起而兩類樣本分離最遠。Burges[131]，Sch?lkopf等[132]，Mika等[133]首先利用KPCA改善數(shù)據(jù)在特征空間的表示，實現(xiàn)非線性數(shù)據(jù)降噪。信號特征提取是機械設(shè)備狀態(tài)監(jiān)測與故障診斷的關(guān)鍵技術(shù)[134]，人們同樣采納KPCA提取故障信號中的非線性特征，成功地識不出機械故障[135]。鄧曉剛等[136]提出了一種KPCA貢獻圖計算方法，辨識出故障變量；樊立萍等[137]基于KPCA方法構(gòu)造污水生化處理過程監(jiān)視策略；王新峰等[138]針對常規(guī)的KPCA不包含類不信息的特點，提出了一種有監(jiān)督核函數(shù)主元分析算法，并將其用于齒輪箱的故障診斷[139]。KPCA可作為一個預(yù)處理器與其它智能算法結(jié)合用于故障診斷。吳希軍等[140]提出綜合利用KPCA和神經(jīng)網(wǎng)絡(luò)的方法實現(xiàn)非線性系統(tǒng)內(nèi)傳感器故障的檢測和識不，克服了以往核函數(shù)主元分析法只能給出故障檢測結(jié)果，卻無法對故障進行識不的缺陷。Lee等[141]將KPCA特征提取與SVM結(jié)合，建立混合模型用于非線性過程監(jiān)測。⑵線性回歸的核形式回歸分析方法是處理多變量間相依關(guān)系的統(tǒng)計方法，它是數(shù)理統(tǒng)計中應(yīng)用最為廣泛的方法之一。最小二乘回歸分析是最典型的線性回歸算法，嶺回歸分析則在目標(biāo)函數(shù)中增加了一個平方型正則項，從而能夠得到更為穩(wěn)定的、方差更小的解[142]。當(dāng)自變量存在多重共線性時，最小二乘回歸性能變差，如此就需要千方百計地消除多重共線性，主元回歸(PrincipalComponentsRegression，PCR)與偏最小二乘回歸(PartialLeastSquaresRegression，PLSR)已把接近于零的特征根所對應(yīng)的主元舍去，從而消除了原變量間的多重共線性，也就完全消除了使最小二乘回歸性能變差的根源，它們同意自變量中有互相關(guān)現(xiàn)象存在，在這方面主元回歸與偏最小二乘回歸優(yōu)于一般最小二乘回歸。1998年Saunders等[143]將嶺回歸方法進行核化，提出了非線性的核嶺回歸分析方法。2001年Rosipal等[144]在特征空間核化PCR，如此特征空間的主元線性回歸則對應(yīng)于原空間的非線性回歸。PLS本質(zhì)上是線性回歸方法，在處理非線性嚴(yán)峻的過程時，模型精度不夠；為了提高PLS方法的非線性處理能力，各種形式的非線性PLS方法被提出，其中比較多的是用各種非線性模型典型的如BP及RBF等前向神經(jīng)網(wǎng)絡(luò)來建立PLS的內(nèi)部模型[145]。KPLS的思想[144]在特征空間利用PLS算法，如此特征空間的線性PLS就對應(yīng)原空間的非線性關(guān)系。1.3.6核算法的研究內(nèi)容目前，對核算法的研究熱潮才剛興起，但初步的研究顯示了其較傳統(tǒng)方法有較大的優(yōu)越性和良好的應(yīng)用前景。因此，由于統(tǒng)計學(xué)習(xí)理論特不是核算法仍然處于進展時期，還有許多尚待解決的問題和難點。以下幾個方面值得重視和加強[146~149]。⑴新的核算法的提出。線性算法只要能夠轉(zhuǎn)換為僅包含樣本向量內(nèi)積運算的形式，就可能將其核化，就能夠得到其對應(yīng)的非線性形式。⑵核函數(shù)的種類及參數(shù)選擇。由于核算法的性能依靠于核函數(shù)的模型及參數(shù)，如何選取它們?nèi)鄙倮碚撝笇?dǎo)，這是核算法研究急需解決的問題。⑶核算法的正則化。利用核函數(shù)將線性算法轉(zhuǎn)化成核形式時，通常會遇到不適定問題(要緊表現(xiàn)為多解性)，其要緊緣故是核算法中的所求參數(shù)個數(shù)往往要大于樣本個數(shù)。正則化技術(shù)是目前處理不適定問題最有效的數(shù)學(xué)工具。針對具體問題，需要從計算的簡單性以及不同的目的來選擇合適的正則項。⑷在線動態(tài)建模技術(shù)。多數(shù)工業(yè)過程具有時變特性，因此，研究核算法的在線學(xué)習(xí)算法具有重要的意義，它是將核算法技術(shù)進一步有用化的研究方向。⑸高效算法的實現(xiàn)。由于核算法的規(guī)模與樣本數(shù)有關(guān)，因此關(guān)于大樣本，核算法對內(nèi)存空間等資源的消耗極大也阻礙到核算法的實時性。因此，針對大樣本開發(fā)對系統(tǒng)資源需求小，效率高的算法十分重要。⑹多類劃分的實現(xiàn)。上面介紹的多數(shù)核算法與SVM算法一樣，最初形式只能處理兩類模式分類問題。因此，將線性算法的核化從兩類算法推廣到整體最優(yōu)的多類算法，并研究它們的快速計算方法，是另一個有有用價值的研究方向。⑺與其它方法的結(jié)合。核算法在處理具有復(fù)雜特性、大容量的數(shù)據(jù)集合時也會出現(xiàn)性能下降的問題，因此，將其與其它技術(shù)相結(jié)合，往往會有意想不到的效果，如文獻[150]將SVM與模糊技術(shù)結(jié)合進行多類分類研究，取得了專門好的結(jié)果。1.4本文的工作故障智能診斷的核心是有效的獵取、傳遞、處理、再生和利用診斷信息，從而具備對給定環(huán)境下診斷對象進行準(zhǔn)確的狀態(tài)識不和狀態(tài)預(yù)測的能力。當(dāng)前，故障智能診斷理論和方法的研究盡管取得了較大的進步，但由于機器學(xué)習(xí)瓶頸的制約，關(guān)于不確定的、隨機性強的、非線性的以及知識信息不完備的診斷對象，診斷系統(tǒng)專門難具有較高的“智能”。本文圍繞故障智能診斷中機器學(xué)習(xí)這一關(guān)鍵問題，針對診斷過程中樣本的缺乏、非線性、不確定性和實時性等問題進行研究。1.4.1差不多框架結(jié)構(gòu)本文的結(jié)構(gòu)安排如圖1.2所示，所提出的和改進的學(xué)習(xí)算法屬于基于核的機器學(xué)習(xí)范疇，且分不屬于監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)。核矩陣的逼近(第8章)能夠作為一種樣本預(yù)處理技術(shù)，應(yīng)用于基于核的機器學(xué)習(xí)算法。圖1.2論文結(jié)構(gòu)示意圖1.4.2要緊內(nèi)容本文以電液操縱系統(tǒng)為研究背景，把核算法用于故障診斷，對部分已知的核算法進行了改進，提出和開發(fā)了一系列的有用算法，并應(yīng)用于故障識不、早期故障警示、混沌時刻序列預(yù)測等方面。依照故障診斷的功能及理論的延伸，本文的總體思路是：關(guān)于兩類故障診斷，提出了一種最小風(fēng)險的SVM方法；運用一種單值SVM解決了在故障能診斷中故障樣本缺乏的問題；關(guān)于時變的過程(系統(tǒng))，提出了一種滾動時刻窗的單值SVM方法；由于二值分類未必能滿足故障診斷的需求，進一步提出一類多值分類方法用于多故障的識不；智能故障診斷除了進行故障的分類和緣故調(diào)查外，還需要一種智能預(yù)測工具來有效監(jiān)測系統(tǒng)的實時狀態(tài)，發(fā)覺早期故障，支持向量回歸機(SupportrtVectorRegression，SVR)就有了用武之地。各章節(jié)要緊內(nèi)容為：第1章緒論本章首先闡述了機器學(xué)習(xí)在智能故障診斷中的重要性和制約診斷智能化的瓶頸作用，指出了所選課題的研究意義；系統(tǒng)介紹了故障智能診斷領(lǐng)域進展的技術(shù)水平和最新技術(shù)手段；然后重點介紹了目前核算法研究要緊集中的幾個方面以及研究現(xiàn)狀，最后給出了論文研究的結(jié)構(gòu)安排和要緊內(nèi)容。第2