川氣東送SCADA系統(tǒng)培訓課件-自動化系統(tǒng)事故預案

1中油龍慧自動化工程有限公司ChinaPetroleumLonghuiAutomationEngineeringCo.,Ltd.

單元13-自動化系統(tǒng)事故預案2013.09121.1目的確保川氣東送安全、高效、平穩(wěn)的運行，提高對事故的處理能力，有效排除現(xiàn)場災患，消除危害后果,分析總結(jié)事故經(jīng)驗，處理SCADA系統(tǒng)緊急事件及故障制定本預案。1.2適用范圍適用于指導川氣東送管道自動化系統(tǒng)緊急事件及故障的處理。1.3應急啟動條件調(diào)控中心川氣東送管道分公司生產(chǎn)運行部要求啟動本預案時，即刻啟動本預案。一、總則3

二、組織機構(gòu)4

四、操作員工作站事故應急處理措施1、調(diào)控中心維護人員接到啟動本預案命令后，迅速啟動本預案。2、并通知相關(guān)場站維護人員全部到位。3、配合值班調(diào)度工作人員，并對SCADA系統(tǒng)中出現(xiàn)的故障進行及時排查處理。4、保障好各場站SCADA系統(tǒng)運行安全與穩(wěn)定。三、應急響應程序4.1調(diào)控中心OASYS系統(tǒng)服務器事故4.1.1一臺CMX服務器死機如果是“HOT”的CMX服務器死機，系統(tǒng)將自動切換到“STANDBY”的CMX服務器，于是原“STANDBY”的CMX服務器變成當前運行的“HOT”CMX服務器，原“HOT”的CMX服務器退出運行，系統(tǒng)仍然保持平穩(wěn)運行。此時需登錄到CMX死機的服務器，手動啟動CMX，啟動成功后，此CMX服務器成為“STANDBY”的熱備用服務器。如果是“STANDBY”的CMX服務器死機，將不影響系統(tǒng)運行。此時需登錄到CMX死機的服務器，手動啟動CMX，啟動成功后，此CMX服務器成為“STANDBY”的熱備用服務器。啟動CMX方法：運行CMD之后輸入cmx_startup，回車即可。簡單方法：重啟CMX服務器死機的工作站即可。5

4.1.2一臺XIS服務器死機如果是“HOT”的XIS服務器死機，系統(tǒng)將自動切換到“STANDBY”的XIS服務器，于是原“STANDBY”的XIS服務器變成當前運行的“HOT”XIS服務器，原“HOT”的XIS服務器退出運行，系統(tǒng)仍然保持平穩(wěn)運行。此時需登錄到XIS死機的服務器，手動啟動XIS，啟動成功后，此XIS服務器成為“STANDBY”的熱備用服務器。如果是“STANDBY”的XIS服務器死機，將不影響系統(tǒng)運行。此時需登錄到XIS死機的服務器，手動啟動XIS，啟動成功后，此XIS服務器成為“STANDBY”的熱備用服務器。啟動XIS方法：運行：CMD之后輸入xis_startup，回車即可。簡單方法：重啟XIS死機的服務器的工作站即可。4.1.3兩臺CMX服務器死機如果兩臺CMX服務器同時或相繼死機，中心CMX服務器將無法從站場工作站實時采集數(shù)據(jù)和監(jiān)控，此時需要登錄到服務器，分別啟動CMX服務器，恢復數(shù)據(jù)的實時采集與監(jiān)控。如果兩臺服務器均無法恢復，申請切換到備用調(diào)控中心臨時統(tǒng)一監(jiān)控現(xiàn)場情況，相關(guān)人員及時與TELVENT公司相關(guān)技術(shù)支持人員聯(lián)系取得必要的技術(shù)支持。4.1.4兩臺XIS服務器死機如果兩臺XIS服務器同時或相繼死機，中心歷史數(shù)據(jù)服務器將停止歷史數(shù)據(jù)的采集和存儲，此時需要登錄到服務器，分別啟動歷史數(shù)據(jù)服務器，恢復歷史數(shù)據(jù)的采集與存儲。但在XIS服務器死機到歷史數(shù)據(jù)恢復之前的歷史數(shù)據(jù)將丟失，永不可恢復。如果兩臺服務器均無法恢復，相關(guān)人員及時與TELVENT公司相關(guān)技術(shù)支持人員聯(lián)系取得必要的技術(shù)支持。6

4.2各站場OASYS工作站事故4.2.1站場工作站死機如果站場工作站死機，則OASYS系統(tǒng)對PLC的數(shù)據(jù)輪詢將中斷，此時應當關(guān)閉CMX和XIS的所有進程，關(guān)閉OASYS系統(tǒng)，然后再重新啟動OASYS系統(tǒng)，啟動CMX和XIS進程，通過CMX中的“arelay”進程建立與PLC的正常通信。必要時，可以重新啟動工作站，以確保啟動成功。具體步驟為：（1）關(guān)閉系統(tǒng)順序為：xos_shutdown

cmx_shutdown

xis_shutdown

oas_shutdown。（2）啟動系統(tǒng)順序與關(guān)閉順序相反，即oas_startup

xis_startup

cmx_startup

xos_startup。4.2.2站場工作站與PLC通訊失敗當工作站與PLC通訊失敗后，若是OASYS系統(tǒng)的原因，則應該重新啟動CMX，恢復“arelay”進程。必要時，可以重新啟動工作站和OASYS系統(tǒng)。4.2.3站場停電如果站場停電時間短，UPS系統(tǒng)自動對OASYS系統(tǒng)和PLC系統(tǒng)供電，維持系統(tǒng)運行；因UPS的供電時間最好不能超過3至4小時，如UPS剩余時間不超過1小時，則建議提前停運OASYS系統(tǒng)及PLC系統(tǒng)，待供電正常后再啟動。OASYS系統(tǒng)的停運和啟動步驟如上所訴。

五、站場PLC事故應急處置措施4.3調(diào)控中心OASYS與站場通訊失敗

如果是光纖或DDN通訊故障導致的通訊失敗，待通訊恢復正常后，OASYS系統(tǒng)將自動恢復與站場的通信。如果光纖或DDN通訊正常，而中心OASYS系統(tǒng)與站場OASYS工作站通信中斷，則需要切換調(diào)控中心CMX服務器。4.4系統(tǒng)不可恢復

當OASYS系統(tǒng)出現(xiàn)不可恢復的異常狀況時，將系統(tǒng)中OASYS文件夾用備份OASYS文件更換，重新啟動運行。5.1AB系統(tǒng)故障如果是主CPU“PRIM”故障，系統(tǒng)將自動切換到“SYNC”的CPU上，于是原“SYNC”的CPU變成當前運行的“PRIM”CPU，原“PRIM”的CPU退出運行，為“DISQ”系統(tǒng)仍然保持平穩(wěn)運行。如是可恢復性故障，重新啟動“DISQ”CPU，消除故障，自動恢復到“SYNC”狀態(tài)，若是不可恢復性故障，更換備件，將故障CPU返修。如果是“SYNC”的CPU故障，也不影響系統(tǒng)運行。處理方法同前面描述。如果是模塊故障，將此模塊帶電插拔，若是可恢復性故障，將會恢復，若是不能恢復，聯(lián)系中油龍慧系統(tǒng)工程師解決。8

5.2HIMA系統(tǒng)故障如果是主CPU故障，系統(tǒng)將自動切換到備CPU上，系統(tǒng)仍然保持平穩(wěn)運行。如是可恢復性故障，重新插拔故障CPU，消除故障，自動恢復到備用狀態(tài)，若是不可恢復性故障，更換備件，將故障CPU返修。如果是備CPU故障，也不影響系統(tǒng)運行。處理方法同前面描述。

模塊故障。系統(tǒng)模塊為冗余配置，如果一個出現(xiàn)故障，將故障模塊重新插拔處理，如果故障不可恢復，更換備件，將故障模塊返修。在處理DO模塊時，將輸出通道的旁路開關(guān)閉合，在故障處理結(jié)束后，將旁路開關(guān)打開。5.3BB系統(tǒng)故障由于BB閥室PLC為非冗余系統(tǒng)，但其可靠的穩(wěn)定性和對惡劣環(huán)境的適應能力是使用該套產(chǎn)品的重要原因。閥室控制內(nèi)容較少，沒有故障診斷程序，因此所遇到的故障可歸納為數(shù)據(jù)傳輸故障，基本分為三種原因：1）CPU故障由造成模塊采集的數(shù)據(jù)無法存儲并轉(zhuǎn)發(fā)給中心；2）通訊故障造成中心OASYS系統(tǒng)無法讀取閥室相關(guān)參數(shù)信息，無法下發(fā)相關(guān)命令；3）數(shù)字量、模擬量模塊故障造成CPU中數(shù)據(jù)無法更新，中心不能正確了解現(xiàn)場閥室的參數(shù)信息。9

解決辦法：出現(xiàn)故障時，需現(xiàn)場維護人員將截斷閥打至就地狀態(tài)，檢查故障原因，如果CPU故障時其面板及電源模塊面板上的指示燈會顯示相關(guān)故障信息，記錄故障代碼查閱幫助了解故障內(nèi)容，嘗試將PLC系統(tǒng)重新上電，若故障不消除則與公司系統(tǒng)工程師聯(lián)系。如果是通訊故障，則檢查相關(guān)網(wǎng)線、串口線是否損壞，并利用手提電腦對PLC系統(tǒng)數(shù)據(jù)模擬掃描，上載程序觀察信息。

采集模塊故障時，其面板上指示燈會亮起，也會在CPU及電源模塊指示燈出有所指示記錄故障代碼查閱幫助了解故障內(nèi)容，數(shù)字量模塊需對機柜后排端子檢查，是否有過電壓或過電流，通道是否接地，并模擬相關(guān)信號檢查采集是否正確，當確認通道損壞后，告知公司總部采取其他措施。5.4程序故障每次巡檢時進行程序備份，修改程序前進行備份，確保維護PC機中是最新的程序。在系統(tǒng)運行中修改程序時，將DO輸出掉電，由于修改程序?qū)е鲁绦蜻\行故障，應及時將備份程序下載至PLC，恢復至修改前狀態(tài)。系統(tǒng)運行穩(wěn)定后，將DO輸出閉合。10

六、個別事故應急處置措施6.1站場非邏輯、非人為觸發(fā)ESD

檢測模塊，并排查問題。如果是模塊斷電，查明斷電原因。如果模塊正常，檢查繼電器及浪涌保護器，如燒毀則更換，如正常，則為現(xiàn)場原因。ESD連接斷開，檢測是否為ESD通訊模塊故障，如果是模塊故障更換模塊，反之，檢查交換機工作是否正常，如不正常更換網(wǎng)絡接口，如正常，檢測上位機RTU是否連接完好，如不正常，重新連接，仍不正常，則聯(lián)系中油龍慧工程師。5.5站場停電

如果站場停電時間短，UPS系統(tǒng)自動對系統(tǒng)供電，維持系統(tǒng)運行；如停電時間長，UPS剩余時間不超過1小時時，檢查CPU電池狀態(tài)，如果CPU電池沒電，在系統(tǒng)失電時程序?qū)G失，此時，及時備份程序，待電恢復后，重新下載程序，同時申請更換電池。如果電池正常，電恢復后，系統(tǒng)將正常工作。11

6.2SCADA系統(tǒng)斷電因維護現(xiàn)場都處于生產(chǎn)運行狀態(tài)，所以一般情況下不允許對SCADA系統(tǒng)斷電。必須斷電時，應首先與站場自動化管理員和調(diào)度溝通協(xié)調(diào)好，停輸后才可以進行。斷電時應注意失電關(guān)斷和有AO命令的設(shè)備。如果存在失電關(guān)斷的設(shè)備且不在關(guān)狀態(tài)位置，則應該考慮切斷動力源。對于存在AO命令的設(shè)備，斷電過程中，執(zhí)行先斷DO，再斷AO，最后斷DI、AI的順序即可。切忌先斷AO，再斷DO，這種情況很容易導致調(diào)節(jié)閥關(guān)閉。另外整個系統(tǒng)的設(shè)備斷電應按照正確的斷電順序進行。切忌直接斷開PLC機柜的總開關(guān)。6.3SCADA程序下載下載程序前先與站場自動化管理員和調(diào)度溝通協(xié)調(diào)好，停輸后才可以進行。下載時應注意容易誤動作的設(shè)備，如失電動作、有AO命令的設(shè)備，如果屬于失電動作，則下載程序前應該先將動力源切斷，有AO輸出的設(shè)備，應該將設(shè)備切換到就地或切換到手動狀態(tài)，同時下載程序前，應該檢查DO輸出模塊的通道輸出情況，判斷當前的工藝，提前做好預防措施，保證下載程序前后現(xiàn)場流程不發(fā)生變化。下載過程中通訊會暫時中斷，將無法監(jiān)視一些重要參數(shù)，存在一定的隱患，所以，應該通過下位機軟件對重要參數(shù)進行監(jiān)視。盡量使用在線修改功能，然后用“Downloadchange”進行下載。為預防計量數(shù)據(jù)清零，應先記錄相關(guān)的累積量，一旦清零，可以采取手動輸入的方式恢復。下載完成后必須對PLC時鐘進行重新設(shè)定，并取消強制點。12

6.4站控室下發(fā)開關(guān)閥命令，現(xiàn)場設(shè)備未動作

這種情況一般首先判斷上位機命令是否下發(fā)出去。判斷方法一是看PLC機架中相應模塊上對應的通道指示燈是否亮起或熄滅。如果命令下發(fā)正常，再判斷現(xiàn)場電磁閥是否用動作。如果有動作，但是閥體未進行開閥或關(guān)閥，則檢查閥體是否為就地或現(xiàn)場手動。如果電磁閥沒有動作，證明命令下發(fā)至PLC端就中斷了命令的繼續(xù)下發(fā)，這時主要檢查浪涌保護器和相應的端子排以及現(xiàn)場的進線是否存在問題。6.5PLC、ESD通信中斷

由于站場正在生產(chǎn)運行中，PLC及ESD的通訊中斷會對生產(chǎn)運行造成重大事故及損失。如果出現(xiàn)這種情況，應首先檢查交換機及各個機柜中通訊模塊的正常，并作出相應的處理辦法。另外還要檢查上位機中通訊的設(shè)置以及通信電纜的完好。6.6ESD失電ESD