600MW機組DCS服務器故障及處理事故預案

1、600mw機組dcs服務器故障及處理事故預案山西兆光發(fā)電有限責任公司600mw機纟fl dcs服務器故障及處理事故預案批準：審核：編制：2013年9月8日600mw機組dcs服務器故障及處理事故預案山西兆光發(fā)電有限責任公司二期600mw四號機組于2013年8月17 h發(fā)牛一次dcs服 務器死機故障，嚴重影響到機組的安全穩(wěn)定運行。為提髙運行人員的事故處理能力和儀電維 護人員的應急處理能力，保證機組在發(fā)生dcs服務器故障后能夠實現(xiàn)冇序處理、及時消除 故障、避免擴大事故，從運行、熱控兩方面對發(fā)生dcs服務器死機后故障處理過程編寫此 處理預案，作為現(xiàn)場處理的指導建議。一、基本情況：我公司二期600mw

2、超臨界機組dcs系統(tǒng)采用西門了公司的t-3000系統(tǒng)，人機接口配置 為兩臺dcs服務器帶五臺運行操作員站，dcs服務器為兀余配置，正常運行小，主服務器 運行，備用服務器保持數(shù)據(jù)同步運行，主服務器發(fā)生故障后，口動切換至備用服務器。二、投運以來設備運行情況：二期機組2009年投產至此次故障期間，兩臺機組的dcs服務器運行基本正常，未發(fā)主 單臺機組dcs服務器全部故障的情況。但發(fā)牛過多次備用服務器退備用和主服務器故障切 換至備用服務器的情況。三、dcs服務器故障現(xiàn)彖及處理方案：i、二單元dcs服務器全部死機的故障現(xiàn)象：此次#4機紐dcs服務器發(fā)主失電的故障現(xiàn)象如f：1）dcs mm數(shù)據(jù)全部顯示壞點，

3、運行人員失去對機組所有畫而的監(jiān)視、控制。2）工程師站檢查服務器故障現(xiàn)象為：服務器上層模塊前面板電源指示燈亮（圖一屮的部 件2）,后部網線插口指示燈全滅（圖二中的部件4）；手動停運服務器上層模塊并斷電，單 獨啟動服務器下層模塊，約30分鐘后，畫面恢復監(jiān)視，操作正常，但歷史數(shù)據(jù)無記錄，運 行約1小時后，服務器下層模塊突然停運，畫面數(shù)據(jù)全部壞點，啟動服務器上層模塊時無法 啟動，將下層模塊的硬盤全部更換到上層模塊后再次啟動上層模塊，約30分鐘后上層模塊 啟動，畫而恢復監(jiān)視，但是系統(tǒng)檢測為cpu enclosure 1 （對應為卜層模塊）在運行，cpuenclosure 0 （對應上層模塊）顯示灰色。d

4、cs服務器僅剩上層模塊（安裝的是下層模塊的碩盤）運行，無備用，且系統(tǒng)檢測為cpu1 （對應為下層模塊）在運行，cpu0 （對應上層模塊）顯示灰色，即運行中的上層模塊狀態(tài) 也不正常，服務器系統(tǒng)不可靠，隨時可能故障停運，dcs系統(tǒng)失去畫面監(jiān)視與控制。圖一：圖二故障原因：下層模塊內部的電源模塊故障導致其停運，下層模塊的便盤良好；上層模塊因 其系統(tǒng)硬盤丟失文件導致模塊故障停運。2、dcs服務器全部故障的處理原則：1）dcs服務器全部故障后，機組的所有監(jiān)視畫面和參數(shù)均無法監(jiān)視且任何操作指令均無 法執(zhí)行，但dcs的各閉環(huán)控制系統(tǒng)及保護功能仍能正常工作。因此，當機組運行在協(xié)調或 agc方式，主要自動（給水、

5、減溫水、引送風機調節(jié)、除氧器水位調節(jié)等）在正常投運狀 態(tài)下，機組發(fā)生dcs服務器全部故障時，機組能夠短時間通過就地監(jiān)視重要的參數(shù)來維持 運行。當機組在純手動方式（如機組啟動過程中）或主要自動退岀運行狀態(tài)下，發(fā)生dcs 服務器全部故障時，應立即執(zhí)行緊停規(guī)定，保證機組安全停運。2）dcs服務器全部故障示，運行人員必須通過就地監(jiān)視掌握機組主要參數(shù)的變化情況和 設備的運行情況。需要就地監(jiān)視的主要參數(shù)有：除氧器水位、排汽裝査水位；需要就地重點 監(jiān)視的設備有：各給煤機下煤悄況，需耍就地可能操作的設備：鍋爐本體減溫水門。同吋需要儀電人員在電了間手動測量鍋爐側主汽、再熱汽溫（保護配置為四取二，拆除單一測 點不

6、會導致保護謀動）3）就地監(jiān)視的運行人員要充足，各司其職，保持通訊暢通，匯報及時。4）當機組主要參數(shù)無法控制或無法監(jiān)視時，當值運行人員必須嚴格執(zhí)行緊停規(guī)定。5）在dcs服務器全部故障處理過程屮，如果發(fā)生主耍設備掉閘或主要參數(shù)達到保護定值, 導致機組掉閘時，按機組停運處理，保證機組安全停運。6）儀電人員響應必須及時、到位、值班人員熟悉且能夠勝任dcs服務器故障處理及相關 工作。3、dcs服務器全部故障的處理步驟:1）當值值長立即組織人員分工，就地監(jiān)視故障機組主要的控制參數(shù)和設備運行情況，并 立即通知儀電值班人員到現(xiàn)場配侖故障處理。匯報公司分管副總經理、發(fā)電部經理、設備管 理部經理，通知儀電部經理增

7、加應急處理人員。就地主要設備的運行情況及參數(shù)情況由故障機紐機長進行統(tǒng)一記錄，就地監(jiān)視人員具體安 排分工如下:給煤機間監(jiān)視給煤機運行情況的人員2人；鍋爐本體監(jiān)視減溫水調門的人員2人；除氧器水位就地監(jiān)視人員1人；排汽裝置水位就地監(jiān)視人員1人；儀電人員準備配合減溫水調門的操作人員2人、電子間測溫度的人員2人。（儀電人員在 電子間需測量鍋爐側單側主汽溫度、再熱汽溫，每5分鐘向機長匯報溫度數(shù)值一次。）2）值長安排兩名電氣人員，一人至保安段，汽機交流潤滑汕泵開關處，做好手動啟動汕 泵的準備；一人至6kv配電室，做好機組掉閘后設備無法停運時，就地停運6kv設備的準 備。3）機長應通過立盤嚴密監(jiān)視機組負荷變化

8、，同時每5分鐘向輔控脫硫值班員詢問并記錄 引風機靜葉開度情況和增壓風機入口負壓情況。4）給煤機就地人員必須嚴密監(jiān)視各給煤機運行情況，當發(fā)生給煤機斷煤示，及時投運振 打裝査，保證下煤正常。5）dcs服務器故障期間，發(fā)生主要輔機設備掉閘或主汽、再熱蒸汽溫度升高達到保護值 或其他主要監(jiān)視參數(shù)達到保護定值時，應立即執(zhí)行緊停規(guī)定，按破真空操作步驟停機：機長在操作臺上同時按卜鍋爐mft和汽機跳閘按鈕，派專人就地檢查鍋爐滅火、汽機掉 閘，發(fā)電機解列。汽機未打閘吋，就地打閘。至電子間檢査廠用電切換是否成功。保安配電室人員查看交流潤滑油泵未聯(lián)啟時，就地啟動。汽機轉速降至1200rpm,就地啟 動頂軸汕泵。6kv

9、 k電室人員檢查所有磨煤機、一次風機掉閘，否則就地停運，并依次停運送、引風機, 汽泵止速后，停運前置泵；電泵如聯(lián)啟，停運電泵運行；停運凝泵運行。汽機副機長至就地手動開啟真空破壞門，汽機破真空。就地停運真空泵運行；就地檢查汽 機止速后，投盤車運行。按機纟fl破真空停運檢點系統(tǒng)及設備運行方式。dcs服務器恢復后,全面檢査dcs畫面和就地系統(tǒng),具備恢復條件時,恢復機組啟動。6）儀電人員到位后，除安排就地配合運行人員的工作外，立即進行dcs服務器的故障檢 查、處理工作，具體步驟見“四、（二）dcs服務器更換步驟"。四、機組正常'運行中，更換dcs服務器的處理方案及步驟：（一）機組正常

10、運行屮更換dcs服務器前的處理方案：1、為保證運行人員在dcs失去価面監(jiān)視期間能夠可靠臨視機組重要的溫度參數(shù)，儀電部 必須在更換dcs服務器前將以下6個溫度測點接至鄰機運行正常的dcs系統(tǒng)：1）爐a啟動分離器溫度測點1 （40hah11ct602,安裝于40dcs15柜,ac007, ai02）；2）爐b啟動分離器溫度測點1 （40hah12ct602,安裝于40dcs15柜,ac007, ai03）。安裝于 40dcs17 柜，ab008, ai01）；。4）右側過熱器出口溫度測點1 （40lba11ct601,5）左側再熱器出口溫度測點1 （40lbb81ct601,安裝于40dcs18柜

11、,ac007, aioo）；6）右側再熱器出口溫度測點1 （40lbb82ct601,安裝于40dcs18柜,ac007, ai01）。上述6個溫度測點分別通過臨時電纜逐個接至正常運行dcs系統(tǒng)機組備用通道，依次対 應為：3odcs15 柜/acoo8/ai（）1,3（）dcs15 柜/ac008/ai04,30dcs15 柜/ac008/ai07,3odcs15 柜/ac007/ai01, 30dcs16 柜/ac008/ai07, 30dcs16 柜/ac009/ai07。儀電部人員在正常運 行dcs系統(tǒng)機組提前做好相關組態(tài)。在電子間拆接上述溫度測點z前，需做以下措施：逐個將每個測點所帶超

12、溫保護退出； 必須將該測點所參與的取平均值的邏輯塊改為第二點輸出，即輸岀值為同一側不拆的那個 溫度測點的數(shù)據(jù)，以避免拆接線過程屮產牛錯謀信號而造成給水、減溫水自動擺動或者超溫 保護誤發(fā)而觸發(fā)mft；拆接線負責人與工程師站人員認真溝通，在確認已做好上述兩點 捲施后，由專人監(jiān)護，在核對所拆測點機柜號、模件位置及通道無誤后再進行拆接線。將全部6個測點接至正常運行dcs系統(tǒng)后，儀電部人員確認數(shù)據(jù)正確，再明確告知運行 人員監(jiān)視方法，同時在故障dcs系統(tǒng)工程師站及時恢復拆接線前所退出的溫度保護。拆接 線工作完成后所有人員退出電子間并清點人數(shù)，禁止在更換服務器期間觸動相關測點接線。2、更換服務器前，儀電部人

13、員應檢杳完善服務器上下層模塊的電源線、網線、硬盤的標 識，標識應清楚準確，無產生混淆的可能。3、儀電部人員提前在服務器模塊后接好顯示器以便觀察服務器啟/停時的狀態(tài)，并安裝鍵 盤、鼠標。4、更換服務器前，發(fā)電部當值值長應聯(lián)系調度將機組運行方式退出agc方式，維持協(xié)調 運行，機組運行人員維持機組負荷穩(wěn)定，保證制粉系統(tǒng)運行方式穩(wěn)定，停止鍋爐吹灰。將主 汽、再熱蒸汽溫度逐步調整穩(wěn)定，減溫水調門及機組的其他自動投入自動方式。發(fā)電部同時應準備充足的就地監(jiān)視人員，當dcs服務器更換過程屮，由于所有dcs畫面 不能監(jiān)視，現(xiàn)場運行監(jiān)視人員具體安排分工如2給煤機間監(jiān)視給煤機運行情況的人員2人；鍋爐本體監(jiān)視減溫水調

14、門的人員2人；除氧器水位就地監(jiān)視人員1人；排汽裝證水位就地監(jiān)視人員1人；在正常運行dcs系統(tǒng)機纟f1監(jiān)視故障dcs系統(tǒng)機纟r鍋爐側主汽溫度、再熱汽溫度的人員1 人。儀電人員準備配合減溫水調門的操作人員2人。機組各方血參數(shù)和設備均趨于穩(wěn)定，人員全部到位后，開始dcs服務器的更換工作。（二）dcs服務器更換步驟：（儀電人員進行）1、核實清楚服務器故障的模塊位置，確認故障模塊電源線、網線標識清楚準確，然示拔 出故障模塊電源線后，再拔出故障模塊網線；2、拉出服務器故障模塊，平穩(wěn)放置，將其光驅、內存條移至新的服務器模塊上；3、將新服務器模塊裝到機架對應位置，將網線連接止確，將拆下的故障模塊上的硬盤按 對

15、應位置裝到新模塊上；4、插好新模塊電源線，上電后新模塊白動啟動，大約有7分鐘的自檢時間（自檢期間模 塊風扇聲音較大，自檢完成后會變?。?；5、在桌面上雙擊打開ft4300管理工具，可以査看各個部件的詳細情況，如圖三， cpuenclosure （上血模塊是0號，下血模塊是1號），i/o enclosure （上面模塊是10,下面 模塊是11）,其它還有storage enclosure圖三：可以觀察到cpu0狀態(tài)已可以監(jiān)視，但是因硬盤與模塊不對應，硬盤無法實現(xiàn)同步，須將 硬盤恢復到最開始故障前的原安裝位置（即將現(xiàn)在上層模塊的硬盤恢復到下層模塊屮）：6、先停運新裝的服務器模塊（在此次更換操作中為下

16、層模塊）、斷電，聯(lián)系就地人員做好臨測準備后，逐臺退出#1-#5操作員站及大屏服務器的t3000軟 件，然后停運服務器運行中的模塊（在此次更換操作屮為上層模塊）并斷電，將上層模塊硬 盤拆出后裝至下層模塊；7、將新裝的服務器模塊（卜-層模塊）上電，模塊自動啟動，約7分鐘后自檢完成，啟動 t3000軟件，約20分鐘后，13個相關進程全部啟動，逐臺恢復#1-#5操作員站與大屏；8、檢查網線連接正確后，將上層模塊上電，自檢完成后，在windows磁盤管理器中發(fā)現(xiàn) 硬盤仍無法同步（如圖四,顯示有無盤符的分區(qū),顯示有disk。、diski、disk2、disk3： 如果同步，則應只顯示disk0和d1sk1

17、）,于是在磁盤管理中將disk2和d1sk3的分區(qū)全 部刪除（切勿誤刪運行中的磁盤分區(qū)）；圖四：硬盤不同步時的狀態(tài)，顯示有無盤符的分區(qū)圖五：將無盤符的分區(qū)刪除后的狀態(tài)9、打開 ft4300 管理工具，在 i/o enclosure-10/storagc enclosurc40 中，分別點擊 slot-1/disk2 和 slot-2/disk-3,選擇 add physical disk to rdr virtual disk,類似于圖六圖六：添加虛擬硬盤操作成功后，i/o enclosure-10/storagc enclosurc-40/slot-1/disk2 的描述將變?yōu)?i/oenc

18、losure-10/storage enclosure-40/slot-1 /disko,如下圖七圖七：添加虛擬硬盤成功后，slot-1/diski變?yōu)閟lot-1/disko然后打開 i/o enclosures/logical disk information/rdrvirtual disk 1,可觀察到新加的虛擬硬盤正在同步，如卜圖八，同步速度以10%的速率更新。10、等待硬盤數(shù)據(jù)同步，系統(tǒng)盤約1.5小吋后同步完成，擴容盤約8小吋后同步完成，同 步完成后虛擬破盤的狀態(tài)變?yōu)椋篸uplex（如下圖九），服務器恢復冗余運行狀態(tài)。圖九：同步完成后的硬盤狀態(tài)11、dcs服務器數(shù)據(jù)同步完成后，檢查所有硬件運行正常，備用服務器可靠備用后，工作 結束，運行人員正常使用dcs系統(tǒng)監(jiān)視、操作機組運行。（三）dcs服務器更換過程中的注意事項：1、因更換故障模塊期間，dcs系統(tǒng)將失丈畫面監(jiān)視，因此需各崗位人員到位，做