LTM設(shè)備的運(yùn)行維護(hù)-應(yīng)急處理-技術(shù)支持流程

LTM設(shè)備的運(yùn)行維護(hù)運(yùn)維常用命令介紹列舉運(yùn)維過程中的常用命令，方便速查。詳見附件。F5設(shè)備日常檢查日常監(jiān)控：對(duì)設(shè)備performance數(shù)據(jù)，syslog告警，主備狀態(tài)，網(wǎng)絡(luò)狀態(tài)等設(shè)置監(jiān)控事件處理：對(duì)特殊事件及時(shí)告警并及時(shí)正確收集數(shù)據(jù)定期巡檢：〔模板見附件〕使用ihealth工具進(jìn)行設(shè)備巡檢〔v10〕檢查設(shè)備根本配置是否符合總行有關(guān)要求。檢查負(fù)載均衡設(shè)備CPU、內(nèi)存等性能參數(shù)是否正常。檢查負(fù)載均衡設(shè)備硬盤空間、連接數(shù)等性能參數(shù)是否正常檢查負(fù)載均衡設(shè)備系統(tǒng)運(yùn)行及日志是否正常。檢查設(shè)備上是否有異常事件和告警信息。檢查ihealth工具是否有風(fēng)險(xiǎn)報(bào)告，并及時(shí)更正。對(duì)主備設(shè)備的非同步配置進(jìn)行比照〔bigip_base.conf等〕系統(tǒng)安裝方法及流程系統(tǒng)初始安裝的流程，詳見附件。軟件版本升級(jí)方法及流程軟件版本升級(jí)的流程，詳見附件。常見故障現(xiàn)象-硬件故障告警/現(xiàn)象原因處理建議

設(shè)備產(chǎn)生如下日志，并無法啟動(dòng)：

WARNING:CPUencountered255single-bitSDRAMECCerrors(corrected)

WARNING:CPUencountered255single-bitSDRAMECCerrors(corrected)

WARNING:CPUencountered255single-bitSDRAMECCerrors(corrected)

內(nèi)存問題聯(lián)系技術(shù)支持RMADamon日志中：Mar2006:43:00local/blu-f89-abch-3acritsmartd[4550]:Device:/dev/sda,3Currentlyunreadable(pending)sectors

Mar2007:13:00local/blu-f89-abch-3acritsmartd[4550]:Device:/dev/sda,3Currentlyunreadable(pending)sectors

Mar2007:43:00local/blu-f89-abch-3acritsmartd[4550]:Device:/dev/sda,3Currentlyunreadable(pending)sectors

Kern日志中發(fā)現(xiàn)：

Oct510:05:21local/NF39SL01-F3errkernel:ata1.00:status:{DRDYERR}Oct510:05:21local/NF39SL01-F3errkernel:ata1.00:error:{IDNF}Oct510:05:21local/NF39SL01-F3warningkernel:Oct510:05:21local/NF39SL01-F3warningkernel:end_request:I/Oerror,devsda,sector160014091Oct510:05:21local/NF39SL01-F3errkernel:BufferI/Oerrorondevicedm-17,logicalblock25160Oct510:05:21local/NF39SL01-F3warningkernel:lostpagewriteduetoI/Oerrorondm-17

可能為硬盤壞道，也可能為ID405839引起誤報(bào)警聯(lián)系技術(shù)支持確認(rèn)

設(shè)備產(chǎn)生如下日志，

Oct100:24:01NF68SL08-B5system_check[18039]:010d0006:0:Chassispowersupply101isnotsupplyingpower(status:0):makesureitispluggedin.

一般為電源故障聯(lián)系技術(shù)支持確認(rèn)并RMA設(shè)備console無輸出

分析方法：

觀察前面板燈是否亮起，如果無燈，更換電源等部件。如亮起，檢查Console線，如確認(rèn)Console線無問題，但設(shè)備仍無輸出

聯(lián)系技術(shù)支持RMA排錯(cuò)方法—軟件、告警、網(wǎng)絡(luò)等問題軟件，告警，網(wǎng)絡(luò)等問題重啟,切換，進(jìn)程重啟等，可以查看進(jìn)程狀態(tài)〔bigstartstatus)，日志/var/log/ltm及tmm等。發(fā)生performance問題，及時(shí)抓取top等performance等信息也很關(guān)鍵網(wǎng)絡(luò)，業(yè)務(wù)問題一定要抓取Tcpdump。常見告警-軟件故障告警/現(xiàn)象版本結(jié)論及處理建議管理界面顯示:errorpage"nocontentpagetodisplay",

/var/log/httpd日志顯示

Oct10,20124:02:12AMmon.ChannelSocketinitINFO:JK2:ajp13listeningonlocalhost/:8009

Oct10,20124:02:12AMorg.apache.jk.server.JkMainstartINFO:JkrunningID=0time=0/32config=/usr/local/tomcat4/conf/perties

2012-10-1013:47:44,691ERROR[Thread-21]controller.TilesInterceptor:getDefinitionUrl-FailedduringaTilesdefinitionlook-up

2012-10-1013:47:50,690ERROR[Thread-20]v9Java及httpd問題。

重啟tomcat4及httpd進(jìn)程可以解決。

Syslog事件：

1NF39SL02-F2mcpd[3960]:01070408:5:Deletingabandonedsubscriberconnectionforreflector_Subscriber12-10-174:02:0412-10-17v10.2.4

logrotation時(shí)的安全日志,可安全忽略Jan1300:40:01tmmtmm[1220]:011f0007:3:http_process_state_parse_header-InvalidactionEV_BODY_COMPLETEduringST_HTTP_PARSE_HEADERS

Jan1300:40:01tmmtmm[1220]:011f0008:3:http_process_state_parse_header-InvalidstatetransitiontoST_HTTP_ABORTED系統(tǒng)收到不規(guī)范的（non-RFC）Request或者異常POST會(huì)出現(xiàn)這個(gè)errmessage

但是這個(gè)不會(huì)影響其他正常的業(yè)務(wù)數(shù)據(jù)流。如果長(zhǎng)期出現(xiàn)建議抓包分析ltm日志

Inetportexhaustionon1to5:9000

all此類告警說明snat地址1的端口已經(jīng)用完，這時(shí)會(huì)引起新的鏈接被丟棄，無法正常鏈接，此時(shí)需要添加snatpool增加snat地址及總的端口數(shù)。LTM日志

011e0002:4:sweeper_update:aggressivemodeactivated.

all此類告警說明日志發(fā)生時(shí)大量的內(nèi)存被耗盡，導(dǎo)致memory使用超過閥值導(dǎo)致生成此日志，一般可能為突然大量的鏈接（ddos）造成，RAMcache大量使用，或者內(nèi)存泄露，如日志長(zhǎng)時(shí)不消失，此時(shí)應(yīng)該引起注意，查看相應(yīng)的performance并采取相應(yīng)應(yīng)對(duì)措施。

/var/log/ltm出現(xiàn)如下日志：

tmmtmm[1609]:011e0001:4:LimitingclosedportRSTresponsefrom299to250packets/sec或

tmmtmm[1609]:011e0001:4:Limitingicmpunreachresponsefrom299to250packets/secall此類告警說明日志發(fā)生時(shí)，LTM因收到無法match連接表的tcp或icmp連接而發(fā)送的RST已經(jīng)超過了閾值，這一般可能為網(wǎng)絡(luò)異常，如ddos等，需要引起注意。

一般這個(gè)閥值為250

一般故障現(xiàn)場(chǎng)需要收集的信息(1)抓包文件：使用tcpdump在F5上抓包，如果有可能在backendserver/clientmachine同時(shí)抓包或同時(shí)在瀏覽器運(yùn)行watch，抓包命令如下：

#tcpdump–nni0.0:nnn–s0–w/var/tmp/xxxx.caphost<clientIP>orhost<VIP>orhost<poolmemberIP1>orhost<poolmemberIP2>

*由于F5采用的是full-proxy模式，抓客戶IP和VIP只能抓到客戶端的traffic，不能抓到server端的，請(qǐng)進(jìn)行抓包時(shí)多加考慮，添加適宜的IP地址不支持F5自帶的：nnn，在上可以去掉，只寫0.0〔表示所有進(jìn)出traffic〕*可以針對(duì)vlan或者interface抓包，針對(duì)mgmt抓包，一般情況下mgmt是eth0，可以在F5上通過ifconfig查看*可以添加端口號(hào)或協(xié)議名抓取特定的數(shù)據(jù)包*可以加-c抓取一定數(shù)量的包，針對(duì)業(yè)務(wù)流量大的情況下*如果抓包文件是關(guān)于ssl流量的，請(qǐng)用ssldump命令在F5上解開tcpdump，解成明文，然后將解密的明文和tcpdump一起提交給support，便于查看：

一般故障現(xiàn)場(chǎng)需要收集的信息(2)

抓取qkview：qkview盡量在故障的時(shí)候抓取，重啟之后抓取的qkview十分干凈，幾乎看不出來任何信息。命令如下：#qkview,thentakeout$HOSTNAME.tech.outfrom/var/tmp/抓取log日志，這個(gè)一定要抓取，qkview中的log不全。命令如下：#tarzcvf/var/tmp/$HOSTNAME-logs.tar.gz/var/log/*,thentakeout$HOSTNAME-logs.tar.gzfrom/var/tmp/抓取

RRDdatatarball：#tarzcvf/var/tmp/$HOSTNAME-rrd.tar.gz/var/rrd/*,thentakeout$HOSTNAME-rdd.tar.gzfrom/var/tmp/抓取SCCPlogtarball：#sshsccp"tarczvf-/var/log/">/var/tmp/$HOSTNAME-sccp-logs.tar.gz,thentakeout$HOSTNAME-sccp-logs.tar.gzfrom/var/tmp/一般故障現(xiàn)場(chǎng)需要收集的信息(3)抓取故障截圖，在客戶端是什么表現(xiàn)？網(wǎng)頁打不開？效勞能否登錄？客戶收到了什么樣的報(bào)錯(cuò)信息？

開case的時(shí)候，盡量說明出問題的VS或者給出對(duì)應(yīng)的IP地址，以方便support查詢，節(jié)省時(shí)間。

如果疑心硬件問題，盡快安排時(shí)間做EUD。運(yùn)行EUD的時(shí)候請(qǐng)拔下所有的網(wǎng)線，連好console，留存consoleoutput，和EUDreport一起提交給support以節(jié)省時(shí)間。

有效收集信息-對(duì)收集信息進(jìn)行檢查信息類型檢查方法TCPdump是否包括客戶端和服務(wù)器端兩方向的包信息（SNAT很容易影響數(shù)據(jù)包收集）是否能反映出問題出現(xiàn)的現(xiàn)象，需要在提交時(shí)指出問題stream

序列號(hào)SSLdump

是否包含已解密的應(yīng)用數(shù)據(jù)Coredump必須使用md5sum在機(jī)器上檢查，并且在提交前在PC上進(jìn)行檢查Qkview,log生成時(shí)間是否正確，是否可以正確解壓縮，盡量提供V10的ihealth鏈接Debug是否為問題出現(xiàn)時(shí)收集，并指出問題出現(xiàn)時(shí)間點(diǎn)和收集方法Policy是否為問題VS所使用UCS是否可以正確解壓縮其他按NSE提供方法檢查，并提供準(zhǔn)確詳細(xì)的測(cè)試步驟一鍵故障采集工具實(shí)現(xiàn)功能：

一鍵收集所有開CASE需要的資料，包括var/log日志，tcpdump，qkview，UCS，打包上傳到指定效勞器目的：快速收集故障現(xiàn)場(chǎng)資料，減少和support之間的來回資料收集請(qǐng)求，可用于自動(dòng)排障腳本中的前置腳本實(shí)現(xiàn)語言：SHdate_tag=`date+%Y%m%d%H%M`/usr/sbin/tcpdump-ni0.0-s0-nnn-c3000-w/var/tmp/$HOSTNAME-$date_tag-tcpdump.captarzcvf/var/tmp/$HOSTNAME-$date_tag-logs.tgz/var/log/*/var/core/*tmshsavesysucs/var/tmp/$HOSTNAME-$date_tag-ucsqkview-f/var/tmp/$HOSTNAME-$date_tag-qkview.tgzcd/var/tmptarzcvf/var/tmp/CASE-$HOSTNAME-$date_tag.tgz$HOSTNAME-$date_tag-tcpdump.cap$HOSTNAME-$date_tag-logs.tgz$HOSTNAME-$date_tag-ucs.ucs$HOSTNAME-$date_tag-qkview.tgzecho""echo"========Notice========"echo"pleasesendthefile/var/tmp/CASE-$HOSTNAME-$date_tag.tgztoF5support"LTM設(shè)備的應(yīng)急處理場(chǎng)景一：某臺(tái)效勞器對(duì)外效勞不可用具表達(dá)象：應(yīng)用部門反響某業(yè)務(wù)對(duì)外效勞不穩(wěn)定，局部客戶端請(qǐng)求無法回復(fù)，查看相關(guān)效勞器后發(fā)現(xiàn)有一臺(tái)或者幾臺(tái)效勞器的應(yīng)用程序發(fā)生故障，但不完全影響該業(yè)務(wù)對(duì)外效勞。啟動(dòng)依據(jù)：由應(yīng)用部門通知。影響范圍：影響當(dāng)前F5分配到該〔幾〕臺(tái)效勞器上的業(yè)務(wù)。處理方案：1.應(yīng)用部門通知網(wǎng)絡(luò)部在F5上隔離該效勞器。2.登陸相關(guān)F5，將相關(guān)節(jié)點(diǎn)效勞器隔離。3、待該效勞器應(yīng)用程序恢復(fù)正常后，由應(yīng)用部門通知網(wǎng)絡(luò)部門重啟啟用該節(jié)點(diǎn)。登陸相關(guān)F5，將相關(guān)節(jié)點(diǎn)效勞器恢復(fù)。驗(yàn)證方案：應(yīng)用部門登陸恢復(fù)效勞器，檢查應(yīng)用狀態(tài)是否正常，是否有連接分配。場(chǎng)景二：兩臺(tái)F5設(shè)備均為ACTIVE狀態(tài)具表達(dá)象：兩臺(tái)F5設(shè)備均為ACTIVE狀態(tài)影響范圍：不對(duì)業(yè)務(wù)造成影響，但存在隱患。處理方案：1．確認(rèn)兩臺(tái)active狀態(tài)的F5設(shè)備中，哪一臺(tái)是當(dāng)前在用的，通過以下兩種方式進(jìn)行確認(rèn)，正常情況下，因?yàn)槿哂噙B接失效，當(dāng)前在用的F5設(shè)備應(yīng)該是原先備用的那一臺(tái)。1〕使用s登錄到兩臺(tái)F5設(shè)備的sharedip，查看是哪一臺(tái)設(shè)備；2〕在核心交換機(jī)上查看arp表中，以cisco交換機(jī)命令為例，showiparp“sharedip〞，確認(rèn)對(duì)應(yīng)的是哪一臺(tái)F5設(shè)備的MAC地址。2.檢查心跳線連接，排除由于心跳線松動(dòng)造成冗余連接失敗的情況。3.心跳線連接恢復(fù)正常后，對(duì)當(dāng)前處在備用狀態(tài)的F5設(shè)備進(jìn)行重啟操作〔應(yīng)該是原先主用的那臺(tái)F5設(shè)備〕。這時(shí)網(wǎng)絡(luò)中會(huì)恢復(fù)為只有一臺(tái)主用F5設(shè)備的情況〔重啟備機(jī)不會(huì)影響業(yè)務(wù)〕。驗(yàn)證方案：以V9|V10版本下命令為例，登陸F5設(shè)備通過命令:bfailovershow，確認(rèn)F5主備關(guān)系是否恢復(fù)正常。場(chǎng)景三：主用F5設(shè)備發(fā)生故障具表達(dá)象：主用F5上所有業(yè)務(wù)受到影響。影響范圍：該套F5上所有業(yè)務(wù)。處理方案：1．SSH方式登陸F5設(shè)備，以V9|V10版本下命令為例，通過命令：bfailoverstandby行進(jìn)行主備切換,檢測(cè)是否切換成功。2、如果失敗,那么通過下電方式關(guān)閉主用故障F5。3、SSH方式登陸備機(jī)，以V9|V10版本下命令為例，通過命令：bfailovershow判斷備機(jī)狀態(tài)是否已經(jīng)變?yōu)閍ctive。驗(yàn)證方案：1、登陸F5設(shè)備，以V9|V10版本下命令為例，通過命令:bfailovershow，確認(rèn)F5主備切換是否成功。2、應(yīng)用部門通過登陸方式作技術(shù)驗(yàn)證。場(chǎng)景四：兩臺(tái)F5設(shè)備同時(shí)出現(xiàn)故障具表達(dá)象：兩臺(tái)F5設(shè)備同時(shí)不可用，該套F5上所有業(yè)務(wù)受到影響。影響范圍：該套F5上所有業(yè)務(wù)。處理方案：1、強(qiáng)制切換，關(guān)閉原先主用的F5設(shè)備，檢測(cè)是否切換成功。2、如果仍然故障，那么關(guān)閉原先備用的F5設(shè)備，下電重啟原先主用設(shè)備后，檢測(cè)系統(tǒng)狀態(tài)。3、仍不能恢復(fù)正常的話，采用冷備設(shè)備作為應(yīng)急。驗(yàn)證方案：1、通過SSH方式登陸F5設(shè)備，以V9|V10版本下命令為例，通過命令:bfailovershow，確認(rèn)F5主備切換是否成功。2、應(yīng)用部門通過登陸方式作技術(shù)驗(yàn)證。場(chǎng)景五：客戶端異常行為導(dǎo)致F5性能容量耗盡具表達(dá)象：主用F5設(shè)備出現(xiàn)CPU或內(nèi)存利用率持續(xù)超警戒閥值〔警戒閥值的具體值可根據(jù)該套F5所承載的應(yīng)用數(shù)量及性能狀況等因素來設(shè)定〕。網(wǎng)絡(luò)部監(jiān)控到F5產(chǎn)生如下告警：InetportexhaustiononX.X.X.XtoA.B.C.D:X(proto6)。平安部監(jiān)控到分行某個(gè)客戶端向此套F5設(shè)備上的某個(gè)訪問地址大量發(fā)異常數(shù)據(jù)包。影響范圍：該套F5上所有業(yè)務(wù)。處理方案：1、通過SSH方式登錄F5設(shè)備，以V9|V10版本下命令為例，通過命令:bconnclientX.X.X.X,確認(rèn)分行客戶端是否與此套F5設(shè)備上的某個(gè)訪問地址大量建立連接。2.登錄相應(yīng)與F5互聯(lián)的交換機(jī)，將客戶端進(jìn)行隔離3.以V9|V10版本下命令為例，通過命令行:top或網(wǎng)管proviso系統(tǒng)確認(rèn)此臺(tái)F5設(shè)備性能容量是否恢復(fù)正?！睠PU及內(nèi)存利用率均處于30%以下〕。

驗(yàn)證方案：1、SSH方式登陸F5設(shè)備，通過命令行:top或網(wǎng)管proviso系統(tǒng)確認(rèn)此臺(tái)F5設(shè)備性能容量是否恢復(fù)正?！睠PU及內(nèi)存利用率均處于30%以下〕。場(chǎng)景六：F5并發(fā)連接數(shù)超閥值具表達(dá)象：網(wǎng)絡(luò)部監(jiān)控發(fā)現(xiàn)F5并發(fā)連接數(shù)超閥值，且持續(xù)時(shí)間較長(zhǎng)。影響范圍：該套F5上業(yè)務(wù)均受到不同程度影響。處理方案：1、HTTPS方式登陸F5，以V9|V10版本下操作為例，依次點(diǎn)擊“VirtualServer〞->“Statistics〞，確認(rèn)當(dāng)前訪問量最高的3個(gè)應(yīng)用；2、臨時(shí)躲避方法為在F5上限制這3個(gè)應(yīng)用的并發(fā)連接數(shù)，由于會(huì)影響到正常訪問，需征求相關(guān)部室意見；3、登陸相關(guān)F5，以V9|V10版本下操作為例，點(diǎn)擊進(jìn)入相應(yīng)VirtualServer,臨時(shí)將connectionlimit設(shè)置為XXX〔一般為效勞器臺(tái)數(shù)*100〕，待F5并發(fā)連接數(shù)恢復(fù)正常后，再商開發(fā)中心、應(yīng)用部門逐步調(diào)大connectionlimit限制；4、網(wǎng)絡(luò)盡快確定方案，利用備機(jī)，完成F5擴(kuò)容，徹底解決F5并發(fā)連接數(shù)高對(duì)設(shè)備造成沖擊，屆時(shí)再取消connectionlimit限制。驗(yàn)證方案：SSH方式登陸F5設(shè)備，以V9|V10版本下命令為例，通過命令:bconn|wc-l，確認(rèn)F5并發(fā)連接數(shù)下降至閥值以下，且設(shè)備運(yùn)行正常。場(chǎng)景七：某臺(tái)F5CPU利用率超閥值具表達(dá)象：網(wǎng)絡(luò)監(jiān)控發(fā)現(xiàn)F5CPU利用率超閥值，且持續(xù)時(shí)間較長(zhǎng)，業(yè)務(wù)人員反映局部業(yè)務(wù)訪問緩慢。影響范圍：該套F5上業(yè)務(wù)均受到不同程度的影響。處理方案：1、正常情況下F5的CPU利用率達(dá)100%后，F(xiàn)5會(huì)自動(dòng)主備切換。2、假設(shè)未自動(dòng)主備切換，那么改為手動(dòng)主備切換〔以V9|V10版本下命令為例，使用命令:bfailoverstandby〕，再次確認(rèn)由備用轉(zhuǎn)為主用狀態(tài)的F5CPU利用率是否超閥值，假設(shè)CPU利用率轉(zhuǎn)為正常，那么問題躲避解決，后續(xù)再排查已轉(zhuǎn)為備用狀態(tài)的問題F5設(shè)備；假設(shè)主備切換后問題還是不能得以解決，那么參照?qǐng)鼍八呐挪閱栴}。驗(yàn)證方案：以V9|V10版本下命令為例，SSH方式登陸F5設(shè)備通過命令:top，確認(rèn)F5CPU利用率下降至閥值以下，且設(shè)備運(yùn)行正常。F5技術(shù)支持流程新case的提交步驟一確認(rèn)機(jī)器SN確認(rèn)機(jī)器服務(wù)類型確認(rèn)case聯(lián)系人，電話及郵件，聯(lián)系人建議為現(xiàn)場(chǎng)服務(wù)商工程師步驟二獲取問題背景（如配置更改，網(wǎng)絡(luò)環(huán)境變化等）確認(rèn)問題具體現(xiàn)象，問題嚴(yán)重性步驟三獲取產(chǎn)品信息（激活模塊），版本收集相應(yīng)日志等步驟四通過F5support提交case提交case的三種途徑及如何加快響應(yīng)使用已經(jīng)開通的websupport賬號(hào)在線websupport.f5開case，等待工程師響應(yīng)如果緊急開完case后聯(lián)系TAM并發(fā)送case號(hào)技術(shù)支持直接開case對(duì)于Sev1/2的case可以直接要求轉(zhuǎn)至產(chǎn)品NSE處理Sev3以下case將回電響應(yīng)郵件

開case響應(yīng)方式同websupport.Web

郵件開case時(shí)一定要準(zhǔn)備好前面一頁所提到的所有信息，如果之前開過case，可以提供之前的case號(hào)，以便客服更快的找到你的聯(lián)系信息技術(shù)支持中心：開通websupportRegisteringforaccesstotheWebSupportportalToregisterforaccesstotheWebSupportportal,performthefollowingprocedure:Loginto.BelowtheOtherSitesYouMayApplyForheading,intheWebSupportsection,clicktheclickherelink.Completetheregistrationpage.Youwillbenotifiedbyemailwith