avmon system administrator產(chǎn)品實施和系統(tǒng)維護

1、AvMON V1.1 產(chǎn)品實施和系統(tǒng)維護惠普技術服務部 Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.議程AvMON整體架構說明AvMON數(shù)據(jù)流說明AvMON實施步驟詳細說明AvMON系統(tǒng)維護AvMON程序升級AvMON自定義功能AvMON使用技巧Q & AAvMON整體架構說明分布式部署方式 減少了網(wǎng)絡配置, 降低了實施復雜度, 只需配置Gateway與AvMON Server的防火墻策略

2、 上限1000個節(jié)點(基于postgres數(shù)據(jù)庫配置)AVMON Server(One or Cluster)DB Server(Oracle or Postgresql)Web BrowserRemote AgentGatewayiLOSecureZone A1 or N.OSDatabaseVcenterTCPTCPRemote AgentGatewayiLO/tomcat/DBSecureZone AVcenterOSDatabaseTCPTCPAgentAgentAgentAgentAVMON Agentless ServerAVMON Agentless Executor基本安裝配置

3、要求硬件型號PC Server及以上CPU=2內(nèi)存4G+硬盤2*100G網(wǎng)卡100M軟件操作系統(tǒng)HP-UN/AIX/SolarisLinux/WindowsWeb服務Tomcat 5.5+數(shù)據(jù)庫Postgres 9.*網(wǎng)絡協(xié)議TCP/IP瀏覽器IE 8.0+虛擬機環(huán)境同樣支持, 其他配置要求如下:需要root權限, 并能通過相關渠道(sftp,ftp或者scp)將agent所需文件拷貝到本地進行安裝注:運行agent的用戶權限為avmon普通用戶, 需要額外創(chuàng)建被監(jiān)控的設備到Gateway或者Server端7890, 7891端口必須開通Avmon Server本地的9998, 9988, 8

4、080 端口不能被占用如果Avmon 數(shù)據(jù)庫和avmon server不在一起機器上, 需要開通1521端口如果部署在linux環(huán)境下, 需要安裝ksh, 否則會影響部分功能建議硬件配置被管節(jié)點數(shù)AvMON服務器數(shù)據(jù)庫服務器Gateway 服務器服務器類型CPU主頻CPU個數(shù)是否雙核內(nèi)存大小數(shù)據(jù)保存時間存儲要求0-25110PC Server2GHz+1Y2GB6個月120(G)50-100110Server2GHz+1Y4GB6個月2 * 120(G)100-200112Server2GHz+2Y8GB6個月2 * 160(G)200-500114Server2GHz+4Y8GB6個月4 *

5、 160(G)500-800118Server2GHz+4Y16GB6個月8 * 160(G)以上信息是基于壓力測試結果給出的參考值, 具體情況受其他因素影響可能會有所變化:被管理節(jié)點的類型,KPI采集周期等AvMON實施步驟詳細說明Server端實施步驟說明Avmon的server安裝Agent端實施步驟說明Avmon的數(shù)據(jù)采集分為Agent和Agentless兩種方式Agentless無需在監(jiān)控設備上部署程序,通常情況只需要配置相關的連接信息即可Agent需要傳輸相關采集腳本和程序到監(jiān)控設備上注: windows為exe文件,直接運行安裝,修改配置文件并啟動服務即可Agentless實施步

6、驟說明Avmon agentless server是新增加的采集模塊，無需在被管設備上部署程序，目前支持：Ilo和Idrac硬件設備采集IPMI硬件信息采集JDBC采集常用數(shù)據(jù)庫AvMON數(shù)據(jù)流說明數(shù)據(jù)流圖數(shù)據(jù)檢查步驟查看agent端的數(shù)據(jù)傳輸日志文件是否正常send.data.log.*(/opt/hp/avmon-agent/LOG)其余日志說明如下:crontab.exec.log.* 任務調度日志filetrans_*.exec.log 參數(shù)文件,amp包文件傳輸日志heartbeat.exec.log.* Agent心跳日志main.exec.log.* Agent主程序日志recv

7、.exec.log.* 文件接收日志runtask_*.exec.log 任務運行日志查看gateway端日志是否已經(jīng)接收到相關數(shù)據(jù)avmon.gateway.log.*(/opt/hp/avmon/gateway/logs)查看server端日志是否已經(jīng)接收到相關數(shù)據(jù)avmon.server.log.*(/opt/hp/avmon/server/logs)注: 由于avmon的分布式結構, server可能存在多個, 默認部署配置為一個main server, 一個am server和兩個kpi server, 如果查看kpi數(shù)據(jù), 需要到到每個kpi server下的日志去核實, 如果是查

8、看告警數(shù)據(jù), 則需要到am下的日志去查看檢查memcache進程是否存活查看數(shù)據(jù)庫對應的表數(shù)據(jù)注: 如果web端出現(xiàn)異常, 需要檢查tomcat的日志, 路徑為tomcat安裝路徑下的logs/catalina.outAvMON系統(tǒng)維護系統(tǒng)維護Avmon系統(tǒng)本身有自我檢查和維護的功能,包括:數(shù)據(jù)庫自動備份數(shù)據(jù)庫自動清理數(shù)據(jù)庫自動整理優(yōu)化操作關鍵組件狀態(tài)檢查Agent心跳和數(shù)據(jù)采集狀態(tài)監(jiān)控Avmon系統(tǒng)維護人員只需要通過部署管理查看agent狀態(tài)是否正常系統(tǒng)中是否存在大量”心跳超時”和”每*分鐘收不到數(shù)據(jù)的告警”關鍵組件啟動命令Gateway啟停命令: $INSTALL/gateway/bin/

9、shutdown.sh, $INSTALL/gateway/bin/startup.sh notify啟停命令: $INSTALL/avmon-notify/bin/shutdown.sh, $INSTALL/avmon-notify/bin/startup.shserver啟停命令: $INSTALL/server/shutdownall.sh, $INSTALL/avmon-notify/bin/startupall.shTomcat啟停命令: $INSTALL/tomcat.*/bin/shutdown.sh, $INSTALL/tomcat.*/bin/startup.shPostgr

10、es啟停命令: kill postgres進程, postgres -D /usr/local/pgsql/data logfile 2&1 &檢查各組件狀態(tài)的命令:Gateway: ps ef | grep gatewaynotify: ps ef | grep notifyServer: ps ef | grep servertomcat: ps ef | grep tomcat, netstat -an | grep 8080Postgres: ps -ef | grep postgres注: 如果是windows環(huán)境, 請檢查相關服務狀態(tài)AvMON程序升級升級步驟Avmon系統(tǒng)升級分為

11、腳本升級,相關組件java程序升級,數(shù)據(jù)庫升級1. 如果是相關組件升級, 會由avmon team維護團隊發(fā)送升級指導郵件, 其中的內(nèi)容會詳細說明步驟, 這類升級通常步驟如下:備份舊版本的文件用新版本的文件替換重啟相關服務核實功能2. 如果是AMP或者采集腳本升級, 則需要將相關的腳本替換main server下的amps對應的目錄中的腳本文件打包*.tar.gz文件(如: tar zcvf os-hpux.tar.gz os-hpux)到web界面完成下發(fā)腳本操作即可注:如果部署數(shù)量較大, 這類升級的工作量會比較大,目前只能一臺一臺的進行升級,后續(xù)版本會增加批量更新功能3. 數(shù)據(jù)庫很少進行升

12、級操作,通常只是增刪改數(shù)據(jù),只需要將所執(zhí)行sql命令運行即可AvMON系統(tǒng)自定義功能主機監(jiān)控二次開發(fā)方法KPI腳本編寫Overview視圖定制已實現(xiàn)待實現(xiàn)開發(fā)實現(xiàn)采集指標需執(zhí)行的shellAvMON配置中增加KPIOS AMP配置文件中增加: shell與KPI對應關系測試編寫XML配置文件:輸入KPI編號輸入圖例編號輸入坐標增加圖例格式化數(shù)據(jù)需執(zhí)行的shell定制開發(fā)默認報表綜合報表二次開發(fā)方法基于iReport開發(fā)界面上輸入/選擇:名稱主機KPI時間待實現(xiàn)開發(fā)實現(xiàn)完成ireport的報表模板開發(fā)配置相關數(shù)據(jù)源信息新建報表模板, 將step1中的文件導入到系統(tǒng)中進入查詢與報表菜單,進行數(shù)據(jù)查

13、詢AvMON使用技巧使用技巧AvMON系統(tǒng)中預置的告警條件不能完全滿足多變的客戶現(xiàn)場環(huán)境, 因此需要依據(jù)在告警中心所生成的告警數(shù)據(jù)進行告警規(guī)則優(yōu)化, 比如syslog生成的告警數(shù)據(jù)太多, 可以通過告警過濾屏蔽部分告警, 也可以通過告警合并將重復的告警合為一條.具體操作如下: 將生成的告警內(nèi)容拷貝出來, 將可變部分全部修改為.*, 如: 主機34上syslog告警, 內(nèi)容為2031 ems error 規(guī)則內(nèi)容應為主機.*上syslog告警, 內(nèi)容為.* ems error 注:內(nèi)容中包含的,()等特殊字符需要添加轉義符如果規(guī)則設置之后未生效, 可能有如下幾個原因忘記點擊同步內(nèi)存按鈕由于機器數(shù)量

14、龐大, 同步失敗(點擊同步內(nèi)存未彈出同步成功的提示框), 遇到這樣的情況只能重啟server規(guī)則設置不正確, 可以使用下面小工具做驗證(IP替換為實際的avmon web服務器IP) 使用技巧目前Avmon系統(tǒng)并未提供批量處理告警的功能, 如果遇到系統(tǒng)中產(chǎn)生大量告警, 建議使用sql進行清理,具體操作如下:先確認需要清理的數(shù)據(jù)是否正確:Select * from TF_AVMON_ALARM_DATA where title like %監(jiān)控對象超過5分鐘未送數(shù)據(jù)%然后執(zhí)行delete命令清除數(shù)據(jù),其中的title內(nèi)容可以根據(jù)自己的需求替換.Delete from TF_AVMON_ALARM

15、_DATA where title like %監(jiān)控對象超過5分鐘未送數(shù)據(jù)%如果配置了短信規(guī)則,但是當系統(tǒng)中生成了告警后未收到短信, 可能的情況是:告警如果合并了, 之前已經(jīng)發(fā)送的短信不會再發(fā)送每日告警最大發(fā)送數(shù)是否設置太小該類告警是否不滿足發(fā)送的條件如果部署了Agent,并啟動服務, 在部署管理中無法查到相關的Agent信息,可能的情況是AgentID重復, 需要做的步驟如下: (此情況不會出現(xiàn)在windows環(huán)境中)刪除Agent部署目錄重新解壓tar.gz文件重啟Agent服務, 讓其重新生成AgentID如果在系統(tǒng)中看到有大量無法接收到數(shù)據(jù)的告警, 經(jīng)查網(wǎng)絡和服務都正常, 請直接重啟Agent服務使用技巧告警中心進行批量告警處理的時候, 如果全選之后點擊右鍵, 會有一條告警無法處理, 可以再點一次右鍵, 漏選的數(shù)據(jù)就會被再次選中, 然后點擊清除操作即可Avmon中報表的類型并未明確區(qū)分, 因此有些報表是不支持日報或者月報的, 如果點擊后生成的報表無數(shù)據(jù), 請更改報表類型再試在部署agent時, 如果報錯說”transfer error”,有可能是部署步驟有錯誤, 必須:先下發(fā)AMP包, 這樣才能創(chuàng)建相應的目錄再下發(fā)策略和參數(shù), 這樣相應的文件才能在對應的目