河南移動crm系統(tǒng)故障分析報告-基于運(yùn)維工具

1、關(guān)于移動系統(tǒng)問題分析（基于運(yùn)維分析工具 V5 版本）2009-08-20問題現(xiàn)象：系統(tǒng)經(jīng)常（特別月底時）出現(xiàn)響應(yīng)慢，甚至不能響應(yīng)請求的現(xiàn)象。問題分析：1、系統(tǒng)不能響應(yīng)請求a)、導(dǎo)致系統(tǒng)不能響應(yīng)請求最大的一個可能，就是 JAVA 虛擬機(jī)內(nèi)存被消耗盡了。檢查了 WebSphere 安裝目錄，看到有進(jìn)程堆棧文件和 javacore 文件的生成，這證明系統(tǒng)的確曾經(jīng)出現(xiàn)過 JAVA 虛擬機(jī)內(nèi)存被消耗盡的情況。JAVA 虛擬機(jī)內(nèi)存被消耗盡最大的可能就是內(nèi)存泄漏，那么分析來看看系統(tǒng)是否有內(nèi)存泄漏的可能。通過下面的下面兩圖分別是 8 月 20 日 12:0020:45 時間段的系統(tǒng)機(jī)空閑內(nèi)存的變化分析圖：量和

2、 JAVA 虛擬量還沒有超過 120可以看到在系統(tǒng)的期，系統(tǒng)的最高的用戶個，但已經(jīng)差不多把 JAVA 虛擬機(jī)內(nèi)存消耗盡，如下圖所示：2、系統(tǒng)響應(yīng)慢a）、下面以 8 月 20 日 12:0020:45 時間段內(nèi)的 EOS Server 接收到并處理的請求功能為例，先來分析整個系統(tǒng)處理響應(yīng)請求功能速度的情況。下圖是從 8 月 20 日 12:0020:45 時間段的系統(tǒng)處理的請求中，分析出來的部分請求處理情況（按平均執(zhí)行時間降序排序）：可以看到，系統(tǒng)中的確存在一些請求功能執(zhí)行很慢。但同時也可以看到的功能執(zhí)行還是很快的，如下圖所示（按平均執(zhí)行時間升序排序）：說明并非整個系統(tǒng)中所有的功能處理都很慢，只

3、是存在部分功能處理比較慢。b）、下面再針對系統(tǒng)中部分執(zhí)行慢的請求功能做進(jìn)一步的分析。再來看看按平均執(zhí)行時間降序排序的分析結(jié)果：對比每個功能的最短執(zhí)行時間和最長執(zhí)行時間，可以分析出有兩種情況：1、 有些請求功能并不是每次執(zhí)行都會比較慢如圖中藍(lán)色框出的功能，雖然最長執(zhí)行時間有 144 多秒，但最短的執(zhí)行時間可以快到 0.1 秒。這種現(xiàn)象極有可能是因處理的數(shù)據(jù)量不同造成的。比如查 10 數(shù)據(jù)和查1000 數(shù)據(jù)的所消耗的時間肯定是不同的。當(dāng)然，也有可能是程序中根據(jù)不同的數(shù)據(jù)有不同的分支處理。2、 有些請求功能每次執(zhí)行都會比較慢如圖中紅色框出的功能，在處理的 18 次請求中，最快僅 5 秒多，說明該功能

4、一般的處理都很慢。影響功能執(zhí)行時間的最大可能就是數(shù)據(jù)庫操作，下圖是 EOS Server執(zhí)行時間最長的一些 SQL 操作：的一個 SQL 執(zhí)行已經(jīng)消耗了 3、4 秒，那么執(zhí)行這個 SQL 的功能所消耗的時間可想而知，如果一個功能里多執(zhí)行幾次這樣的 SQL 的話，那速度就更慢了。處理建議：1、加大 JAVA 虛擬機(jī)內(nèi)存的配置分析，知道是由于 JAVA 虛擬機(jī)內(nèi)存通過對系統(tǒng)不響應(yīng)請求造成的。目前系統(tǒng)所配置的內(nèi)存僅為 1G，建議將最大內(nèi)存調(diào)整到 2G，但最小內(nèi)存還是保留 1G。配置方法如下：1、選擇服務(wù)器2、選擇進(jìn)程定義3、選擇 JAVA 虛擬機(jī)4、配置堆棧大小初始堆大小即 JVM 初始內(nèi)存大小，最

5、大堆大小即 JVM 允許使用內(nèi)存大小，不建議兩個值配置成一樣。2、優(yōu)化響應(yīng)時間慢的功能從前面分析知道，系統(tǒng)中存在部分功能執(zhí)行時間比較慢，這些功能所消耗的時候極有可能是在執(zhí)行數(shù)據(jù)庫 SQL 操作上，所以建議從優(yōu)化執(zhí)行慢的 SQL 來解決整個功能執(zhí)行慢。優(yōu)化的方法主要是通過分析 SQL 的執(zhí)行計劃，確定是否可以通過對 SQL 操作的表建索引來提高 SQL 的執(zhí)行效率。1、先登錄 EOS 管理控制臺URL 為只能使用 sysadmin 用戶。，登錄用戶名在EOSOperator 表中，2、查看“數(shù)據(jù)服務(wù)狀態(tài)”中的“統(tǒng)計”信息點擊3、將統(tǒng)計列表中的 SQL出來（一般就是查詢 SQL）4、在 Oracl

6、e 的客戶端工具中分析 SQL 的執(zhí)行計劃將 SQL出來5、找出執(zhí)行計劃中列出的執(zhí)行 SQL 過程中進(jìn)行整表掃描的表6、檢查進(jìn)行整表掃描的表結(jié)構(gòu)，確認(rèn)做為 SQL 查詢條件的字段是否建立了索引。如果字段沒有索引，建議給字段建索引。當(dāng)然，查詢時做了整表掃描并不一定就是字段沒有索引，這僅僅是一種在不改程序的情況下的優(yōu)化方案而已。如果通過建索引無法優(yōu)化 SQL，那么只能考慮通過修改 SQL 或者程序來優(yōu)化了。3、使用 IBMHTTPServer 提高系統(tǒng)速度WebSphere 來的。IBM 建議在應(yīng)用程序部署在目前系統(tǒng)是直接WebSphere 上時，應(yīng)該使用 IBMHTTPServer 來，提高效率。IBMHTTPServer 的配置使用方法另外提供文檔說明。系統(tǒng)部署的機(jī)器上已經(jīng)安裝了 IBM