案例-短信廳性能問題分析

“短信廳〞故障分析匯報

科來軟件陳金絢背景介紹故障描述“短信廳〞應用由于后臺數據庫負載比較高，導致今年以來以出現(xiàn)了數次故障已采取措施通過排除法，定位到數據庫負載過高來源于“sale-dxt_c2qT〞和“sale-dxt_c3sss〞這兩個應用效勞；把這兩個應用效勞指定到一臺數據庫效勞器，其他效勞指定到另外一臺數據庫效勞器，確保這兩個效勞不影響其他進程將數據庫網卡升級至萬兆進一步的故障定位分析數據庫網卡升級到萬兆后，業(yè)務峰值時刻的流量在200kpps左右，接近IBM廠商給的處理峰值，處于高風險狀態(tài)；為了進一步分析為何這兩個進程會產生這么大的流量，我們在交換機上采用旁路鏡像的方式，部署了科來網絡回溯分析系統(tǒng)，對“短信廳〞效勞器和后臺數據庫之間的通信流量進行7*24小時不間斷的監(jiān)控分析，定位產生高負載數據庫流量的真正原因。設備部署設備信息“數據庫1〞：負載較低的數據庫，三張網卡對應的地址分別為：、、“數據庫2〞：負載高的數據庫，三張網卡對應的地址分別為：、、應用效勞器的網段：、“科來網絡回溯分析效勞器〞部署將兩臺9603的鏡像數據〔上下行分開〕進行會聚分析在不改變網絡結構的情況下實現(xiàn)7*24小時監(jiān)控海量記錄應用效勞器與數據庫的通信信息，并提供逐層挖掘與回溯TCP/UDP數據流復原，通過時延、重傳、異常語句和錯誤碼等信息定位應用性能問題負載分析在實際的通信過程中，應用效勞器分別訪問了：“數據庫1〞的網卡、“數據庫2〞網卡在12：30至16：30業(yè)務時段平均每秒數據包為102.34Kpps，平均包長為321B字節(jié)10.182.38.32平均每秒數據包為45.25Kpps，平均包長為507B字節(jié)“數據庫2〞網卡負載是“數據庫1〞的2.3倍，而且平均包長偏小數據分析“數據庫1〞負載分析在7月22號一天24小時中，“數據庫1〞在業(yè)務時段無明顯突發(fā)訪問“數據庫1〞的應用效勞器包括、、、、、、、所有訪問“數據庫1〞的應用效勞器一天的流量在80GB字節(jié)至100字節(jié)左右，負載偏差不大數據分析“數據庫2〞負載分析在7月22號一天24小時中，早上9：40左右出現(xiàn)流量峰值，是其他業(yè)務時段的兩倍“短信廳〞應用效勞器中和的訪問量遠大于其他應用效勞器，分別到達385GB字節(jié)和338GB字節(jié)，“數據庫2〞負載過高是有這兩臺效勞器引起的數據分析“數據庫2〞與應用效勞器、之間存在著100多個TCP長連接，每個TCP一天能產生14-16GB字節(jié)的流量而“數據庫1〞那么不存在這樣的長鏈接數據分析通過流量遞增和連接狀態(tài)可以判斷“數據庫2〞的這些長連接可以保持幾天的時間不中斷長鏈接內容分析一選取流量最大的長連接“：〞進行詳細的分析：該TCP會話出現(xiàn)流量突發(fā)的頻率非常的高，突發(fā)包率在2Kpps到4Kpps之間平均包長度較小，只有315字節(jié)長鏈接內容分析一該TCP鏈接在效勞器上查詢到的信息：長鏈接內容采樣分析一正常數據庫查詢：數據庫響應的數據量大于應用效勞器請求數據量：長鏈接內容采樣分析一正常數據庫查詢：請求和響應內容可大致復原長鏈接內容采樣分析一異常的TCP長連接數據：0.1毫秒左右產生一次應答請求和回應都是一個數據包請求和回應的都是小包長鏈接內容采樣分析一異常的TCP長連接數據：請求的語句無法復原請求1：請求2：請求3：響應1：響應2：響應3：長鏈接內容分析二選取流量較大的長連接“：〞進行詳細的分析：該TCP會話出現(xiàn)流量突發(fā)的頻率非常的高，突發(fā)包率在2Kpps到4Kpps之間平均包長度較小，只有315字節(jié)〔情況根本與上一個TCP長連接情況一致〕長鏈接內容采樣分析二正常數據庫查詢：請求和響應內容可大致復原長鏈接內容分析二存在同樣的異常TCP查詢數據請求一：響應一：長鏈接內容分析二請求二響應二長鏈接內容分析三選取流量最大的長連接“：〞進行詳細的分析：該TCP會話出現(xiàn)流量突發(fā)的頻率非常的高，突發(fā)包率在2Kpps到4Kpps之間平均包長度較小，只有315字節(jié)情況與前兩個TCP長連接根本一致長鏈接內容分析三存在同樣的異常TCP查詢數據：長鏈接內容分析三請求一：響應一：小結與討論故障小結“數據庫2〞與應用效勞器、之間存在100多個TCP長連接每個TCP長連接經常出現(xiàn)高頻率的小包應答突發(fā)，包率在2Kpps至4Kpps100多個TCP長連接會聚起來，“數據庫2〞的包率就持續(xù)在100Kpps之上了7月25號初步討論集體研究發(fā)現(xiàn)高頻率小包應答的特點：請求包都是21字節(jié)每一個請求包和下一個請求包的大局部內容都是重復