通用組件系統(tǒng)設(shè)計

通用組件系統(tǒng)設(shè)計之日志系統(tǒng)in1.文檔歷史2.系統(tǒng)概述2.系統(tǒng)概述:口日期作者備注2017-10-14陽榮安創(chuàng)建2017-10-17高勇增加系統(tǒng)概述一節(jié)針對目前從運維側(cè)看到的一些問題（文件過大，打印信息缺乏標準），希望對日志系統(tǒng)進行規(guī)范。提供統(tǒng)一的API，定義一定的規(guī)則，并為有效支撐后續(xù)日志系統(tǒng)的發(fā)展提供支撐。功能定義日志的主要作用是用來還原現(xiàn)場，協(xié)助我們分析問題，幫助重現(xiàn)歷史。在日常具體工作中，用得最多的是協(xié)助我們直接定義問題的系統(tǒng)維護類日志，以及用來統(tǒng)計分析系統(tǒng)的運行狀態(tài)的數(shù)據(jù)上報類日志。我們的日志未來也要具備這類能力。系統(tǒng)維護類日志系統(tǒng)維護類日志界別的分類如下。編號級別描述1DEBUG調(diào)試應(yīng)用程序使用2INFO突出強調(diào)關(guān)鍵動作3WARN出現(xiàn)了預(yù)知的錯誤4ERROR出現(xiàn)不期望的故障，還能hold住5FATAL嚴重問題，搞不定了

為了輔助我們回溯相關(guān)問題，考慮到多個模塊、多機器、多進程、多線程的問題，對日志進行區(qū)分，并設(shè)定一些參考格式，便于日志檢索，如下供開發(fā)人員參考。編號內(nèi)容備注1日志級別DEBUG2日期時間20171017-155600-1233機器節(jié)點4模塊名ORDER5文件名Main.cpp6文件行號127進程號1238線程號119日志消息體靈活定義，建議控制大小在一定范圍內(nèi)數(shù)據(jù)上報類日志數(shù)據(jù)上報類日志嚴格遵從制定的格式，便于分析匯總。如下是以調(diào)用者身份上報被調(diào)用服務(wù)使用狀態(tài)的日志格式。每一項之間用|分割，供參考。編號內(nèi)容例子1版本12日期時用方IDCGI4調(diào)用方所在節(jié)點IDWX15被調(diào)方IDORDERSVR6被調(diào)方節(jié)點IDLG17服務(wù)與方法莊Create8返回碼09耗時10ms性能定義02寫的30%03并發(fā)數(shù)K更寫入童司橙性器IB02寫的30%03并發(fā)數(shù)K更寫入童司橙性器IBo05提供API對C++,PHP進行支持04定炒i格式r通艮務(wù)曰是星化評價日齋赧表的盼『問題定位

驗收辦法，如下表:編號并發(fā)用例場景完成時長（ms）檢查11線程單線程打印1000萬行日志210線程每線程打印100萬行日志310進程每進程打印100萬行日志4100線程每線程打印10萬行日志5100進程每線程打印10萬行日志系統(tǒng)設(shè)計日志整體如下圖，服務(wù)器節(jié)點服務(wù)器

節(jié)點4服務(wù)器

節(jié)店nCPP應(yīng)用PHP應(yīng)用日志分析服務(wù)器服務(wù)器節(jié)點2月艮務(wù)器節(jié)點服務(wù)器

節(jié)點4服務(wù)器

節(jié)店nCPP應(yīng)用PHP應(yīng)用日志分析服務(wù)器服務(wù)器節(jié)點2月艮務(wù)器節(jié)點a系統(tǒng)維護日衣I 數(shù)據(jù)上1 報日志日志AGENT《定時任務(wù)小程序》服務(wù)器節(jié)點1模塊間調(diào)用門戶日志倉庫日志倉庫編號模塊職責1日志API按統(tǒng)一規(guī)范打印日志，確保單臺節(jié)點并發(fā)不亂，性能高2系統(tǒng)維護日志應(yīng)用借助日志API輸出的日志文件，用于系統(tǒng)維護3數(shù)據(jù)上報日志應(yīng)用借助日志API輸出的日志文件，用于數(shù)據(jù)上報4日志AGENT在單臺節(jié)點上，處理并上報結(jié)果到隊列對數(shù)據(jù)上報日志進行匯總處理，并形成結(jié)果對系統(tǒng)維護日志踐行檢查預(yù)處理，并形成結(jié)果5日志收集隊列Kafuka，用來匯總分散的日志6日志分析服務(wù)器從隊列獲取單節(jié)點日志結(jié)果，形成最終日志結(jié)果，輸出到日志倉庫7日志倉庫按制定格式存放日志，并建立索引8模塊間調(diào)用門戶呈現(xiàn)模塊健康狀態(tài)，供管理參考9集中日志呈現(xiàn)門戶集中檢索日志，供定位分析問題門戶頂參考集中日志呈現(xiàn)門戶輸入日志文件名，或者模塊名，日期范圍，給出所有日志列表。模塊間調(diào)用門戶用來描述系統(tǒng)間調(diào)用健康狀態(tài)，同樣也可以用來表達掉級的.查詢指定服務(wù)間調(diào)用情況服務(wù)調(diào)用概況：輸入Caller.Callee,日期目期CallerCallee調(diào)用次.數(shù)平均時長成功率2012-08-13Cgi-historyGfs-getrecs100000woms.查看調(diào)用者依賴的被調(diào)使用情況服務(wù)調(diào)用概可，:輸入6115;f日期耳期3【恒「調(diào)用次教平均時長成功率2012-08-13Cgi-traceGmc-getpos1000000woms99%2012-03-13Cgl-traceSid-proflle10000wooms

.查看按返回碼和服務(wù)節(jié)點分布的情況服務(wù)調(diào)用詳細：點擊上遂臬一個記錄時間CallerCallee調(diào)用次數(shù)平均時長成功率F++2英Cgi-traceSid-profile2000lOnris99%1巧5Cgi-traceSid-profile2200100ms78%24。Cgi-traceSid-profile2100lOnris99%CALLEE機熟IP10u11.206.52CALLEE機熟IP10.11.20G.5310r11.20S.5410.1I..20S.S5

.系統(tǒng)調(diào)用關(guān)系圖建設(shè)范圍編號內(nèi)容備注1一期搞定日志API，解決系統(tǒng)維護日志的輸出問題系統(tǒng)設(shè)計日志庫功能設(shè)計要點日志通用組件滿足的需求。C++和PHP統(tǒng)一日志目錄和格式規(guī)范。依據(jù)IP/服務(wù)名稱/上下文編號，聚合和追溯日志。記錄服務(wù)接口，請求返回數(shù)據(jù)，正確性，響應(yīng)時間等信息。記錄調(diào)用方，請求返回數(shù)據(jù)，正確性，響應(yīng)時間等信息。日志庫的未來架構(gòu)圖。規(guī)劃設(shè)計圖估價訂單產(chǎn)品支付BOSS系統(tǒng)C++ PHP日志基礎(chǔ)組件統(tǒng)一規(guī)范的日志輸出文件［目錄，格式/接口/上下文）增量讀取本地日志文件內(nèi)容異步日志分析器分析上報服務(wù)名/IP/接口調(diào)用等日志監(jiān)測統(tǒng)計系統(tǒng)日志庫概要設(shè)計。日志級別所有級別的日志輸出到同一個日志文件中；DEBUG（開發(fā)人員調(diào)試日志）/INFO（業(yè)務(wù)流程日志）/WARN（警告信息日志）/ERROR（系統(tǒng)錯誤日志）；

ERROR級別日志，屬于嚴重錯誤，需要開發(fā)人員及時處理，反映系統(tǒng)服務(wù)質(zhì)量和穩(wěn)定性的重要指標；定義通用返回碼接口調(diào)用方日志記錄log_client_req（客戶端請求接口數(shù)據(jù)）log_client_rsp（客戶端請求后返回數(shù)據(jù)）接口服務(wù)方日志記錄log_server_req（服務(wù)端接收請求數(shù)據(jù)）log_server_rsp（服務(wù)端返回請求數(shù)據(jù)）開發(fā)階段分解和本期實現(xiàn)內(nèi)容。日志基礎(chǔ)組件庫開發(fā)（C++\PHP統(tǒng)一調(diào)用）（一期，本期實現(xiàn)）日志分析上報和聚合（統(tǒng)一查詢多臺服務(wù)器日志，區(qū)分IP/hostname）（二期）日志分析統(tǒng)計運行質(zhì)量（接口調(diào)用次數(shù)，正確率，響應(yīng)時間等）（三期）日志庫目錄結(jié)構(gòu)設(shè)計?自動讀取etc目錄下的所有xml配置文件，xml文件以業(yè)務(wù)系統(tǒng)模塊劃分，新增的xml文件，在重啟服務(wù)后，可以自動生成寫日志文件。?xml配置文件起到，服務(wù)日志先注冊后使用。?日志文件采用，日期自動更換回滾的寫入方式。/huish-Qubao/loglib/——lib pertiesliblisbcpluslog.soliMisbphplog-. etclog估價服務(wù).xmJL訂單服務(wù).xml產(chǎn)品象統(tǒng).xml支付系統(tǒng).xml己BOSS奈裝.xml估價服務(wù)曰志目錄I evaluate.log.yyyyirand.d1——evaluate.log.yyyymmiid.1I evaluate.log.yyyyiraniiol.2訂單服務(wù)日志目錄產(chǎn)品奏統(tǒng)日志目錄支?付系統(tǒng)日志目錄B0S諉統(tǒng)目錄

接口通用返回碼返回碼類型返回碼編碼返回碼說明成功0調(diào)用成功請求方錯誤1xxx請求方錯誤1001請求參數(shù)字段缺失1002請求參數(shù)字段類型錯誤1003請求參數(shù)字段為