openfalcongrafana安裝配置手冊及注意事項

openfalcongrafana1.open-falcon監(jiān)控系統(tǒng)是整個運維環(huán)節(jié)，乃至整個產(chǎn)品生命周期中最重要的一環(huán)，事前準時預警覺察故障，事后供給翔實的數(shù)據(jù)用于追查定位問題。監(jiān)控系統(tǒng)作為一個成熟的運維產(chǎn)品，業(yè)界有很多開源的實現(xiàn)可供選擇。當公司剛剛起步，業(yè)務規(guī)模較小，運維團隊也剛剛建立的初期，選擇一款開源的監(jiān)控系統(tǒng)，是一個省時省力，效率最高的方案。之后，隨著業(yè)務規(guī)模的持續(xù)快速增長，監(jiān)控的對象也越來越多，越來越簡潔，監(jiān)控系統(tǒng)的使用對象也從最初少數(shù)的幾個SRE，擴大為更多的DEVS，SRE。這時候，監(jiān)控系統(tǒng)的容量和用戶的“使用效率”成了最為突出的問題。監(jiān)控系統(tǒng)業(yè)界有很多精彩的開源監(jiān)控系統(tǒng)。我們在早期，始終在用zabbi現(xiàn)有的開源的監(jiān)控系統(tǒng)在性能、擴展性、和用戶的使用效率方面，已經(jīng)無法支撐了。因此，我們在過去的一年里，從互聯(lián)網(wǎng)公司的一些需求動身，從各位SRE、SA、DEVS網(wǎng)公司做監(jiān)控，用監(jiān)控的一些思考動身，設計開發(fā)了小米的監(jiān)控系統(tǒng)：open-falcon。open-falcon產(chǎn)品特點：水平擴展力氣：支持每個周期上億次的數(shù)據(jù)采集、告警判定、歷史數(shù)據(jù)存儲和查詢高效率的告警策略治理：高效的portal、支持策略模板、模板繼承和掩蓋、多種告警方式、支持callback人性化的告警設置：最大告警次數(shù)、告警級別、告警恢復通知、告警暫停、不同時段不同閾值、支持維護周期高效率的graph200萬metric〔周1〕高效的歷史數(shù)據(jù)query組件：承受rrdtool回上百個metric一年的歷史數(shù)據(jù)dahboard：多維度的數(shù)據(jù)呈現(xiàn)，用戶自定義Screen高可用：整個系統(tǒng)無核心單點，易運維，易部署，可水平擴展開發(fā)語言：整個系統(tǒng)的后端，全部golangportaldahboard使用pythonOpen-falcon2.環(huán)境預備依靠組件安裝rediyumintall-yredimyqlyumintall-ymyql-erver初始化myql#open-falconroot裝，提升安全性。此處我們使用一般賬號：work了，使用yumlibroote某portHOME=/home/workeportWORKSPACE=$HOME/open-falconmkdir-p$WORKSPACEcd$WORKSPACE假設我們預備監(jiān)控windowmyqlutf-8，這是由于監(jiān)控windowwindow中文。howvariablelike\SET=”utf8”myql-hlocalhot-uroot-p<db_chema/graph-db-chema.qlmyql-hlocalhot-uroot-p<db_chema/dahboard-db-chema.qlmyql-hlocalhot-uroot-p<db_chema/portal-db-chema.qlmyql-hlocalhot-uroot-p<db_chema/link-db-chema.qlmyql-hlocalhot-uroot-p<db_chema/uic-db-chema.ql安裝環(huán)境open-falconGoGo語言開發(fā)環(huán)境，clone64位Linu所用的環(huán)境不同，請自行解決不同平臺的命令差異首先安裝Go〔aniblegolang〕：cd~mkdir-pworkpace/rcecho\.bahrcecho”eportGOROOT=$HOME/go”>>.bahrcecho”eportGOPATH=$HOME/workpace”>>.bahrcecho”eclone代碼，以備后用cd$GOPATH/rcopen-falcon解壓of-releae-v0.1.0.tar.gz16每個壓縮包對應一個組件，創(chuàng)立獨立組件名目，將壓縮包解壓到相應名目即可。組件配置使用3.1agent配置文件必需叫cfg.jon，可以基于cfg.e某ample.jon{\把握一些debugfale\采集了數(shù)據(jù)發(fā)給tranfer，endpointhotname，默認通過`hotname`獵取，假設配置中配置了hotname，就用配置中的\與hbiphb，agent機ip，假設不想讓agent\\默認不開啟插件機制\把放置插件腳本的gitrepoclone\#放置插件腳本的gitrepo\\#插件執(zhí)行的log，假設插件執(zhí)行有問題，可以去這個名目看log},\\此處enabledtrue\的地址，端口是hb的rpc\心跳周期，單位是秒\連接hb},\\此處enabledtrue\\\],#tranfertranferrpctranferagentHA\#采集周期，單位是秒，即agenttranfer\連接tranfer},\\\[\\#默認配置只會采集網(wǎng)卡名稱前綴是eth、emlo/proc/net/dev卡的流量信息},\200多個metric，可以通過ignore\\}}進程治理./controltart./controltop./controlretart啟進程./controltatu./controltailtail-fvar/app.log驗證看varlog1988agent--checkagent機器上./falcon-agent--check/v1/puh我們設計初衷是不期望用戶直接連到Tranferagent/v1/puht=`date+%`;curl-某POST-d\\\\$t,\\\\\\3.2tranfertranferagent規(guī)章進展數(shù)據(jù)分片、并將分片后的數(shù)據(jù)分別puh給graph&judgecurl-\效勞啟動后，可以通過日志查看效勞的運行狀態(tài)，日志文件地址為./var/app.log?？梢酝ㄟ^調試腳本./tet/debug態(tài)數(shù)據(jù)，如運行bah./tet/debugConfigurationdebug:true/fale,假設為true，日志中會打印debugocket#馬上被廢棄,請避開使用judge-enable:true/fale,表示是否開啟向judge-batch:數(shù)據(jù)轉發(fā)的批量大小，可以加快發(fā)送速度，建議保持默認值-connTimeout:單位是毫秒，與后端建立連接的超時時間，可以依據(jù)網(wǎng)絡質量微調，建議保持默認-callTimeout:單位是毫秒，發(fā)送數(shù)據(jù)給后端的超時時間，可以依據(jù)網(wǎng)絡質量微調，建議保持默認-pingMethod:后端供給的ping保持默認-maConn:連接池相關配置，最大連接數(shù)，建議保持默認-maIdle:連接池相關配置，最大空閑連接數(shù)，建議保持默認-replica:這是全都性hah-cluter:key-valuejudgekey代表后端judgevalueip:portgraph-enable:true/fale,表示是否開啟向graph-batch:數(shù)據(jù)轉發(fā)的批量大小，可以加快發(fā)送速度，建議保持默認值-connTimeout:單位是毫秒，與后端建立連接的超時時間，可以依據(jù)網(wǎng)絡質量微調，建議保持默認-callTimeout:單位是毫秒，發(fā)送數(shù)據(jù)給后端的超時時間，可以依據(jù)網(wǎng)絡質量微調，建議保持默認-pingMethod:后端供給的ping保持默認-maConn:連接池相關配置，最大連接數(shù)，建議保持默認-maIdle:連接池相關配置，最大空閑連接數(shù)，建議保持默認-replica:這是全都性hah-cluter:key-valuegraphkey代表后端graphvalueip:port(多個地址用逗號隔開,tranfer據(jù)的多重備份)tdb-enabled:true/fale,表示是否開啟向opentdb-batch:數(shù)據(jù)轉發(fā)的批量大小，可以加快發(fā)送速度-connTimeout:單位是毫秒，與后端建立連接的超時時間，可以依據(jù)網(wǎng)絡質量微調，建議保持默認-callTimeout:單位是毫秒，發(fā)送數(shù)據(jù)給后端的超時時間，可以依據(jù)網(wǎng)絡質量微調，建議保持默認-maConn:連接池相關配置，最大連接數(shù)，建議保持默認-maIdle:連接池相關配置，最大空閑連接數(shù)，建議保持默認-retry:連接后端的重試次數(shù)和發(fā)送數(shù)據(jù)的重試次數(shù)-addre:tdbtdb集群viptcptdb.3.3Graphcurl-\啟動效勞后，可以通過日志查看效勞的運行狀態(tài)，日志文件地址為./var/app.log；假設需要具體的日志，可以將配置項debugtrue?？梢酝ㄟ^調試腳本./tet/debug行bah./tet/debug配置說明{\是否開啟debug\\表示是否開啟該rpc\表示監(jiān)聽的rpc},\\確定路徑，歷史數(shù)據(jù)的文件存儲路徑〔如有必要，請修改為適宜的路〕},\\//MySQLroot，密碼為空，hot127.0.0.1，databae為graph〔如有必要，請修改)，假設需要密碼，在\連接池配置，連接池允許的最大連接數(shù)，保持默認即可},\調用超時時間，單位m\擴容graph\表示graph\數(shù)據(jù)遷移時的并發(fā)連接數(shù)，建議保持默認\這是全都性hah認即可〔必需和tranfer〕\未擴容前老的graph列表\}}}3.4queryquery，依據(jù)全都性哈希算法去相應的graphmetric然后匯總拿到的數(shù)據(jù)，最終統(tǒng)一返回給用戶。curl-\效勞啟動后，可以通過日志查看效勞的運行狀態(tài)，日志文件地址為./var/app.log?？梢酝ㄟ^查詢腳本./cript/query運行bah./cript/query\可以查詢Endpoint=\對應的繪圖數(shù)據(jù)。配置說明留意:請確保graph.replicagraph.clutertranfer置完全全都{\是否開啟debug\\單位是毫秒，與后端graph量微調，建議保持默認\單位是毫秒，從后端graph量微調，建議保持默認\連接池相關配置，最大連接數(shù)，建議保持默認\32,//連接池相關配置，最大空閑連接數(shù)，建議保持默認\這是全都性hah本數(shù)量，應當與tranfer\后端的graphtranfer錄中配置兩個地址\\},\適配grafanaAPI部署完成querydahboard確尋址到queryquerygraphtranfer全都。3.5dahboarddahboardpuhgraphDahboardPython&部署Dahboard些依靠庫。依靠庫安裝，步驟如下，#安裝virtualenv。需要rootyumintall-ypython-virtualenv安裝pip1.2.1，否則Python3.1以下版本會消滅leay_intallpip==1.2.1#安裝依靠。不需要rootdahboard某某某某某某某某某某某某某某某某yumintallmyql-develcd/path/to/dahboard/virtualenv./env./env/bin/pipintall-rpip_requirement.tt對于ubuntumyql-pythonlibmyqld-dev、libmyqlclient-dev效勞啟動后，可以通過日志查看效勞的運行狀態(tài)，日志文件地址配置文件./rrd/config.py，各字段含義為#dahboardDASHBOARD_DB_HOST=\DASHBOARD_DB_PORT=3306DASHBOARD_DB_USER=\DASHBOARD_DB_PASSWD=\DASHBOARD_DB_NAME=\#graphGRAPH_DB_HOST=\GRAPH_DB_PORT=3306GRAPH_DB_USER=\GRAPH_DB_PASSWD=\GRAPH_DB_NAME=\#dahboardDEBUG=TrueSECRET_KEY=\SESSION_COOKIE_NAME=\PERMANENT_SESSION_LIFETIME=36002430SITE_COOKIE=\#query效勞的地址QUERY_ADDR=\BASE_DIR=\LOG_PATH=o.path.join(BASE_DIR,\try:fromrrd.local_configimportecept:pa3.6短信發(fā)送接口〔接口定義，無需安裝〕這個組件沒有代碼，需要各個公司自行供給。method:potparam:-content:短信內(nèi)容-to:使用逗號分隔的多個手機號-content:郵件內(nèi)容-ubject:郵件標題-to:使用逗號分隔的多個郵件地址3.7enderenderredi十萬臺機器，一個ender\\\\},\\此處配置的redijudge、alarm\},\\\#短信隊列名稱，維持默認即可，alarmDB_USER=\DB_PASS=\DB_NAME=\#SECRET_KEYSECRET_KEY=\SESSION_COOKIE_NAME=\PERMANENT_SESSION_LIFETIME=36002430#我們可以cpconfig.pylocal_config.pylocal_config.py置掩蓋config.pylocal_config.pytry:fromframe.local_configimporte某ceptE某ception,e:print\啟動之后要看看loglogvar404，這是正常的。之后alarm用到link?；蛘呶覀兛梢赃@么驗證：3.13alarmalarmeventjudgeeventredi，alarmredialarmalarmalarmalarm改進。配置說明{\\\\\需要與ender\},\\與judge、enderredi\\\\],\\\\\\],\這兩個queue\},\\內(nèi)網(wǎng)可訪問的portal\\內(nèi)網(wǎng)可訪問的uic(或fe)的地址，實例\\外網(wǎng)可訪問的link\}}apiportaluic但是link假設某個核心效勞掛了，可能會造成大面積報警，為了削減報警短信數(shù)量，我們做了報警合并功能。把報警信息寫入linklink回一個urlalarm，alarmurl要收到一條短信〔url〕，urlhighQueueevent由于那些是高優(yōu)先級的報警，報警合并只是針對lowQueue果全部的大事都不想做報警合并，就把全部的eventhighQueuealarmfefe3.14taktak能：indefalcontranfer、graph、takfalcon-enable:true/fale,表示是否開啟索引更任務-dn:索引效勞的MySQL的連接信息，默認用戶名是root，密碼為空，hot127.0.0.1，databaegraph〔如有必要，請修改〕-ma某Idle:MySQL持默認即可-cluter:后端graph:\地址:執(zhí)行周期描述\，通過設置不同的執(zhí)行周期，來實現(xiàn)負載在時間上的均衡。eg.后端部署了兩個graphcluter\\0-500:00:00,開頭執(zhí)行索引全量更;\為quartz\0-500:30:00,開頭執(zhí)行索引全量更}-autoDelete:true|fale,是否自動刪除垃圾索引。默認為falecollector-enable:true/fale,表示是否開啟falcondetUrl:監(jiān)控數(shù)據(jù)的puh1988-rcUrlFmt:監(jiān)控數(shù)據(jù)采集的url-cluter:falcon表，用具體的\表示，modulegraph、tranfer、tak部署完成takcollectortaktranfer&graphmonitortak控Open-Falontranfer、graph、query、judge3.15gateway假設您沒有遇到機房分區(qū)問題，請直接無視此組件。3.16nodatanodatanodatajudge塊協(xié)同工作，過程為:配置了nodatanodata生成一條默認的模擬數(shù)據(jù)；用戶配置相應的報警策略，收到mock產(chǎn)生報警。采集項上報特別檢測，作為judge使judge這一節(jié)是寫給Open-Falcon到源碼編譯局部即可。假設你已經(jīng)使用Open-Falcon是增加一個nodata確保已經(jīng)建立myqlfalcon_portal.mockcfg。其中，falcon_portalportalmyqlmockcfgnodata置的數(shù)據(jù)表。mockcfg確保已經(jīng)更了portalportalnodata置的UI安裝nodataUSEfalcon_portal;SETNAMES”utf8”;/某某某nodatamockconfig某/DROPTABLEIFEISTS`mockcfg`;CREATETABLE`mockcfg`(`id`BIGINT(20)UNSIGNEDNOTNULLAUTO_INCREMENT,`name`VARCHAR(255)NOTNULLDEFAULT””COMMENT”nameofmockcfg,uedforuuid”,`obj`VARCHAR(10240)NOTNULLDEFAULT””COMMENT”decofobject”,`obj_type`VARCHAR(255)NOTNULLDEFAULT””COMMENT”typeofobject,hotorgrouporother”,`metric`VARCHAR(128)NOTNULLDEFAULT””,`tag`VARCHAR(1024)NOTNULLDEFAULT””,`dtype`VARCHAR(32)NOTNULLDEFAULT”GAUGE”,`tep`INT(11)UNSIGNEDNOTNULLDEFAULT60,`mock`DOUBLENOTNULLDEFAULT0COMMENT”mockedvaluewhennodataoccur”,PRIMARYKEY(`id`),UNIQUEKEY`uniq_name`(`name`))ENGINE=InnoDBDEFAULTCHARSET=utf8COLLATE=utf8_unicode_ci;配置說明##Configuration{\\\\組件相關的配置\配置信息\\\連接池空閑連接數(shù)},\數(shù)據(jù)采集相關的配置\\一次數(shù)據(jù)采集的條數(shù),建議使用默認值\采集并發(fā)度,建議使用默認值},\發(fā)送mock\\發(fā)送數(shù)據(jù)時,每包數(shù)據(jù)包含的監(jiān)控數(shù)據(jù)條數(shù)\堵塞設置\是否開啟堵塞功能.默認不開啟此功能\觸發(fā)nodatanodata上報中斷的百分比,大于此閾值上限時,nodatamock3.17Aggregator假設你已經(jīng)安裝過open-falconportal中是否有這個代碼：falcon_portalUSEfalcon_portal;SETNAMES”utf8”;DROPTABLEIFEISTScluter;CREATETABLEcluter(idINTUNSIGNEDNOTNULLAUTO_INCREMENT,grp_idINTNOTNULL,numeratorVARCHAR(10240)NOTNULL,denominatorVARCHAR(10240)NOTNULL,endpointVARCHAR(255)NOTNULL,metricVARCHAR(255)NOTNULL,tagVARCHAR(255)NOTNULL,d_typeVARCHAR(255)NOTNULL,tepINTNOTNULL,lat_updateTIMESTAMPNOTNULLDEFAULTCURRENT_TIMESTAMPONUPDATECURRENT_TIMESTAMP,creatorVARCHAR(255)NOTNULL,PRIMARYKEY(id))ENGINE=InnoDBDEFAULTCHARSET=latin1;配置說明##Configuration{\\\\},\\\\\模塊可以部署多個實例，這個配置表示當前實例要處理的數(shù)據(jù)庫中cluterid\},\\留意修改為你的portalip:port\留意修改為你的tranferip:port\留意修改為你的queryip:port}}3.18Agent-updater每臺機器都要部署falcon-agent，假設公司機器量比較少，用ph、anible、fabric之后，手工安