《大數(shù)據(jù)導(dǎo)論》課件-3.4.3日志數(shù)據(jù)采集存儲(chǔ)

大數(shù)據(jù)導(dǎo)論數(shù)

據(jù)

采

集日志數(shù)據(jù)采集存儲(chǔ)目錄01采集環(huán)境搭建

02數(shù)據(jù)庫(kù)準(zhǔn)備

03編寫配置文件

04

測(cè)試采集環(huán)境日志采集需求1、假設(shè)日志信息會(huì)記錄在/var/log/test.log文件中。2、通過(guò)filebeat監(jiān)測(cè)test.log文件中的新增信息，并輸出至logstash中。3、logstash監(jiān)測(cè)filebeat傳輸過(guò)來(lái)的數(shù)據(jù)，將數(shù)據(jù)提取出，加上時(shí)間戳，存儲(chǔ)至mysql數(shù)據(jù)庫(kù)中。采集環(huán)境搭建數(shù)據(jù)庫(kù)準(zhǔn)備1、創(chuàng)建數(shù)據(jù)庫(kù):logsdbcreatedatabaselogsdb；uselogsdb；2、創(chuàng)建數(shù)據(jù)表:syslogcreatetablesyslog( messagevarchar(200), insert_timevarchar(50) )3、官網(wǎng)下載：mysql-connector-java-5.1.17.jar放置用戶目錄下，如：/root/mysql-connector-java-5.1.17.jar編寫配置文件Filebeat配置文件在filebeat根目錄，創(chuàng)建文件log.yml，并輸入如下內(nèi)容filebeat.inputs:#指定數(shù)據(jù)源類型、路徑-type:logenabled:truepaths:-/var/log/test.log#指定輸出端為logstashoutput.logstash:hosts:["localhost:5044"]編寫配置文件Logstash配置文件在logstash安裝目錄的config文件夾中，創(chuàng)建文件test.conf文件，并輸入如下內(nèi)容input{beats{port=>5044}}output{

#輸出方式一：數(shù)據(jù)庫(kù)輸出jdbc{connection_string=>"jdbc:mysql://localhost/logsdb?user=root&password=123456&useUnicode=true&characterEncoding=UTF8"driver_jar_path=>"/root/mysql-connector-java-5.1.17.jar"driver_class=>"com.mysql.jdbc.Driver"statement=>["INSERTINTOsyslog(message,insert_time)VALUES(?,?)","[message]","[@timestamp]"]}

#輸出方式二：屏幕輸出stdout{codec=>rubydebug}}數(shù)據(jù)庫(kù)連接字符串寫入數(shù)據(jù)的sql安裝logstash-output-jdbc插件Logstash安裝output-jdbc插件確保linux系統(tǒng)能夠聯(lián)網(wǎng)切換到logstash的安裝目錄中輸入安裝命令：bin/logstash-plugininstalllogstash-output-jdbc該插件使得Logstash可以將數(shù)據(jù)存儲(chǔ)到mysql中測(cè)試采集環(huán)境1、啟動(dòng)filebeat切換到filebeat目錄下執(zhí)行命令：./filebeat-e-c

log.yml2、啟動(dòng)logstash切換到logstash目錄下執(zhí)行命令：bin/logstash-fconfig/test.conf至此，兩個(gè)工具都已啟動(dòng)配置文件配置文件測(cè)試采集環(huán)境輸出到stdout的內(nèi)容數(shù)據(jù)存儲(chǔ)到了mysql數(shù)據(jù)庫(kù)中模擬向/var/log/te