搜索技術(shù)差異分析

-.z.Splunk搜索技術(shù)Splunk可以搜索：原始事件搜索、報表生成搜索，并可在搜索中自動學(xué)習(xí)"知識〞，用戶也可以自定義知識，從而使搜索越來越智能。原始事件搜索是只從一個或多個索引中檢索事件，通常適用于需要分析問題的情況的搜索。此類搜索的一些例如包括：檢查錯誤代碼、相關(guān)事件、調(diào)查平安問題和分析故障。這些搜索通常并不包含搜索命令〔search命令本身除外〕，而且結(jié)果通常是一個原始事件的列表。報表生成搜索是對一組結(jié)果執(zhí)行*種類型的統(tǒng)計(jì)計(jì)算的搜索。在此類搜索中，首先從索引中檢索事件，然后將這些事件傳遞一個或多個搜索命令。這些搜索始終要求字段和至少一組統(tǒng)計(jì)命令之一Splunk索引Splunk在創(chuàng)立數(shù)據(jù)前，先建立索引，索引是Splunk數(shù)據(jù)的存儲庫。Splunk將傳入數(shù)據(jù)轉(zhuǎn)換為事件，然后將其存儲在索引中。數(shù)據(jù)桶Splunk為您的數(shù)據(jù)創(chuàng)立索引時，會創(chuàng)立許多文件。這些文件可分為兩種類別：壓縮形式的原始數(shù)據(jù)〔原始數(shù)據(jù)〕和指向原始數(shù)據(jù)的索引加上局部元數(shù)據(jù)文件〔索引文件〕。這兩類文件共同組成了Splunk索引，這些文件駐留在按時間組織的目錄集中。這些目錄稱為數(shù)據(jù)桶。局部目錄包含新建索引的數(shù)據(jù)；其他目錄包含以前索引的數(shù)據(jù)。此類目錄的數(shù)量會變得相當(dāng)大，取決于您要創(chuàng)立索引的數(shù)據(jù)量。默認(rèn)情況下，Splunk按照通過多個階段使數(shù)據(jù)慢慢老化的方式來處理已索引的數(shù)據(jù)。在經(jīng)過一長段時間〔通常為幾年〕后，Splunk將從系統(tǒng)中刪除舊數(shù)據(jù)。數(shù)據(jù)桶在老化時會經(jīng)歷多個階段：熱、溫、冷、凍結(jié)。當(dāng)數(shù)據(jù)桶老化時，它們從一個階段"滾動〞到下一個階段。新建索引的數(shù)據(jù)會進(jìn)入熱數(shù)據(jù)桶，可對該數(shù)據(jù)桶執(zhí)行搜索以及主動向其中寫入內(nèi)容。當(dāng)熱數(shù)據(jù)桶到達(dá)特定大小時，將成為溫?cái)?shù)據(jù)桶〔"滾動到溫?cái)?shù)據(jù)桶〞〕，并將創(chuàng)立一個新的熱數(shù)據(jù)桶。溫?cái)?shù)據(jù)桶是可搜索的，但不能主動向其中寫入內(nèi)容。溫?cái)?shù)據(jù)桶會有許多個。當(dāng)Splunk創(chuàng)立的溫?cái)?shù)據(jù)桶數(shù)量到達(dá)最大值時，會開場基于時間將溫?cái)?shù)據(jù)桶滾動到冷數(shù)據(jù)桶。時間最長的溫?cái)?shù)據(jù)桶會始終滾動到冷數(shù)據(jù)桶。當(dāng)數(shù)據(jù)桶老化時，它們將繼續(xù)以此方式滾動到冷數(shù)據(jù)桶。在經(jīng)過設(shè)定的一段時間后，冷數(shù)據(jù)桶滾動到凍結(jié)數(shù)據(jù)桶，此時對它們執(zhí)行存檔或刪除操作。通過編輯inde*es.conf中的屬性，可指定數(shù)據(jù)桶老化策略，用于確定數(shù)據(jù)桶何時從一個階段移動到下一個階段。索引目錄的構(gòu)造每個數(shù)據(jù)桶都占用一個較大數(shù)據(jù)庫目錄中自己的子目錄。Splunk會組織目錄以區(qū)分熱/溫/冷數(shù)據(jù)桶。此外，數(shù)據(jù)桶目錄名稱基于數(shù)據(jù)存在的時間。索引原始數(shù)據(jù)(rawdata)存儲在溫?cái)?shù)據(jù)桶目錄下，有一個rawdata的目錄，這個目錄中有幾個比擬重要的文件Hosts.data記錄當(dāng)前時間段的原始文件中涉及到的主機(jī),每個字段含義還不清楚，其意圖已經(jīng)很明顯猜得出來，通過創(chuàng)立索引時，把host提取出來，以便于快速搜索，其他字段估計(jì)是存儲主機(jī)的搜索到的次數(shù)、以及在原始文件中的起始位置Sources.data記錄該時間段原始數(shù)據(jù)中的數(shù)據(jù)源信息SourceTypes.data記錄該時間段原始數(shù)據(jù)中的數(shù)據(jù)源類型信息Rawdata\journal.gz這是一個壓縮二進(jìn)制文件，原始文件存儲在這里，這個文件是有格式的，splunk在原始數(shù)據(jù)一個事件前加上自己的信息頭，雖然是二進(jìn)制文件，但從以下截圖來看，仍然能看到存儲的原始痕跡。索引創(chuàng)立過程Splunk可為任意類型的時間序列數(shù)據(jù)〔具有時間戳的數(shù)據(jù)〕創(chuàng)立索引。Splunk為數(shù)據(jù)創(chuàng)立索引時，它會基于時間戳將數(shù)據(jù)分為多個事件。事件處理將出現(xiàn)在兩個階段：分析和創(chuàng)立索引。傳入Splunk的所有數(shù)據(jù)將以大數(shù)據(jù)塊〔10,000個字節(jié)〕的形式通過分析管道進(jìn)入。分析期間，Splunk會將這些數(shù)據(jù)塊分為假設(shè)干事件，并將這些事件傳遞到執(zhí)行最終處理的索引管道。分析時，Splunk將執(zhí)行大量操作，其中包括：為每個事件提取一組默認(rèn)字段，包括host、source和sourcetype。配置字符集編碼。使用換行規(guī)則識別行尾。雖然大多數(shù)事件較短，只占用一兩行，但有些事件會很長。標(biāo)識時間戳，如果時間戳不存在，創(chuàng)立時間戳。Splunk在處理時間戳的同時會識別事件界限。在此階段，您可將Splunk設(shè)置為以掩碼顯示敏感事件數(shù)據(jù)〔如信用卡號或社會保險號〕。也可將其配置為對傳入事件應(yīng)用自定義元數(shù)據(jù)。在索引管道中，Splunk會執(zhí)行其他處理，其中包括：將所有事件分段，然后基于段執(zhí)行搜索。您可以確定分段的級別，它將影響索引和搜索速度、搜索功能以及磁盤壓縮效率。構(gòu)建索引數(shù)據(jù)構(gòu)造。將原始數(shù)據(jù)和索引文件寫入磁盤，其中將執(zhí)行后索引壓縮。分布式搜索在分布式搜索中，一個splunk實(shí)例要進(jìn)展搜索(稱為搜索頭)，搜索頭向索引器(searchpeers或Inde*ernoes)發(fā)出索引請求，由索引器執(zhí)行真正的搜索操作，然后把搜索結(jié)果返回給搜索頭，由搜索頭把結(jié)果進(jìn)展合并后返回給用戶。默認(rèn)配置下，搜索頭會向所有的索引器發(fā)送搜索請求，用戶可以配置搜索的范圍華為elog搜索技術(shù)RouterRouterSwitchLogServerconsole日志效勞器控制臺SYSLOGSYSLOGSYSLOG/NATLogCollector日志采集器SYSLOGUSGSIG/NIP華為eLog用于采集華為平安設(shè)備(防火墻、UTM、SIG)產(chǎn)生的syslog日志及二進(jìn)制日志，從而從中提取有用的信息來分析網(wǎng)絡(luò)的流量、平安威脅、平安應(yīng)用的使用情況等信息。由于eLog的產(chǎn)品定位，eLog使用上有以下限制：只處理設(shè)備產(chǎn)生的syslog日志、二進(jìn)制日志eLog采集器被動接收設(shè)備發(fā)送的數(shù)據(jù)，而從不主動向設(shè)備獲取數(shù)據(jù)因此華為的eLog在系統(tǒng)架構(gòu)設(shè)計(jì)上相比splunk簡單的多。華為eLog數(shù)據(jù)索引eLog接收數(shù)據(jù)完全是被動接收，日志采集器(LogCollector)在514端口接收，采集到的數(shù)據(jù)流保存到本地文件中。本地文件，以時間戳命名文件夾，準(zhǔn)確到日，在日期文件夾內(nèi)部存放接收到的原數(shù)據(jù)。原數(shù)據(jù)也是以時間命名，名稱為最早一條日志的時間戳加一個隨機(jī)數(shù)。當(dāng)文件大小到達(dá)大小限制時，生成一個新文件繼續(xù)寫入。數(shù)據(jù)存儲Elog存儲原始數(shù)據(jù)時，采用二進(jìn)制存儲方式，每個文件設(shè)定最大值(可在日志效勞器上進(jìn)展配置)。由于syslog日志是國際標(biāo)準(zhǔn)，因此存儲格式比擬好設(shè)計(jì)，同時也能提供檢索效率。在日志效勞器上(Logserver)上有業(yè)務(wù)數(shù)據(jù)庫，業(yè)務(wù)數(shù)據(jù)庫中只存儲業(yè)務(wù)數(shù)據(jù)，業(yè)務(wù)數(shù)據(jù)是由日志效勞器從日志采集器的原始數(shù)據(jù)中檢索并抽象出來的，業(yè)務(wù)數(shù)據(jù)由用戶定制任務(wù)產(chǎn)生比方用戶輪詢生成定時輪詢數(shù)據(jù)。實(shí)時告警數(shù)據(jù)日志文件可以手工或自動進(jìn)展轉(zhuǎn)儲，轉(zhuǎn)儲后的日志被壓縮成.gz壓縮包，存儲到其他存儲介質(zhì)，在查詢時，如果數(shù)據(jù)已被轉(zhuǎn)儲〔查詢歷史日志〕需要把相應(yīng)的日志壓縮包解壓后再進(jìn)展搜索。日志采集式支持分布式部署，分布式場景下，每個日志采集器管理一個網(wǎng)段的設(shè)備(IP范圍)保存在日志效勞器上的日志采集器部署信息數(shù)據(jù)庫表中。數(shù)據(jù)搜索用戶對syslog日志進(jìn)展查詢時，日志效勞器根據(jù)用戶查詢條件，日志效勞器定位日志所在的采集器，然后向采集器發(fā)出查詢請求NS-DC搜索技術(shù)NS-DC數(shù)據(jù)存儲NS-ICG中原始日志是存儲在數(shù)據(jù)庫中的，有嚴(yán)格的數(shù)據(jù)庫格式，NS-DC并不存儲原始日志，當(dāng)需要查詢時，NS-DC從ICG、NGFW獲取原始日志數(shù)據(jù)。NS-DC數(shù)據(jù)搜索NGFW、ICG收到NS-DC的查詢請求，先把數(shù)據(jù)庫中的日志保存成.CSV文件，再打包成壓縮文件，通過網(wǎng)康獨(dú)有的協(xié)議傳到到NS-DC，NS-DC再把接收到的文件解壓、存入到臨時數(shù)據(jù)庫表中，再經(jīng)過一次查詢后，把結(jié)果返回給前臺頁面。與其說NS-DC是搜索，不如說查詢。技術(shù)比擬Splunk搜索技術(shù)特點(diǎn)Splunk以時間段作為存儲單元，能夠大大縮小查找范圍，提高查找效率基于關(guān)鍵字的索引技術(shù)提高了搜索的命中率,提高查找效率能夠把不同格式的日志、網(wǎng)絡(luò)數(shù)據(jù)、數(shù)據(jù)庫等各種類型的IT數(shù)據(jù)統(tǒng)一建立索引，屏蔽了數(shù)據(jù)源的差異和網(wǎng)絡(luò)位置的差異。支持多層次分布式搜索，可擴(kuò)展性強(qiáng)本地文件存儲，查找效率高復(fù)雜的索引技術(shù)，實(shí)現(xiàn)本錢高華為eLog搜索技術(shù)特點(diǎn)以時間段作為存儲單元，縮小查找范圍，提高查找效率只支持syslog日志和華為平安設(shè)備的二進(jìn)制日志，對數(shù)據(jù)源有嚴(yán)格格式要求。支持分布式搜索，但只支持單層分布式，只支持橫向擴(kuò)展本地存儲，查找效率高增加新應(yīng)用時，需要修改搜索算法，維護(hù)本錢高NS-DC搜索技術(shù)數(shù)據(jù)庫存儲日志，查找時必