Elasticsearch-JSON查詢總結(jié)

1、Elasticsearch-JSON查詢總結(jié)一.數(shù)據(jù)模型(1) 索引定義：INDEX:POCTYPE:zabbixmetadata(2) 數(shù)據(jù)實(shí)體：ID：自增主鍵ID：ID值VALUE_DAY：該機(jī)器當(dāng)天的值GROUPNAME：組名TYPE_MACHINE：機(jī)器類型DATE：日期TYPE：類型(3)數(shù)據(jù)示例：二.JSON查詢1.單個(gè)變量的查詢POST poc/zabbixmetadata/_search"query" : "match" : "GROUPNAME" : "壓力測(cè)試"注：做精確匹配搜索時(shí)，最好用過濾語

2、句，因?yàn)檫^濾語句可以緩存數(shù)據(jù)。2.過濾器查詢POST poc/zabbixmetadata/_search "size": 100, "query": "filtered": "filter": "range": "VALUE_DAY": "gt": 30,"lt": 100 , "query": "match": "GROUPNAME": "壓力測(cè)試" g

3、t : > 大于lt : < 小于gte : >= 大于或等于lte : <= 小于或等于注：字符串范圍適用于一個(gè)基數(shù)較小的字段,一個(gè)唯一短語個(gè)數(shù)較少的字段.你的唯一短語數(shù)越多,搜索就越慢。過濾順序：更詳細(xì)的過濾條件應(yīng)該被放置在其他過濾器之前,以便在更早的排除更多的文檔。緩存的過濾器非?？?所以它們需要被放在不能緩存的過濾器之前。 例如：GET/logs/2014-01/_search "query": "filtered": "filter": "range": "timesta

4、mp": "gt": "now-1h" 這個(gè)過濾條件沒有被緩存，因?yàn)樗褂昧?now 方法，這個(gè)值每毫秒都在變化。這意味著我們需要每次執(zhí)行這條查詢時(shí)都檢測(cè)一整個(gè)月的日志事件。我們可以通過組合一個(gè)緩存的過濾器來讓這變得更有效率：我們可以添加一個(gè)含固定時(shí)間的過濾器來排除掉這個(gè)月的大部分?jǐn)?shù)據(jù)，例如昨晚凌晨： "bool": "must": "range": "timestamp": "gt": "now-1h/d" <1>

5、; , "range": "timestamp": "gt": "now-1h" <2> <1> 這個(gè)過濾器被緩存了,因?yàn)樗褂昧巳≌阶蛞沽璩?now 條件.<2> 這個(gè)過濾器沒有被緩存,因?yàn)樗鼪]有對(duì) now 取整.now-1h/d 條件取整到昨夜凌晨，所以所有今天之前的文檔都被排除掉了。這個(gè)結(jié)果的字節(jié)集被緩存了，因?yàn)閚ow被取整了，意味著它只需要每天當(dāng)昨夜凌晨的值改變時(shí)被執(zhí)行一次。now-1h條件沒有被緩存，因?yàn)閚ow表示最近一毫秒的時(shí)間。然而，得益于第一個(gè)過濾器，第二個(gè)過濾

6、器只需要檢測(cè)當(dāng)天的文檔就行。上面的實(shí)現(xiàn)能正常工作是因?yàn)樽詮淖蛲砹璩織l件比最近一小時(shí)條件位置更前。假如它們用別的方式組合，那么最近一小時(shí)條件還是需要檢測(cè)所有的文檔，而不僅僅是昨夜以來的文檔。3.全文搜索POST poc/zabbixmetadata/_search "size": 100, "query": "match": "TYPE_MACHINE": "物理機(jī)" 4.短語搜索POST poc/zabbixmetadata/_search "size": 100, &quo

7、t;query": "match_phrase": "TYPE_MACHINE": "物理機(jī)" 5.聚合查詢POST poc/zabbixmetadata/_search "size": 100, "aggs": "avg_VALUE_DAY": "avg": "field": "VALUE_DAY" , "query": "bool": "must&quo

8、t;: "match": "GROUPNAME": "壓力測(cè)試" , "match": "TYPE": "cpu" , "match": "TYPE_MACHINE": "物理機(jī)-標(biāo)準(zhǔn)OS" 6.多屬性查詢bool 過濾可以用來合并多個(gè)過濾條件查詢結(jié)果的布爾邏輯,它包含一下操作符：must:多個(gè)查詢條件的完全匹配,相當(dāng)于and;must_not:多個(gè)查詢條件的相反匹配,相當(dāng)于not;should:至少有一個(gè)查詢條件匹

9、配,相當(dāng)于or.POST poc/zabbixmetadata/_search "size": 100, "query": "bool": "must": "match": "GROUPNAME": "壓力測(cè)試" , "match": "TYPE": "cpu" , "match": "TYPE_MACHINE": "物理機(jī)-標(biāo)準(zhǔn)OS"

10、7.集群健康GET /_cluster/healthgreen 所有主要分片和復(fù)制分片都可用yellow 所有主要分片可用,但不是所有復(fù)制分片都可用red 不是所有的主要分片都可用8.檢查文檔是否存在curl -i -XHEAD 30:9200/poc/zabbixmetadata/?pretty文檔存在：返回 200 OK文檔不存在：返回 404 Not Found9.查詢type的mapping映射GET poc/zabbixmetadata/_mappingstring類型字段默認(rèn)值是analyzed;如果我們想映射字段為確切值,我們需要設(shè)置它為not_analyzed.analyzed 首先分析這個(gè)字符串,然后索引.換言之,以全文形式索引此字段.若該字段為analyzed會(huì)對(duì)其分詞,這樣使用條件查詢時(shí)無法得到與字段對(duì)應(yīng)的結(jié)果;not_analyzed 索引這個(gè)字段,使之可以被搜索,但是索引內(nèi)容和指定值一樣.不分析此字段;no 不索引這個(gè)字段,這個(gè)字段不能為搜索到。注：對(duì)analyzed字段進(jìn)行強(qiáng)制排序會(huì)消耗大量?jī)?nèi)存。10.批量分頁(yè)查詢GET poc/zabbixmetadata/_search?search_type=scan&scroll=1m &quo