4.elasticsearch中聚合查询

elasticsearch聚合查询

什么是聚合，就是目的不是查询具体的文档，而是查询文档的相关性，此外还可以对聚合的文档在按照其他维度再聚合。

包含以下四种聚合

• Bucket Aggregation 一些列满足特定条件的文档的集合
  • terms 对某个字段统计每个不同的内容，以及出现文档的个数
  • range 某个范围内文档的个数
• Metric Aggregation 一些数学运算，可以对文档字段进行统计分析
  • 输出一个值，min/max/sum/avg/cardinality
  • 输出多个值，stats/percentiles/percentile_ranks
• Pipeline Aggregation 对其他的聚合结果进行二次聚合（不是对文档进行聚合）
• Matrix Aggregation 支持对多个字段的操作并提供一个结果矩阵

#按照目的地进行分桶统计 Bucket Aggregation
GET kibana_sample_data_flights/_search
{
    "size": 0,
    "aggs":{
        "flight_dest":{
            "terms":{
                "field":"DestCountry"
            }
        }
    }
}
#查看航班目的地的统计信息，增加平均，最高最低价格 Metric Aggregation
GET kibana_sample_data_flights/_search
{
    "size": 0,
    "aggs":{
        "flight_dest":{
            "terms":{
                "field":"DestCountry"
            },
            "aggs":{
                "avg_price":{
                    "avg":{
                        "field":"AvgTicketPrice"
                    }
                },
                "max_price":{
                    "max":{
                        "field":"AvgTicketPrice"
                    }
                },
                "min_price":{
                    "min":{
                        "field":"AvgTicketPrice"
                    }
                }
            }
        }
    }
}
#价格统计信息+天气信息 Metric Aggregation
GET kibana_sample_data_flights/_search
{
    "size": 0,
    "aggs":{
        "flight_dest":{
            "terms":{
                "field":"DestCountry"
            },
            "aggs":{
                "stats_price":{
                    "stats":{
                        "field":"AvgTicketPrice"
                    }
                },
                "wather":{
                  "terms": {
                    "field": "DestWeather",
                    "size": 5
                  }
                }
            }
        }
    }
}
# 平均工资最低的工作类型
GET employees/_search
{
  "size": 0,
  "aggs": {
    "jobs": {
      "terms": {
        "field": "job.keyword",
        "size": 10
      },
      "aggs": {
        "avg_salary": {
          "avg": {
            "field": "salary"
          }
        }
      }
    },
    "min_salary_by_job":{
      "min_bucket": {
        "buckets_path": "jobs>avg_salary"
      }
    }
  }
}

聚合的作用范围

默认聚合范围是全文，但是如果有query查询，那么聚合的范围就是query查询的结果

# Query
GET employees/_search
{
  "size": 0,
  "query": {
    "range": {
      "age": {
        "gte": 20
      }
    }
  },
  "aggs": {
    "jobs": {
      "terms": {
        "field":"job.keyword"
      }
    }
  }
}

如果有聚合中有filter过滤，那么其子聚合的作用范围是filter过滤的文档，但是和此聚合并列的聚合，不受filter影响

#Filter
GET employees/_search
{
  "size": 0,
  "aggs": {
    "older_person": {
      "filter":{
        "range":{
          "age":{
            "from":35
          }
        }
      },
      "aggs":{
         "jobs":{
           "terms": {
        "field":"job.keyword"
      }
      }
    }},
    "all_jobs": {
      "terms": {
        "field":"job.keyword"
      }
    }
  }
}

我们可以指定一些作用范围，关键字是 post_filter、global

#Post field. 一条语句，找出所有的job类型。还能找到聚合后符合条件的结果
GET employees/_search
{
  "aggs": {
    "jobs": {
      "terms": {
        "field": "job.keyword"
      }
    }
  },
  "post_filter": {
    "match": {
      "job.keyword": "Dev Manager"
    }
  }
}
#global global会无视query条件，对全部文档进行统计
GET employees/_search
{
  "size": 0,
  "query": {
    "range": {
      "age": {
        "gte": 40
      }
    }
  },
  "aggs": {
    "jobs": {
      "terms": {
        "field":"job.keyword"
      }
    },
    "all":{
      "global":{},
      "aggs":{
        "salary_avg":{
          "avg":{
            "field":"salary"
          }
        }
      }
    }
  }
}

聚合的排序

默认聚合是按照buckets的文档数进行排序的，我们也可以自己指定排序字段

#按照返回结果中bucket里的字段排序
#count and key
GET employees/_search
{
  "size": 0,
  "query": {
    "range": {
      "age": {
        "gte": 20
      }
    }
  },
  "aggs": {
    "jobs": {
      "terms": {
        "field":"job.keyword",
        "order":[
          {"_count":"asc"},
          {"_key":"desc"}
          ]
      }
    }
  }
}
#按照子聚合结果排序，如果单值输出，不用指定子聚合的字段
#count and key
GET employees/_search
{
  "size": 0,
  "aggs": {
    "jobs": {
      "terms": {
        "field":"job.keyword",
        "order":[  {
            "avg_salary":"desc"
          }]
      },
    "aggs": {
      "avg_salary": {
        "avg": {
          "field":"salary"
        }
      }
    }
    }
  }
}
#按照子聚合的字段排序，如果多值输出，需指定子聚合结果的字段
#count and key
GET employees/_search
{
  "size": 0,
  "aggs": {
    "jobs": {
      "terms": {
        "field":"job.keyword",
        "order":[  {
            "stats_salary.min":"desc"
          }]
      },
    "aggs": {
      "stats_salary": {
        "stats": {
          "field":"salary"
        }
      }
    }
    }
  }
}

聚合的精准度问题

我们需要关注返回结果的两个字段

• doc_count_error_upper_bound
  • 被遗漏的term分桶，包含的文档，有可能的最大值
• sum_other_doc_count
  • 除了返回结果bucket的terms以外，其他terms的文档总数（总数-返回的总数）

doc_count_error_upper_bound：例如，在取分桶后的前三个时，这里的值就是每个分片最后一个的文档数的和

sum_other_doc_count：所有文档数-分桶展示出来的文档总数

如何解决terms不准的问题

• terms聚合分析不准的原因，数据分散在多个分片上，coordinating node无法获取数据全貌，
• 解决方案一、当数据量不大时，设置primary shard为1，实现准确性
• 解决方案二、在分布式数据上，设置shard_size参数，提高精准度
  • 就是每次从shard上获取的比你size指定的更多的数据，提升准确率，你让我取前三，我分别取前6个，然后在组合起来取前三。
  • shard size大小设定 size*1.5+10

GET my_flights/_search
{
  "size": 0,
  "aggs": {
    "weather": {
      "terms": {
        "field":"OriginWeather",
        "size":1,
        "shard_size":10,
        "show_term_doc_count_error":true//在返回结果中显示doc_count_error_upper_bound
      }
    }
  }
}