在elasticsearch中es支持对存储文档进行复杂的统计.简称聚合。

ES中的聚合被分为两大类。

1、Metrics, Metrics 是简单的对过滤出来的数据集进行avg,max等操作,是一个单一的数值。

2、ucket, Bucket 你则可以理解为将过滤出来的数据集按条件分成多个小数据集,然后Metrics会分别作用在这些小数据集上。

聚合在ELK里面是一个非常重要的概念,虽然我们在ELK stack里面用于过多的去了解es的实现过程,但是简单的了解es的查询过程,可以有效的帮助我们快速的入门Kibana,通过kibana鼠标点击的方式生成聚合数据。

1、 git先下载数据导入:

git clone git@github.com:xiaoluoge11/longguo-devops.git

执行脚本:

[root@controller longguo-devops]# ./car.sh

#备注:我们会建立一个也许对汽车交易商有所用处的聚合。数据是关于汽车交易的:汽车型号,制造商,销售价格,销售时间以及一些其他的相关数据

Bucket:

1、 按时间统计(可以是一个时间区间的柱形图date_histogram:kibana这样展示):

[root@controller .ssh]# curl -XGET '192.168.63.235:9200/cars/transactions/_search?pretty' -d '

{

"aggs" : {

"articles_over_time" : {

"date_histogram" : {

"field" : "sold",

"interval": "month"   ##区间可以为:data.hour,munite,year等

}

}

}

}'

返回结果:

"aggregations" : {

"articles_over_time" : {

"buckets" : [

{

"key_as_string" : "2014-01-01T00:00:00.000Z",

"key" : 1388534400000,

"doc_count" : 1

},

{

"key_as_string" : "2014-02-01T00:00:00.000Z",

"key" : 1391212800000,

"doc_count" : 1

},

#####也可以这样指定:

"field" : "sold",

"interval" : "mount",

"format" : "yyyy-MM-dd"  ###指定相应的时间格式

"offset":    "+6h"    ###区间间隔

####或者按照时间区间来查询:

"aggs": {

"range": {

"date_range": {

"field": "date",

"time_zone": "CET",

"ranges": [

{ "to": "2016-02-15/d" },

{ "from": "2016-02-15/d", "to" : "now/d" },

{ "from": "now/d" },

2、 返回价格区间柱形图(Histogram Aggregation):

[root@controller .ssh]# curl -XGET '192.168.63.235:9200/cars/transactions/_search?pretty' -d '

{

"aggs" : {

"prices" : {

"histogram" : {

"field" : "price",

"interval" : 5000

}

}

}

}'

### Histogram做等间距划分,统计区间的price值,看他落在那个区间,数据间隔是5000:

返回结果:

"aggregations" : {

"prices" : {

"buckets" : [

{

"key" : 10000.0,

"doc_count" : 2

},

{

"key" : 15000.0,

"doc_count" : 1

},

3、 查看每种颜色的销量:

[root@controller .ssh]# curl -XGET '192.168.63.235:9200/cars/transactions/_search?pretty' -d '

{

"aggs" : {

"genres" : {

"terms" : { "field" : "color" }

}

}

}'

###注意可能会报如下错:

"reason" : "Fielddata is disabled on text fields by default. Set fielddata=true on [color] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory."

提示我们数据类型不对,我们修改一下mapping映射:

[root@controller .ssh]# curl -XPUT '192.168.63.235:9200/cars/_mapping/transactions' -d  '

> {

>   "properties": {

>     "color": {

>       "type": "text",

>       "fielddata": true

>      }

>    }

> }'

{"acknowledged":true}

再查下就会看到统计分布的结果:

"buckets" : [

{

"key" : "red",

"doc_count" : 4

},

{

"key" : "blue",

"doc_count" : 2

},

{

"key" : "green",

"doc_count" : 2

}

4、 添加一个指标(Metric):

[root@controller .ssh]# curl -XGET '192.168.63.235:9200/cars/transactions/_search?pretty' -d '

{

"aggs" : {

"genres" : {

"terms" : { "field" : "color" }

,

"aggs": {

"avg_price": {

"avg": {

"field": "price"

}

}

}

}

}

}'

####avg可以换成max,min,sum等。用stats就表示所有。

5、  用stats找出Metric的所有值。

curl -XGET '192.168.63.235:9200/cars/transactions/_search?pretty' -d '

{

"aggs" : {

"genres" : {

"terms" : { "field" : "color" }

,

"aggs": {

"avg_price": {

"stats": {

"field": "price"

}

}

}

}

}

}'

####返回结果:

"buckets" : [

{

"key" : "red",

"doc_count" : 4,

"avg_price" : {

"count" : 4,

"min" : 10000.0,

"max" : 80000.0,

"avg" : 32500.0,

"sum" : 130000.0

}

}

本文内容出自:日志分析之 ELK stack 实战 课程学习笔记

ELK 聚合查询的更多相关文章

  1. python操作mongodb之二聚合查询

    #聚合查询 from pymongo import MongoClient db = MongoClient('mongodb://10.0.0.9:27017/').aggregation_exam ...

  2. crm使用FetchXml聚合查询

    /* 创建者:菜刀居士的博客  * 创建日期:2014年07月08号  */ namespace Net.CRM.FetchXml {     using System;     using Micr ...

  3. [SQL基础教程] 3-1 对表进行聚合查询

    [SQL基础教程] 3-1 对表进行聚合查询 聚合函数 用于合计的函数称为聚合函数或者集合函数 COUNT SUM AVG MAX MIN SELECT COUNT(*) FROM table; SE ...

  4. 开发中使用mongoTemplate进行Aggregation聚合查询

    笔记:使用mongo聚合查询(一开始根本没接触过mongo,一点一点慢慢的查资料完成了工作需求) 需求:在订单表中,根据buyerNick分组,统计每个buyerNick的电话.地址.支付总金额以及总 ...

  5. mongodb高级聚合查询

    在工作中会经常遇到一些mongodb的聚合操作,特此总结下.mongo存储的可以是复杂类型,比如数组.对象等mysql不善于处理的文档型结构,并且聚合的操作也比mysql复杂很多. 注:本文基于 mo ...

  6. ThinkPHP 数据库操作(四) : 聚合查询、时间查询、高级查询

    聚合查询 在应用中我们经常会用到一些统计数据,例如当前所有(或者满足某些条件)的用户数.所有用户的最大积分.用户的平均成绩等等,ThinkPHP为这些统计操作提供了一系列的内置方法,包括: 用法示例: ...

  7. ElasticSearch 6.2 Mapping参数说明及text类型字段聚合查询配置

    背景: 由于本人使用的是6.0以上的版本es,在使用发现很多中文博客对于mapping参数的说明已过时.ES6.0以后有很多参数变化. 现我根据官网总结mapping最新的参数,希望能对大家有用处. ...

  8. orm分组,聚合查询,执行原生sql语句

    from django.db.models import Avg from app01 import models annotate:(聚合查询) ret=models.Article.objects ...

  9. Django-model聚合查询与分组查询

    Django-model聚合查询与分组查询 聚合函数包含:SUM AVG MIN MAX COUNT 聚合函数可以单独使用,不一定要和分组配合使用:不过聚合函数一般和group by 搭配使用 agg ...

随机推荐

  1. E20170906-mk

    portrait   n. 肖像,肖像画; 模型,标本; 半身雕塑像; 人物描写; orientation  n. 方向,定位,取向,排列方向; 任职培训; (外交等的) 方针[态度]的确定; 环境判 ...

  2. selenium3 + python - select定位

    一.Select模块(index)     1.导入Select模块.直接根据属性或索引定位     2.先要导入select方法:from selenium.webdriver.support.se ...

  3. 【转载】cocos2dx 中 Android NDK 加载动态库的问题

     原文地址:http://blog.csdn.net/sozell/article/details/10551309 cocos2dx 中 Android NDK 加载动态库的问题 闲聊 最近在接入各 ...

  4. Struts2 在拦截器中向Action传参

    struts.xml配置文件: <package name="system-default" extends="struts-default" abstr ...

  5. 金立 M6 (GN8003) 解锁 BootLoader 进入第三方 recovery 刷机 ROOT

    首先下载好工具:http://url.cn/5EILbQn 备用连接 :http://pan.baidu.com/s/1c28j7k0 本篇教程教你如何傻瓜式解锁BootLoader并刷入recove ...

  6. Visual Studio UI Automation 学习(一)

    这几天需要研究自动化测试工具,因为团队开发使用visual studio,所以需要研究一下Visual studio自带的框架. 刚开始安装的时候,没有选自定义安装,所以安装完成后没有找到UI Aut ...

  7. webapi部署到IIS 404错误

    环境:win2008r2+IIS 解决方案: 添加一个映射 可执行文件地址(根据系统决定64位可32位): C:\Windows\Microsoft.NET\Framework64\v4.0.3031 ...

  8. 迭代器与index遍历

    迭代器用于链式组织的序列. index用于线性组织的序列.

  9. Python标准模块--logging(转载)

    转载地址:http://www.cnblogs.com/zhbzz2007/p/5943685.html#undefined Python标准模块--logging 1 logging模块简介 log ...

  10. webpack学习(三)

    前篇:webpack学习(二) jquery不需要在项目中自己下载,而是作为一个模块引入.jquery的存放路径是在 node_modules目录下.1.首先给项目安装jquery,npm insta ...