Elasticsearch中关于transform的一个问题?
背景:现在有一个业务,派件业务,业务员今天去派件(扫描产生一条派件记录),派件可能会有重复派件的情况,第二天再派送(记录被更新,以最新的派件操作为准)。现在需要分业务员按天统计每天的派件数量。
es版本:7.15.1
1、创建索引:
PUT t_test_001
{
"settings": {
"number_of_shards": 1,
"number_of_replicas": 1
},
"mappings": {
"properties": {
"city_id": {
"type": "long"
},
"city_name": {
"type": "keyword"
},
"create_time": {
"type": "date"
},
"push_date": {
"type": "date"
},
"update_time": {
"type": "date"
}
}
}
}
2、插入测试数据
POST /t_test_001/_bulk
{ "index": {}}
{ "order_no" : 1,"employee":"张三", "create_time" : "2021-12-06T08:00:00.000Z", "push_date" : "2021-12-06T08:00:00.000Z", "update_time" : "2021-12-06T08:00:00.000Z"}
{ "index": {}}
{ "order_no" : 2,"employee":"张三", "create_time" : "2021-12-06T08:00:00.000Z", "push_date" : "2021-12-06T08:00:00.000Z", "update_time" : "2021-12-06T08:00:00.000Z"}
{ "index": {}}
{ "order_no" : 3,"employee":"张三", "create_time" : "2021-12-07T00:00:00.000Z", "push_date" : "2021-12-07T00:00:00.000Z", "update_time" : "2021-12-07T00:00:00.000Z"}
{ "index": {}}
{ "order_no" : 4,"employee":"张三", "create_time" : "2021-12-07T00:00:00.000Z", "push_date" : "2021-12-07T00:00:00.000Z", "update_time" : "2021-12-07T00:00:00.000Z"}
{ "index": {}}
{ "order_no" : 5,"employee":"王五", "create_time" : "2021-12-06T08:00:00.000Z", "push_date" : "2021-12-06T08:00:00.000Z", "update_time" : "2021-12-06T08:00:00.000Z"}
{ "index": {}}
{ "order_no" : 6,"employee":"王五", "create_time" : "2021-12-06T08:00:00.000Z", "push_date" : "2021-12-06T08:00:00.000Z", "update_time" : "2021-12-06T08:00:00.000Z"}
{ "index": {}}
{ "order_no" : 7,"employee":"王五", "create_time" : "2021-12-07T00:00:00.000Z", "push_date" : "2021-12-07T00:00:00.000Z", "update_time" : "2021-12-07T00:00:00.000Z"}
{ "index": {}}
{ "order_no" : 8,"employee":"王五", "create_time" : "2021-12-07T00:00:00.000Z", "push_date" : "2021-12-07T00:00:00.000Z", "update_time" : "2021-12-07T00:00:00.000Z"}
3、查询一下看看
GET /t_test_001/_search
{
"size": 10
}
结果:
{
"took" : 0,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 8,
"relation" : "eq"
},
"max_score" : 1.0,
"hits" : [
{
"_index" : "t_test_001",
"_type" : "_doc",
"_id" : "GLztkn0BDKE3xmcewwIG",
"_score" : 1.0,
"_source" : {
"order_no" : 1,
"employee" : "张三",
"create_time" : "2021-12-06T08:00:00.000Z",
"push_date" : "2021-12-06T08:00:00.000Z",
"update_time" : "2021-12-06T08:00:00.000Z"
}
},
{
"_index" : "t_test_001",
"_type" : "_doc",
"_id" : "Gbztkn0BDKE3xmcewwIG",
"_score" : 1.0,
"_source" : {
"order_no" : 2,
"employee" : "张三",
"create_time" : "2021-12-06T08:00:00.000Z",
"push_date" : "2021-12-06T08:00:00.000Z",
"update_time" : "2021-12-06T08:00:00.000Z"
}
},
{
"_index" : "t_test_001",
"_type" : "_doc",
"_id" : "Grztkn0BDKE3xmcewwIG",
"_score" : 1.0,
"_source" : {
"order_no" : 3,
"employee" : "张三",
"create_time" : "2021-12-07T00:00:00.000Z",
"push_date" : "2021-12-07T00:00:00.000Z",
"update_time" : "2021-12-07T00:00:00.000Z"
}
},
{
"_index" : "t_test_001",
"_type" : "_doc",
"_id" : "G7ztkn0BDKE3xmcewwIG",
"_score" : 1.0,
"_source" : {
"order_no" : 4,
"employee" : "张三",
"create_time" : "2021-12-07T00:00:00.000Z",
"push_date" : "2021-12-07T00:00:00.000Z",
"update_time" : "2021-12-07T00:00:00.000Z"
}
},
{
"_index" : "t_test_001",
"_type" : "_doc",
"_id" : "HLztkn0BDKE3xmcewwIG",
"_score" : 1.0,
"_source" : {
"order_no" : 5,
"employee" : "王五",
"create_time" : "2021-12-06T08:00:00.000Z",
"push_date" : "2021-12-06T08:00:00.000Z",
"update_time" : "2021-12-06T08:00:00.000Z"
}
},
{
"_index" : "t_test_001",
"_type" : "_doc",
"_id" : "Hbztkn0BDKE3xmcewwIG",
"_score" : 1.0,
"_source" : {
"order_no" : 6,
"employee" : "王五",
"create_time" : "2021-12-06T08:00:00.000Z",
"push_date" : "2021-12-06T08:00:00.000Z",
"update_time" : "2021-12-06T08:00:00.000Z"
}
},
{
"_index" : "t_test_001",
"_type" : "_doc",
"_id" : "Hrztkn0BDKE3xmcewwIG",
"_score" : 1.0,
"_source" : {
"order_no" : 7,
"employee" : "王五",
"create_time" : "2021-12-07T00:00:00.000Z",
"push_date" : "2021-12-07T00:00:00.000Z",
"update_time" : "2021-12-07T00:00:00.000Z"
}
},
{
"_index" : "t_test_001",
"_type" : "_doc",
"_id" : "H7ztkn0BDKE3xmcewwIG",
"_score" : 1.0,
"_source" : {
"order_no" : 8,
"employee" : "王五",
"create_time" : "2021-12-07T00:00:00.000Z",
"push_date" : "2021-12-07T00:00:00.000Z",
"update_time" : "2021-12-07T00:00:00.000Z"
}
}
]
}
}
4、创建一个transform,将数据按天、业务员 聚合
PUT _transform/t_test_transform
{
"id": "t_test_transform",
"source": {
"index": [
"t_test_001"
]
},
"dest": {
"index": "t_test_x"
},
"frequency": "60s",
"sync": {
"time": {
"field": "update_time",
"delay": "60s"
}
},
"pivot": {
"group_by": {
"employee": {
"terms": {
"field": "employee"
}
},
"push_date": {
"date_histogram": {
"field": "push_date",
"calendar_interval": "1d"
}
}
},
"aggregations": {
"sum_all": {
"value_count": {
"field": "_id"
}
}
}
}
}
5、开启transform
POST _transform/t_test_transform/_start
6、查看transform转换的索引结果
GET /t_test_x/_search
{}
结果:如图,张三2021-12-06和07号各派送两单:

7、12月7号,订单order_no = 1的单子再次被张三派送;数据被更新
POST /t_test_001/_update/GLztkn0BDKE3xmcewwIG
{
"doc": {
"push_date": "2021-12-07T03:27:12.000Z",
"update_time": "2021-12-07T03:27:12.000Z"
}
}
注意模拟操作数据的真实性,更新时间在上一个检查点之后!

8、预期transfrom转换的结果是:张三12-6号的派单统计数据由2减少为1;12-7号的派单数据从2增加到3。
9、查询transform转换的索引结果
GET /t_test_x/_search
{}
结果:张三12-6号的派单统计数据为2没有减少,不符合预期;12-7号的派单数据为3,符合预期。

10,再查询一下原始数据:
GET /t_test_001/_search
{}
11、再统计一下数据:
GET /t_test_001/_search
{
"size": 0,
"aggs": {
"employee": {
"terms": {
"field": "employee"
},
"aggs": {
"push_date": {
"date_histogram": {
"field": "push_date",
"calendar_interval": "1d"
}
}
}
}
}
}
结果很显然:张三 12-06号配送量为1,12-07号配送量为3!!!而transform统计的结果,此时就错了!!!这个怎么理解呢?是他es的transform不支持这种场景数据变化的聚合,还是说这是一个bug呢?我理解,可能是因为考虑到性能的原因,es的transform在这种场景下是有这种问题的。

若有错误之处,望大家指正。谢谢。
Elasticsearch中关于transform的一个问题?的更多相关文章
- ELASTICSEARCH 中暂时移除一个节点
ELASTICSEARCH 中暂时移除一个节点 版权声明 本站原创文章 由 萌叔 发表 转载请注明 萌叔 | http://vearne.cc 前言 在维护ES集群的过程中,我们会经常遇到将某个ES实 ...
- 使用Hive或Impala执行SQL语句,对存储在Elasticsearch中的数据操作(二)
CSSDesk body { background-color: #2574b0; } /*! zybuluo */ article,aside,details,figcaption,figure,f ...
- 在Elasticsearch中查询Term Vectors词条向量信息
这篇文章有点深度,可能需要一些Lucene或者全文检索的背景.由于我也很久没有看过Lucene了,有些地方理解的不对还请多多指正. 更多内容还请参考整理的ELK教程 关于Term Vectors 额, ...
- 使用Hive或Impala执行SQL语句,对存储在Elasticsearch中的数据操作
http://www.cnblogs.com/wgp13x/p/4934521.html 内容一样,样式好的版本. 使用Hive或Impala执行SQL语句,对存储在Elasticsearch中的数据 ...
- 一文带您了解 Elasticsearch 中,如何进行索引管理(图文教程)
欢迎关注笔者的公众号: 小哈学Java, 每日推送 Java 领域干货文章,关注即免费无套路附送 100G 海量学习.面试资源哟!! 个人网站: https://www.exception.site/ ...
- Elasticsearch中使用groovy脚本处理boolean字段的一个问题
Elasticsearch中使用groovy脚本获取文档的bool字段值时,得到的值是字符的 'T' 或者 'F' ,而不是bool值 true 和 false . 比如文档中有一个字段是 { &qu ...
- 如何在Elasticsearch中安装中文分词器(IK+pinyin)
如果直接使用Elasticsearch的朋友在处理中文内容的搜索时,肯定会遇到很尴尬的问题--中文词语被分成了一个一个的汉字,当用Kibana作图的时候,按照term来分组,结果一个汉字被分成了一组. ...
- elasticsearch中常用的API
elasticsearch中常用的API分类如下: 文档API: 提供对文档的增删改查操作 搜索API: 提供对文档进行某个字段的查询 索引API: 提供对索引进行操作,查看索引信息等 查看API: ...
- elasticsearch中的API
elasticsearch中的API es中的API按照大类分为下面几种: 文档API: 提供对文档的增删改查操作 搜索API: 提供对文档进行某个字段的查询 索引API: 提供对索引进行操作 查看A ...
随机推荐
- uvm_cookbook--DUT-Testbench Connections--Abstract-Concrete Class Connections
抽象和具体class的连接 An alternative to using a virtual interface handle for DUT to UVM testbench connection ...
- JS控制文本框禁止输入特殊字符
JS 控制不能输入特殊字符<input type="text" class="domain" onkeyup="this.value=this. ...
- hdu 1754 I Hate It(单点更新,区段查最值)
题意: N个成绩.M个操作. Q a b:查询第a个到第b个成绩中最高成绩 U a b:将第a个成绩改成b 思路: 看代码,, 代码: const int maxn = 200010; int max ...
- 通过silky框架在.net平台构建微服务应用
目录 必要前提 使用Web主机构建微服务应用 使用.NET通用主机构建微服务应用 构建具有websocket服务能力的微服务应用 构建Silky微服务网关 开源地址 在线文档 在线示例 必要前提 (必 ...
- DeWeb 与 Unigui的区别
DeWeb 与 Unigui 相同: 都是采用Delphi开发网页的平台 不同: 1 DeWeb不需要安装控件, 而Unigui需要安装自己的控件 2 DeWeb无需要学习HTML/CSS/JavaS ...
- Device /dev/sdb excluded by a filter
原因是添加的磁盘是在另一个虚拟机中新建的,已经有了分区表,现在的虚拟机并不能识别磁盘的分区表,运行parted命令重做分区表,中途需要输入三次命令(mklabel msdos -> yes-&g ...
- Jenkins MultiJob
前提:项目有十几个服务每次发版/更新服务需要一个个去编译 目的:希望能够建立一个任务一次构建可以批量编译很多服务,并且需要输入一个参数指定编译的分支 需要插件: MultiJob 安装插件 1.在Je ...
- idea关联数据库
时区错误解决方法
- vue修改启动的端口和host
打开vue项目(dev) dev/config/ 路径修改index.js文件 然后对host和pord修改指定的即可 host: 'localhost', // can be overwritten ...
- python -m参数
把模块当做脚本运行,标准库和第三方库都可以 会把当前路径添加到sys.path中