1、设置mapping

PUT /t_order
{
"settings": {
"number_of_shards": 1,
"number_of_replicas": 1
},
"mappings" : {
"properties" : {
"cancel_reason" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"cancel_time" : {
"type" : "date"
},
"create_time" : {
"type" : "date"
},
"create_user" : {
"type" : "long"
},
"delivery_type" : {
"type" : "byte"
},
"discount_amount" : {
"type" : "integer"
},
"expired_time" : {
"type" : "date"
},
"id" : {
"type" : "long"
},
"is_deleted" : {
"type" : "byte"
},
"is_pay" : {
"type" : "byte"
},
"is_postsale" : {
"type" : "byte"
},
"order_amount" : {
"type" : "integer"
},
"order_code" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"order_remark" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"order_status" : {
"type" : "byte"
},
"pay_amount" : {
"type" : "integer"
},
"pay_time" : {
"type" : "date"
},
"pay_type" : {
"type" : "byte"
},
"postage" : {
"type" : "integer"
},
"product_amount" : {
"type" : "integer"
},
"serial_code" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"shop_id" : {
"type" : "long"
},
"update_time" : {
"type" : "date"
},
"update_user" : {
"type" : "long"
},
"user_id" : {
"type" : "long"
}
}
} POST /t_order/_search
{
"query": {
"match_all": {}
}
}

2、添加测试数据

POST /t_order/_bulk

{
"id": 202208780570360889300,
"order_code": "20222379790329301675",
"order_amount": 1,
"pay_amount": 1,
"discount_amount": 0,
"product_amount": 1,
"order_status": 0,
"is_deleted": 0,
"user_id": 202208761977967681500,
"shop_id": 117979,
"expired_time": 1648558094000,
"postage": 0,
"cancel_time": 1648556595000,
"cancel_reason": "订单逾期未支付系统自动取消订单",
"order_remark": "",
"delivery_type": 2,
"pay_time": null,
"pay_type": 1,
"is_pay": 0,
"is_postsale": 0,
"create_time": 1648556294000,
"create_user": 1508761977967681500,
"update_time": 1648556595000,
"update_user": 999999
}

3、演示(show me the code):

### from + size [深度翻页不推荐使用 From + size]
#from + size 两个参数定义了结果页面显示数据的内容。
#from:未指定,默认值是 0,注意不是1,代表当前页返回数据的起始值。
#size:未指定,默认值是 10,代表当前页返回数据的条数。

POST /ds-trade_t_order/_search
{
"from": 0,
"size": 20,
"query": {
"match_all": {}
}
}

### searchAfter [官方文档强调:不再建议使用scroll API进行深度分页。如果要分页检索超过 Top 10,000+ 结果时,推荐使用:PIT + search_after。]
#part1:创建 PIT 视图,这是前置条件不能省。
POST /ds-trade_t_order/_pit?keep_alive=5m

#part2:创建基础查询语句,这里要设置翻页的条件。

POST /_search
{
"size": 20,
"track_total_hits": true,
"query": {
"match_all": {}
},
"pit": {
"id": "l9G1AwEQZHMtdHJhZGVfdF9vcmRlchY2M3VFTm9uZ1RrT1ltbWx5RDZvQllnABZaeDFQbHhSMVJGNktBZm5kakxqYTZBAAAAAAAAIhFCFml1Uy1Kb21pU2Zxdlc4OHhfWE1aSkEAARY2M3VFTm9uZ1RrT1ltbWx5RDZvQllnAAA="
},
"sort": [
{
"create_time": {
"order": "desc"
}
}
]
}

#part3:实现后续翻页:后续翻页都需要借助 search_after 指定前一页的最后一个文档的 sort 字段值。

POST /_search
{
"size": 20,
"track_total_hits": true,
"query": {
"match_all": {}
},
"pit": {
"id": "l9G1AwEQZHMtdHJhZGVfdF9vcmRlchY2M3VFTm9uZ1RrT1ltbWx5RDZvQllnABZaeDFQbHhSMVJGNktBZm5kakxqYTZBAAAAAAAAIhFCFml1Uy1Kb21pU2Zxdlc4OHhfWE1aSkEAARY2M3VFTm9uZ1RrT1ltbWx5RDZvQllnAAA="
},
"sort": [
{
"create_time": {
"order": "desc"
}
}
],
"search_after": [
1648557674000,
7
]
}

###scroll [全量或数据量很大时遍历结果数据,而非分页查询。]
#part1:指定检索语句同时设置 scroll 上下文保留时间

POST /t_order/_search?scroll=3m
{
"size": 20,
"query": {
"match_all": {}
}
, "sort": [
{
"create_time": {
"order": "desc"
}
}
]
}

#part2:指定检索语句同时设置 scroll 上下文保留时间

POST /_search/scroll
{
"scroll":"3m",
"scroll_id":"FGluY2x1ZGVfY29udGV4dF91dWlkDXF1ZXJ5QW5kRmV0Y2gBFml1Uy1Kb21pU2Zxdlc4OHhfWE1aSkEAAAAAACIXbhZaeDFQbHhSMVJGNktBZm5kakxqYTZB"
}

 总结:

From+ size:需要随机跳转不同分页(类似主流搜索引擎)、Top 10000 条数据之内分页显示场景。

search_after:仅需要向后翻页的场景及超过Top 10000 数据需要分页场景。

Scroll:需要遍历全量数据场景 。而非翻页的场景(翻页场景scrol id 最多打开500个)。

max_result_window:调大治标不治本,不建议调过大。

PIT:本质是视图。

另外:根据实际经验得出一些参考意见:
1、search_after pit 不适用于商品列表分页查询(类似京猫这种商品列表),因为用户从商品列表进入商品详情,长时间停留在详情页查看后,返回商品列表继续翻页,此时
keep_alive 已经过期,出现无法翻页的错误。
2、Scroll 也会有上述问题。同时scroll也会有连接过多的问题,不适用于分页场景。

To prevent against issues caused by having too many scrolls open, the user is not allowed to open scrolls past a certain limit. By default,
the maximum number of open scrolls is 500. This limit can be updated with the search.max_open_scroll_context cluster setting.

参考资料————————————————

版权声明:本文为CSDN博主「铭毅天下」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/laoyang360/article/details/116472697

ElasticSearch分页查询的实现的更多相关文章

  1. elasticsearch 分页查询实现方案——Top K+归并排序

    elasticsearch 分页查询实现方案 1. from+size 实现分页 from表示从第几行开始,size表示查询多少条文档.from默认为0,size默认为10,注意:size的大小不能超 ...

  2. Elasticsearch——分页查询From&Size VS scroll

    Elasticsearch中数据都存储在分片中,当执行搜索时每个分片独立搜索后,数据再经过整合返回.那么,如果要实现分页查询该怎么办呢? 更多内容参考Elasticsearch资料汇总 按照一般的查询 ...

  3. ElasticSearch—分页查询

    ElasticSearch查询—分页查询详解 Elasticsearch中数据都存储在分片中,当执行搜索时每个分片独立搜索后,数据再经过整合返回.那么,如何实现分页查询呢? 按照一般的查询流程来说,如 ...

  4. elasticsearch 分页查询实现方案

    1. from+size 实现分页 from表示从第几行开始,size表示查询多少条文档.from默认为0,size默认为10, 注意:size的大小不能超过index.max_result_wind ...

  5. ElasticSearch——分页查询

    前言 ElasticSearch实现分页查询,有3种方式,他们在数据查询中各自占据着不同的优势,因此在搜索引擎的数据分页过程中,如何更好地利用各自的优势来进行数据查询是一个非常重要的过程. 传统分页( ...

  6. Elasticsearch 分页查询

    目录 前言 from + size search after scroll api 总结 参考资料 前言 我们在实际工作中,有很多分页的需求,商品分页.订单分页等,在MySQL中我们可以使用limit ...

  7. Elasticsearch分页查询

    global index global CLIENT index = "guajibao-ipused-2019.10.13" CLIENT = Elasticsearch(hos ...

  8. Elasticsearch教程(九) elasticsearch 查询数据 | 分页查询

    Elasticsearch  的查询很灵活,并且有Filter,有分组功能,还有ScriptFilter等等,所以很强大.下面上代码: 一个简单的查询,返回一个List<对象> ..    ...

  9. elasticsearch查询之大数据集分页查询

    一. 要解决的问题 search命中的记录特别多,使用from+size分页,直接触发了elasticsearch的max_result_window的最大值: { "error" ...

  10. Elasticsearch from/size-浅分页查询-深分页 scroll-深分页search_after深度查询区别使用及应用场景

    Elasticsearch调研深度查询 1.from/size 浅分页查询 一般的分页需求我们可以使用from和size的方式实现,但是这种的分页方式在深分页的场景下应该是避免使用的.深分页的页次增加 ...

随机推荐

  1. NC14522 珂朵莉的数列

    题目链接 题目 题目描述 珂朵莉给了你一个序列,有 \(\frac{n\times(n+1)}2\) 个子区间,求出她们各自的逆序对个数,然后加起来输出 输入描述 第一行一个数 n 表示这个序列 a ...

  2. 【OpenGL ES】渲染管线

    1 前言 ​ 渲染管线是指图形渲染流程,涉及到的概念非常多,主要包含图元.片段.光栅化.空间.变换.裁剪.着色器.片段测试.混合等.渲染管线主体流程如下: ​ 为方便读者理解渲染管线,本文将先介绍顶点 ...

  3. Swoole从入门到入土(26)——多进程[进程间锁]

    多进程在Swoole中是一个很重要的话题,即是协程机制也是依赖于进程.所以Swoole\Lock让大家在PHP 代码中可以很方便地创建一个锁,用来实现数据同步.Lock 类支持以下 5 种锁的类型: ...

  4. Spring Boot学生信息管理系统项目实战-4.学生管理

    1.获取源码 源码是捐赠方式获取,详细请QQ联系我 :) 2.实现效果 2.1 导出导入模板 2.2 导入学生数据 3.项目源码 只挑重点讲,详细请看源码. 学生管理包含了学生信息的增删改查,这里我只 ...

  5. java: -source 1.5 中不支持 diamond 运算符

    1.问题说明 平常在用idea编译spring boot多模块项目时,老是无端提示: Error:(107, 55) java: -source 1.5 中不支持 diamond 运算符 (请使用 - ...

  6. Spring Boot图书管理系统项目实战-8.续借图书

    导航: pre:  7.借阅图书 next:9.归还图书 只挑重点的讲,具体的请看项目源码. 1.项目源码 需要源码的朋友,请捐赠任意金额后留下邮箱发送:) 2.页面设计 2.1 bookReBorr ...

  7. 全栈式测试平台RunnerGo核心功能模块-接口管理

    ​全栈式测试平台RunnerGo相对于市面上其他性能测试产品来说更简单,它不用其他相关配件,天然支持分布式,有单独的机器做分布式的负载均衡,自有一套智能算法算压力机的配置从而平均分配,并从场景链路的流 ...

  8. New Questions

    1. C++/Qt 实现一个信号槽 #include <functional> #include <iostream> #include <vector> clas ...

  9. 程序员应具备的PS基本技能(二):程序员切图最常使用的工具组-选择工具组

    若该文为原创文章,未经允许不得转载原博主博客地址:https://blog.csdn.net/qq21497936原博主博客导航:https://blog.csdn.net/qq21497936/ar ...

  10. day07---系统命令

    课程知识概述--系统命令 seq cat less more head tail grep tr alias 复习 1.echo -e 激活特殊的意义 \n 表示回车 \t tab键 [root@ol ...