elasticsearch查询之大数据集分页性能测试

一、测试环境

python 3.7

elasticsearch 6.8

elasticsearch-dsl 7

安装elasticsearch-dsl

pip install elasticsearch-dsl

测试elasticsearch连通性

from elasticsearch import Elasticsearch

from elasticsearch_dsl import Search

client = Elasticsearch(hosts=['http://127.0.0.1:9200'])

s = Search(using=client, index="my_store_index") .query("match_phrase_prefix", name="us")

s = s.source(['id'])

s = s.params(http_auth=["test", "test"])

response = s.execute()

for hit in response:

    print(hit.meta.score, hit.name)

11.642133 945d0426-033e-4a8a-86db-b776c6c9a082

11.642133 3c1aead4-aa6f-4256-a126-f29f84c9ac89

11.642133 77782add-ab58-4eb6-85af-bcbe79be9623

11.642133 75a02b9a-be31-4a78-a3d9-9af72f98cbf9

11.642133 d5aacf16-61fc-4f0c-b05d-3d57c8ab6236

11.642133 30912e1d-4662-4f24-bd5b-5a997e44c290

11.642133 95c28501-66a6-4786-917b-0f1e38707648

11.642133 605f4e11-08c8-4d60-b803-7925cf325cea

11.642133 5dd93a29-e75c-44e3-9f26-bd90e588bc1d

11.642133 84e97af5-4e99-466f-bd82-10cd2b79aa18

二、from + size一次性返回大量数据性能测试

通过以下code，直接使用from + size返回100000记录，耗时17279ms；

from elasticsearch import Elasticsearch

from elasticsearch_dsl import Search, Q

def from_size_query(client):

    s = Search(using=client, index="my_store_index")

    s = s.params(http_auth=["test", "test"], request_timeout=50);

    q = Q('bool',

        must_not=[Q('match_phrase_prefix', name='us')]

    )

    s = s.query(q)

    s = s.source(['id'])

    s = s[0:100000]

    response = s.execute()

    print(f'hit total {response.hits.total}')

    print(f'request time {response.took}ms')

client = Elasticsearch(hosts=['http://127.0.0.1:9200'])

from_size_query(client)

hit total 485070

request time 17279ms

三、使用search after分页返回大量数据性能测试

通过以下code，使用search_after分多次共返回100000记录；从执行结果可以看到当每页获取记录达到5000时，执行的时间基本变化不大；考虑到size增大对cpu和内存的影响，在测试数据情况下，size设置为3000或者4000比较合适；

def search_after_query(client, result):

    s = Search(using=client, index="my_store_index")

    s = s.params(http_auth=["test", "test"], request_timeout=50);

    q = Q('bool',

          must_not=[Q('match_phrase_prefix', name='us')]

          )

    s = s.query(q)

    if result['after_value']:

        s = s.extra(search_after= [result['after_value']])

    s = s.source(['id'])

    s = s[:result['size']]

    s = s.sort('id')

    response = s.execute()

    fetch = len(response.hits)

    result['total'] += response.took

    result['times'] -= 1

    while fetch == result['size'] and  result['times'] > 0:

        sort_val = response.hits.hits[-1].sort[-1]

        s = s.extra(search_after=[sort_val])

        response = s.execute()

        fetch = len(response.hits)

        result['total'] += response.took

        result['times'] -= 1

client = Elasticsearch(hosts=['http://127.0.0.1:9200'])

times = 100

result = {"total": 0, "times":times, "size": 1000, "after_value":None}

search_after_query(client, result)

print(f'size {result["size"]}  request  {times} times total {result["total"]}ms ')

times = 50

result = {"total": 0, "times":times, "size": 2000, "after_value":None}

search_after_query(client, result)

print(f'size {result["size"]}  request  {times} times total {result["total"]}ms ')

times = 25

result = {"total": 0, "times":times, "size": 4000, "after_value":None}

search_after_query(client, result)

print(f'size {result["size"]}  request  {times} times total {result["total"]}ms ')

times = 20

result = {"total": 0, "times":times, "size": 5000, "after_value":None}

search_after_query(client, result)

print(f'size {result["size"]}  request  {times} times total {result["total"]}ms ')

times = 10

result = {"total": 0, "times":times, "size": 10000, "after_value":None}

search_after_query(client, result)

print(f'size {result["size"]}  request  {times} times total {result["total"]}ms ')

times = 5

result = {"total": 0, "times":times, "size": 20000, "after_value":None}

search_after_query(client, result)

print(f'size {result["size"]}  request  {times} times total {result["total"]}ms ')

times = 2

result = {"total": 0, "times":times, "size": 50000, "after_value":None}

search_after_query(client, result)

print(f'size {result["size"]}  request  {times} times total {result["total"]}ms ')

size 1000  request  100 times total 14111ms

size 2000  request  50 times total 11987ms

size 4000  request  25 times total 11167ms

size 5000  request  20 times total 10589ms

size 10000  request  10 times total 9930ms

size 20000  request  5 times total 9978ms

size 50000  request  2 times total 9946ms

四、使用scroll分页返回大量数据性能测试

通过以下code，使用search_after分多次共取回100000记录；从执行结果通过不同的size获取数据，执行的时间变化不大，所以elasticsearch官方也不建议使用scroll；

def search_scroll_query(client, result):

    s = Search(using=client, index="my_store_index")

    s = s.params( request_timeout=50, scroll='1m');

    q = Q('bool',

          must_not=[Q('match_phrase_prefix', name='us')]

          )

    s = s.query(q)

    s = s.source(['id'])

    s = s[:result['size']]

    response = s.execute()

    fetch = len(response.hits)

    result['total'] += response.took

    result['times'] -= 1

    scroll_id = response._scroll_id

    while fetch == result['size']  and  result['times'] > 0:

        response = client.scroll(scroll_id=scroll_id, scroll='1m', request_timeout=50)

        scroll_id = response['_scroll_id']

        fetch = len(response['hits']['hits'])

        result['total'] += response['took']

        result['times'] -= 1

client = Elasticsearch(hosts=['http://127.0.0.1:9200'], http_auth=["test", "test"])

times = 100

result = {"total": 0, "times":times, "size": 1000}

search_scroll_query(client, result)

print(f'size {result["size"]}  request  {times} times total {result["total"]}ms ')

times = 50

result = {"total": 0, "times":times, "size": 2000}

search_scroll_query(client, result)

print(f'size {result["size"]}  request  {times} times total {result["total"]}ms ')

times = 25

result = {"total": 0, "times":times, "size": 4000}

search_scroll_query(client, result)

print(f'size {result["size"]}  request  {times} times total {result["total"]}ms ')

times = 20

result = {"total": 0, "times":times, "size": 5000}

search_scroll_query(client, result)

print(f'size {result["size"]}  request  {times} times total {result["total"]}ms ')

times = 10

result = {"total": 0, "times":times, "size": 10000}

search_scroll_query(client, result)

print(f'size {result["size"]}  request  {times} times total {result["total"]}ms ')

times = 5

result = {"total": 0, "times":times, "size": 20000}

search_scroll_query(client, result)

print(f'size {result["size"]}  request  {times} times total {result["total"]}ms ')

times = 2

result = {"total": 0, "times":times, "size": 50000}

search_scroll_query(client, result)

print(f'size {result["size"]}  request  {times} times total {result["total"]}ms ')

size 1000  request  100 times total 16573ms

size 2000  request  50 times total 17678ms

size 4000  request  25 times total 16719ms

size 5000  request  20 times total 16031ms

size 10000  request  10 times total 16008ms

size 20000  request  5 times total 16074ms

size 50000  request  2 times total 14390ms

elasticsearch查询之大数据集分页性能测试的更多相关文章

elasticsearch查询之大数据集分页查询
一. 要解决的问题 search命中的记录特别多,使用from+size分页,直接触发了elasticsearch的max_result_window的最大值: { "error" ...
python连接 elasticsearch 查询数据，支持分页
使用python连接es并执行最基本的查询 from elasticsearch import Elasticsearch es = Elasticsearch(["localhost:92 ...
[NewLife.XCode]高级查询（化繁为简、分页提升性能）
NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netcore,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode. 整个系列教程会大量结合示例代码和 ...
大数据学习[16]--使用scroll实现Elasticsearch数据遍历和深度分页[转]
题目:使用scroll实现Elasticsearch数据遍历和深度分页作者:星爷出处: http://lxWei.github.io/posts/%E4%BD%BF%E7%94%A8scroll% ...
elasticsearch查询之三种fetch id方式性能测试
一.使用场景介绍 elasticsearch除了普通的全文检索之外,在很多的业务场景中都有使用,各个业务模块根据自己业务特色设置查询条件,通过elasticsearch执行并返回所有命中的记录的id: ...
EF查询百万级数据的性能测试--多表连接复杂查询
相关文章:EF查询百万级数据的性能测试--单表查询一.起因上次做的是EF百万级数据的单表查询,总结了一下,在200w以下的数据量的情况(Sql Server 2012),EF是可以使用,但是由于 ...
ElasticSearch查询第一篇：搜索API
<ElasticSearch查询>目录导航: ElasticSearch查询第一篇:搜索API ElasticSearch查询第二篇:文档更新 ElasticSearch查询第三篇: ...
Elasticsearch入门教程(五)：Elasticsearch查询(一)
原文:Elasticsearch入门教程(五):Elasticsearch查询(一) 版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:h ...
报表性能优化方案之单数据集分页SQL实现层式报表
1.概述我们知道,行式引擎按页取数只适用于Oracle,mysql,hsql和sqlserver2008及以上数据库,其他数据库,如access,sqlserver2005,sqlite等必须编写分 ...

随机推荐

python学习第二天：命令行模式和python交互模式
命令行模式安装完python开发环境和工具之后,在Windows开始菜单选择"命令提示符",就会进入到命令行模式: 或者都可以,然后点击enter键,弹出下图中的窗口,即命令行 ...
小程序中使用、H5、uniapp下使用阿里巴巴iconfront图标或者新增图标
第一步:登录iconfont的账号,创建项目. 第二步:选择自己需要的图标,并添加入库(就是那个购物车的图标). 第三步:将选好的图片添加到项目.(点击上图中右上角的购物车图标). 第四步:下载资源到 ...
Tcpdump抓包命令使用
tcpdump命令需要使用root执行 1. 查看网卡命令 ifconfig 2. 监视编址到指定端口的TCP或UDP数据包,那么执行以下命令: tcpdump -i eth0 host 10.43. ...
exit hook
之前经常改 malloc_hook , realloc_hook,free_hook 为 one_gadget 来 get shell ,最近看到一种利用是改 exit hook(winmt师傅告诉我 ...
oceanbase数据库比赛总结
前言 ob数据库大赛由蚂蚁金服的oceanbase团队组织,今年是第一届,宣传很广,比赛十月份开始,但早在上半年就看见大量的宣传了,比赛也是相当的卷.我们进了复赛之后感觉要卷进决赛需要付出的时间精力都 ...
Swoole 中协程的使用注意事项及协程中的异常捕获
协程使用注意事项协程内部禁止使用全局变量,以免发生数据错乱: 协程使用 use 关键字引入外部变量到当前作用域禁止使用引用,以免发生数据错乱: 不能使用类静态变量 Class::$array / 全 ...
UI自动化，通过Xpath结合父类、同级元素，查找到唯一的元素定位
UI自动化,通过Xpath定位的总结当页面展示的内容的html布局格式一样,只能第几个控件的绝对定位来区分时,如果后面有变更控件的顺序,就会导致找不到这个元素,维护成本较高,可以尝试用其他的方式,比 ...
python appium使用uiselector定位时，提示 Could not parse UiSelector argument: 'XXX' is not a string
运行自动化代码,appium返回Could not parse UiSelector argument: 'XXX' is not a string,其中的xxx就是定位的元素解决方案:外侧用 '' ...
初识python：集合
集合是一个无序的,不重复的数据组合.主要作用如下:1.去重,把一个列表变成集合,会自动去重:2.关系测试,测试两组数据之前的交集.差集.并集等关系 #!/user/bin env python # a ...
Flask_蓝图Blueprint（十四）
什么是蓝图? 蓝图:用于实现单个应用的视图.模板.静态文件的集合. 蓝图就是模块化处理的类. 简单来说,蓝图就是一个存储操作路由映射方法的容器,主要用来实现客户端请求和URL相互关联的功能. 在Fla ...

elasticsearch查询之大数据集分页性能测试

elasticsearch查询之大数据集分页性能测试的更多相关文章

随机推荐

热门专题