scan和keys的区别

redis的keys命令,通来在用来删除相关的key时使用,但这个命令有一个弊端,在redis拥有数百万及以上的keys的时候,会执行的比较慢,更为致命的是,这个命令会阻塞redis多路复用的io主线程,如果这个线程阻塞,在此执行之间其他的发送向redis服务端的命令,都会阻塞,从而引发一系列级联反应,导致瞬间响应卡顿,从而引发超时等问题,所以应该在生产环境禁止用使用keys和类似的命令smembers,这种时间复杂度为O(N),且会阻塞主线程的命令,是非常危险的。

keys命令的原理就是扫描整个redis里面所有的db的key数据,然后根据我们的通配的字符串进行模糊查找出来。官网详细的介绍如下。

https://redis.io/commands/KEYS

取而代之的,如果需要查找然后删除key的需求,那么在生产环境我们应该使用scan命令,代替keys命令,同样是O(N)复杂度的scan命令,支持通配查找,scan命令或者其他的scan如SSCAN ,HSCAN,ZSCAN命令,可以不用阻塞主线程,并支持游标按批次迭代返回数据,所以是比较理想的选择。keys相比scan命令优点是,keys是一次返回,而scan是需要迭代多次返回。

https://redis.io/commands/scan

但scan命令的也有缺点,返回的数据有可能重复,需要我们在业务层按需要去重,scan命令的游标从0开始,也从0结束,每次返回的数据,都会返回下一次游标应该传的值,我们根据这个值,再去进行下一次的访问,如果返回的数据为空,并不代表没有数据了,只有游标返回的值是0的情况下代表结束。

redis命令例子如下:

scan 0 match my*key count 10000

在Java项目里面,使用jedis执行scan命令的模板例子如下:

               Jedis jedis = getJedis();               //存储返回的结果                Set<String> result=new HashSet<String>();                //设置查询的参数                ScanParams scanParams=new ScanParams().count(scanLimitSize).match(pattern);                //游标的开始                String cur=ScanParams.SCAN_POINTER_START;                do{                   //遍历每一批数据                    ScanResult<String> scan=jedis.scan(cur, scanParams);                    //得到结果返回                    List<String> scanResult =scan.getResult();                    result.addAll(scanResult);                    //获取新的游标                    cur=scan.getStringCursor();                //判断游标迭代是否结束                    }while (!cur.equals(ScanParams.SCAN_POINTER_START));                //返回结果                return result;

java中使用redisTemplate实现

  • 方法一:通过 scan 先获取以“message:xxx:yyy:id: ”为 Key 前缀的所有完整的 Key,再通过获取到的 Key 拿所有的 Value
/**
* 通过 key 获取 value
* <p>
* pattern:message:xxx:yyy:id:
* limit:每次限制筛选的数量,不建议 Integer.MAX_VALUE
*/
public List<String> assembleScanValues(String pattern, Long limit) {
List<String> values = assembleScanKeys(pattern, limit);
return redisTemplate.opsForValue().multiGet(values).stream().filter(StringUtils::isNotBlank).collect(toList());
} /**
* 组装 scan 的结果集
*/
public List<String> assembleScanKeys(String pattern, Long limit) {
HashSet<String> set = new HashSet<>();
Cursor<String> cursor = scan(redisTemplate, pattern, limit);
while (cursor.hasNext()) {
set.add(cursor.next());
}
try {
cursor.close();
} catch (Exception e) {
log.error("关闭 redis connection 失败");
}
return set.stream().map(String::valueOf).collect(toList());
}
/**
* 自定义 redis scan 操作
*/
private Cursor<String> scan(RedisTemplate redisTemplate, String pattern, Long limit) {
ScanOptions options = ScanOptions.scanOptions().match(pattern).count(limit).build();
RedisSerializer<String> redisSerializer = (RedisSerializer<String>) redisTemplate.getKeySerializer();
return (Cursor) redisTemplate.executeWithStickyConnection(new RedisCallback() {
@Override
public Object doInRedis(RedisConnection redisConnection)
throws org.springframework.dao.DataAccessException {
return new ConvertingCursor<>(redisConnection.scan(options), redisSerializer::deserialize);
}
});
  • 方法二:通过 scan 获取到 Key 的同时,去获取对应的 Value
/**
* 组装分布式缓存中的 value 值
* <p>
* pattern:message:xxx:yyy:id:
* limit:每次限制筛选的数量,不建议 Integer.MAX_VALUE
*/
public List<String> assembleScanValues(String pattern, Long limit) {
Set<String> valueSet = scan(redisTemplate, pattern, limit);
return valueSet.stream().map(String::valueOf).collect(toList());
} /**
* 组装 scan 的结果集
*/
private Set<String> scan(RedisTemplate redisTemplate, String pattern, Long limit) {
return (Set<String>) redisTemplate.execute(new RedisCallback<Set<String>>() {
@Override
public Set<String> doInRedis(RedisConnection connection) throws DataAccessException {
Set<String> valueSet = new HashSet<>();
try (Cursor<byte[]> cursor = connection.scan(new ScanOptions.ScanOptionsBuilder()
.match(pattern).count(limit).build())) {
while (cursor.hasNext()) {
byte[] bytes = connection.get(cursor.next());
String value = String.valueOf(redisTemplate.getValueSerializer().deserialize(bytes));
valueSet.add(value);
}
} catch (IOException e) {
log.error(String.format("get cursor close {%s}", e));
}
return valueSet;
}
});
}

参考及汇总自:https://qimok.cn/856.html https://cloud.tencent.com/developer/article/1440487

redis中scan和keys的区别的更多相关文章

  1. SQL Server中SCAN 和SEEK的区别

    SQL Server中SCAN 和SEEK的区别 SQL SERVER使用扫描(scan)和查找(seek)这两种算法从数据表和索引中读取数据.这两种算法构成了查询的基础,几乎无处不在.Scan会扫描 ...

  2. redis 用scan 代替keys,hgetAll

    转载自:https://blog.csdn.net/w05980598/article/details/80264568 众所周知,当redis中key数量越大,keys 命令执行越慢,而且最重要的会 ...

  3. python redis中blpop和lpop的区别

    python redis 中blpop返回的是元组对象,因此返回的时候注意 lpop返回的是对象

  4. Redis中connect和pconnect的区别

    首先先介绍下connect和pconnect的区别.connect:脚本结束之后连接就释放了. pconnect:脚本结束之后连接不释放,连接保持在php-fpm进程中.所以使用pconnect代替c ...

  5. Python Redis中Scan遇到问题

    在项目启动中需要删除redis原先相同key储存的值,所以使用scan_iter来便利相关的key,并删除. 这里需要注意两个性能问题 1. scan_iter的模糊匹配的过滤器要正确,否则会带来很多 ...

  6. Redis中RDB和AOF持久化区别和联系

    RDB和AOF持久化   ​RDB持久化 RDB是什么? 原理是redis会单独创建(fork) 一个与当前进程一模一 样的子进程来进行持久化,这个子进程的所有数据(变量.环境变量,程序程序计数器等) ...

  7. 用redis的scan命令代替keys命令,以及在spring-data-redis中遇到的问题

    摘要 本文主要是介绍使用redis scan命令遇到的一些问题总结,scan命令本身没有什么问题,主要是spring-data-redis的问题. 需求 需要遍历redis中key,找到符合某些pat ...

  8. 在RedisTemplate中使用scan代替keys指令

    keys * 这个命令千万别在生产环境乱用.特别是数据庞大的情况下.因为Keys会引发Redis锁,并且增加Redis的CPU占用.很多公司的运维都是禁止了这个命令的 当需要扫描key,匹配出自己需要 ...

  9. Redis中的Scan命令踩坑记

    1 原本以为自己对redis命令还蛮熟悉的,各种数据模型各种基于redis的骚操作.但是最近在使用redis的scan的命令式却踩了一个坑,顿时发觉自己原来对redis的游标理解的很有限.所以记录下这 ...

随机推荐

  1. html2canvas 返回的toDataURL()数据为 data:,的解决方法

    1.使用的场景是把html转换成PDF保存下来,代码: /* eslint-disable */ import html2canvas from 'html2canvas'; import JsPDF ...

  2. CS5216PIN TO PIN替换PS8402A方案|PS8402A电路设计原理图|CS5216芯片

    PS8402A是HDMI 电平移位器/中继器专为2型双模Display Port(DP++)电缆适配器应用而设计.它设计用于Display Port到DVI或Display Port到HDMI的2型适 ...

  3. Java面向对象笔记 • 【第2章 面向对象进阶】

    全部章节   >>>> 本章目录 2.1 成员变量 2.1.1 成员变量与局部变量的区别 2.1.2 成员变量的使用 2.1.3 实践练习 2.2 this关键字 2.2.1 ...

  4. css基础-1

    css简介 一.CSS 指层叠样式表 样式定义如何显示 HTML 元素 样式通常存储在样式表中 把样式添加到 HTML 4.0 中,是为了解决内容与表现分离的问题 外部样式表可以极大提高工作效率 外部 ...

  5. centos6.5-svn搭建文档

    下载相关软件 wget http://subversion.tigris.org/downloads/subversion-1.6.6.tar.gz wget http://subversion.ti ...

  6. CSS基础 装饰 元素本身隐藏和显示效果及案例

    1.visibility:hidden; 2.display: none: 区别: 1.visibility:hidden 隐藏元素本身,且在网页中 占位置 2.display:none; 隐藏元素本 ...

  7. Jenkins_创建任务以及定时启动(2)

    一.创建任务 1.点击New Item 2.输入用户,单击Freestyle project,点击OK 3.填写构建步骤,因为是安装在linux上的,所以我们选择Execute shell,随意输入一 ...

  8. centos 内存使用情况+负载使用情况

    内存使用情况,查看内存 free -h #查看内存 available:  可用内存 buff/cache:   缓存内存 free:   空闲内存 used: 已使用内存 负载使用情况 cat /p ...

  9. Nginx日志通过Flume导入到HDFS中

    关注公众号:分享电脑学习回复"百度云盘" 可以免费获取所有学习文档的代码(不定期更新) flume上传到hdfs: 当我们的数据量比较大时,比如每天的日志文件达到5G以上 使用ha ...

  10. layui父表单获取子表单的值完成修改操作

    最近在做项目时,学着用layui开发后台管理系统. 但在做编辑表单时遇到了一个坑. 点击编辑时会出现一个弹窗. 我们需要从父表单传值给子表单.content是传值给子表单 layer.open({ t ...