【代码分享】用redis+lua实现多个集合取交集并过滤,类似于: select key from set2 where key in (select key from set1) and value>=xxx
redis中的zset结构可以看成一个个包含数值的集合,或者认为是一个关系数据库中用列存储方式存储的一列。
需求
假设我有这样一个数据筛选需求,用SQL表示为:
select key
from set3
where value>${v3} and
key in (
select key
from set2
where value>${v2} and
key in (
$key1, $key2, $key3 ...
)
)
总结起来就是:
- 输入:
- key的列表:key1, key2, key3... 任意多个
- 每个集合及其需要筛选的下限: set2中值大于v2的key, set3中值大于v3的key...等等多个集合
- 计算过程:
- 取所有集合的交集,并在每个集合上用下限值进行过滤
- 输出:筛选后剩下的集合
redis lua代码
下面是实现这一目的的lua代码:
-- User: ahfuzhang
-- Date: 2020/5/22
-- Time: 16:20
--给定一个集合from_key
--与集合join_key取交集
--然后过滤掉小于need的数据
--然后作为一个全新的集合存入to_key
local function join_and_filter(from_key, join_key, need, to_key)
local temp_key = "__temp_join_and_filter"
redis.call("DEL", temp_key)
redis.call("ZINTERSTORE", temp_key, 2, from_key, join_key)
redis.call("ZREMRANGEBYSCORE", temp_key, "-inf", "("..need)
local values = redis.call("ZRANGEBYSCORE", temp_key, "-inf", "+inf", "WITHSCORES")
if (#values==0)
then
return false
end
for idx=1,#values,2 do
values[idx], values[idx+1] = 0, values[idx]
end
redis.call("DEL", to_key)
redis.call("ZADD", to_key, "NX", unpack(values))
return true
end
local function main()
local argc = tonumber(ARGV[1]) --代表输入列表的数量
local keys_list = {}
for i=2,argc+2,1 do
table.insert(keys_list, 0)
table.insert(keys_list, ARGV[i])
end
local temp_key_list = "__temp_key_list"
local temp_key = "__temp_middle_result"
redis.call("DEL", temp_key_list)
redis.call("ZADD", temp_key_list, "NX", unpack(keys_list))
--
local filter_count = tonumber(ARGV[argc+2]) --每个集合上的过滤条件的数量
local from_key = temp_key_list
for filter_idx=1, filter_count, 1 do
local ret = join_and_filter(from_key, KEYS[filter_idx], ARGV[filter_idx+argc+2], temp_key)
if (ret==false)
then
redis.call("DEL", temp_key)
return {1, "no data after key "..KEYS[filter_idx], {}}
end
from_key = temp_key
end
--
local values = redis.call("ZRANGEBYSCORE", temp_key, "-inf", "+inf")
redis.call("DEL", temp_key)
return {0, "success", values}
end
return main()
调用命令行
redis-cli -h 192.168.0.5 -p 6379 -a test123 \
--eval redis_script_join_and_filter.lua \
"set1" "set2" "set3" \ #这里是要逐个过滤的几个集合,其实就是redis里面zset结构的key
, \ # 这个逗号非常重要,曾经在这里采坑,这是一个分隔符,前面是KEYS,后面是ARGV。 注意,内容是: 空格 逗号 空格,不能和前后连起来
"4" "user1" "user2" "user3" "user4" \ #本行的第一个字段4代表了有四个输入的二级KEY,是最初要过滤的二级KEY
"3" "393" "20" "800" #本行的第一个字段3代表了有三个过滤值。这里的数量必须和前面KEYS的数量一致。分别对应了每个KEY下面的过滤最小值
P.S 如果要调试lua脚本,可以酱紫:
redis-cli -h 192.168.0.5 -p 6379 -a test123 --ldb --eval redis_script_join_and_filter.lua xxxx
have fun!
【代码分享】用redis+lua实现多个集合取交集并过滤,类似于: select key from set2 where key in (select key from set1) and value>=xxx的更多相关文章
- Session for Tornado(Redis) - 代码分享
Session for Tornado(Redis) - 代码分享 Session for Tornado(Redis) session id的生成借用了web.py. 使用了 redis 的 h ...
- Redis Lua脚本完全入门
1. 前言 Redis是高性能的KV内存数据库,除了做缓存中间件的基本作用外还有很多用途,比如胖哥以前分享的Redis GEO地理位置信息计算.Redis提供了丰富的命令来供我们使用以实现一些计算.R ...
- MVC常遇见的几个场景代码分享
本次主要分享几个场景的处理代码,有更好处理方式多多交流,相互促进进步:代码由来主要是这几天使用前端Ace框架做后台管理系统,这Ace是H5框架里面的控件效果挺多的,做兼容也很好,有点遗憾是控件效果基本 ...
- 国内外三个不同领域巨头分享的Redis实战经验及使用场景
Redis不是比较成熟的memcache或者Mysql的替代品,是对于大型互联网类应用在架构上很好的补充.现在有越来越多的应用也在纷纷基于Redis做架构的改造.首先简单公布一下Redis平台实际情况 ...
- (转)国内外三个不同领域巨头分享的Redis实战经验及使用场景
随着应用对高性能需求的增加,NoSQL逐渐在各大名企的系统架构中生根发芽.这里我们将为大家分享社交巨头新浪微博.传媒巨头Viacom及图片分享领域佼佼者Pinterest带来的Redis实践,首先我们 ...
- 像调试java一样来调试Redis lua
高并发的系统中,redis的使用是非常频繁的,而lua脚本则更是锦上添花.因为lua脚本本身执行的时候是一个事务性的操作,不会掺杂其他外部的命令,所以很多关键的系统节点都会用redis+lua来实现一 ...
- Redis Lua脚本调试
从版本3.2开始,Redis包含一个完整的Lua调试器,可以用来使编写复杂Redis脚本的任务更加简单. 由于Redis 3.2仍处于测试阶段,请unstable从Github 下载Redis 的分支 ...
- redis lua 用来传输日志
2.8 Lua Script Redis2.6内置的Lua Script支持,可以在Redis的Server端一次过运行大量逻辑,就像存储过程一样,避免了海量中间数据在网路上的传输. Lua自称是在S ...
- java+redis+lua生成自动增长的ID序列号
1.编写lua脚本用于生成主键ID序列号,内容如下 local key = tostring(KEYS[1]); local count = tonumber(KEYS[2]); local date ...
随机推荐
- java IO操作和计算操作:工作内存和主内存 volatile关键字作用;原子操作对象AtomicInteger ....
应该停止但无法停止的计算线程 如下线程示例,线程实例中while循环中的条件,在主线程中通过调用实例方法更新后,while循环并没有更新判断变量是否还成立.而是陷入了while(true)死循环. i ...
- js 让小数四舍五入保留两位小数的函数是?
js 让小数四舍五入保留两位小数的函数是? 例子:data.relations[i].data[j].toFixed(2) toFixed(2)这个函数就是保留两位小数的作用
- host-manager does not exist or is not a readable directory
当tomcat启动出现这个错误时,按照如下步骤可以解决: 1.删掉F:\tomcat20111101\apache-tomcat-6.0.26\conf\Catalina目录下的localhost文件 ...
- 8-1yum私有云仓库
针对centos8的BaseOS.AppStream源 yum -y install httpd systemctl enable --now httpd mkdir -pv /var/www/htm ...
- Learning to Sample
此处主要提出几个疑问和想法: 疑问: 为什么需要这个匹配过程?虽然G可能不是P的子集,但是为什么一定需要他是子集呢? 如果一定要匹配的话,匹配过程是没法反向传播的,所以只可以在推理阶段使用,那么这个推 ...
- c++之元组std::tuple常见用法
元组,c++11中引入的新的类型,可类比std::pair. 但是std::pair只能支持两个元素. 理论上, 元组支持0~任意个元素. 本文演示环境: VS2015 up3 0.头文件 #incl ...
- 【LeetCode】121. Best Time to Buy and Sell Stock 解题报告(Java & Python & C++)
作者: 负雪明烛 id: fuxuemingzhu 个人博客: http://fuxuemingzhu.cn/ 目录 题目描述 题目大意 解题方法 Java解法 Python解法 C++ 解法 日期 ...
- Exploration(hdu5222)
Exploration Accepts: 190 Submissions: 976 Time Limit: 30000/15000 MS (Java/Others) Memory Limit: ...
- Codeforce 633C. Spy Syndrome 2
C. Spy Syndrome 2 time limit per test 2 seconds memory limit per test 256 megabytes input standard i ...
- 小白自制Linux开发板(第二季 V3s篇) 一. 换个核心再来一次
1.前言 大家心心念念(个人认为)的小白自制开发板全新系列正式来了,之前我们使用全志的F1C200s芯片制作了一个小电脑,众所周知,调试很艰难,坑也很多,以至于墨云到现在还是没找到对应的补救方案,为了 ...