redis中的zset结构可以看成一个个包含数值的集合,或者认为是一个关系数据库中用列存储方式存储的一列。

需求

假设我有这样一个数据筛选需求,用SQL表示为:

select key
from set3
where value>${v3} and
key in (
select key
from set2
where value>${v2} and
key in (
$key1, $key2, $key3 ...
)
)

总结起来就是:

  • 输入:

    • key的列表:key1, key2, key3... 任意多个
    • 每个集合及其需要筛选的下限: set2中值大于v2的key, set3中值大于v3的key...等等多个集合
  • 计算过程:
    • 取所有集合的交集,并在每个集合上用下限值进行过滤
  • 输出:筛选后剩下的集合

redis lua代码

下面是实现这一目的的lua代码:

-- User: ahfuzhang
-- Date: 2020/5/22
-- Time: 16:20 --给定一个集合from_key
--与集合join_key取交集
--然后过滤掉小于need的数据
--然后作为一个全新的集合存入to_key
local function join_and_filter(from_key, join_key, need, to_key)
local temp_key = "__temp_join_and_filter"
redis.call("DEL", temp_key)
redis.call("ZINTERSTORE", temp_key, 2, from_key, join_key)
redis.call("ZREMRANGEBYSCORE", temp_key, "-inf", "("..need)
local values = redis.call("ZRANGEBYSCORE", temp_key, "-inf", "+inf", "WITHSCORES")
if (#values==0)
then
return false
end
for idx=1,#values,2 do
values[idx], values[idx+1] = 0, values[idx]
end
redis.call("DEL", to_key)
redis.call("ZADD", to_key, "NX", unpack(values))
return true
end local function main()
local argc = tonumber(ARGV[1]) --代表输入列表的数量
local keys_list = {}
for i=2,argc+2,1 do
table.insert(keys_list, 0)
table.insert(keys_list, ARGV[i])
end
local temp_key_list = "__temp_key_list"
local temp_key = "__temp_middle_result"
redis.call("DEL", temp_key_list)
redis.call("ZADD", temp_key_list, "NX", unpack(keys_list))
--
local filter_count = tonumber(ARGV[argc+2]) --每个集合上的过滤条件的数量 local from_key = temp_key_list
for filter_idx=1, filter_count, 1 do
local ret = join_and_filter(from_key, KEYS[filter_idx], ARGV[filter_idx+argc+2], temp_key)
if (ret==false)
then
redis.call("DEL", temp_key)
return {1, "no data after key "..KEYS[filter_idx], {}}
end
from_key = temp_key
end
--
local values = redis.call("ZRANGEBYSCORE", temp_key, "-inf", "+inf")
redis.call("DEL", temp_key)
return {0, "success", values}
end return main()

调用命令行

redis-cli -h 192.168.0.5 -p 6379 -a test123 \
--eval redis_script_join_and_filter.lua \
"set1" "set2" "set3" \ #这里是要逐个过滤的几个集合,其实就是redis里面zset结构的key
, \ # 这个逗号非常重要,曾经在这里采坑,这是一个分隔符,前面是KEYS,后面是ARGV。 注意,内容是: 空格 逗号 空格,不能和前后连起来
"4" "user1" "user2" "user3" "user4" \ #本行的第一个字段4代表了有四个输入的二级KEY,是最初要过滤的二级KEY
"3" "393" "20" "800" #本行的第一个字段3代表了有三个过滤值。这里的数量必须和前面KEYS的数量一致。分别对应了每个KEY下面的过滤最小值

P.S 如果要调试lua脚本,可以酱紫:

redis-cli -h 192.168.0.5 -p 6379 -a test123 --ldb --eval redis_script_join_and_filter.lua xxxx

have fun!

【代码分享】用redis+lua实现多个集合取交集并过滤,类似于: select key from set2 where key in (select key from set1) and value>=xxx的更多相关文章

  1. Session for Tornado(Redis) - 代码分享

    Session for Tornado(Redis) - 代码分享   Session for Tornado(Redis) session id的生成借用了web.py. 使用了 redis 的 h ...

  2. Redis Lua脚本完全入门

    1. 前言 Redis是高性能的KV内存数据库,除了做缓存中间件的基本作用外还有很多用途,比如胖哥以前分享的Redis GEO地理位置信息计算.Redis提供了丰富的命令来供我们使用以实现一些计算.R ...

  3. MVC常遇见的几个场景代码分享

    本次主要分享几个场景的处理代码,有更好处理方式多多交流,相互促进进步:代码由来主要是这几天使用前端Ace框架做后台管理系统,这Ace是H5框架里面的控件效果挺多的,做兼容也很好,有点遗憾是控件效果基本 ...

  4. 国内外三个不同领域巨头分享的Redis实战经验及使用场景

    Redis不是比较成熟的memcache或者Mysql的替代品,是对于大型互联网类应用在架构上很好的补充.现在有越来越多的应用也在纷纷基于Redis做架构的改造.首先简单公布一下Redis平台实际情况 ...

  5. (转)国内外三个不同领域巨头分享的Redis实战经验及使用场景

    随着应用对高性能需求的增加,NoSQL逐渐在各大名企的系统架构中生根发芽.这里我们将为大家分享社交巨头新浪微博.传媒巨头Viacom及图片分享领域佼佼者Pinterest带来的Redis实践,首先我们 ...

  6. 像调试java一样来调试Redis lua

    高并发的系统中,redis的使用是非常频繁的,而lua脚本则更是锦上添花.因为lua脚本本身执行的时候是一个事务性的操作,不会掺杂其他外部的命令,所以很多关键的系统节点都会用redis+lua来实现一 ...

  7. Redis Lua脚本调试

    从版本3.2开始,Redis包含一个完整的Lua调试器,可以用来使编写复杂Redis脚本的任务更加简单. 由于Redis 3.2仍处于测试阶段,请unstable从Github 下载Redis 的分支 ...

  8. redis lua 用来传输日志

    2.8 Lua Script Redis2.6内置的Lua Script支持,可以在Redis的Server端一次过运行大量逻辑,就像存储过程一样,避免了海量中间数据在网路上的传输. Lua自称是在S ...

  9. java+redis+lua生成自动增长的ID序列号

    1.编写lua脚本用于生成主键ID序列号,内容如下 local key = tostring(KEYS[1]); local count = tonumber(KEYS[2]); local date ...

随机推荐

  1. ELK部署笔记

    ELK安装准备工作 准备3台机器,这样才能完成分布式集群的实验,当然能有更多机器更好: 192.168.0.46 192.168.0.150 192.168.0.76 角色划分: 3台机器全部安装jd ...

  2. 几个主流TCP/IP协议栈介绍

    我们知道TCP IP协议栈内包括了诸多协议.那么对于这当中的协议的功能以及作用,我们来具体了解一下吧.现在让我们做一个盘点,帮助大家总结一下,还望对大家能够有所帮助. 1.BSD TCP IP协议栈 ...

  3. More Effective C++ 基础议题(条款1-4)总结

    More Effective C++ 基础议题(条款1-4)总结 条款1:仔细区别pointers和references 如果有一个变量,其目的是用来指向(代表)另一个对象,但是也有可能它不指向(代表 ...

  4. 页面图片懒加载、延迟加载(lazyload)

    文档:http://www.h-ui.net/lib/jQuery.lazyload.js.shtml github地址:https://github.com/jieyou/lazyload Lazy ...

  5. 【LeetCode】998. Maximum Binary Tree II 解题报告(C++)

    作者: 负雪明烛 id: fuxuemingzhu 个人博客: http://fuxuemingzhu.cn/ 目录 题目描述 题目大意 解题方法 递归 日期 题目地址:https://leetcod ...

  6. C. Not Equal on a Segment(codeforces)

    C. Not Equal on a Segment time limit per test 1 second memory limit per test 256 megabytes input sta ...

  7. hdu 5592 ZYB's Premutation(线段树优化)

    设f_if​i​​是第ii个前缀的逆序对数,p_ip​i​​是第ii个位置上的数,则f_i-f_{i-1}f​i​​−f​i−1​​是ii前面比p_ip​i​​大的数的个数.我们考虑倒着做,当我们处理 ...

  8. 1170 - Counting Perfect BST

    1170 - Counting Perfect BST   PDF (English) Statistics Forum Time Limit: 2 second(s) Memory Limit: 3 ...

  9. window11连接局域网共享失败处理办法

    第一步1.按 Win + R 组合键,打开运行,并输入:gpedit.msc 命令,确定或回车,可以快速打开本地组策略编辑器2.本地组策略编辑器窗口中,依次展开到:计算机配置 - 管理模板 - 网络 ...

  10. .NET+Sqlite如何支持加密

    .NET+Sqlite如何支持加密 Sqlite SQLite 来源于公共领域 SQLite Is Public Domain. 确保代码不会受到任何专有或许可内容的污染,没有任何来自互联网上的未知来 ...