30G 的redis 如何优化
突然发现我们的redis 已经用了30G了,好吧这是个很尴尬的数字因为我们的缓存机器的内存目前是32G的,内存已经告竭。幸好上上周公司采购了90G的机器,现在已经零时迁移到其中的一台机器上了。(跑题下,90G的内存太爽了是我除了koding.com 之外第二次用到90G的机器,koding 是个好网站,在线编程IDE。) 但是随着数据量越来越大单机始终无法承受的,改造势在必行。经过初步思考我们得出了很简单的方案 概括起来就是 "内外兼修"
1.内功修炼
先从我们的应用层说起 看看redis 使用情况 ,有没有办法回收一些key ,先进入redis 服务器执行 info ,有删减
1: redis 127.0.0.1:6391> info
2: used_memory_human:35.58G
3: keyspace_hits:2580207188
4: db0:keys=2706740,expires=1440700
目前我们只使用了1个DB 但是key 太多了 有270W个key,已经过期的有144W。第一个想到的就是我勒个去,怎么会有这么多key ,第二个想法就是可能存在过大的key
看看能不能针对过大的key 做优化?可是遗憾的是官方并没有命令显示db 的key 大小,我们只能自己想办法了
Google 一番,发现国外友人已经写好了shell
传送门: https://gist.github.com/epicserve/5699837
可以列出每个key 大小了。可是这并不适用我们,因为我们key 太大了 执行了9个小时都没跑完,无力吐槽了。 其实还有一个选择就是用另外一个工具
传送门:https://github.com/sripathikrishnan/redis-rdb-tools
可惜这个太重了 ,不想麻烦ops ,我们就只能撩起袖子,造轮子。
把shell 代码简单看了下发件DEBUG OBJECT 是个好东西啊 ,google 下发现官网 http://redis.io/commands/object
已经有简单的调试信息了,剩下的就好处理了
1: #coding=utf-8
2: import redis
3:
4: COLOR_RED = "\033[31;49;1m %s \033[31;49;0m"
5:
6: COLOR_GREED = "\033[32;49;1m %s \033[39;49;0m"
7:
8: COLOR_YELLOW = "\033[33;49;1m %s \033[33;49;0m"
9:
10: COLOR_BLUE = "\033[34;49;1m %s \033[34;49;0m"
11:
12: COLOR_PINK = "\033[35;49;1m %s \033[35;49;0m"
13:
14: COLOR_GREENBLUE = "\033[36;49;1m %s \033[36;49;0m"
15:
16:
17: def getHumanSize(value):
18: gb = 1024 * 1024 * 1024.0
19: mb = 1024 * 1024.0
20: kb = 1024.0
21: if value >= gb:
22: return COLOR_RED % (str(round(value / gb, 2)) + " gb")
23: elif value >= mb:
24: return COLOR_YELLOW % (str(round(value / mb, 2)) + " mb")
25: elif value >= kb:
26: return COLOR_BLUE % (str(round(value / kb, 2)) + " kb")
27: else:
28: return COLOR_GREED % (str(value) + "b")
29:
30:
31: month = 3600 * 24 * 30
32: result = []
33: client = redis.Redis(host="XXXXX", port=XXXX)
36: client.info()
37:
38: count = 0
39: for key in client.keys('*'):
40: try:
41: count += 1
42: idleTime = client.object('idletime', key)
43: refcount = client.object('refcount', key)
44: length = client.debug_object(key)['serializedlength']
45: value = idleTime * refcount
46: print "%s key :%s , idletime : %s,refcount :%s, length : %s , humSize :%s" % (count, key, idleTime, refcount, length, getHumanSize(length))
47: except Exception:
48: pass
写了个简单的python 脚本输出每个key 的大小和idle time,和refer count 。有了这么多数据结合awk 就可以很好的统计每个key 的使用情况。有一点要注意的是这个size 是key 在redis 中的大小,并非实际的大小,这个是经过redis 压缩的。经过分析之后发现不存在过大的key ,但是存在有些key 半年都没有被访问过 Orz 。
接下来就很好处理了,我们为每个key 设置的过期时间,若key 被hit 上则更新这个expire time 。这样可以逐步淘汰冷数据,达到冷热分离
2. 外功修炼
我们对内清理了无效的key,对外我们要做到水平扩展,单机的承载始终有限,于是我们开始了传说中的分布式改造
分布式这东西看起来很唬人做起来更唬人,幸好我们是缓存服务 CAP约束有限。 缓存服务做分布式最好的当然是一致性hash 咯。其实当我们改造完成之后,才发现官方已经准备做这个分布式的缓存体系了(流口水啊) 只是现在还在开发中 给了个备用的响当当的 Twemproxy 奈何我们已经做好了,就先用着,坐等官方测试之后再说
传送门: http://redis.io/topics/cluster-spec
我们实现了数据的平滑迁移,而且对server 的修改实现了最小影响。 因为原来是用的是phpredis 所以就扩展了下,代码可以平滑过渡。
我们自己的实现:https://github.com/trigged/redis_con_hash
其实扯了这么多就是要把redis 的数据分散开,单机的承载始终是个瓶颈,但是redis 在这方面没有Memcached 完善,不过以后会越来越好
30G 的redis 如何优化的更多相关文章
- 如何用分布式缓存服务实现Redis内存优化
Redis是一种支持Key-Value等多种数据结构的存储系统,其数据特性是“ALL IN MEMORY”,因此优化内存十分重要.在对Redis进行内存优化时,先要掌握Redis内存存储的特性比如字符 ...
- redis缓存优化
redis缓存优化 一.问题 在Javaweb项目中,如果每次刷新,所有资源都重新从数据库中读取,这样每次效率会很低,在这里可以使用redis非关系型数据库,将一些不经常变化得资源加载进内存中.提高效 ...
- redis性能优化、内存分析及优化
redis性能优化.内存分析及优化 1.优化网络延时 2.警惕执行时间长的操作 3.优化数据结构.使用正确的算法 4.考虑操作系统和硬件是否影响性能 5.考虑持久化带来的开销 5.1 RDB 全量持久 ...
- redis高可用、redis集群、redis缓存优化
今日内容概要 redis高可用 redis集群 redis缓存优化 内容详细 1.redis高可用 # 主从复制存在的问题: 1 主从复制,主节点发生故障,需要做故障转移,可以手动转移:让其中一个sl ...
- 海量数据和高并发下的 Redis 业务优化实践
本文内容是我在 6 月 23 日参加的深圳 GIAC 技术大会上演讲的文字稿. 观众朋友们,我是来自掌阅的工程师钱文品,掘金小册<Redis 深度历险>的作者.今天我带来的是分享主题是:R ...
- redis参数优化
redis内存管理方式,支持tcmalloc,jemalloc,malloc三种内存分配,memcache使用slabs,malloc等内存分配方式. 简单点,就是redis,是边用边申请,使用现场申 ...
- Redis内存优化memory-optimization
https://redis.io/topics/memory-optimization 官方文档 一.特殊编码: 自从Redis 2.2之后,很多数据类型都可以通过特殊编码的方式来进行存储空间的优化 ...
- 1300多万条数据30G论坛大数据优化实战经验小结
最近由于某大型网站社区论坛运行效率比较低用户反馈论坛有些卡需要对系统进行优化,论坛性能影响了公司的形象还有网站的流量,当然这也会影响到公司的收入,而且后期还需要长期维护网站的社区论坛服务. 1:并发访 ...
- Redis 搜索引擎优化
场景 大家如果是做后端开发的,想必都实现过列表查询的接口,当然有的查询条件很简单,一条 SQL 就搞定了,但有的查询条件极其复杂,再加上库表中设计的各种不合理,导致查询接口特别难写,然后加班什么的就不 ...
随机推荐
- sql 加密解密函数
if object_ID ( 'fn_ACITEncryption' ) is not null drop function fn_ACITEncryption go create ...
- java中线程状态-死亡
线程死亡: 线程会以如下3种方式结束,结束后就处于死亡状态. 1.run()或call()方法执行完成,线程正常结束. 2.线程抛出一个未捕获的Exception或Error 3.直接调用该线程的st ...
- LeetCode—— Invert Binary Tree
LeetCode-- Invert Binary Tree Question invert a binary tree. 4 / \ 2 7 / \ / \ 1 3 6 9 to 4 / \ 7 2 ...
- 高亮显示UILabel中的子串
I. 用户在搜索框中,输入关键字进行检索时,APP对搜索结果进行显示,有以下两种情况: 1. 匹配一次,如检索关键字为人名 这种情况,实现比较容易.写一个UILabel的category, 用rang ...
- ubuntu 支持中文
1.cat /usr/share/i18n/SUPPORTED 说明:查看系统支持的字符集,你需要注意的是支持字符集的格式,如对中文会有以下一些显示(我的系统如此,我不知是否普遍) zh_CN.GB1 ...
- 工作队列work queues 公平分发(fair dispatch) And 消息应答与消息持久化
生产者 package cn.wh.work; import cn.wh.util.RabbitMqConnectionUtil; import com.rabbitmq.client.Channel ...
- 指定library路径
1.执行 ?.jar文件: 1.1.“java -jar ?.jar” 1.2.如果 ?.jar里面使用了JNI调用了 ?.dll/?.so 等文件,可能会报错 找不到相关的 库文件,如果这样的话,可 ...
- python学习笔记(threading接口性能压力测试)
又是新的一周 延续上周的进度 关于多进程的学习 今天实践下 初步设计的接口性能压力测试代码如下: #!/usr/bin/env python # -*- coding: utf_8 -*- impor ...
- ctci1.1
) ; ; i < len; i++){ if(place.find(str[i]) == place.end()) place. ...
- 初试Orchard Core CMS
关于Orchard Core CMS,这是一套内容管理系统(Content Management System),看一下来自官方文档的解释,什么是Orchard CMS. Orchard is a f ...