需求背景 在开发的收入结转平台界面上有一个归集按钮,可以实现抓取结转表里面的多条数据进行归集操作.为了防止多人多电脑同时操作一条数据,我们自己开发了一个简单的基于Redis实现的分布式锁. 代码实现 逻辑代码中的使用案例 参数说明: scIds:结转数据的ID主键集合. timeOutToDeleteRedisKey:最大锁超时时间(用于自动解锁) organizationId:租户ID(这个参数根据情况选择是否需要) ReturnLock returnLock = RedisLock.appl

对于一些数据量较大的系统,数据库面临的问题除了查询效率低下,还有就是数据入库时间长.特别像报表系统,每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久.因此,优化数据库插入性能是很有意义的. 经过对MySQL innodb的一些性能测试,发现一些可以提高insert效率的方法,供大家参考参考. 一条SQL语句插入多条数据 常用的插入语句如: INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES

Redis Cluster架构优化 在<全面剖析Redis Cluster原理和应用>中,我们已经详细剖析了现阶段Redis Cluster的缺点: 无中心化架构 Gossip消息的开销 不停机升级困难 无法根据统计区分冷热数据 客户端的挑战 Cluster协议支持 连接和路由表的维护开销 MultiOp和Pipeline支持有限 Redis实现问题 不能自动发现 不能自动Resharding 无监控管理UI 最终一致性和"脑裂"问题 数据迁移以Key为单位,速度较慢 数据

一:前端优化 暴露接口,按钮防重复(点击一次按钮后就变成禁用,禁止重复提交) 采用CDN存储静态化的页面和一些静态资源(css,js等) 二:Redis后端缓存优化 Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库. Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用. 性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s . 原子 – Redis的所有操作都是原子性的,意思就是要么成功执行

一般情况下,大家使用redis去put/get都是先拿到一个jedis实例,然后操作,然后释放连接:这种模式是 请求-响应,请求-响应 这种模式,下一次请求必须得等第一次请求响应回来之后才可以,因为redis是单线程的,按部就班,一步一步来. 而pipeline管道改变了这种请求模式,客户端可以一次发送多个命令,无须等待服务器的返回, 请求,请求,请求,响应,响应,响应 这种模式 这就大大减少了影响性能的关键因素-网络往返时间 下面就上面两种模式以及JDK的map三者做一个性能比较   pack

redis 批量删除操作 需要在redis里面清空一批数据,redis没有支持通配符删除, 只有del key1 key2 ... 但是可以通配符获取 KEYS PATTERN 然后利用linux管道批量删除. redis-cli -h 192.168.0.8 -p 6380 keys "obj_base_*" |xargs redis-cli -h 192.168.0.8 -p 6380 del 其中xargs的的使用 http://blog.csdn.net/yongan1006/

Redis 中有删除单个 Key 的指令 DEL,但好像没有批量删除 Key 的指令,不过我们可以借助 Linux 的 xargs 指令来完成这个动作.代码如下: redis-cli keys "*" -print0 | xargs -0 redis-cli del 但是如何实现 redis 批量设置过期时间呢,或者类似需要传递参数的需求?经过实践操作如下: 编写shell文件,名称为“expireAll.sh”,并设置为可执行文件,内容如下: # 给指定缓存设置1分钟过期 redis

在使用redis的过程中,经常会遇到要批量删除某种规则的key,但是redis提供了批量查询一类key的命令keys或scan,没有提供批量删除某种规则key的命令,怎么办?看完本文即可,哈哈. 本文目录 一.使用keys+xargs实现1.连接redis,初始数据2.使用keys命令查看数据3.退出redis的客户端4.使用keys+xargs批量删除5.注意事项二.使用scan+xargs实现1.使用scan+xargs批量删除三.xargs命令介绍 一.使用keys+xargs实现 开始实

美团在Redis上踩过的一些坑-4.redis内存使用优化 博客分类: 运维 redis redisstringhash优化segment-hash  转载请注明出处哈:http://carlosfu.iteye.com/blog/2254154 更多Redis的开发.运维.架构以及新动态,欢迎关注微信公众号:   一.背景: 选择合适的使用场景    很多时候Redis被误解并乱用了,造成的Redis印象:耗内存.价格成本很高:    1. 为了“赶时髦”或者对于Mysql的“误解”在一个并发

NoSQL 之 Redis配置与优化 1.关系数据库与非关系型数据库概述 2.关系数据库与非关系型数据库区别 3.非关系型数据库产生背景 4.Redis简介 5.Redis安装部署 6.Redis 命令工具 7.Redis 高可用 8.Redis持久化 9.Redis 提供两种方式进行持久化 10.Redis 性能管理 1.关系数据库与非关系型数据库概述 : a)关系型数据库 关系型数据库是一个结构化的数据库,创建在关系模型(二维表格模型)基础上,一般面向于记录. SQL 语句(标准数据查询语言

NoSQL之Redis配置与优化 目录 NoSQL之Redis配置与优化 一.关系数据库和非关系数据库 1. 关系型数据库 2. 非关系型数据库 3. 非关系型数据库产生背景 4. 关系型数据库和非关系型数据库的区别 4.1 数据存储方式不同 4.2 扩展方式不同 4.3 对事务性的支持不同 5. 总结 二.Redis的基础概念 1. Redis简介 2. Redis程序 3. Redis的优点 4. Redis的使用场景 5. Redis速度快的原因 6. Redis与Memcashed区别

以下为个人学习Redis的备忘录--内存优化 1.随时查看info memory,了解内存使用状况:127.0.0.1:6379> info memory# Memoryused_memory:2314624 //(字节单位形式)used_memory_human:2.21M //Redis已分配的内存总量(易读单位形式)used_memory_rss:1282048used_memory_rss_human:1.22M //操作系统为Redis进程分配的内存总量used_memory_peak

今天听DBA说如果从一个表批量查询出一批数据之后批量插入另外一张表的优化方案: 1)不写归档日志: 2)采用独占 关于insert /*+ append */我们需要注意以下三点: a.非归档模式下,只需append就能大量减少redo的产生:归档模式下,只有append+nologging才能大量减少redo. b.insert /*+ append */时会对表加锁(排它锁),会阻塞表上的除了select以外所有DML语句: --不写日志设置 ALTER TABLE my_flosta_al

Redis所有的数据都在内存中,而内存又是非常宝贵的资源.对于如何优化内存使用一直是Redis用户非常关注的问题.本文让我们深入到Redis细节中,学习内存优化的技巧.分为如下几个部分: 一.redisObject对象 二.缩减键值对象 三.共享对象池 四.字符串优化 五.编码优化 六.控制key的数量 一. redisObject对象 Redis存储的所有值对象在内部定义为redisObject结构体,内部结构如下图所示. Redis存储的数据都使用redisObject来封装,包括strin

场景 在开发的时候经常会遇到批量取缓存的问题,例如查询商品信息 传入一个商品Id列表,查询Redis数据存在则放入返回列表 不存在的数据查找数据库,并放入Redis 上面两步数据整合返回 伪代码为 list.ForEach(str->{ dto = redis.get(str); if(dto != null){ resultList.add(dto); }else{ mustQuerySQL.add(str); } if(CollectionUtils.isNotEmpty(mustQuery

Redis所有的数据都存在内存中,当前内存虽然越来越便宜,但跟廉价的硬盘相比成本还是比较昂贵,因此如何高效利用Redis内存变得非常重要.高效利用Redis内存首先需要理解Redis内存消耗在哪里,如何管理内存,最后才能考虑如何优化内存. 1.内存消耗 首先需要掌握Redis内存消耗在哪些方面.有些内存消耗是必不可少的,而有些可以通过参数调整和合理使用来规避内存浪费.内存消耗可以分为进程自身消耗和子进程消耗. 1.1 内存使用统计 首先需要了解 Redis 自身使用内存的统计数据,可通过执行 i

抄自http://www.infoq.com/cn/articles/tq-redis-memory-usage-optimization-storage 本文将对Redis的常见数据类型的使用场景以及在内存优化方面和性能优化方面做一些详细的分析. Redis常用数据类型 Redis最为常用的数据类型主要有以下五种: String Hash List Set Sorted set 在具体描述这几种数据类型之前,我们先通过一张图了解下Redis内部内存管理中是如何描述这些不同数据类型的: 首先Re

Redis 中有删除单个 Key 的指令 DEL,但好像没有批量删除 Key 的指令,不过我们可以借助 Linux 的 xargs 指令来完成这个动作. 代码如下: redis-cli keys “*” | xargs redis-cli del //如果redis-cli没有设置成系统变量,需要指定redis-cli的完整路径 //如:/opt/redis/redis-cli keys “*” | xargs /opt/redis/redis-cli del 如果要指定 Redis 数据库访问

Redis常用数据类型 Redis最为常用的数据类型主要有以下五种: String Hash List Set Sorted set 在具体描述这几种数据类型之前,我们先通过一张图了解下Redis内部内存管理中是如何描述这些不同数据类型的: 首先Redis内部使用一个redisObject对象来表示所有的key和value,redisObject最主要的信息如上图所示:type 代表一个value对象具体是何种数据类型,encoding是不同数据类型在redis内部的存储方式,比如:type=s

Redis 常用数据类型 Redis 最为常用的数据类型主要有以下五种: • String • Hash • List • Set • Sorted set 在具体描述这几种数据类型之前,我们先通过一张图了解下 Redis 内部内存管理中是如何描述这些不同数据类型的: 首先 Redis 内部使用一个 redisObject 对象来表示所有的 key 和 value,redisObject 最主要的信息如上图所示:type  代表一个 value 对象具体是何种数据类型,encoding 是不同数

1.使用pipeline进行批量导入数据.包含先使用rpush插入数据,然后使用expire改动过期时间 class Redis_Handler(Handler): def connect(self): #print self.host,self.port,self.table self.conn = Connection(self.host,self.port,self.table) def execute(self, action_name): filename = "/tmp/temp.t