安装redis-dump redis-dump是基于ruby开发,需要ruby环境,而且新版本的redis-dump要求2.2.2以上的ruby版本,centos中yum只能安装2.0版本的ruby.需要先安装ruby的管理工具rvm安装高版本的ruby 安装rvm 可参考官网:http://rvm.io/ 执行下列两个命令安装rvm: # gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804B

优化IMPDP/EXPDP导入导出速度 https://www.2cto.com/database/201308/238176.html 一年半没太学习数据库了.. 其实这个parallel 的参数一直不清不楚的. 本次给一个 700g的数据库执行恢复, 出现了异常,才仔细去查看一下. 数据据泵与exp/imp 来说性能有很大的提高,其中影响最大的就是paralle.可以这么来看:  expdp/impdp=exp/imp+direct mode  + paralle. 所以,使用数据泵,要想提

Redis是一款支持多种数据类型的Key-Value数据库. 这里介绍下如何从Redis中导出数据. 数据是如何存储的?. Redis中是把数据保存到内存中的,但是它也会定期的把数据写会到硬盘中. Redis保存数据有两种方式: 快照模式(Snapshot) 它支持两种快照模式: 定时快照,即按一定时间将内存中的数据保存到磁盘上. 定量快照,即数据变化一定次数后将数据保存到磁盘上. 你也可以结合这两种方式,比如变化1000次,距离上次保存时间60秒以上才保存数据. 写模式(Append Only

实际工作中,存在这么一种场景.客户现场分析问题,无法立即得出结论,且无法远程服务器,因此对于服务器中的awr信息,如何提取是一个问题,oracle有脚本可以对服务器中以db为单位导出awr基表的dump文件 测试操作流程: 1.10.2.0.4 测试库,awr dump导出 2.11.2.0.4测试库,awr dump导入 3.11.2.0.4测试库,使用脚本创建awr报告 1.10.2.0.4 测试库,awr dump导出 SQL> select * from dba_directories;

原文:Redis进阶实践之十八 使用管道模式提高Redis查询的速度 一.引言             学习redis 也有一段时间了,该接触的也差不多了.后来有一天,以为同事问我,如何向redis中批量的增加数据,肯定是大批量的,为了这主题,我从新找起了解决方案.目前的解决方案大都是从官网上查找和翻译的,每个实例也都调试了,正确无误.把结果告诉我同事的时候,我也跟清楚这个主题如何操作了,里面的细节也更清楚了.大然也有人说可以通过脚本来做这个操作,没错,但是我对脚本语言还没有研究很透,就不来班门

公司的服务器上运行了多个redis,现在希望合并到一个redis,用上redis的多database特性. 在网上找了一圈发现没有比较好的工具可以进行这个处理. 看过一个redis-dump号称可以导出json再进行导入,结果alpha版本的程序真心不靠谱,运行后报错: undefined method `select!` for ["x"]:Array 后来没办法只好自己研究起了RDB.其实RDB也很简单,在redis的官方网站上有完整说明 https://github.com/sr

环境说明: 172.20.0.1 redis源实例 172.20.0.2 redis目标实例 172.20.0.3 任意linux系统 一.redis-dump方式 1.安装redis-dump工具 [root@172.20.0.3 ~]# yum install ruby rubygems ruby-devel -y # 更改gem源 [root@172.20.0.3 ~]# gem sources -a http://ruby.taobao.org Error fetching http:/

推荐博客链接:https://www.cnblogs.com/hjfeng1988/p/7146009.html https://blog.csdn.net/qq_14945847/article/details/77986900 ***建议使用最后一种*** 一.redis-dump方式 #redis-dump安装 yum install ruby rubygems ruby-devel -y gem sources --add http://gems.ruby-china.com/ --re

.exp  个相关的参数:DIRECT和RECORDLENGTH参数. DIRECT参数定义了导出是使用直接路径方式(DIRECT=Y),还是常规路径方式(DIRECT=N).常规路径导出使用SQL SELECT语句从表中抽取数据,直接路径导出则是将数据直接从磁盘读到PGA再原样写入导出文件,从而避免了SQL命令处理层的数据转换过程,大大提高了导出效率.在数据量大的情况下,直接路径导出的效率优势更为明显,可比常规方法速度提高三倍之多. 和DIRECT=Y配合使用的是RECORDLENGTH参数,

使用TortoiseSVN 安装目录下的svnrdump.exe 工具进行导出 1.cmd 到工具路径下 C:\Program Files\TortoiseSVN\bin svnrdump.exe dump "远程地址" >test.dump 没有使用管理员权限会报错 2.正确执行后的过程 3.得到dump文件后可以开始重建新的仓库了.

1.redis是存储在内存上的,读写的话不会受到硬盘 I/O 速度的限制 如图: (1).硬盘数据库的工作模式: (2).内存数据库的工作模式 2.数据结构简单,对数据操作也简单 3.多路IO复用模型,非阻塞IO     解释:多路:多网络连接   复用:复用同一个线程 4. 采用单线程,避免了不必要的上下文切换和竞争条件,也不存在多进程或者多线程导致的切换而消耗 CPU,不用去考虑各种锁的问题,不存在加锁释放锁操作,没有因为可能出现死锁而导致的性能消耗: 5.使用底层模型不同,它们之间底层实现

MySQL导出的SQL语句在处理百万级数据的时候,可能导入要花几小时.在导出时合理使用几个参数,可以大大加快导入的速度. -e 使用包括几个VALUES列表的多行INSERT语法; --max_allowed_packet=XXX 客户端/服务器之间通信的缓存区的最大大小; --net_buffer_length=XXX TCP/IP和套接字通信缓冲区大小,创建长度达net_buffer_length的行. 注意:max_allowed_packet 和 net_buffer_length 不能

一.导出所有的keys echo "keys 201*" |./redis-cli -h localhost -p 6379 -a password >> 1.txt 这样就将所有符合201*的数据key导出到1.txt中了 二.导出key - value ------2016-6-29 11:50:48--

现在越来越多的开发者使用service-stack.redis 来进行redis的访问,但是获取redisclient的方式有多种方式,其中有一种从缓冲池获取client的方式很是得到大家的认可. List<string> listWrite = new List<string>() { "6380@192.168.8.245:6380" }; List<string> readHosts = new List<string>() { &

#!/bin/bash REDIS_HOST=127.0.0.1 REDIS_PORT=6379 REDIS_DB=10 KEYNAME="*" KEYFILE=redis_key.txt echo "KEYS $KEYNAME" | redis-cli -h $REDIS_HOST -p $REDIS_PORT -n $REDIS_DB > $KEYFILE OUTFILE=redis_valuelist.txt TEMPFILE=$OUTFILE.tmp

任务描述 本次集中介绍使用Windows和Linux()搭建本地Redis服务器的步骤,从备份的RDB文件中加载数据,以及如何生成AOF文件和通过AOF文件想已经运行的Redis追加数据. 操作步骤 Windows版本 启动Redis-server 1:下载Redis for Windows的压缩包或者安装文件,此处通过下载zip文件作为示例:https://github.com/microsoftarchive/redis/releases 2:解压压zip包到本地Redis目录,通过CMD命

Redis是一个单线程的内存数据库.下载地址如下:http://download.redis.io/releases/redis-2.8.11.tar.gz在Redis的src目录运行make命令,然后将可执行文件复制到新建的bin目录.可以使用如下的组织形式. Redis持久化有两种方式 RDB和AOF 1.RDB方式 RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照(point-in-time snapshot). RDB 是一个非常紧凑(compact)的文件,它保存了 Redi

redis是一个支持持久化的内存数据库,也就是说redis需要经常将内存中的数据同步到磁盘来保证持久化.可以不定期的通过异步方式保存到磁盘上(即“半持久化模式”):也可以把每一次数据变化都写入到一个Append Only File(AOF)里面(即“完全持久化模式”).redis支持两种持久化方式,一种是默认方式的RDB(Snapshotting快照)持久化,另一种是AOF(Append-only file)持久化方式.这两种持久化方式都可以将内存中的数据库状态保存到磁盘上,redis对应的也有

Getting Start 高性能 性能优势的体现 C语言实现的内存管理 epoll的I/O多路复用技术+IO连接/关闭/读写通过事件实现异步的非阻塞IO TCP协议 单线程架构,不会因为高并发对服务器造成太多压力 Redis内部不支持序列化 上面几个特性保证了Redis的高并发性能 性能指标 单点并发量:压力测试 命令处理速度:每秒数万次操作 key的数量对性能的影响 内存大小对性能的影响 单线程架构 Redis提供了很多API,单线程架构不需要担心一些API对数据操作的一致性问题 不会因为高

一.上线规划 一般 redis 的参数配置都在 redis.conf 中,在上线前根据实际环境配置好合适参数,能有效提高 redis 的可用性. redis 的运行机器 CPU 不求核数多,但求主频高,Cache大,因为 redis 主处理模式是单进程的. 留意 redis 日志文件的配置,对应 logfile 参数.redis.log 为 redis 主日志,sentinel.log 为 sentinel 监控日志. 关闭 THP,这个默认的 Linux 内存页面大小分配策略会导致 RDB 时

背景 Redis是基于内存的KV数据库,内存作为存储介质,关注其内存的使用情况是一个重要指标,解析其内部的存储信息是给出优化方法和维护的最基本要求.解析内存有二种方法:第一个是通过scan遍历所有key,针对每个key进行分析(memory usage):第二个是基于RDB文件进行所有key的分析(redis-rdb-tools).本文将介绍如何使用rdbtools工具. 说明 rdbtools工具包括了3个可执行文件: rdb -- 解析整个rdb文件 redis-memory-for-key