个人博客网:https://wushaopei.github.io/    (你想要这里多有) 这里先进行造数据,向redis中写入五百万条数据,具体方式有如下三种: 方法一:(Lua 脚本) vim redis_load.lua #!/bin/bash for i = 1, 100000, 1 do redis.call(“SET”, “ZzZ MYKEY_ZzZ “..i..”key”, i) end return “Ok!” 执行命令: redis-cli —eval redis_load

一:Redis集群环境准备 1:需要先安装好Redis集群环境并配置好集群 192.168.0.113 7001-7003 192.168.0.162 7004-7006 2:检查redis集群 [root@localhost src]# ./redis-cli -c -h 192.168.0.113 -a 123456 -p 7001 192.168.0.113:7001>  cluster nodes 3:确保redis集群没有数据 192.168.0.113:7001> dbsize (

本文是对Redis 单节点,针对不同的数据类型,做插入行测试. 数据总条数为:10058624 环境说明:             Redis 未做任何优化, 单节点    (服务器上, 内存64G).             数据量 : 10058624条  (大约一千零6万条数据,本地机器运行读取插入操作.)             数据大小 :  1093.56MB  (1.1G)  插入数据类型为 String 类型 Jedis插入 public void save(){ //连接本地R

Redis单节点安装 一.Redis的数据类型 string hash list set zset 二.安装 2.1.下载 wget http://download.redis.io/releases/redis-5.0.5.tar.gz 2.2.解压 tar -xf redis-5.0.5.tar.gz 2.3.安装 make make install PREDIX=/opt/redis 2.4.修改环境变量 vim /etc/profile export REDIS_HOME:/opt/re

Zookeeper+Kafka的单节点配置 环境描述:Ubuntu16.04 server系统,在系统上搭建Java环境,jdk的版本为1.8或更高,我的服务器IP地址为192.168.0.106. 1. 使用命令在根目录下的opt目录下创建data目录. mkdir /opt/data 2. 在Apache官网http://www.apache.org/dyn/closer.cgi/zookeeper/和https://www.apache.org/dyn/closer.cgi?path=/k

在进行搭建redis3M 集群之前,首先要明白如何在单节点上完成redis的搭建. 单节点单实例搭建可以参看这个网:https://www.cnblogs.com/butterflies/p/9628207.html 完成单节点的redis搭建之后,修改配置文件,开启集群模式,修改配置文件生成的目录,修改位对应的端口,即可完成单节点多实例的redis集群搭建. 一:多实例配置文件生成和修改 1 配置文件拷贝 cp /usr/local/redis/etc/redis.conf /usr/loca

安装Redis 由于REDIS使用单线程处理请求,CPU的快慢最对REDIS的性能有较大影响,官方建议INTEL的CPU,其效率能比AMD高一倍左右. 下载Redis:wget http://download.redis.io/releases/redis-3.2.6.tar.gz 在安装Redis之前,需要安装Redis的依赖程序tcl,如果不安装tcl在Redis执行make test的时候就会报错的哦.   1 $ yum install -y tcl tcl-devel yum inst

还没有修改hosts,请先按前文修改. 还没安装java的,请按照前文配置. (1)增加用户并设立公钥: sudo addgroup hadoop sudo adduser --ingroup hadoop hduser su - hduser cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys ssh localhost exit   (2)把编译完的hadoop复制到/usr/local目录,并修改目录权限 cp –r /root

1.配置阿里云yum源 下载配置文件 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 生成缓存 yum makecache 2.安装redis 2.1 安装依赖 yum install -y gcc-c++ gcc tcl 2.2 上传压缩包并解压 tar -xvf redis-3.0.0.tar.gz 2.3 编译 cd redis-3.0.0 make # make

[参考文章]:hadoop集群搭建(hdfs) 1. Hadoop下载 官网下载地址: https://hadoop.apache.org/releases.html,进入官网根据自己需要下载具体的安装包 清华大学安装包的镜像文件下载地址: https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz 解压文件后如图: 2. 修改配置文件 2.1 etc/hadoop/core

本文介绍两个版本:redis-2.8.18.tar.gz 和 redis-3.0.0-rc2.tar.gz,均采用源码安装方式 一.redis3.0 部署环境 redis-3.0.0-rc2.tar.gz VM虚拟机redhat6.5-x64:192.168.1.101 Xshell4 安装步骤 1.安装依赖 gcc zlib openssl ruby :http://www.cnblogs.com/xuliangxing/p/7132656.html?utm_source=itdadao&ut

单点安装 wget http://download.redis.io/releases/redis-4.0.2.tar.gz tar zxvf redis-4.0.1.tar.gz -C /usr/local cd /usr/local/redis-4.0.2 make make test make PREFIX=/usr/local/redis install cd /usr/local/redis mkdir conf log data cd /usr/local/redis/conf cp

wget http://download.redis.io/releases/redis-5.0.3.tar.gz 1.下载解压 2.make编译 3.提示没有安装安装gcc,安装gcc yum install gcc 4.make 提示error: jemalloc/jemalloc.h: No such file or directory [root@computer7 redis-5.0.3]# make cd src && make all make[1]: Entering di

首先按照官网的单机去配置,如果官网不行的话可以参考一下配置,这个是配置成功过的.但是不一定每次都成功 http://hadoop.apache.org/docs/r2.6.5/ centos 6.7 hadoop2.6.5 yarn-site.xml <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </propert

hadopp版本hadoop-2.6.0-cdh5.7.0      下载地址http://archive-primary.cloudera.com/cdh5/cdh/5/ 同样使用flashFXP上传到linux   家文件夹下softwear下 解压至app目录下 tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app/ 我的家文件夹 hadoop配置文件的修改,,,修改app下hadoop-2.6.0-cdh5.7.0下etc下hadoop下hado

Redis单节点容量问题 一.单节点容量问题 我们在实际场景中,往往遇上一个单节点容量问题. 1.进行业务拆分,数据分类 2.到了数据不能拆分的时候,可以进行数据分片 进行哈希取模(影响分布式下的扩展性%3,%4,如果多加一台机器,就会收到影响) 进行逻辑随机(可以放进去,但是拿不出来) 解决方案:两台机器同时存储一个list,然后client直接连2台redis,进行两台一起消费 一致性哈希算法 crc16 crc32 md5 sha1 sha256 没有进行取模,等宽16位,将16位抽象出一

一.实验环境 本实验是在Vmware Workstation下创建的单台Ubuntu服务器版系统中,利用devstack部署的Openstack Pike版. 宿主机:win10 1803  8G内存  256G SSD 虚拟软件:Vmware Workstation 12.5.9 虚拟机系统:Ubuntu Server 16.04.5 LTS  参考博客: https://blog.csdn.net/pfztab/article/details/78632393 https://www.cnb

环境搭建 目录结构(ad-eureka为子模块) --ad-spring-cloud --ad-eureka --pom.xml --pom.xml 主pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XML

三节点配置 下载安装包 mkdir /data/consul mkdir /data/consul/data curl -SLO https://github.com/consul/1.9.5/consul_1.9.5_linux_amd64.zip unzip consul_1.9.5_linux_amd64.zip mv consul /data/consul/ 创建配置文件 生成集群密钥 /data/consul/consul keygen # XYefgTnef1tB/X6Q3gVOfx

摘要: redis作为一种NoSql数据库,其提供了一种高效的缓存方案,本文则主要对其单例,主从模式,sentinel以及集群的配置方式进行说明,对比其优缺点,阐述redis作为一种缓存框架的高可用性. redis作为一种高效的缓存框架,使用是非常广泛的,在数据存储上,在运行时其将数据存储在内存中,以实现数据的高效读写,并且根据定制的持久化规则不同,其会不定期的将数据持久化到硬盘中. 另外相较于其他的NoSql数据库,redis提供了非常丰富的数据结构,如dict,sds,linkedlist,