写在前面:这篇笔记有点长,如果你认真看完,收获会不少,如果你只是忘记了相关命令,请翻到末尾. redis的简单介绍: 一个提供多种数据类类型储存,整个系统都在内存中运行的, 定期通过异步的方式把数据刷到磁盘进行保存的一个内存数据库 因为实在内存中操作数据,所以效率非常高,但受制于物理内存的限制,一般用作处理少量数据的高性能操作: 下面开始玩redis,包括主从架构和3.0后的分片集群: 首先安装依赖: yum -y install cpp binutils glibc glibc-kernhea…

Redis是一个基于内存的数据库,其不仅读写速度快,每秒可以执行大约110000的写操作,81000的读取操作,而且其支持存储字符串,哈希结构,链表,集合丰富的数据类型.所以得到很多开发者的青睐.加之其支持主从.持久化等功能,3.0版本开始正式提供分片技术.让其在大型互联网应用中大显身手,本文通过实际操作和理论相配合,对redis进行详细地阐述. 一.redis的安装与使用 下载直接去redis的官网http://redis.io/进行不同操作系统对应的版本.本文中采用的redis的版本为3.2…

1.redis主从高可用集群结构 2.k8s部署有状态的服务选择 对于K8S集群有状态的服务,我们可以选择deployment和statefulset statefulset service&deployment 对于有状态的服务例如:redis和mysql,我们使用statefulset为首选 3.设计原理 statefulset 的设计原理: 拓扑状态 应用的多个实例之间不是完全对等的关系,这个应用实例的启动必须按照某些顺序启动,比如应用的主节点 A 要先于从节点 B 启动.而如果你把 A…

下载redis 下载地址:https://github.com/MicrosoftArchive/redis/releases 我下载的是3.2.100版本的Redis-x64-3.2.100.zip,解压后放到某个目录,比如:D:\Program Files\redis 在此目录下增加三个文件夹:single.cluster.log Single:存放单机模式的配置文件 Cluster:集群模式下的配置文件等信息 log:存放日志文件 单机模式 在single文件夹下增加配置文件redis.c…

主从配置 哨兵配置 集群配置 1.主从: 国王和丞相,国王权力大(读写),丞相权利小(读) 2.哨兵: 国王和王子,国王死了(主服务挂掉),王子继位(从服务变主服务) 3.集群: 国王和国王,一个国王死了(节点挂掉),其他国王还活着,世界还没毁灭 主从配置 主从配置 流程: 复制多份redis编译之后(make)的文件,分别命名为: xxx-6379 xxx-6380 xxx-6381 ... 开启6379服务和 6380服务 方式一: 在6380的客户端输入:slaveof 127.0.0.1…

这次我们来说说我们的RocketMQ的安装和参数配置,先来看一下我们RocketMQ的提出和应用场景吧. 早在2009年,阿里巴巴的淘宝第一次提出了双11购物狂欢节,但是在2009年,服务器无法承受到大规模的并发,导致了大规模宕机停运,当时还是IOE的服务架构,也就是没有我们的消息队列中间件,直接由IBM的小型机.Oracle数据库.EMC存储设备来提供服务的,可想而知,我们的大并发场景,IOE是无法承受的,RocketMQ是由我们的国内的阿里巴巴在2010年开始由我们的阿里云的王坚博士组件团队…

前言 前面几篇简单介绍了什么是大数据和Hadoop,也说了怎么搭建最简单的伪分布式和全分布式的hadoop集群.接下来这篇我详细的分享一下HDFS. HDFS前言: 设计思想:(分而治之)将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析. 在大数据系统中作用:为各类分布式运算框架(如:mapreduce,spark,tez,……)提供数据存储服务. 分布式文件系统: 问题引发:海量数据超过了单台物理计算机的存储能力 解决方案:对数据分区存储与若干台物…

阅读目录(Content) 一.HDFS概述 1.1.HDFS概述 1.2.HDFS的概念和特性 1.3.HDFS的局限性 1.4.HDFS保证可靠性的措施 二.HDFS基本概念 2.1.HDFS主从结构体系 2.2.数据块(DataBlock) 2.3.名字节点(主节点:NameNode) 2.4.数据节点(从节点:DataNode) 2.5.SecondaryNameNode 2.6.总结NameNode和DataNode 四.单点故障(单点失效)问题 4.1.单点故障问题 4.2.解决方案…

集群配置最少需要三台机器,那么我就三台虚拟机,三台虚拟机分别安装同样的redis的环境ip分别:192.168.9.17 (redis sentinel 集群监控)192.168.9.18 (redis 主)192.168.9.19 (redis 从)redis配置:主的redis配置文件,使用默认的配置文件就可以了,如果你需要设计其他参数从的redis配置文件,添加#从的redis配置文件,需要添加vim /etc/redis/6379.confslaveof 192.168.9.18 637…

转载请注明出处:http://www.cnblogs.com/wayneiscoming/p/7649642.html 1. acs-engine简介 ACS是微软在2015年12月推出的一项基于容器的云端PaaS服务.说简单点,acs-engine就是一个ARM模板生成器,用户只需要配置几个简单的参数来描述容器集群的规格,然后acs-engine将这个容器集群描述文件转化成一组ARM(Azure Resource Manager)模板,然后用户可以使用azure的cli命令来自动化地在Azur…