高可用模式下的Hadoop集群搭建 本篇博客将会在之前写过的Linux的完整部署的基础上进行,暂时不会涉及到伪分布式或者完全分布式模式搭建,由于HA模式涉及到的配置文件较多,维护起来也较为复杂,相信学会部署高可用模式了,其他模式的搭建也会比较驾轻就熟,关于各种配置文件的讲解,如果有时间会在后期另开一篇博客进行详细的解读,现在正式开始部署流程! 1. 安装准备 基本思路讲解:在做正式安装之前,首先需要整理有哪些软件包是一定需要安装的,尽量先在一台机器上(一般我们称这台机器为“母机”)把所有需要的软…

绪论 前几天我用一种方式实现了spring cloud的高可用,达到两个注册中心,详情见spring cloud(学习笔记)高可用注册中心(Eureka)的实现(一),今天我意外发现,注册中心可以无限的增加,并这种方法也比较简洁,这里分享给大家 spring cloud 高可用注册中心(Eureka)(三个注册中心)的实现 1.创建工程,这里只需要两个工程,一个注册中心一个测试客户端,不知道怎么创建的可以看spring cloud(学习笔记)高可用注册中心(Eureka)的实现(一) 2.在工程…

目录 1.前言 2.安装 3.配置文件详解 4.工作原理 5.Linux下托管.NET Core项目 6.Linux下.NET Core项目负载均衡 7.负载均衡策略 8.加权轮询(round robin)策略剖析 9.IP哈希(ip hash)策略剖析 10.最少连接(least_conn)策略剖析 11.随机(random)策略剖析 12.URL哈希(url hash)策略剖析 13.响应时间(fair)第三方模块详解 14.Linux下.NET Core项目Nginx+Keepalived…

前文回顾 建议前面文章没看过的同学先看下前面的文章: 「老司机带你玩转面试(1):缓存中间件 Redis 基础知识以及数据持久化」 「老司机带你玩转面试(2):Redis 过期策略以及缓存雪崩.击穿.穿透」 Redis 主从模式 在生产环境使用 Redis ,完全禁止使用单机模式,单机模式风险太高,一台机器出于某些原因挂掉,就会导致整个缓存服务死掉,所以,我们需要使用多台机器来保证 Redis 的高可用,同时也顺便提升了并发性. 对于 Redis 缓存而言,更常见的应用场景是支持读高并发,而写高…

Redis系列1:深刻理解高性能Redis的本质 Redis系列2:数据持久化提高可用性 1 主从复制介绍 上一篇<Redis系列2:数据持久化提高可用性>中,我们介绍了Redis中的数据持久化技术,包括 RDB快照 和 AOF日志 .有了这两个利器,我们再也不用担心机器宕机,数据丢失了. 但是持久化技术只是解决了Redis服务故障之后,快速数据恢复的问题.并没有从根本上提升Redis的可用性,我们需要的是保障Redis的高可用,减少甚至避免Redis服务发生宕机的可能. 目前实现Redis高…

最近在学习的时候,发现微服务架构中,假如只有一个注册中心,那这个注册中心挂了可怎么办,这样的系统,既不安全,稳定性也不好,网上和书上找了一会,发现这个spring cloud早就想到了,并帮我们解决了! 构建高可用的注册中心 1.创建spring boot项目 创建的网站http://start.spring.io/,界面如下,创建两个spring工程,一个作为注册中心,一个作为测试客户端,注意要导入(eureka-server),创建的界面如下 导入的依赖的配置如下 <?xml version…

Hbase高可用+完全分布式完整部署教程 本篇博客承接上一篇sqoop的部署教程,将会详细介绍完全分布式并且是高可用模式下的Hbase的部署流程,废话不多说,我们直接开始! 1. 安装准备 部署Hbase时,我们使用的版本为1.2.8 2. 正式安装 1. 将hbase-1.2.8-bin.tar.gz文件使用远程传输软件放到s101的/home/centos/downloads下 2. 将hbase-1.2.8-bin.tar.gz解压缩至/soft下 tar -xzvf /home/cent…

上一节提到了 Redis 的持久性,也就是在服务器实例宕机或故障时,拥有再恢复的能力.但是在这个服务器实例宕机恢复期间,是无法接受新的数据请求.对于整体服务而言这是无法容忍的,因此我们可以使用多个服务器实例,在一个实例宕机中断时,另外的服务器实例可以继续对外提供服务,从而不中断业务.Redis 是如何做的呢?Redis 做法是增加冗余副本,将一份数据同时保存在多个实例上.那么如何保存各个实例之间的数据一致性呢?Redis 采用主从库读写分离模式来保证数据副本的一致性. 一.主从复制介绍 在 Re…

String 1.String 常用命令: 除了get.set.incr.decr mget等操作外,Redis还提供了下面一些操作: 获取字符串长度 往字符串append内容 设置和获取字符串的某一段内容 设置及获取字符串的某一位(bit) 批量设置一系列字符串的内容 应用场景: String是最常用的一种数据类型,普通的key/value存储都可以归为此类,value其实不仅是String, 也可以是数字:比如想知道什么时候封锁一个IP地址(访问超过几次).INCRBY命令让这些变得很容易,…

Redis命令中的Pub/Sub Redis在 2.0之后的版本中 实现了 事件推送的  发布订阅命令 以下是Redis关于发布和订阅提供的相关命令 SUBSCRIBE channel [channel ...] 订阅给定的一个或多个频道的信息. PSUBSCRIBE pattern [pattern ...] 订阅一个或多个符合给定模式的频道. PUBLISH channel message 将信息 message 发送到指定的频道 channel . PUBSUB <subcommand>…