hadoop和hbase高可用模式部署

记录apache版本的hadoop和hbase的安装,并启用高可用模式. 1. 主机环境我这里使用的操作系统是centos 6.5,安装在vmware上,共三台. 主机名 IP 操作系统用户名安装目录 node1 192.168.1.101 centos 6.5 wxyuan /opt/hadoop,/opt/hbase node2 192.168.1.102 centos 6.5 wxyuan /opt/hadoop,/opt/hbase node3 192.168.1.103 cent…

CentOS6下OpenLDAP+PhpLdapAdmin基本安装及主从/主主高可用模式部署记录

下面测试的部署机ip地址为:192.168.10.2051)yum安装OpenLDAP [root@openldap-server ~]# yum install openldap openldap-* -y 2)配置ldap,包括准备DB_CONFIG和slapd.conf [root@openldap-server ~]# cp /usr/share/openldap-servers/DB_CONFIG.example /var/lib/ldap/DB_CONFIG [root@openld…

MongoDB高可用模式部署

首先准备机器,我这里是在公司云平台创建了三台DB server,ip分别是10.199.144.84,10.199.144.89,10.199.144.90. 分别安装mongodb最新稳定版本: wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.12.tgz tar -xzvf mongodb-linux-x86_64-2.4.12.tgz mv mongodb-linux-x86_64-2.4.12 /usr/lib…

hbase高可用集群部署（cdh）

一.概要本文记录hbase高可用集群部署过程,在部署hbase之前需要事先部署好hadoop集群,因为hbase的数据需要存放在hdfs上,hadoop集群的部署后续会有一篇文章记录,本文假设hadoop集群已经部署好,分布式hbase集群需要依赖zk,并且zk可以是hbase自己托管的也可以是我们自己单独搭建的,这里我们使用自己单独搭建的zk集群,我们的hadoop集群是用的cdh的发行版,所以hbase也会使用cdh的源. 二.环境 1.软件版本 centos6 zookeeper-3.4…

大数据学习笔记——Hbase高可用+完全分布式完整部署教程

Hbase高可用+完全分布式完整部署教程本篇博客承接上一篇sqoop的部署教程,将会详细介绍完全分布式并且是高可用模式下的Hbase的部署流程,废话不多说,我们直接开始! 1. 安装准备部署Hbase时,我们使用的版本为1.2.8 2. 正式安装 1. 将hbase-1.2.8-bin.tar.gz文件使用远程传输软件放到s101的/home/centos/downloads下 2. 将hbase-1.2.8-bin.tar.gz解压缩至/soft下 tar -xzvf /home/cent…

Haproxy+Keepalived高可用环境部署梳理（主主和主从模式）

Nginx.LVS.HAProxy 是目前使用最广泛的三种负载均衡软件,本人都在多个项目中实施过,通常会结合Keepalive做健康检查,实现故障转移的高可用功能. 1)在四层(tcp)实现负载均衡的软件: lvs------>重量级 nginx------>轻量级,带缓存功能,正则表达式较灵活 haproxy------>模拟四层转发,较灵活 2)在七层(http)实现反向代理的软件: haproxy------>天生技能,全面支持七层代理,会话保持,标记,路径转移: nginx…

LVS+Keepalived 高可用环境部署记录（主主和主从模式）

之前的文章介绍了LVS负载均衡-基础知识梳理, 下面记录下LVS+Keepalived高可用环境部署梳理(主主和主从模式)的操作流程: 一.LVS+Keepalived主从热备的高可用环境部署 1)环境准备 LVS_Keepalived_Master 182.148.15.237 LVS_Keepalived_Backup 182.148.15.236 Real_Server1 182.148.15.233 Real_Server2 182.148.15.238 VIP 182.148.15.2…

HBase高可用原理与实践

前言前段时间有套线上HBase出了点小问题,导致该套HBase集群服务停止了2个小时,从而造成使用该套HBase作为数据存储的应用也出现了服务异常.在排查问题之余,我们不禁也在思考,以后再出现类似的问题怎么办?这种问题该如何避免?用惯了MySQL,于是乎想到了HBase是否跟MySQL一样,也有其高可用方案? 答案当然是肯定的,几乎所有的数据库(无论是关系型还是分布式的),都采用WAL的方式来保障服务异常时候的数据恢复,HBase同样也是通过WAL来保障数据不丢失.HBase在写数据前会先写H…

一脸懵逼学习Hadoop分布式集群HA模式部署（七台机器跑集群）

1)集群规划:主机名 IP 安装的软件运行的进程master 192.168.199.130 jdk.hadoop NameNode.DFSZKFailoverController(zkfc)slaver1 192.168.199.131 jdk.hadoop NameNode.DFSZKFailoverController(…

openstack pike 集群高可用安装部署目录汇总

# openstack pike 集群高可用安装部署#安装环境 centos 7 史上最详细的openstack pike版部署文档欢迎经验分享,欢迎笔记分享欢迎留言,或加QQ群663105353 原创文章,持续更新中 http://www.cnblogs.com/elvi/p/7613861.html #文档使用notepad++ 编辑#安装步骤做少量修改即可部署openstack#配置文件,几乎全部采用echo替换或追加方式,方便查阅#操作步骤很详细,解释说明很少,基础知识需要自己挖掘…

gitlab高可用模式

高可用模式企业版社区版我们这里说一下成本比较低的主备模式,它主要依赖的是DRBD方式进行数据同步,需要2台ALL IN ONE的GitLab服务器,也就是通过上面安装方式把所有组件都安装在一起的2台机器. 什么是DRBD 它是分布式复制块设备,软件实现的无需共享可以在服务器之间镜像块设备的存储复制解决方案. 左侧为A节点,右侧为B节点 DRBD运行在内核里,它是一个内核模块.Linux2.6.33开始已经整合进内核.上图A为活动节点,B为被动节点.A收到数据发往内核的数据通路,DRBD在数…

001/Nginx高可用模式下的负载均衡与动静分离（笔记）

Nginx高可用模式下的负载均衡与动静分离 Nginx(engine x)是一个高性能的HTTP和反向代理服务器,具有内存少,并发能力强特点. 1.处理静态文件.索引文件以及自动索引:打开文件描述符缓冲 2.无缓存的反向代理加速,简单的负载均衡和容错一.Nginx负载均衡原理 Nginx负责转发到Tomcat(注意:Nginx与Web部署在同一台服务器).可用下图描述: 说明: Step1:浏览器发送http请求,通过域名,找到hosts文件下对应的IP. 注:域名工作原理(www.cang.…

Rancher On K3s 高可用架构部署

Rancher 推荐部署架构 k3s 模式 RKE 和 k8s 模式备注: 我对 RKE 的理解就是 Ansible + kubeadm 的打包,首先 rke 需要到每一个节点都可以免密 ssh ,其次,可以使用类似 kubeadm-config.yaml 的配置文件 init 一个 k8s 集群.当然 rke 可以有效的管理证书. 高可用模式下,一句大白话:无论如何你都需要 Rancher on K8s k3s 部署 etcd 部署 k3s 支持多种外部存储,例如:SQLite, MySQL…

LVS+Keepalived 高可用群集部署

LVS+Keepalived 高可用群集部署 1.LVS+Keepalived 高可用群集概述 2.LVS+Keepalived高可用群集部署 1.LVS+Keepalived 高可用群集概述: LVS 实际上相当于基于IP地址的虚拟化应用, 为基于IP地址和内容请求分发的负载均衡提出了一种高效的解决方法 Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案,可以解决静态路由出现的单点故障问题. 支持故障自动切换,支持节点健康状态检查工作原理: Keepalived 是一个基…

Centos下SFTP双机高可用环境部署记录

SFTP(SSH File Transfer Protocol),安全文件传送协议.有时也被称作 Secure File Transfer Protocol 或 SFTP.它和SCP的区别是它允许用户中断传输,SCP拷贝速度稍快一些.SFTP可以为传输文件提供一种安全的加密方法.SFTP与FTP有着几乎一样的语法和功能.SFTP 为 SSH的一部分,是一种传输档案至Blogger伺服器的安全方式.其实在SSH软件包中,已经包含了一个叫作SFTP的安全文件传输子系统,SFTP本身没有单独的守护进程…

Hadoop生态圈-Kafka的本地模式部署

Hadoop生态圈-Kafka的本地模式部署作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Kafka简介 1>.什么是JMS 答:在Java中有一个角消息系统的东西,我们叫他Java Message Service,简称JMS.比如各种MQ. 2>.JMS的两种工作模式第一种模式:点到点(point to point,简称P2P),典型的一对一模式(一个人发送数据的同时只有一个人接收数据),也有人称之为端到端(peer to peer). 第二种模式:发布订阅模式(…

hadoop 2.7.1 高可用安装部署

hadoop集群规划目标:创建2个NameNode,做高可用,一个NameNode挂掉,另一个能够启动:一个运行Yarn,3台DataNode,3台Zookeeper集群,做高可用. 在hadoop2中通常由两个NameNode组成,一个处于active状态,另一个处于standby状态.Active NameNode对外提供服务,而Standby NameNode则不对外提供服务,仅同步active namenode的状态,以便能够在它失败时快速进行切换. 这里还配置了一个zookeeper…

大数据Hadoop的HA高可用架构集群部署

1 概述在Hadoop 2.0.0之前,一个Hadoop集群只有一个NameNode,那么NameNode就会存在单点故障的问题,幸运的是Hadoop 2.0.0之后解决了这个问题,即支持NameNode的HA高可用,NameNode的高可用是通过集群中冗余两个NameNode,并且这两个NameNode分别部署到不同的服务器中,其中一个NameNode处于Active状态,另外一个处于Standby状态,如果主NameNode出现故障,那么集群会立即切换到另外一个NameNode来保…

[大数据] hadoop高可用(HA)部署（未完）

一.HA部署架构如上图所示,我们可以将其分为三个部分: 1.NN和DN组成Hadoop业务组件.浅绿色部分. 2.中间深蓝色部分,为Journal Node,其为一个集群,用于提供高可用的共享文件存储(元数据存储). 3.蓝色部分为Zookeeper,提供自动NN切换. 在 hadoop全分布式安装中,我们已经部署了一套全分布式的Hadoop集群,包含1个NN和3个DN. 我们在全分布式的基础上将其中一个DN(安装SNN的节点)变为SBNN(备用NN). 在全分布式中,存在一个SNN(sec…

Hadoop High Availability高可用

HDFS HA Namenode HA 详解 hadoop2.x 之后,Clouera 提出了 QJM/Qurom Journal Manager,这是一个基于 Paxos 算法(分布式一致性算法)实现的 HDFS HA 方案,它给出了一种较好的解决思路和方案,QJM 主要优势如下: 不需要配置额外的高共享存储,降低了复杂度和维护成本. 消除 spof(单点故障). 系统鲁棒性(Robust)的程度可配置.可扩展. 基本原理就是用 2N+1 台 JournalNode 存储 EditLog,每…

阿里HBase高可用8年“抗战”回忆录

2017年开始阿里HBase走向公有云,我们有计划的在逐步将阿里内部的高可用技术提供给外部客户,目前已经上线了同城主备,将作为我们后续高可用能力发展的一个基础平台.本文分四个部分回顾阿里HBase在高可用方面的发展:大集群.MTTF&MTTR.容灾.极致体验,希望能给大家带来一些共鸣和思考. 大集群一个业务一个集群在初期很简便,但随着业务增多会加重运维负担,更重要的是无法有效利用资源.首先每一个集群都要有Zookeeper.Master.NameNode这三种角色,固定的消耗3台机器.其次有些…

Redis之Sentinel高可用安装部署

背景: 之前通过Redis Sentinel 高可用实现说明和Redis 复制.Sentinel的搭建和原理说明大致已经介绍了sentinel的原理和实现,本文再次做个简单的回顾.具体的信息见前面的两篇文章说明,本文要实现的sentinel是通过2个redis数据节点和3个sentinel节点来达到高可用,目标是希望标准化Sentinel的安装部署. 环境: Redis版本:Redis-3.2.8 系统版本:Ubuntu 14.04 服务器 :192.168.1.55,192.168.1.56,…

Redis+Keepalived高可用环境部署记录

Keepalived 实现VRRP(虚拟路由冗余)协议,从路由级别实现VIP切换,可以完全避免类似heartbeat脑裂问题,可以很好的实现主从.主备.互备方案,尤其是无状态业务,有状态业务就需要额外花些功夫了.既然Mysql可以使用Keepalived很好的做到主从切换,那么Redis自然可以使用这种方式实现高可用. Redis主从实现完全没有Mysql成熟,仅仅是可用而已,经过测试主从也不是那么完全不靠谱,主要问题在于同步连接断开之后需要重新全量同步,如果频繁进行会对主服务带来很大性能影响.…

2020-05-29：redis怎么保证高可用，高可用模式有那些?对比下优缺点?

福哥答案2020-05-29: Redis 高可用架构如下:1.Redis Sentinel 集群 + 内网 DNS + 自定义脚本.2.Redis Sentinel 集群 + VIP + 自定义脚本.3.封装客户端直连 Redis Sentinel 端口.4.JedisSentinelPool,适合 Java.5.PHP 基于 phpredis 自行封装.6.Redis Sentinel 集群 + Keepalived/Haproxy.7.Redis M/S + Keepalived.8.Re…

Jumpserver双机高可用环境部署笔记

之前在IDC部署了Jumpserver堡垒机环境,作为登陆线上服务器的统一入口.后面运行一段时间后,发现Jumpserver服务器的CPU负载使用率高达80%以上,主要是python程序对CPU的消耗比较大,由于是单机部署,处于安全考虑,急需要部署一套Jumpserver双机高可用环境,实现LB+HA的降低负载和故障转移的目的.以下记录了环境部署的过程: 如下进行调整后,之前的jumpserver用户名.秘钥.密码等信息都不会变,只需要将ssh连接的地址改为ssh端口负载均衡的vip地址即可!…

MySQL之高可用MHA部署

先说一下大概原理虚拟机A ip为10.0.3.92 作为master 虚拟机B ip为10.0.3.102 作为slave1 虚拟机C ip为10.0.3.103 作为slave2 虚拟机D ip为10.0.3.104 作为manager 首先配置一主两从环境,A为主,BC为从然后配置所有虚拟机两两之间ssh免密登录(ssh怎么免密登录,自己百度,或者搜索我博客里的文章吧,也有记录怎么配置ssh免密登录的) D中新建配置文件 D中检测ssh配置以及主从配置是…

MHA 高可用架构部署

一, MHA 介绍 MHA(Master High Availability)目前在MySQL高可用方面是一个相对成熟的解决方案,它由日本DeNA公司youshimaton(现就职于Facebook公司)开发,是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件.在MySQL故障切换过程中,MHA能做到在0~30秒之内自动完成数据库的故障切换操作,并且在进行故障切换的过程中,MHA能在最大程度上保证数据的一致性,以达到真正意义上的高可用. 该软件由两部分组成:MHA Manag…