PostgreSQL高可用集群方案收集/主从切换/一主多从（待实践）

对于业内来说,基本都在围绕主从切换的高可用方案: http://www.10tiao.com/html/175/201509/210974337/1.html https://www.jianshu.com/p/ef183d0a9213 https://my.oschina.net/Kenyon/blog/98217 一主多从实现读写分离,完全依赖第三方激情软件的pgpool: http://www.bkjia.com/Javascript/1188773.html https://github…

MongoDB高可用集群搭建（主从、分片、路由、安全验证）

目录一.环境准备 1.部署图 2.模块介绍 3.服务器准备二.环境变量 1.准备三台集群 2.安装解压 3.配置环境变量三.集群搭建 1.新建配置目录 2.修改配置文件 3.分发其他节点 4.批量启动 5.创建配置服务器副本集四.集群测试 1.启动路由服务器客户端 2.插入数据 3.验证主从 5.web控制台(浏览器访问) 1.登陆路由服务器 2.串联路由和分片副本集 3.查看分片服务器的配置 4.数据库的分片设置 5.验证分片七.高可用验证 1.测试集群的高可用性 2.查看shard…

activemq+Zookeper高可用集群方案配置

在高并发.对稳定性要求极高的系统中,高可用的是必不可少的,当然ActiveMQ也有自己的集群方案.从ActiveMQ 5.9开始,ActiveMQ的集群实现方式取消了传统的Master-Slave方式,增加了基于ZooKeeper + LevelDB 的 Master-Slave 实现方式. 相关文章:范例项目: http://wosyingjun.iteye.com/blog/2312553 ActiveMQ的简单实用:http://wosyingjun.iteye.com/blog/2314…

Mycat节点扩缩容及高可用集群方案

数据迁移与扩容实践: 工具目前从 mycat1.6,准备工作:1.mycat 所在环境安装 mysql 客户端程序. 2.mycat 的 lib 目录下添加 mysql 的 jdbc 驱动包. 3.对扩容缩容的表所有节点数据进行备份,以便迁移失败后的数据恢复. 步骤: 1.复制 schema.xml.rule.xml 并重命名为 newSchema.xml.newRule.xml 放于 conf 目录下. 2.修改 newSchema.xml 和 newRule.xml 配置文件为扩容缩容后的…

LVS+Heartbeat 高可用集群方案操作记录

之前分别介绍了LVS基础知识和Heartbeat基础知识, 今天这里简单说下LVS+Heartbeat实现高可用web集群方案的操作说明. Heartbeat 项目是 Linux-HA 工程的一个组成部分,它实现了一个高可用集群系统.心跳服务和集群通信是高可用集群的两个关键组件,在 Heartbeat 项目里,由 heartbeat 模块实现了这两个功能. Heartbeat的高可用集群采用的通信方式是udp协议和串口通信,而且heartbeat插件技术实现了集群间的串口.多播.广播和组播通信.…

MySQL高可用集群方案

一.Mysql高可用解决方案方案一:共享存储一般共享存储采用比较多的是 SAN/NAS 方案. 方案二:操作系统实时数据块复制这个方案的典型场景是 DRBD,DRBD架构(MySQL+DRBD+Heartbeat) 方案三:主从复制架构主从复制(一主多从) MMM架构(双主多从) MHA架构(多主多从) 方案四:数据库高可用架构这种方式比较经典的案例包括 MGR(MySQL Group Replication)和 Galera 等,最近业内也有一些类似的尝试,如使用一致性协议算法,自研…

postgresql高可用集群部署

一.概况 1.概念 pgsql高可用集群采用postgresql+etcd+patroni+haproxy+keepalived等软件实现,以postgresql做数据库,etcd存储集群状态,patroni与etcd结合实现数据库集群故障切换,haproxy实现数据库高可用(读读写分离),keepalived实现VIP跳转. 2.拓扑图二.postgresql部署(三个节点) 1.下载解压 https://www.enterprisedb.com/download-postgresql-bi…

Redis高可用集群方案——哨兵

本篇文章版权归博客园和作者吴双本人共同所有,转载和爬虫请注明原文系列地址http://www.cnblogs.com/tdws/tag/NoSql/ 本人之前有篇文章,讲到了redis主从复制,读写分离.然而留下的问题是当主服务器挂了,我们就无法向客户端提供任何服务了呀,这样的方案,就不能称之为高可用方案.下面,提供一种Redis集群高可用方案,拙劣之处,欢迎指正和补充. Redis为我们提供了哨兵,它就像一个为我们的Redis服务站岗的人,当主服务器发生异常时,他会通过投票的方式,将从服务节点…

Haproxy+Heartbeat 高可用集群方案操作记录

之前详细介绍了haproxy的基础知识点, 下面记录下Haproxy+Heartbeat高可用web集群方案实现过程, 以加深理解. 架构草图如下: 1) 基本环境准备 (centos6.9系统) 172.16.60.208(eth0) HA主节点(ha-master) haproxy,heartbeat 172.16.60.207(eth0) HA备节点(ha-slave) haproxy,heartbeat 172.16.60.229 VIP地址 172.16.60.204(eth0) 后端…

Mysql分布式部署高可用集群方案

HAproxy+Mycat +MySQL主从集群高可用方案 1. HAproxy高可用方案: haproxy+keepalived,利用keepalived的VIP浮动能力,(多台haproxy对应同一个虚拟IP)实现haproxy集群高可用. 2. Mycat高可用方案可以使用xinetd来实现,通过xinetd,HAProxy可以用httpchk来检测Mycat的存活状态. HAProxy负责将请求分发到Mycat上,起到负载均衡的作用,同时HAProxy也…

Oracle的三种高可用集群方案

浏览了一下Oracle官方的网页以及非官方的ppt,简单了解了一下Oracle提供的高可用方案. 主要有三种: 1. RAC RAC, Real Application Clusters 多个Oracle服务器组成一个共享的Cache,而这些Oracle服务器共享一个基于网络的存储.这个系统可以容忍单机/或是多机失败. 不过系统内部的多个节点需要高速网络互连,基本上也就是要全部东西放在在一个机房内,或者说一个数据中心内.如果机房出故障,比如网络不通,那就坏了.所以仅仅用RAC还是满足不了一般互…

[Open Source] RabbitMQ 高可用集群方案

简介 RabbitMQ是用erlang开发的,集群非常方便,因为erlang天生就是一门分布式语言,但其本身并不支持负载均衡. Rabbit模式大概分为以下三种:单一模式.普通模式.镜像模式 RabbitMQ工作模式单一模式 (最简单的情况,非集群模式) 普通模式 (默认的集群模式) 流程对于Queue来说,消息实体只存在于其中一个节点,A.B两个节点仅有相同的元数据,即队列结构. 当消息进入A节点的Queue中后,consumer从B节点拉取时,RabbitMQ会临时在A.B间进行消息传输…

Redis高可用集群方案

Redis为我们提供了哨兵,它就像一个为我们的Redis服务站岗的人,当主服务器发生异常时,他会通过投票的方式,将从服务节点升为主服务节点.当我们处理好主节点故障并重启时,原来挂掉的主节点,作为新的主节点的子节点. 为了在本机测试,首先我在6379,6380,6381节点上开启三个redis服务,6379做为master节点,6380和6381作为其从服务节点.关于主从的配置如果有疑问的话请看我的这篇文章https://www.cnblogs.com/tdws/p/5705782.html. 下…

Kubernetes容器集群 - harbor仓库高可用集群部署说明

之前介绍Harbor私有仓库的安装和使用,这里重点说下Harbor高可用集群方案的部署,目前主要有两种主流的Harbor高可用集群方案:1)双主复制:2)多harbor实例共享后端存储. 一.Harbor双主复制高可用集群 1)主从同步harbor官方默认提供主从复制的方案来解决镜像同步问题,通过复制的方式,我们可以实时将测试环境harbor仓库的镜像同步到生产环境harbor,类似于如下流程: 在实际生产运维的中,往往需要把镜像发布到几十或上百台集群节点上.这时,单个Registry已经无法满…

【转】harbor仓库高可用集群部署说明

消息中间件-ActiveMQ高可用集群和持久化机制

1.修改active.mq的xml文件 2.延时.调度消息 package com.study.mq.b1_message; import org.apache.activemq.ActiveMQConnectionFactory; import org.apache.activemq.ScheduledMessage; import javax.jms.*; // 延时.调度消息 http://activemq.apache.org/delay-and-schedule-message-del…

Linux下"负载均衡+高可用"集群的考虑点以及高可用方案说明(Keepalive/Heartbeat)

当下Linux运维技术越来越受到企业的关注和追捧, 在某些企业, 尤其是牵涉到电子商务和电子广告类的网站,通常会要求作负载均衡和高可用的Linux集群方案.那么如何实施Llinux集群架构,才能既有效保证网站健康运行,又能节省运维成本呢?以下是根据本人几年的运维经历,简单梳理下自己的一点感悟. 1) 机房的选择如果有自己公司的机房那是再好不过的了:如果没有,建议放在BGP机房内托管,如果有选择的话,最好是选择带有硬件防火墙的机房,这样在安全方面也有保障: 网站如若是放在IDC机房托管,而机房最前…

Mysql 高可用集群PXC

PXC是percona公司的percona xtraDB cluster,简称PXC.它是基于Galera协议的高可用集群方案.可以实现多个节点间的数据同步复制以及读写,并且可保障数据库的服务高可用及数据强一致性. PXC架构图: 三个节点都已经启动成功,这样在任意一个节点上面,执行一条DML语句的操作,都会同步到另外两个节点 PXC就属于一套近乎完美的MySQL高可用集群架构方案: 优点总结: 1.可以达到时时同步,无延迟现象发生 2.完全兼容MySQL 3.对于集群中新节点的加入…

linux系统下对网站实施负载均衡+高可用集群需要考虑的几点

随着linux系统的成熟和广泛普及,linux运维技术越来越受到企业的关注和追捧.在一些中小企业,尤其是牵涉到电子商务和电子广告类的网站,通常会要求作负载均衡和高可用的Linux集群方案. 那么如何实施linux集群架构,才能既有效保证网站健康运行,又能节省运维成本呢?下面依据近几年的运维经历,简单梳理下自己的一点感悟. (1)机房的选择如果有自己公司的机房那是再好不过的了:如果没有,建议放在BGP机房内托管,如果有选择的话,最好是选择带有硬件防火墙的机房,这样在安全方面也有保障:网站如若是放在…

RabbitMQ可靠性投递及高可用集群

可靠性投递: 首先需要明确,效率与可靠性是无法兼得的,如果要保证每一个环节都成功,势必会对消息的收发效率造成影响.如果是一些业务实时一致性要求不是特别高的场合,可以牺牲一些可靠性来换取效率. 要保证消息的可靠性投递,首先需要从以下几方面来确保,其次考虑其他的原因: 1.确保消息发送到RabbitMQ服务器(发送). 可能因为网络或者Broker的问题导致①失败,而生产者是无法知道消息是否正确发送到Broker的.有两种解决方案,第一种是Transaction(事务)模式,第二种Confirm(确…

ProxySQL Cluster 高可用集群环境部署记录

ProxySQL在早期版本若需要做高可用,需要搭建两个实例,进行冗余.但两个ProxySQL实例之间的数据并不能共通,在主实例上配置后,仍需要在备用节点上进行配置,对管理来说非常不方便.但是ProxySQl 从1.4.2版本后,ProxySQL支持原生的Cluster集群搭建,实例之间可以互通一些配置数据,大大简化了管理与维护操作. ProxySQL是一个非中心化代理,在拓扑中,建议将它部署在靠近应用程序服务器的位置处.ProxySQL节点可以很方便地扩展到上百个节点,因为它支持runtime修…

harbor高可用集群搭建

高可用harbor集群搭建一.安装部署 1.节点角色角色数量名称备注 harbor主节点 2 harbor-1 harbor-2 双主模式 haproxy 2 HA-1 HA-2 需要通过keepalived绑定vip Redis 高可用集群 redis harbor组件,本地启动或远程配置 postgresql 高可用集群 postgres harbor组件,本地启动或远程配置 ceph 高可用集群 ceph harbor组件 2.离线安装 1.下载离线源码包解压至harbor-1…

ProxySQL Cluster 高可用集群 + MySQL MGR环境部署 (多写模式) 部署记录

文章转载自:https://blog.51cto.com/u_6215974/4937192 ProxySQL 在早期版本若需要做高可用,需要搭建两个实例,进行冗余.但两个ProxySQL实例之间的数据并不能共通,在主实例上配置后,仍需要在备用节点上进行配置,对管理来说非常不方便.但是ProxySQl 从1.4.2版本后,ProxySQL支持原生的Cluster集群搭建,实例之间可以互通一些配置数据,大大简化了管理与维护操作. ProxySQL是一个非中心化代理,在拓扑中,建议将它部署在靠近应用…

spark高可用集群搭建及运行测试

文中的所有操作都是在之前的文章spark集群的搭建基础上建立的,重复操作已经简写: 之前的配置中使用了master01.slave01.slave02.slave03: 本篇文章还要添加master02和CloudDeskTop两个节点,并配置好运行环境: 一.流程: 1.在搭建高可用集群之前需要先配置高可用,首先在master01上: [hadoop@master01 ~]$ cd /software/spark-2.1.1/conf/ [hadoop@master01 conf]$ vi s…