一.预期目的 主数据库(Primary pg ,假定主机名为A,后文不再赘述)和备用数据库(Standby pg,假定主机名为B,后文不再赘述)之间的数据能够相互备份. 主数据库发生故障时备用数据库可以接管工作,变为主数据库.旧的主数据库恢复后,能变为新的主数据库的备用数据库. 主数据库有写入.读取功能,备数据库只有读取功能. 二.使用的软件 Pgpool-II Postgresql 9.2 使用的特性: posgresql的streaming replication 功能 pgpool-II的

以前为了在一台机器上启动多个executor都是通过instance多个worker来实现的,因为standalone模式默认在一台worker上启动一个executor,造成了很大的不便利,并且会造成不同节点间任务负载不均衡,后来发现了另一种解决方法,方法如下. 设置参数 设置每个executor使用的cpu数为4 spark.executor.cores 4 限制cpu使用数量,这里会启动3个executor(12/4) spark.cores.max 12 设置每个executor的内存大

一.主-备模式: 操作系统:centos 6.4 x64 ka1: 192.168.2.10 ka2: 192.168.2.11 vip: 192.168.2.200 ka1-master服务器配置 [ka1 root@192.168.2.10 ~]#yum install httpd keepalived -y # 这里使用apache代替nginx,效果是一样的,然后直接yum安装keepalived [ka1 root@192.168.2.10 ~]#sed -i 's@#ServerNa

基本使用,https://www.tapme.top/blog/detail/2018-09-05-10-38 主备模式,https://www.tapme.top/blog/detail/2018-09-06-10-38   单个 MQ 节点总是不可靠的,一旦该节点出现故障,MQ 服务就不可用了,势必会产生较大的损失.这里记录 activeMQ 如何开启主从备份,一旦 master(主节点故障),slave(从节点)立即提供服务,实现原理是运行多个 MQ 使用同一个持久化数据源,这里以 jdb

一.部署环境 主机列表: 主机名 Centos版本 ip docker version flannel version Keepalived version 主机配置 备注 master01 7.6.1810 172.27.34.3 18.09.9 v0.11.0 v1.3.5 4C4G control plane master02 7.6.1810 172.27.34.4 18.09.9 v0.11.0 v1.3.5 4C4G control plane master03 7.6.1810 1

Nginx+keepalived(高可用主备模式) 环境:centos6.7 准备:两台服务器(虚拟机).两台应用(Tomcat).Nginx.keepalived server1:192.168.237.128  安装上Nginx和keepalived        VIP 192.168.237.10(同网段) server2:192.168.237.129  安装上Nginx和keepalived 安装keepalived : yum install keepalived keepaliv

前景须知: 在redhat6 中网卡叫bond,在redhat7及centos7中改名team,此处只记录centos7中双网卡主备搭建过程. 应用情景:实现网络的高可用,防止一条网线或交换机故障影响该物理机进行数据交互 此次环境是由于在上线业务之前是没有做Team的 ,现在由于要撤掉交换机过程期间需要将网线连接到另外一台交换机,为了防止数据中断,因此采用Team主备模式,这样断掉一个网卡就不影响业务,测试发现重启网卡时候会有3到4个丢包 环境:centos7  网卡1 ens192  网卡2 

1. 热备方案 硬件:server两台,分别用于master-redis及slave-redis 软件:redis.keepalived 实现目标: 由keepalived对外提供虚拟IP(VIP)进行redis访问 主从redis正常工作,主负责处理业务,从进行数据备份 当主出现故障时,从切换为主,接替主的业务进行工作 当主恢复后,拷贝从的数据,恢复主身份,从恢复从身份 数据采用aof方式进行持久化存储,秒级备份,当出现故障后,损失数据不超过1s Keepalived提供以下服务: 对用户提供

gitlab搭建之互备模式   gitlab搭建之互备模式 前言:gitlab目前默认的部署方式是本地单机部署,为了提高gitlab环境的可靠性和稳定性,必须构建一套互备搭建方案:借助gitolilte的mirror功能可以实现此功能: 搭建环境: 2台服务器 -- RedHat 5.4 内核版本 -- linux 2.6.18 x86_64 概要: 1. 搭建两套gitlab标准环境 2. 构建互备模式 1. 搭建两套gitlab标准环境 参考之前博文:http://www.cnblogs.c

简介 ORA-10458: standby database requires recovery ORA-01196: 文件 1 由于介质恢复会话失败而不一致 ORA-01110: 数据文件 1: 'XXXXXXXXXXXXXXXXXX\XXXXX1.DBF' 一个项目做了Oracle主从数据库同步,通过Dataguard实现,从库服务器宕机,再开机的时候,从库无法启动,报"ORA-01196: 文件 1 由于介质恢复会话失败而不一致"这个错误,具体日志信息如下: ORA-10458:

[20180413]热备模式相关问题2.txt --//上午测试热备模式相关问题,就是如果打开热备模式,如果中间的归档丢失,oracle在alter database end   backup ;时并没有应用日志.--//虽然热备份模式文件头scn被"冻结",一定在某个地方记录的检查点的scn,这样在执行alter database end   backup ;时,写入新的scn--//这样在恢复时才有可能跳过一些丢失的归档. --//从某种意义讲,oracle这样设计有一定道理,假设

--//上午测试热备模式相关问题,就是如果打开热备模式,如果中间的归档丢失,oracle在alter database end backup ;时并没有应用日志. --//虽然热备份模式文件头scn被"冻结",一定在某个地方记录的检查点的scn,这样在执行alter database end backup ;时,写入新的scn --//这样在恢复时才有可能跳过一些丢失的归档. --//从某种意义讲,oracle这样设计有一定道理,假设某种情况打开热备模式,由于热备模式中断或者没有完成,

PostgreSQL 速查.备忘手册 作者:汪嘉霖 这是一个你可能需要的一个备忘手册,此手册方便你快速查询到你需要的常见功能.有时也有一些曾经被使用过的高级功能.如无特殊说明,此手册仅适用于 Linux 下(但是许多也都可以在 Windows 下的 psql 命令窗运行),部分功能可能需要你的软件版本不能太低. 欢迎添加你认为有价值的备忘!前往我们的GitHub 切换到 postgres 账户 $ sudo -i -u postgres # 你可能需要在 sudoers list里面,也就是你可

Keepalived LVS-DR单网络双活双主配置模式 Linux就该这么学 今天 LVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统.LVS目前有三种IP负载均衡技术(VS/NAT.VS/TUN和VS/DR).十种调度算法(rrr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq),LVS在Unix-like系统中是作为一个前端(Director)存在的,又称为调度器,它本身不提供任何的服务,只是将通过互联网进来的

Fabric 1.4 源码分析peer节点启动 peer模块采用cobra库来实现cli命令. Cobra提供简单的接口来创建强大的现代化CLI接口,比如git与go工具.Cobra同时也是一个程序, 用于创建CLI程序 peer支持的命令如下所示: Usage: peer [command] Available Commands: chaincode Operate a chaincode: install|instantiate|invoke|package|query|signpackag

本課主題 Master 资源调度的源码鉴赏 [引言部份:你希望读者看完这篇博客后有那些启发.学到什么样的知识点] 更新中...... 资源调度管理 任务调度与资源是通过 DAGScheduler.TaskScheduler.SchedulerBackend 等进行的作业调度 资源调度是指应用程序如何获得资源 任务调度是在资源调度的基础上进行的,没有资源调度那么任务调度就成为了无源之水无本之木 Master 资源调度的源码鉴赏 因為 Master 負責資源管理和調度,所以資源調度方法 schedu

今天下午整整为了启动一个节点瞎忙活一下午,惨痛的教训还是记录下来吧,毕竟付出了代价.事情原委,一个同事在一台机器上占用了大量内存训练CTR点击率模型,而这台机器上部署了分布式Hadoop的一个datanode,一开始报警我没太在意,突然同事告诉我他上不去这台机器了,我心里咯噔一下,完蛋,估计hadoop挂了,上去一看,果不其然,挂了然后下午瞎弄了差不多一下午都没能搞定.最终,在多篇博文的参考下,搞定了.总结问题如下: 下面这两种方法在实际应用中也可能会用到.1)重启坏掉的DataNode或Job

在eos源码目录中programs/nodeos/main.cpp文件里,为节点启动的主函数main函数内部做了两件事1 初始化 application if(!app().initialize<chain_plugin, http_plugin, net_plugin, producer_plugin>(argc, argv)) return INITIALIZE_FAIL; 2 application启动和插件启动 app().startup(); app().exec(); applic

start-all.sh 启动集群时,NameNode或DataNode节点启动不了,但之前可以启动. 查看hadoop中hdfs-site.xml配置文件 <property> <name>dfs.namenode.name.dir</name> <value>/home/hadoopdata/dfs/name</value> </property> <property> <name>dfs.datanode

debugger模式下,启动idea,总是报内存溢出异常, Error creating bean with name 'sysRoleUserMapper' defined in URL [jar:file:/E:/java_erp_new/heaton/heaton-web/target/heaton-web-1.0-SNAPSHOT/WEB-INF/lib/heaton-system-1.0-SNAPSHOT.jar!/org/hc/heaton/system/member/dao/Sys