最近工作中的一个问题,耗时一个月之久终于调查完毕且顺利解决,顿时感慨万千.耗时之久和预期解决时间和环境搭建以及日志不合理等等有关,当然这个并非此文的重点.之所以在很久以后的今天又开始写文,主要是这个问题调查的过程值得铭记.具体情况如下文述. 一.问题发现过程数据告警服务提示相关分析结果缺失,经初步调查,发现分析服务在调用对应的NLP算法服务时出现大量Failed,遂查看算法日志,确实存在错误信息. 二.问题调查和解决1.定位问题 1) 反馈给算法相关开发同学:他们认为可能是该算法遇到了长文本数据…

keepalived可以将多个无状态的单点通过虚拟IP(以下称为VIP)漂移的方式搭建成一个高可用服务,常用组合比如 keepalived+nginx,lvs,haproxy和memcached等.它的实现基础是VRRP协议,包括核心的MASTER竞选机制都是在VRRP协议所约定的. 一.配置说明: keepalived的配置位于/etc/keepalived/keepalived.conf,配置文件格式包含多个必填/可选的配置段,部分重要配置含义如下: global_defs: 全局定义块,定…

背景:之前搭建过keepalived双机热备的集群,但对其中的原理不甚理解,看完就忘了,所有有必要深入的学习下. 简介 什么是keepalived呢?keepalived是实现高可用的一种轻量级的技术手段,主要用来防止单点故障(单点故障是指一旦某一点出现故障就会导致整个系统架构的不可用)的发生.之所以说keepalived是轻量级的,是相对于corosync + ldirectord来说的.keepalived也可以实现高可用集群,而且配置起来比corosync + ldirectord简单方便…

2017-01-18 Martin 开源技术社区 简介 什么是keepalived呢?keepalived是实现高可用的一种轻量级的技术手段,主要用来防止单点故障(单点故障是指一旦某一点出现故障就会导致整个系统架构的不可用)的发生.之所以说keepalived是轻量级的,是相对于corosync + ldirectord来说的.keepalived也可以实现高可用集群,而且配置起来比corosync + ldirectord简单方便很多,keepalived与corosync的工作机制相差很多.…

系统环境    硬件平台 &  操作 IBM 570 操作系统版本号  AIX 5.3 物理内存  32G Oracle 产品及版本号  10.2.0.5 RAC 业务类型  OLTP 背景概述 交易系统在xx月xx 日.节点二VIP异常下线导致节点二数据库服务失 效.接到请求后.第一时间进行连线处理.故障发生在凌晨 3点,并且 AIX(errpt).Oracle DB(alert.log ).CRS (crsd.log .ocssd.log.vip.log. coredump )等均没有留…

在上一片博客中,讲述了怎么去配置MHA架构!这片博客不再细说,只说明其中MySQL主从搭建,这里使用的是gtid加上半同步复制! 步骤与上一片博客一样,不同之处在于MySQL主从的搭建!详细的gtid搭建过程https://www.cnblogs.com/wxzhe/p/10055154.html 上一片博客中,把MySQL主从的搭建由filename和pos的过程改变为如下的基于gtid的过程就可以,因此不再详细说明,只展示gtid的搭建! 四台服务器分配如下: MHA管理节点: 10.0.1…

VIP漂移的两种方式 1)通过keepalived的方式,管理虚拟IP的漂移 2)通过MHA自带脚本方式,管理虚拟IP的漂移 MHA脚本方式 虚拟ip漂移的脚本下载地址 -> wget http://download.driverzeng.com/master_ip_failover 如果是wget下载的脚本,需要转换格式:   [root@db03 mha]#  dos2unix master_ip_failover 脚本内容如下 [root@db03 ~]# cat /usr/local/b…

TCP端口复用引发的异常,用setsockopt来解决 我们在并发连接一个服务端时候他会出现这种情况 OSError: [WinError 10048] 通常每个套接字地址(协议/网络地址/端口)只允许使用一次. 假如端口被socket使用过,并且利用socket.close()来关闭连接,但此时端口还没有释放,要经过一个TIME_WAIT的过程之后才能使用,这是TNN的相当烦银的,为了实现端口的马上复用,可以选择setsockopt()函数来达到. 端口复用的实现,我在这里用Python举个T…

MHAvip漂移 配置 通过MHA自带脚本方式,管理虚拟IP的漂移 获取管理脚本master_ip_failover cp master_ip_failover /usr/local/bin/ #脚本放在/usr/local/bin/下 记得给脚本X权限 脚本内容#!/usr/bin/env perl use strict; use warnings FATAL => 'all'; use Getopt::Long; my ( $command, $ssh_user, $orig_master_…

目录 Binlog Server 在 MHA 配置文件中配置 Binlog Server 创建 Binlog 存放目录 实时传输主库 Binlog 命令 重启 MHA 检验 MHA Manager 服务器 Binlog 同步 主库宕机恢复自动化脚本 SSH 报错 VIP 漂移 VIP 漂移的两种方式 2.配置 MHA 读取 VIP 自动漂移 脚本 编写 VIP 自动漂移脚本 手动绑定主库 VIP 重启 MHA 测试 VIP 漂移 Binlog Server 考虑一个问题,如果主库服务器宕机,为了…