KingbaseES R6集群归档备份故障分析解决案例
案例说明：
在使用ps工具查看主库进程，发现主库‘archiver’进程失败，检查sys_log日志可以发现归档失败的信息。通过sys_log日志提取归档语句手工执行归档操作，提示“当前数据库启动的data目录和sys_rman.conf配置的‘kb1-path'参数指定的路径不一致”。后查看备份配置文件sys_rman.conf发现，是因为此主机测试过单实例库的备份，导致sys_rman.conf文件被修改，因此导致集群的归档失败。重新在集群环境下初始化备份，归档自动恢复。
数据库版本：
test=# select version();
version
----------------------------------------------------------------------------------------------------------------------
KingbaseES V008R006C005B0041 on x86_64-pc-linux-gnu, compiled by gcc (GCC) 4.1.2 20080704 (Red Hat 4.1.2-46), 64-bit
(1 row)
集群架构：
一、故障现象
=查看主库数据库进程，archiver进程失败=
[kingbase@node101 sys_wal]$ ps -ef |grep kingbase
root 1101 1 0 09:34 ? 00:00:00 sys_securecmdd: /home/kingbase/cluster/R6HA/kha/kingbase/bin/sys_securecmdd -f /etc/.kes/securecmdd_config [listener] 0 of 128-256 startups
kingbase 2789 1 0 09:35 ? 00:00:09 /home/kingbase/cluster/R6HA/kha/kingbase/bin/kbha -A daemon -f /home/kingbase/cluster/R6HA/kha/kingbase/bin/../etc/repmgr.conf
kingbase 13069 1 0 10:35 ? 00:00:01 /home/kingbase/cluster/R6HA/kha/kingbase/bin/kingbase -D /home/kingbase/cluster/R6HA/kha/kingbase/data
kingbase 13070 13069 0 10:35 ? 00:00:00 kingbase: logger
kingbase 13072 13069 0 10:35 ? 00:00:00 kingbase: checkpointer
kingbase 13073 13069 0 10:35 ? 00:00:00 kingbase: background writer
kingbase 13074 13069 0 10:35 ? 00:00:00 kingbase: walwriter
kingbase 13075 13069 0 10:35 ? 00:00:00 kingbase: autovacuum launcher
kingbase 13076 13069 0 10:35 ? 00:00:00 kingbase: archiver failed on 00000005.history
kingbase 13077 13069 0 10:35 ? 00:00:00 kingbase: stats collector
kingbase 13078 13069 0 10:35 ? 00:00:00 kingbase: ksh writer
kingbase 13079 13069 0 10:35 ? 00:00:00 kingbase: ksh collector
kingbase 13080 13069 0 10:35 ? 00:00:00 kingbase: kwr collector
kingbase 13081 13069 0 10:35 ? 00:00:00 kingbase: logical replication launcher
kingbase 13096 13069 0 10:35 ? 00:00:07 kingbase: system esrep 192.168.1.101(18471) idle
kingbase 13099 1 0 10:35 ? 00:00:13 /home/kingbase/cluster/R6HA/kha/kingbase/bin/repmgrd -d -v -f /home/kingbase/cluster/R6HA/kha/kingbase/bin/../etc/repmgr.conf
二、故障分析
1、查看主库sys_log日志
2022-04-26 11:26:49.072 CST,,,13076,,62675a58.3314,202,,2022-04-26 10:35:04 CST,,0,LOG,00000,"archive command failed with exit code 32","The failed archive command was: export TZ=Asia/Shanghai;/home/kingbase/cluster/R6HA/kha/kingbase/bin/sys_rman --config /home/kingbase/kbbr_repo/sys_rman.conf --stanza=kingbase archive-push sys_wal/00000005.history",,,,,,,,""
2022-04-26 11:26:50.079 CST,,,13076,,62675a58.3314,203,,2022-04-26 10:35:04 CST,,0,LOG,00000,"archive command failed with exit code 32","The failed archive command was: export TZ=Asia/Shanghai;/home/kingbase/cluster/R6HA/kha/kingbase/bin/sys_rman --config /home/kingbase/kbbr_repo/sys_rman.conf --stanza=kingbase archive-push sys_wal/00000005.history",,,,,,,,"
=== 从日志信息获知，wal日志文件归档失败。===
2、查看归档失败的wal日志文件
=查看wal日志文件是否因为被删除导致归档失败。=
[kingbase@node101 sys_wal]$ ls -lh *.history
-rw------- 1 kingbase kingbase 41 Mar 29 16:44 00000002.history
-rw------- 1 kingbase kingbase 83 Apr 8 10:49 00000003.history
-rw------- 1 kingbase kingbase 126 Apr 25 10:49 00000004.history
-rw------- 1 kingbase kingbase 169 Apr 25 11:13 00000005.history
-rw------- 1 kingbase kingbase 212 Apr 25 11:23 00000006.history
-rw------- 1 kingbase kingbase 255 Apr 25 11:33 00000007.history
3、查看归档配置
4、手工执行归档命令
=== 手工执行归档命令，通过错误信息判断归档失败的原因。===
[kingbase@node101 sys_wal]$ /home/kingbase/cluster/R6HA/kha/kingbase/bin/sys_rman --config /home/kingbase/kbbr_repo/sys_rman.conf --stanza=kingbase archive-push sys_wal/00000005.history
2022-04-26 11:28:57.575 P00 INFO: archive-push command begin 2.27: [sys_wal/00000005.history] --compress-level=3 --compress-type=gz --config=/home/kingbase/kbbr_repo/sys_rman.conf --exec-id=27788-e059621b --kb1-path=/data/kingbase/v8r6_041/data1 --log-level-console=info --log-level-file=info --log-path=/opt/Kingbase/ES/V8R6_041/Server/log --log-subprocess --process-max=4 --repo1-path=/home/kingbase/kbbr_repo --stanza=kingbase
ERROR: [032]: Kingbase working directory '/home/kingbase/cluster/R6HA/kha/kingbase/data/sys_wal' is not the same as option kb1-path '/data/kingbase/v8r6_041/data1'
5、查看备份配置文件sys_rman.conf（归档时会读取此配置文件）
=== 通过以上分析，得出故障原因，是因为此主机曾经测试过单实例的sys_bakcup.sh的备份，导致sys_rman.conf文件被修改，在集群环境下归档时，读取此文件’kb1-path'配置错误，导致归档失败。===
三、故障解决方案
1、重新在集群环境下初始化sys_backup.sh
[kingbase@node101 bin]$ ./sys_backup.sh init
# generate single sys_rman.conf...DONE
# update single archive_command with sys_rman.archive-push...DONE
# create stanza and check...(maybe 60+ seconds)
# create stanza and check...DONE
# initial first full backup...(maybe several minutes)
# initial first full backup...DONE
# Initial sys_rman OK.
'sys_backup.sh start' should be executed when need back-rest feature.
2、查看sys_rman.conf配置
[kingbase@node101 bin]$ cat /home/kingbase/kbbr_repo/sys_rman.conf
# Genarate by script at 20220426113905, should not change manually
[kingbase]
kb1-path=/home/kingbase/cluster/R6HA/kha/kingbase/data
kb1-port=54321
kb1-user=system
[global]
repo1-path=/home/kingbase/kbbr_repo
repo1-retention-full=5
log-path=/home/kingbase/cluster/R6HA/kha/kingbase/log
log-level-file=info
log-level-console=info
log-subprocess=y
process-max=4
#### default gz, support: gz none
compress-type=gz
compress-level=3
band-width=0
cmd-ssh=/home/kingbase/cluster/R6HA/kha/kingbase/bin/sys_securecmd
3、检查归档进程
[kingbase@node101 bin]$ ps -ef |grep kingbase
/home/kingbase/cluster/R6HA/kha/kingbase/bin/sys_securecmdd -f /etc/.kes/securecmdd_config [listener] 0 of 128-256 startups
kingbase 2789 1 0 09:35 ? 00:00:11 /home/kingbase/cluster/R6HA/kha/kingbase/bin/kbha -A daemon -f /home/kingbase/cluster/R6HA/kha/kingbase/bin/../etc/repmgr.conf
kingbase 13069 1 0 10:35 ? 00:00:01 /home/kingbase/cluster/R6HA/kha/kingbase/bin/kingbase -D /home/kingbase/cluster/R6HA/kha/kingbase/data
kingbase 13070 13069 0 10:35 ? 00:00:00 kingbase: logger
kingbase 13072 13069 0 10:35 ? 00:00:00 kingbase: checkpointer
kingbase 13073 13069 0 10:35 ? 00:00:00 kingbase: background writer
kingbase 13074 13069 0 10:35 ? 00:00:00 kingbase: walwriter
kingbase 13075 13069 0 10:35 ? 00:00:00 kingbase: autovacuum launcher
kingbase 13076 13069 0 10:35 ? 00:00:00 kingbase: archiver last was 00000007000000000000003A.00000028.backup
kingbase 13077 13069 0 10:35 ? 00:00:00 kingbase: stats collector
kingbase 13078 13069 0 10:35 ? 00:00:00 kingbase: ksh writer
kingbase 13079 13069 0 10:35 ? 00:00:00 kingbase: ksh collector
kingbase 13080 13069 0 10:35 ? 00:00:00 kingbase: kwr collector
kingbase 13081 13069 0 10:35 ? 00:00:00 kingbase: logical replication launcher
kingbase 13096 13069 0 10:35 ? 00:00:08 kingbase: system esrep 192.168.1.101(18471) idle
kingbase 13099 1 0 10:35 ? 00:00:15 /home/kingbase/cluster/R6HA/kha/kingbase/bin/repmgrd -d -v -f /home/kingbase/cluster/R6HA/kha/kingbase/bin/../etc/repmgr.conf
4、查看sys_log日志
5、查看已经归档wal日志
=从以上信息可知，归档失败问题已经解决。=
四、总结
在kingbaseES 数据库启动sys_backup.sh执行物理备份后，wal日志的归档是由sys_rman命令来执行，归档时会读取数据库归档配置及sys_rman.conf的配置文件，所以在数据库出现归档错误时要检查数据库的归档配置及sys_rman.conf文件的配置。
KingbaseES R6集群归档备份故障分析解决案例的更多相关文章
- KingbaseES R6 集群“双主”故障解决案例
实际工作中,可能会碰到集群脑裂的情况,在脑裂时,会出现双 primary情况.这时,需要用户介入,人工判断哪个节点的数据最新,减少数据丢失. 一.测试环境信息 操作系统: [kingbase@node ...
- KingbaseES R6 集群repmgr witness 手工配置案例
使用见证服务器: 见证服务器是一个正常的KingbaseES实例,不是流复制群集的一部分; 其目的是,如果发生故障转移情况,则提供证明它是主服务器本身不可用的证据,而不是例如在不同物理位置之间的网络分 ...
- KingbaseES R6 集群主库网卡down测试案例
数据库版本: test=# select version(); version ------------------------------------------------------------ ...
- KingbaseES R6 集群repmgr.conf参数'recovery'测试案例(一)
KingbaseES R6集群repmgr.conf参数'recovery'测试案例(一) 案例说明: 在KingbaseES R6集群中,主库节点出现宕机(如重启或关机),会产生主备切换,但是当主库 ...
- KingbaseES R6 集群 recovery 参数对切换的影响
案例说明:在KingbaseES R6集群中,主库节点出现宕机(如重启或关机),会产生主备切换,但是当主库节点系统恢复正常后,如何对原主库节点进行处理,保证集群数据的一致性和安全,可以通过对repmg ...
- KingbaseES R6 集群启动‘incorrect command permissions for the virtual ip’故障案例
案例说明: KingbaseES R6集群启动时,出现"incorrect command permissions for the virtual ip"故障,本案例介绍了如何分析 ...
- KingbaseES R6 集群创建流复制只读副本库案例
一.环境概述 [kingbase@node2 bin]$ ./ksql -U system test ksql (V8.0) Type "help" for help. test= ...
- KingbaseES R6 集群修改物理IP和VIP案例
在用户的实际环境里,可能有时需要修改主机的IP,这就涉及到集群的配置修改.以下以例子的方式,介绍下KingbaseES R6集群如何修改IP. 一.案例测试环境 操作系统: [KINGBASE@nod ...
- KingbaseES R6 集群通过备库clone在线添加新节点
案例说明: KingbaseES R6集群可以通过图形化方式在线添加新节点,但是在添加新节点clone环节时,是从主库copy数据到新的节点,这样在生产环境,如果数据量大,将会对主库的网络I/O造成压 ...
随机推荐
- 我熬夜开发了一款简约实用、支持多平台的Markdown在线编辑器（开源）
前言 之前,一直想开发一款属于自己的Markdown编辑器,主要是自己平常写文章可以更加灵活操作,另外扩宽自己的视野也是非常不错的选择啊!所以在周末就决定玩耍一番.首先我调研了很多线上热门的md编辑器 ...
- nifi从入门到实战（保姆级教程）——身份认证
上一篇我们搭建好了nifi的运行环境了 但是每次登陆那一串随机字符串的用户名和密码是不是让人很头疼,那是人类能记住的吗?当然不是!!!! 那么今天我们就来消灭这些难看又难记的字符串. windows( ...
- RPA应用场景-对公账户开户资质审查
场景概述 对公账户开户资质审查 所涉系统名称 人民银行账户管理系统 人工操作(时间/次) 0.5小时 所涉人工数量 132 操作频率 不定时 场景流程 1.机器人自动登录人民银行账户管理系统 2.查询 ...
- kvm虚拟机在线扩容
fdisk -l查看当前虚拟机磁盘容量 1. 镜像扩容 先操作镜像,给镜像增加2T容量: 关闭虚拟机back_log,然后再宿主机上给虚拟机扩容 qemu-img info /home/kvm/bac ...
- String长度限制？
String我们在开发和学习中会经常用到,但对String类型的取值范围我们并不明确. String底层是char数组,并未标明长度限制.java中可以对数组指定长度,如果不指定就以实际元素来指定 p ...
- 相约 DTCC 2021 | Tapdata 受邀分享：如何打造面向 TP 业务的数据平台架构
2021第十二届中国数据库技术大会(DTCC)将于2021年10月18-20日,在北京国际会议中心举行,Tapdata 创始人唐建法受邀分享:如何打造面向 TP 业务的数据平台架构. 演讲时间 ...
- 2020 CSP-J 初赛解析
题面 老师给的解析 自己觉得很好的一篇题解 直接说重点题吧,不耽误时间了 T5: 这个很显然就是让进这个 while 的次数尽可能少, 那么我们可以让他只进一次 while,即让第一次进 whil ...
- CSS进阶内容——布局技巧和细节修饰
CSS进阶内容--布局技巧和细节修饰 我们在之前的文章中已经掌握了CSS的大部分内容,但仍有一些内容我们没有涉略,这篇文章就是为了补充前面没有涉及的内容,为我们的知识做出补充并且介绍一些布局技巧 当然 ...
- 常用类-Instant、DateTimeFormatter类的使用
一.Instant 我们所处的时间点是在东八区,Java中Instant所计算出来的时间是按本初子午线的时间来算的,与我们的时间相差8个小时,也就是说当我的北京时间是上午九点时,本初子午线的时间是凌晨 ...
- Mac上安装proxychains4
brew install proxychains-ng vim /usr/local/etc/proxychains.conf proxychains4 wget www.google.com