【作者】

王栋:携程技术保障中心数据库专家,对数据库疑难问题的排查和数据库自动化智能化运维工具的开发有强烈的兴趣。

【问题描述】

最近我们有多台MongoDB的服务器CentOS 7.1系统发生了crash,会不定期的自动重启。

【排查思路】

1、碰到linux系统crash的问题,我们首先想到的是排查系统日志/var/log/message,看是否有硬件问题或其他原因。抽查了多台服务器在crash的时间点message中都没有记录异常信息。

2、对于CentOS 7的系统,我们可以使用journalctl工具查看内核以及服务等产生的日志信息,检查相关日志只记录发生过reboot,没有其他异常信息。

3、 一般linux系统都默认配置了kdump,kdump是基于kexec的内核崩溃转储机制,可以转储内核崩溃时的内存镜像。在其中一台服务器上我们在/var/crash/127.0.0.1-2018.12.26-00:31:04目录下找到了转储文件vmcore。

【排障过程】

1、 为了避免对生产环境造成影响,我们将vmcore文件拷贝到内核版本相同的一台测试服务器上

2、 使用crash工具分析vmcore文件,在测试服务器上先安装crash工具:

yum install crash

3、 安装debuginfo包,可以在官网上下载对应kernel版本的debuginfo包:

https://buildlogs.centos.org/c7.1511.u/kernel/20161024152721/3.10.0-327.36.3.el7.x86_64/

安装依赖包及debuginfo包:

rpm -ivh kernel-debuginfo-common-x86_64-3.10.0-327.36.3.el7.x86_64.rpm
rpm -ivh kernel-debuginfo-3.10.0-327.36.3.el7.x86_64.rpm

4、使用crash工具分析/var/crash下的转储文件vmcore,命令如下:

crash /usr/lib/debug/lib/modules/3.10.0-327.36.3.el7.x86_64/vmlinux vmcore

5、可以看到kernel crash时的Call Trace,关键信息见黄色背景字体:

crash> bt
PID: 9979 TASK: ffff8804b4020b80 CPU: 2 COMMAND: "crond"
\#0 [ffff8804b42db778] machine_kexec at ffffffff81051e9b
\#1 [ffff8804b42db7d8] crash_kexec at ffffffff810f27e2
\#2 [ffff8804b42db8a8] oops_end at ffffffff8163f448
\#3 [ffff8804b42db8d0] no_context at ffffffff8162f561
\#4 [ffff8804b42db920] __bad_area_nosemaphore at ffffffff8162f5f7
\#5 [ffff8804b42db968] bad_area at ffffffff8162f91b
\#6 [ffff8804b42db990] __do_page_fault at ffffffff81642235
\#7 [ffff8804b42db9f0] trace_do_page_fault at ffffffff81642403
\#8 [ffff8804b42dba28] do_async_page_fault at ffffffff81641ae9
\#9 [ffff8804b42dba40] async_page_fault at ffffffff8163e678
[exception RIP: netlink_compare+11]
RIP: ffffffff815560bb RSP: ffff8804b42dbaf8 RFLAGS: 00010246
RAX: 0000000000000000 RBX: 000000049f250000 RCX: 00000000c3637c42
RDX: 00000000000026fb RSI: ffff8804b42dbb48 RDI: 000000049f24fb78
RBP: ffff8804b42dbb30 R8: ffff8804b42dbb44 R9: 0000000000002170
R10: 0000000000000000 R11: ffff8804b42db966 R12: ffff88061dcd2678
R13: ffff8804b42dbb48 R14: ffffffff815560b0 R15: ffff88061b639000
ORIG_RAX: ffffffffffffffff CS: 0010 SS: 0018
\#10 [ffff8804b42dbb00] rhashtable_lookup_compare at ffffffff813080d0
\#11 [ffff8804b42dbb38] netlink_lookup at ffffffff815569ee
\#12 [ffff8804b42dbb68] netlink_getsockbyportid at ffffffff81557d8f
\#13 [ffff8804b42dbb80] netlink_alloc_skb at ffffffff81557dff
\#14 [ffff8804b42dbbb8] netlink_ack at ffffffff8155a8a9
\#15 [ffff8804b42dbbf0] audit_receive at ffffffff811067e7
\#16 [ffff8804b42dbc18] netlink_unicast at ffffffff8155a02d
\#17 [ffff8804b42dbc60] netlink_sendmsg at ffffffff8155a420
\#18 [ffff8804b42dbcf8] sock_sendmsg at ffffffff815112d0
\#19 [ffff8804b42dbe58] SYSC_sendto at ffffffff81511841
\#20 [ffff8804b42dbf70] sys_sendto at ffffffff815122ce
\#21 [ffff8804b42dbf80] system_call_fastpath at ffffffff81646b49
RIP: 00007f4ac19d5353 RSP: 00007ffe233b1fb8 RFLAGS: 00010202
RAX: 000000000000002c RBX: ffffffff81646b49 RCX: 0000000000000000
RDX: 000000000000009c RSI: 00007ffe233b1ff0 RDI: 0000000000000003
RBP: 00007ffe233b1ff0 R8: 00007ffe233b1fe0 R9: 000000000000000c
R10: 0000000000000000 R11: 0000000000000246 R12: ffffffff815122ce
R13: ffff8804b42dbf78 R14: 000000000000044d R15: 0000000000000001
ORIG_RAX: 000000000000002c CS: 0033 SS: 002b

6、搜索rhashtable_lookup_compare关键字,定位到这是kernel Linux 3.10.0-327.36.3.el7.x86_64的一个bug,详细描述可以参见下面,该bug在 7.3 kernel (3.10.0-514.el7)后修复:

https://bugs.centos.org/view.php?id=12012

【定位bug触发条件】

1、考虑到升级系统成本较高,尝试定位触发bug的条件,可以看到触发这个bug是crond命令:

PID: 9979   TASK: ffff8804b4020b80  CPU: 2   COMMAND: "crond"

2、借助systemtap工具,在发生crash的kernel函数上加探针,并打印kernel backtrace,process id,process name等信息,脚本如下:

probe kernel.function("rhashtable_lookup_compare") {
print_backtrace();
printf ("%d\n%s\n", pid(),execname());
}

3、抓取到crond等系统命令确实会调用rhashtable_lookup_compare函数,而其他命令的调用堆栈并不完全相同:

25756
crond
0xffffffff81308080 : rhashtable_lookup_compare+0x0/0x90 [kernel]
0xffffffff815569ee : netlink_lookup+0x4e/0x80 [kernel]
0xffffffff81557d8f : netlink_getsockbyportid+0x1f/0x70 [kernel]
0xffffffff81559fe9 : netlink_unicast+0xa9/0x1b0 [kernel]
0xffffffff8155a8f9 : netlink_ack+0x99/0x110 [kernel]
0xffffffff811067e7 : audit_receive+0x67/0xa0 [kernel]
0xffffffff8155a02d : netlink_unicast+0xed/0x1b0 [kernel]
0xffffffff8155a420 : netlink_sendmsg+0x330/0x770 [kernel]
0xffffffff815112d0 : sock_sendmsg+0xb0/0xf0 [kernel]
0xffffffff81511841 : SYSC_sendto+0x121/0x1c0 [kernel]
0xffffffff815122ce : SyS_sendto+0xe/0x10 [kernel]
0xffffffff81646b49 : system_call_fastpath+0x16/0x1b [kernel]

4、考虑到MongoDB最近新上了一套监控的脚本是通过crontab调度的,而上监控之前服务器重启的情况很少。猜测可能是crontab调度系统监控程序触发了kernel bug,后面将监控脚本改为服务的方式观察是否可以规避触发bug。

【解决思路】

我们通过分析kernel crash时的转储文件,定位到CentOS 7.1系统存在自动重启的bug,建议新的linux服务器都采用CentOS 7.4的系统。

考虑到升级系统成本较高,将crontab调度的程序改为服务的方式,来尝试规避触发bug。

MongoDB系统CentOS 7.1 crash的排障过程的更多相关文章

  1. 【原创】记一次MySQL大表高并发写入引发CPU飙升的排障过程

    目录 一.故障现象... 1 二.初步分析... 2 三.排障过程... 2 1.排查是否QPS或insert并发请求上升导致问题发生... 2 2.排查是否锁资源等待或block导致了insert变 ...

  2. 如何进行kubernetes问题的排障

    排障的前置条件 k8s的成熟度很高,伴随着整个项目的扩增,以及新功能和新流程的不断引入,也伴随这产生了一些问题.虽然自动化测试可以排除掉大部分,但是一些复杂流程以及极端情况却很难做到bug的完全覆盖. ...

  3. 使用Fragment应用放置后台很久,被系统回收,出现crash

    使用Fragment应用放置后台很久,被系统回收,出现crash:原因:系统做了源码FragmentActivity调用onSaveInstanceState保存Fragment对象,这时候系统恢复保 ...

  4. VMware 安装Linux系统 CentOS

    VMware 安装Linux系统 CentOS 1.  下载镜像系统 centos镜像下载地址:https://www.centos.org/download/ 选择DVD下载即可 linux各版本下 ...

  5. linux系统Centos环境下搭建SVN服务器及权限配置

    linux系统Centos环境下如何搭建SVN服务器以及svnserve.conf.authz.passwd配置文件详细介绍   至于svn的概念,这里就不做详细阐述了,可以自行百度.简单来讲就是一个 ...

  6. 系统之锹sysdig:Linux服务器监控和排障利器

    当你需要追踪某个进程产生和接收的系统调用时,首先浮现在你脑海中的是什么?你可能会想到strace,那么你是对的.你会使用什么样的命令行工具来监控原始网络通信呢?如果你想到了tcpdump,你又作出了一 ...

  7. U盘永久系统-centos

    U盘永久系统-centos 问题: 服务器centos系统崩溃,重装需要备份其中数据,约4T,实验室有远程存储服务器,然而rescue模式进去后无法挂载远程存储,只好做一个真正的U盘系统解决了. 方案 ...

  8. How To Install MongoDB on CentOS 6

    How To Install MongoDB on CentOS 6 Posted on January 21, 2014 by J. Mays | Updated: January 22, 2014 ...

  9. 其他综合-Kickstart无人值守安装系统CentOS 7

    Kickstart无人值守安装系统CentOS 7 1.概述 1.1 关于PXE Preboot Execution Environment 翻译过来就是预启动执行环境:简称 PXE :传统安装操作系 ...

随机推荐

  1. [BAT]远程执行或停止计划任务

    执行 schtasks /run /tn "IPADForAdvisor_QA_APITest" /s SZPCWIN2K801 /u msdomain1\jzhang6 /p j ...

  2. 《JavaScript DOM编程艺术》笔记

    1. 把<script>标签放到HTML文档的最后,<body>标签之前能使浏览器更快地加载页面. 2. nodeType的常见取值 元素节点(1) 属性节点(2) 文本节点( ...

  3. 解决JS中missing ( before function parameters的错误

    在编写javascript中,常出现在function处提示“missing ( before function parameters”的错误,这是怎么回事? 例如: function String. ...

  4. R 语言安装问题集锦

    R安装问题R CMD INSTALL -l /data1/jhh/envirment/R/R_lib /data1/jhh/software/qvalue_2.10.0.tar.gz 问题1 :con ...

  5. swiper3d横向滚动多张炫酷切换banner

    最近有了个新需求,swiper3d横向滚动多张炫酷切换banner要和elementUI里边走马灯的卡片化card 类似,但是还需要h5手机触摸滚动啊啊啊啊,昨天折腾了半个早上总算完成,今天乖乖跑来m ...

  6. 2018.09.28 牛客网contest/197/A因子(唯一分解定理)

    传送门 比赛的时候由于变量名打错了调了很久啊. 这道题显然是唯一分解定理的应用. 我们令P=a1p1∗a2p2∗...∗akpkP=a_1^{p_1}*a_2^{p_2}*...*a_k^{p_k}P ...

  7. 2018.09.21 atcoder An Invisible Hand(贪心)

    传送门 简单贪心啊. 这题显然跟t并没有关系,取差量最大的几组买入卖出就行了. 于是我们统计一下有几组差量是最大的就行了. 代码: #include<bits/stdc++.h> #def ...

  8. hdu-1055(贪心)

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=1055 题意:给一棵树涂色,这棵树的每个节点都有自己的价值Ci,涂色的原则是只由这个节点的父节点涂色之后 ...

  9. Java_得到GET和POST请求URL和参数列表

    一. 获取URL: getRequestURL()(还有个getRequestURI(),只取后面部分) 二. 获取参数列表: 1.getQueryString() 只适用于GET,比如客户端发送ht ...

  10. python读取文件另存为

    fr = open(filename_r,encoding='cp852') w2 = open(filename_w,'a')#a代表追加 w代表重写 for line in fr: w2.writ ...