这几天，老有几个环境在中午收盘后者下午收盘后那一会儿，系统打不开，然后过了一会儿，进程就消失不见了，查看了下/var/log/message，有如下信息：

Dec 12 11:35:38 iZ23nn1p4mjZ kernel: INFO: task java:27465 blocked for more than 120 seconds.
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: Not tainted 2.6.32-431.23.3.el6.x86_64 #1
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: java D 0000000000000002 0 27465 27457 0x00000000
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: ffff8801ab8378d8 0000000000000082 ffff8801ab8378a0 ffff8801ab83789c
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: ffff8801ab837a54 ffff88023fc23480 ffff880028396840 0000000000000400
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: ffff88017480f058 ffff8801ab837fd8 000000000000fbc8 ffff88017480f058
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: Call Trace:
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa007609d>] do_get_write_access+0x29d/0x520 [jbd2]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8109b020>] ? wake_bit_function+0x0/0x50
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa0076471>] jbd2_journal_get_write_access+0x31/0x50 [jbd2]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa00c3b98>] __ext4_journal_get_write_access+0x38/0x80 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009d9d3>] ext4_reserve_inode_write+0x73/0xa0 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009da4c>] ext4_mark_inode_dirty+0x4c/0x1d0 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa0075495>] ? jbd2_journal_start+0xb5/0x100 [jbd2]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009dd40>] ext4_dirty_inode+0x40/0x60 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff811b52bb>] __mark_inode_dirty+0x3b/0x160
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff811a59c2>] file_update_time+0xf2/0x170
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8118aec0>] ? __sb_start_write+0x80/0x120
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009ebc0>] ? ext4_da_get_block_prep+0x0/0x3c0 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff811c1b9b>] __block_page_mkwrite+0x3b/0x140
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa00a0eb1>] ext4_page_mkwrite+0x121/0x360 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff81149f50>] __do_fault+0xd0/0x530
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8114a4a7>] handle_pte_fault+0xf7/0xb00
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff810aee5e>] ? futex_wake+0x10e/0x120
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8114b0da>] handle_mm_fault+0x22a/0x300
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8104a8d8>] __do_page_fault+0x138/0x480
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8103f9d8>] ? pvclock_clocksource_read+0x58/0xd0
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8103ea6c>] ? kvm_clock_read+0x1c/0x20
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8152e74e>] do_page_fault+0x3e/0xa0
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8152bb05>] page_fault+0x25/0x30
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: INFO: task java:27585 blocked for more than 120 seconds.
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: Not tainted 2.6.32-431.23.3.el6.x86_64 #1
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: java D 0000000000000003 0 27585 1 0x00000000
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: ffff88023808d8d8 0000000000000086 0000000000000000 ffffffff812830b9
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: ffff88023808da54 0000000000000000 ffff88023808d9c8 ffffffff810598e4
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: ffff88023aa1c5f8 ffff88023808dfd8 000000000000fbc8 ffff88023aa1c5f8
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: Call Trace:
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff812830b9>] ? cpumask_next_and+0x29/0x50
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff810598e4>] ? find_busiest_group+0x244/0x9e0
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa007609d>] do_get_write_access+0x29d/0x520 [jbd2]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8109b020>] ? wake_bit_function+0x0/0x50
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa0076471>] jbd2_journal_get_write_access+0x31/0x50 [jbd2]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa00c3b98>] __ext4_journal_get_write_access+0x38/0x80 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009d9d3>] ext4_reserve_inode_write+0x73/0xa0 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009da4c>] ext4_mark_inode_dirty+0x4c/0x1d0 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa0075495>] ? jbd2_journal_start+0xb5/0x100 [jbd2]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009dd40>] ext4_dirty_inode+0x40/0x60 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff811b52bb>] __mark_inode_dirty+0x3b/0x160
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff811a59c2>] file_update_time+0xf2/0x170
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8118aec0>] ? __sb_start_write+0x80/0x120
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009ebc0>] ? ext4_da_get_block_prep+0x0/0x3c0 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff811c1b9b>] __block_page_mkwrite+0x3b/0x140
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa00a0eb1>] ext4_page_mkwrite+0x121/0x360 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff81149f50>] __do_fault+0xd0/0x530
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8114a4a7>] handle_pte_fault+0xf7/0xb00
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff81030b59>] ? native_smp_send_reschedule+0x49/0x60
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff810554f8>] ? resched_task+0x68/0x80
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8105559d>] ? check_preempt_curr+0x6d/0x90
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff81061b6e>] ? try_to_wake_up+0x24e/0x3e0
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8114b0da>] handle_mm_fault+0x22a/0x300
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff810ae5e0>] ? wake_futex+0x40/0x60
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8104a8d8>] __do_page_fault+0x138/0x480
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8103f9d8>] ? pvclock_clocksource_read+0x58/0xd0
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8103f9d8>] ? pvclock_clocksource_read+0x58/0xd0
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8103ea6c>] ? kvm_clock_read+0x1c/0x20
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8152e74e>] do_page_fault+0x3e/0xa0
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8152bb05>] page_fault+0x25/0x30

就本身而言，这个警告对数据并没有什么破坏性影响，只不过同OOM的严重性一样，它会导致受影响的进行处于hang状态，甚至最后被killed了。所以，需要找到发生它的根本原因，否则风险始终存在。

这个问题(关于他的解释可以参考http://www.ttlsa.com/linux/kernel-blocked-for-more-than-120-seconds/)很早以前发生过，很久没出这个问题了，最近这两个服务器平时负载就比较高，然后又出现了，关于“INFO: task java:27465 blocked for more than 120 seconds”这个警告，简单直白的解释就是刷新cache的速度太慢了，所以这个问题可能大部分情况下是出现在内存64GB以上、磁盘速度10K RPM以下的系统中，对于内存8GB的系统，一般应该是较少出现的，而我们出问题的这个环境就是低配的。所以不应该出现cached太多导致的，实际上看sar -r也能看出不是cached的问题，如下：

再看cpu历史：

对比了上一周的负载情况下，所以应该是该时间段io太高以至于根本无法再进行更多的io，所以导致了这个问题。后面只要找到这个时间段是哪个进程（pidstat -d）在执行大量IO以及什么操作导致即可。

INFO: task java:27465 blocked for more than 120 seconds不一定是cache太大的问题的更多相关文章

  1. linux 出错 “INFO: task java: xxx blocked for more than 120 seconds.” 的3种解决方案

    1 问题描述 最近搭建的一个linux最小系统在运行到241秒时在控制台自动打印如下图信息,并且以后每隔120秒打印一次. 仔细阅读打印信息发现关键信息是“hung_task_timeout_secs ...

  2. task mysqld:26208 blocked for more than 120 seconds

    早上10点左右,某台线上ECS服务器突然没响应. 查看日志,发现如下信息: Aug 14 03:26:01 localhost rsyslogd: [origin software="rsy ...

  3. kernel: INFO: task sadc:14833 blocked for more than 120 seconds.

    早上一到,发现oracle连不上. 到主机上,发现只有oracleora11g一个进程,其他进程全没了. Nov 14 23:33:30 hs-test-10-20-30-15 kernel: INF ...

  4. linux 出错 “INFO: task xxxxxx: 634 blocked for more than 120 seconds.”的3种解决方案（转）

    linux 出错 “INFO: task xxxxxx: 634 blocked for more than 120 seconds.”的3种解决方案 1 问题描述 服务器内存满了,ssh登录失败 , ...

  5. linux 出错 “INFO: task xxxxxx: 634 blocked for more than 120 seconds.”的3种解决方案

    https://blog.csdn.net/electrocrazy/article/details/79377214

  6. Linux 日志报错 xxx blocked for more than 120 seconds

    监控作业发现一台服务器(Red Hat Enterprise Linux Server release 5.7)从凌晨1:32开始,有一小段时间无法响应,数据库也连接不上,后面又正常了.早上检查了监听 ...

  7. Linux系统出现hung_task_timeout_secs和blocked for more than 120 seconds的解决方法

    Linux系统出现系统没有响应. 在/var/log/message日志中出现大量的 “echo 0 > /proc/sys/kernel/hung_task_timeout_secs" ...

  8. 服务器卡死，重启报错： INFO: task blocked for more than 120 seconds

    问题:服务器负载很高,但是CPU利用率不高.服务器经常夯住,网站打不开,SSH连接非常不稳定,输入命令夯住. 重启服务器报错: INFO: task blocked for more than 120 ...

  9. hung_task_timeout_secs 和 blocked for more than 120 seconds

    https://help.aliyun.com/knowledge_detail/41544.html 问题现象 云服务器 ECS Linux 系统出现系统没有响应. 在/var/log/messag ...

随机推荐

  1. SQL*Loader之CASE2

    CASE2 1. 控制文件 [oracle@node3 ulcase]$ cat ulcase2.ctl -- NAME -- ulcase2.ctl - SQL*Loader Case Study ...

  2. Floyd算法(二)之 C++详解

    本章是弗洛伊德算法的C++实现. 目录 1. 弗洛伊德算法介绍 2. 弗洛伊德算法图解 3. 弗洛伊德算法的代码说明 4. 弗洛伊德算法的源码 转载请注明出处:http://www.cnblogs.c ...

  3. 邻接表有向图(三)之 Java详解

    前面分别介绍了邻接表有向图的C和C++实现,本文通过Java实现邻接表有向图. 目录 1. 邻接表有向图的介绍 2. 邻接表有向图的代码说明 3. 邻接表有向图的完整源码 转载请注明出处:http:/ ...

  4. 包管理器Bower

    今天自己用Angular写东西的时候,下载了Angular-seed项目,发现需要用到bower,之前也使用过,没有仔细了解,今天趁机了解到一些. bower的官网地址: http://bower.i ...

  5. 12个学习 CSS3 网站布局设计的优秀案例

    网络上有很多的 CSS 画廊站点供大家对各类网站作品进行打分和评论,每天有数以百计的优秀网站被推荐上面,这对于网页设计师来说是很好的灵感来源.今天,我们选择了15赢得 CSS 设计大奖的优秀作品,帮助 ...

  6. java设计模式（六）--观察者模式

    转载:设计模式(中文-文字版) 目录: 简单目标任务实现 观察者模式介绍 观察者模式代码实现 观察者模式是JDK中使用最多的模式之一,非常有用.我们也会一并介绍一对多关系,以及松耦合(对,没错,我们说 ...

  7. 【Swift学习】Swift编程之旅---函数（十）

    函数是一组用于执行特定任务的独立的代码段,你用一个名字来标识函数,这个名字是用来“调用”函数来执行它的任务. swift统一函数的语法具有足够的灵活性来表达任何一个简单的不带参数的名称与本地和外部的每 ...

  8. 转自coolshell--vim的基本操作

    开始前导语: 在正式转入python开发后,日常的工作中会和大量linux相关命令和工具接触,从另外一个层面,学习的东西相当的多,而VIM在整个的linux体系中所占据的角色就更不用说了,之前在处理g ...

  9. Git版本控制工具学习

    Git代码管理工具学习 分布式管理工具:git 相比较svn它更加的方便,基本上我们的操作都是在本地进行的. Git文件的三种状态:已提交,已修改,以暂存. 已提交:表示文件已经被保存到本地数据库. ...

  10. Java中不同转换符实现不同数据类型到字符串的转换

    String类的format()方法用于创建格式化的字符串以及连接多个字符串对象.熟悉C语言的同学应该记得C语言的sprintf()方法,两者有类似之处.format()方法有两种重载形式. form ...