这几天，老有几个环境在中午收盘后者下午收盘后那一会儿，系统打不开，然后过了一会儿，进程就消失不见了，查看了下/var/log/message，有如下信息：

Dec 12 11:35:38 iZ23nn1p4mjZ kernel: INFO: task java:27465 blocked for more than 120 seconds.
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: Not tainted 2.6.32-431.23.3.el6.x86_64 #1
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: java D 0000000000000002 0 27465 27457 0x00000000
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: ffff8801ab8378d8 0000000000000082 ffff8801ab8378a0 ffff8801ab83789c
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: ffff8801ab837a54 ffff88023fc23480 ffff880028396840 0000000000000400
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: ffff88017480f058 ffff8801ab837fd8 000000000000fbc8 ffff88017480f058
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: Call Trace:
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa007609d>] do_get_write_access+0x29d/0x520 [jbd2]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8109b020>] ? wake_bit_function+0x0/0x50
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa0076471>] jbd2_journal_get_write_access+0x31/0x50 [jbd2]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa00c3b98>] __ext4_journal_get_write_access+0x38/0x80 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009d9d3>] ext4_reserve_inode_write+0x73/0xa0 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009da4c>] ext4_mark_inode_dirty+0x4c/0x1d0 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa0075495>] ? jbd2_journal_start+0xb5/0x100 [jbd2]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009dd40>] ext4_dirty_inode+0x40/0x60 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff811b52bb>] __mark_inode_dirty+0x3b/0x160
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff811a59c2>] file_update_time+0xf2/0x170
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8118aec0>] ? __sb_start_write+0x80/0x120
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009ebc0>] ? ext4_da_get_block_prep+0x0/0x3c0 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff811c1b9b>] __block_page_mkwrite+0x3b/0x140
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa00a0eb1>] ext4_page_mkwrite+0x121/0x360 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff81149f50>] __do_fault+0xd0/0x530
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8114a4a7>] handle_pte_fault+0xf7/0xb00
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff810aee5e>] ? futex_wake+0x10e/0x120
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8114b0da>] handle_mm_fault+0x22a/0x300
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8104a8d8>] __do_page_fault+0x138/0x480
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8103f9d8>] ? pvclock_clocksource_read+0x58/0xd0
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8103ea6c>] ? kvm_clock_read+0x1c/0x20
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8152e74e>] do_page_fault+0x3e/0xa0
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8152bb05>] page_fault+0x25/0x30
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: INFO: task java:27585 blocked for more than 120 seconds.
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: Not tainted 2.6.32-431.23.3.el6.x86_64 #1
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: java D 0000000000000003 0 27585 1 0x00000000
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: ffff88023808d8d8 0000000000000086 0000000000000000 ffffffff812830b9
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: ffff88023808da54 0000000000000000 ffff88023808d9c8 ffffffff810598e4
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: ffff88023aa1c5f8 ffff88023808dfd8 000000000000fbc8 ffff88023aa1c5f8
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: Call Trace:
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff812830b9>] ? cpumask_next_and+0x29/0x50
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff810598e4>] ? find_busiest_group+0x244/0x9e0
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa007609d>] do_get_write_access+0x29d/0x520 [jbd2]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8109b020>] ? wake_bit_function+0x0/0x50
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa0076471>] jbd2_journal_get_write_access+0x31/0x50 [jbd2]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa00c3b98>] __ext4_journal_get_write_access+0x38/0x80 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009d9d3>] ext4_reserve_inode_write+0x73/0xa0 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009da4c>] ext4_mark_inode_dirty+0x4c/0x1d0 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa0075495>] ? jbd2_journal_start+0xb5/0x100 [jbd2]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009dd40>] ext4_dirty_inode+0x40/0x60 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff811b52bb>] __mark_inode_dirty+0x3b/0x160
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff811a59c2>] file_update_time+0xf2/0x170
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8118aec0>] ? __sb_start_write+0x80/0x120
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa009ebc0>] ? ext4_da_get_block_prep+0x0/0x3c0 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff811c1b9b>] __block_page_mkwrite+0x3b/0x140
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffffa00a0eb1>] ext4_page_mkwrite+0x121/0x360 [ext4]
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff81149f50>] __do_fault+0xd0/0x530
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8114a4a7>] handle_pte_fault+0xf7/0xb00
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff81030b59>] ? native_smp_send_reschedule+0x49/0x60
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff810554f8>] ? resched_task+0x68/0x80
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8105559d>] ? check_preempt_curr+0x6d/0x90
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff81061b6e>] ? try_to_wake_up+0x24e/0x3e0
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8114b0da>] handle_mm_fault+0x22a/0x300
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff810ae5e0>] ? wake_futex+0x40/0x60
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8104a8d8>] __do_page_fault+0x138/0x480
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8103f9d8>] ? pvclock_clocksource_read+0x58/0xd0
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8103f9d8>] ? pvclock_clocksource_read+0x58/0xd0
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8103ea6c>] ? kvm_clock_read+0x1c/0x20
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8152e74e>] do_page_fault+0x3e/0xa0
Dec 12 11:35:38 iZ23nn1p4mjZ kernel: [<ffffffff8152bb05>] page_fault+0x25/0x30

就本身而言，这个警告对数据并没有什么破坏性影响，只不过同OOM的严重性一样，它会导致受影响的进行处于hang状态，甚至最后被killed了。所以，需要找到发生它的根本原因，否则风险始终存在。

这个问题(关于他的解释可以参考http://www.ttlsa.com/linux/kernel-blocked-for-more-than-120-seconds/)很早以前发生过，很久没出这个问题了，最近这两个服务器平时负载就比较高，然后又出现了，关于“INFO: task java:27465 blocked for more than 120 seconds”这个警告，简单直白的解释就是刷新cache的速度太慢了，所以这个问题可能大部分情况下是出现在内存64GB以上、磁盘速度10K RPM以下的系统中，对于内存8GB的系统，一般应该是较少出现的，而我们出问题的这个环境就是低配的。所以不应该出现cached太多导致的，实际上看sar -r也能看出不是cached的问题，如下：

再看cpu历史：

对比了上一周的负载情况下，所以应该是该时间段io太高以至于根本无法再进行更多的io，所以导致了这个问题。后面只要找到这个时间段是哪个进程（pidstat -d）在执行大量IO以及什么操作导致即可。

INFO: task java:27465 blocked for more than 120 seconds不一定是cache太大的问题的更多相关文章

  1. linux 出错 “INFO: task java: xxx blocked for more than 120 seconds.” 的3种解决方案

    1 问题描述 最近搭建的一个linux最小系统在运行到241秒时在控制台自动打印如下图信息,并且以后每隔120秒打印一次. 仔细阅读打印信息发现关键信息是“hung_task_timeout_secs ...

  2. task mysqld:26208 blocked for more than 120 seconds

    早上10点左右,某台线上ECS服务器突然没响应. 查看日志,发现如下信息: Aug 14 03:26:01 localhost rsyslogd: [origin software="rsy ...

  3. kernel: INFO: task sadc:14833 blocked for more than 120 seconds.

    早上一到,发现oracle连不上. 到主机上,发现只有oracleora11g一个进程,其他进程全没了. Nov 14 23:33:30 hs-test-10-20-30-15 kernel: INF ...

  4. linux 出错 “INFO: task xxxxxx: 634 blocked for more than 120 seconds.”的3种解决方案（转）

    linux 出错 “INFO: task xxxxxx: 634 blocked for more than 120 seconds.”的3种解决方案 1 问题描述 服务器内存满了,ssh登录失败 , ...

  5. linux 出错 “INFO: task xxxxxx: 634 blocked for more than 120 seconds.”的3种解决方案

    https://blog.csdn.net/electrocrazy/article/details/79377214

  6. Linux 日志报错 xxx blocked for more than 120 seconds

    监控作业发现一台服务器(Red Hat Enterprise Linux Server release 5.7)从凌晨1:32开始,有一小段时间无法响应,数据库也连接不上,后面又正常了.早上检查了监听 ...

  7. Linux系统出现hung_task_timeout_secs和blocked for more than 120 seconds的解决方法

    Linux系统出现系统没有响应. 在/var/log/message日志中出现大量的 “echo 0 > /proc/sys/kernel/hung_task_timeout_secs" ...

  8. 服务器卡死，重启报错： INFO: task blocked for more than 120 seconds

    问题:服务器负载很高,但是CPU利用率不高.服务器经常夯住,网站打不开,SSH连接非常不稳定,输入命令夯住. 重启服务器报错: INFO: task blocked for more than 120 ...

  9. hung_task_timeout_secs 和 blocked for more than 120 seconds

    https://help.aliyun.com/knowledge_detail/41544.html 问题现象 云服务器 ECS Linux 系统出现系统没有响应. 在/var/log/messag ...

随机推荐

  1. JavaScript 模板引擎实现原理解析

    1.入门实例 首先我们来看一个简单模板: <script type="template" id="template"> <h2> < ...

  2. Android入门(十九)WebView

    原文链接:http://www.orlion.ga/676/ WebView可以在自己的应用程序中嵌入一个浏览器来展示网页. 创建一个项目WebViewDemo,修改activity_main.xml ...

  3. 实现List按与一个字符串的相似度和字母顺序排序（适用于模糊查询后的排序）

    因公司业务需要,自己写了一个,保存起来以后可能还会用到.如果还有更好的方法或者算法,希望大家提出来. 1.简单的相似度算法(自己想到的)      因为List中每个String都会包含一个标准的字符 ...

  4. 使用office制作图章公章

    制作公章的软件非常多,随便到网上一搜就有成千成百的软件或小工具,常用的有PS.Coreldraw.Ai.Word等,拥有一款office可以使用word来制作,方法挺简单,功能挺强大.寥寥数笔难以形容 ...

  5. Unity3D 开发之shader教程(浅谈光照之漫反射diffuse)

    在游戏开发过程中,光照应该是必不可少部分,当然,这是指大多数的稍微大型一些的3D游戏会需要,给模型或者山山水水加上光照,会看上去更加的真实,获得更好的体验.一个本身不发光物体显示什么颜色,在于本身反射 ...

  6. Unity中 动态加载 Resources.Load()和Asset Bundle 的区别

    版权声明:本文为博主原创文章,未经博主允许不得转载. 初学Unity的过程中,会发现打包发布程序后,unity会自动将场景需要引用到的资源打包到安装包里,没有到的不会跟进去.我们在编辑器里看到的Ass ...

  7. Datatables 在asp.net mvc中的使用

    前言 最近使用ABP(ASP.NET Boilerplate)做新项目,以前都是自己扩展一个HtmlHelper来完成同步/异步分页,但是有个地方一直不满意,排序太费劲. 以前接触过一点点的Datat ...

  8. GitHub一代：我们都是开源控

    我们是新的GitHub一代?GitHub塑造了新式开源文化?嗯,看看十几年开源控.Getable CTO Mikeal Rogers 是怎么说的吧: GitHub本来想做一个开源软件协作平台,结果做着 ...

  9. 这些HTML、CSS知识点，面试和平时开发都需要 No5-No7

    系列知识点汇总 这些HTML.CSS知识点,面试和平时开发都需要 No1-No4(知识点:HTML.CSS.盒子模型.内容布局) 这些HTML.CSS知识点,面试和平时开发都需要 No5-No7(知识 ...

  10. Git版本控制工具学习

    Git代码管理工具学习 分布式管理工具:git 相比较svn它更加的方便,基本上我们的操作都是在本地进行的. Git文件的三种状态:已提交,已修改,以暂存. 已提交:表示文件已经被保存到本地数据库. ...