linux 内核假死循环导致的问题
[445713.507663] Pid: , comm: -IFileSender Tainted: G B ENX 3.0.-0.47.-default # ZTE Grantley/S1008
[445713.507671] RIP: :[<ffffffff810fb2cb>] [<ffffffff810fb2cb>] find_get_pages_contig+0x5b/0x110
[445713.507678] RSP: :ffff883edfc2fab8 EFLAGS:
[445713.507679] RAX: ffff881f68ef68d0 RBX: RCX:
[445713.507681] RDX: RSI: ffffea000a9164e8 RDI: ffffea000a9164e0
[445713.507682] RBP: R08: R09: ffff883edfc2fa78
[445713.507683] R10: R11: 000000000000003f R12: ffffffff8146ffee
[445713.507684] R13: 000000000006cc46 R14: 00000000000007fe R15: ffffe8e001baa620
[445713.507686] FS: 00007f06f82a9700() GS:ffff88207fda0000() knlGS:
[445713.507688] CS: DS: ES: CR0:
[445713.507689] CR2: 00007fd39233d810 CR3: 0000003ec0289000 CR4: 00000000001407e0
[445713.507690] DR0: DR1: DR2:
[445713.507691] DR3: DR6: 00000000ffff0ff0 DR7:
[445713.507693] Process -IFileSender (pid: , threadinfo ffff883edfc2e000, task ffff883edfc2c480)
[445713.507694] Stack:
[445713.507700] 000000059715f240 ffff881f6a1bd2e8 0000000000003ffb
[445713.507704] ffff881dab7a5180 0000000000004c04
[445713.507706] ffff883edfc2fdf8 ffffffff811898f1 ffff881d69cf4c40 ffff881dab7a5180
[445713.507709] Call Trace:
[445713.507718] [<ffffffff811898f1>] __generic_file_splice_read+0x111/0x4c0
[445713.507722] [<ffffffff81189ceb>] generic_file_splice_read+0x4b/0x90
[445713.507767] [<ffffffffa05fec5a>] xfs_file_splice_read+0x14a/0x200 [xfs]
[445713.507832] [<ffffffff81188c6c>] splice_direct_to_actor+0xcc/0x1d0
[445713.507837] [<ffffffffa070a9ab>] do_sendfile+0x1db/0x270 [witdriver]
[445713.507844] [<ffffffffa0716b3a>] my_sendfile+0x2da/0x530 [witdriver]
[445713.507863] [<ffffffff8146f5f2>] system_call_fastpath+0x16/0x1b
[445713.507870] [<00007f07326683c9>] 0x7f07326683c8
获取页面超时，反汇编响应的代码，确定了是在进行page计数增加。
if (!page_cache_get_speculative(page))
goto repeat;
根据代码逻辑，page的计数不对，本来page的计数为0是一个瞬间状态，结果却一直在循环。
查看crash之前的打印，找到对应的日志为：
kernel: [111747.127259] BUG: Bad page state in process -IFileSender pfn:2375c8e
kernel: [111747.127259] BUG: Bad page state in process -IFileSender pfn:2375c8e
kernel: [111747.127263] page:ffffea007c1c3f10 count: mapcount: mapping:ffff882b63e766e0 index:0x3ffc
kernel: [111747.127263] page:ffffea007c1c3f10 count: mapcount: mapping:ffff882b63e766e0 index:0x3ffc
kernel: [111747.127265] page flags: 0x60000000080010(uptodate|mappedtodisk)
kernel: [111747.127265] page flags: 0x60000000080010(uptodate|mappedtodisk)
kernel: [111747.127269] Pid: , comm: -IFileSender Tainted: G ENX 3.0.-0.47.-default #
kernel: [111747.127269] Pid: , comm: -IFileSender Tainted: G ENX 3.0.-0.47.-default #
kernel: [111747.127271] Call Trace:
kernel: [111747.127271] Call Trace:
kernel: [111747.127284] [<ffffffff81004b95>] dump_trace+0x75/0x300
kernel: [111747.127284] [<ffffffff81004b95>] dump_trace+0x75/0x300
kernel: [111747.127290] [<ffffffff81464663>] dump_stack+0x69/0x6f
kernel: [111747.127290] [<ffffffff81464663>] dump_stack+0x69/0x6f
kernel: [111747.127296] [<ffffffff81100da1>] bad_page+0xb1/0x120
kernel: [111747.127296] [<ffffffff81100da1>] bad_page+0xb1/0x120
kernel: [111747.127300] [<ffffffff81101306>] free_pages_prepare+0xe6/0x110
kernel: [111747.127300] [<ffffffff81101306>] free_pages_prepare+0xe6/0x110
kernel: [111747.127304] [<ffffffff81104d69>] free_hot_cold_page+0x49/0x1f0
kernel: [111747.127304] [<ffffffff81104d69>] free_hot_cold_page+0x49/0x1f0
kernel: [111747.127311] [<ffffffffa0621224>] wit_free_shinfo_pages+0x34/0x50 [witdriver]
kernel: [111747.127311] [<ffffffffa0621224>] wit_free_shinfo_pages+0x34/0x50 [witdriver]
kernel: [111747.127331] [<ffffffffa0631306>] my_writev+0x2b6/0x6e0 [witdriver]
kernel: [111747.127331] [<ffffffffa0631306>] my_writev+0x2b6/0x6e0 [witdriver]
kernel: [111747.127341] [<ffffffff8146f5f2>] system_call_fastpath+0x16/0x1b
kernel: [111747.127341] [<ffffffff8146f5f2>] system_call_fastpath+0x16/0x1b
kernel: [111747.127361] [<00007f2018ce33c9>] 0x7f2018ce33c8
kernel: [111747.127361] [<00007f2018ce33c9>] 0x7f2018ce33c8
从这个打印，知道了我们当时流程释放页的时候，page的计数为0了，此时的mapping指针还在，说明了不该释放的页给释放了。
这种计数问题本来很头疼，偶然间看到page的index 为：
kernel: [111747.127263] page:ffffea007c1c3f10 count: mapcount: mapping:ffff882b63e766e0 index:0x3ffc------------这个index
查看了其他类似的打印发现这个index都靠近0x4000，而这个0x4000是我们一种业务文件的固定大小。
再查找对应的业务日志，发现当时sendfile调用失败，然后使用writev方式发送文件，而writev的时候，又出现了调用方传送的参数不对的情况，导致我们内核模块在释放内存的时候，
将发送失败那几页page释放多执行了一次。从而使得page计数被减成0了。
void put_page(struct page *page)
{
if (unlikely(PageCompound(page)))
put_compound_page(page);
else if (put_page_testzero(page))//原子计数减，然后判断是否为0，为0则继续释放
__put_single_page(page);
}
这个page因为还在被inode的radix树管理，所以那边读文件找page的时候，发现计数为0，则循环等待，否则加1，这样的话，导致了一个死循环，因为这个计数本来不应该长时间为0，是被
我们释放计数错了才导致为0的。
void free_hot_cold_page(struct page *page, int cold)
{
struct zone *zone = page_zone(page);
struct per_cpu_pages *pcp;
unsigned long flags;
int migratetype;
int wasMlocked = __TestClearPageMlocked(page); #ifdef CONFIG_XEN
WARN_ON(PageForeign(page) && wasMlocked);
#endif
if (!free_pages_prepare(page, ))
return;
最终由于mapping指针不为NULL而在bad_page 的流程中打印警告。
不过这种page会不会used after free呢？不会的，因为page的计数虽然为0，但是并没有放到管理单元中去，假设以后再也不访问这个page，则只会泄露。
这种循环，会因为定时器中断而中断，最终系统hung住：
kernel: [217186.608729] [<ffffffff8102735a>] arch_trigger_all_cpu_backtrace+0x5a/0xa0
kernel: [217186.608729] [<ffffffff8102735a>] arch_trigger_all_cpu_backtrace+0x5a/0xa0---------------等回调，
kernel: [217186.608734] [<ffffffff810d0021>] check_cpu_stall+0xe1/0x140
kernel: [217186.608734] [<ffffffff810d0021>] check_cpu_stall+0xe1/0x140
kernel: [217186.608738] [<ffffffff810d00a9>] __rcu_pending+0x29/0x180
kernel: [217186.608738] [<ffffffff810d00a9>] __rcu_pending+0x29/0x180
kernel: [217186.608742] [<ffffffff810d025f>] rcu_check_callbacks+0x5f/0x110
kernel: [217186.608742] [<ffffffff810d025f>] rcu_check_callbacks+0x5f/0x110
kernel: [217186.608748] [<ffffffff81071dff>] update_process_times+0x3f/0x80
kernel: [217186.608748] [<ffffffff81071dff>] update_process_times+0x3f/0x80--------------------------定时中断，更新进程时间等
kernel: [217186.608752] [<ffffffff8109615b>] tick_sched_timer+0x5b/0xc0
kernel: [217186.608752] [<ffffffff8109615b>] tick_sched_timer+0x5b/0xc0
kernel: [217186.608757] [<ffffffff81088a4e>] __run_hrtimer+0xbe/0x1a0
kernel: [217186.608757] [<ffffffff81088a4e>] __run_hrtimer+0xbe/0x1a0
kernel: [217186.608762] [<ffffffff81088d6d>] hrtimer_interrupt+0xed/0x2a0
kernel: [217186.608762] [<ffffffff81088d6d>] hrtimer_interrupt+0xed/0x2a0
kernel: [217186.608767] [<ffffffff81026da3>] smp_apic_timer_interrupt+0x63/0xa0
kernel: [217186.608767] [<ffffffff81026da3>] smp_apic_timer_interrupt+0x63/0xa0
kernel: [217186.608771] [<ffffffff8146fff3>] apic_timer_interrupt+0x13/0x20
kernel: [217186.608771] [<ffffffff8146fff3>] apic_timer_interrupt+0x13/0x20--------------被中断
kernel: [217186.608777] [<ffffffff810fb2c3>] find_get_pages_contig+0x53/0x110
kernel: [217186.608777] [<ffffffff810fb2c3>] find_get_pages_contig+0x53/0x110
kernel: [217186.608782] [<ffffffff811898f1>] __generic_file_splice_read+0x111/0x4c0
kernel: [217186.608782] [<ffffffff811898f1>] __generic_file_splice_read+0x111/0x4c0
kernel: [217186.608786] [<ffffffff81189ceb>] generic_file_splice_read+0x4b/0x90
kernel: [217186.608786] [<ffffffff81189ceb>] generic_file_splice_read+0x4b/0x90
kernel: [217186.608805] [<ffffffffa0be6c5a>] xfs_file_splice_read+0x14a/0x200 [xfs]
kernel: [217186.608805] [<ffffffffa0be6c5a>] xfs_file_splice_read+0x14a/0x200 [xfs]
kernel: [217186.608868] [<ffffffff81188c6c>] splice_direct_to_actor+0xcc/0x1d0
kernel: [217186.608868] [<ffffffff81188c6c>] splice_direct_to_actor+0xcc/0x1d0
kernel: [217186.608874] [<ffffffffa0620a8b>] do_sendfile+0x1db/0x270 [witdriver]
kernel: [217186.608874] [<ffffffffa0620a8b>] do_sendfile+0x1db/0x270 [witdriver]
kernel: [217186.608881] [<ffffffffa0630df0>] my_sendfile+0x2e0/0x540 [witdriver]
kernel: [217186.608881] [<ffffffffa0630df0>] my_sendfile+0x2e0/0x540 [witdriver]
kernel: [217186.608892] [<ffffffff8146f5f2>] system_call_fastpath+0x16/0x1b
kernel: [217186.608892] [<ffffffff8146f5f2>] system_call_fastpath+0x16/0x1b
kernel: [217186.608898] [<00007f2018ce33c9>] 0x7f2018ce33c8
kernel: [217186.608898] [<00007f2018ce33c9>] 0x7f2018ce33c8
linux 内核假死循环导致的问题的更多相关文章
- linux内核过高导致vm打开出错修复脚本
#!/bin/bashVMWARE_VERSION=workstation-15.1.0TMP_FOLDER=/tmp/patch-vmwarerm -fdr $TMP_FOLDERmkdir -p ...
- mysql 5.7.15 vs mysql 5.6.31性能测试以及不同linux内核性能比较
最近,将部分开发和测试环境的mysql升级到5.7之后,今天抽时间测试了下5.6和5.7 PK查询的性能,使用mysqlslap进行测试,测试结果发现在低配下,percona 5.6.31大约比5.7 ...
- Linux内核分析：页回收导致的cpu load瞬间飙高的问题分析与思考--------------蘑菇街技术博客
http://mogu.io/156-156 摘要 本文一是为了讨论在Linux系统出现问题时我们能够借助哪些工具去协助分析,二是讨论出现问题时大致的可能点以及思路,三是希望能给应用层开发团队介绍一些 ...
- Linux内核升级导致无法启动，Kernel panic - not syncing Unable to mount root fs on unknown block(0,0)
问题原因:内核的某次升级,导致系统无法启动. 首先进入recovery模式:引导界面选择-->Ubuntu高级-->出现的选项中选择能够启动的recovery模式(几个内核版本分别试一下) ...
- 一个linux内核编译时遇到的perl语法导致的编译问题解决
在编译linux内核时,遇到了一个比较诡异的问题.具体log如下: Can't locate strict.pm in @INC (you may need to install the strict ...
- 升级Linux内核导致vmware无法使用（vmnet模块无法编译）解决方式
近期将ubuntu升级到了14.04,出现了vmware无法启动的情况. 详细表现为:每次启动的时候都会弹出一个VMWare Kernel Module Updater的对话框,要求依据当前内核版本号 ...
- 【漏洞预警】Intel爆CPU设计问题，导致win和Linux内核重设计（附测试poc）
目前研究人员正抓紧检查 Linux 内核的安全问题,与此同时,微软也预计将在本月补丁日公开介绍 Windows 操作系统的相关变更. 而 Linux 和 Windows 系统的这些更新势必会对 Int ...
- Linux内核同步
Linux内核剖析 之 内核同步 主要内容 1.内核请求何时以交错(interleave)的方式执行以及交错程度如何. 2.内核所实现的基本同步机制. 3.通常情况下如何使用内核提供的同步机制. 内核 ...
- 浅析Linux内核同步机制
非常早之前就接触过同步这个概念了,可是一直都非常模糊.没有深入地学习了解过,最近有时间了,就花时间研习了一下<linux内核标准教程>和<深入linux设备驱动程序内核机制>这 ...
随机推荐
- vue.js 的环境搭建
转自简书: https://www.jianshu.com/p/0c6678671635
- 第5章 IP地址和子网划分（2）_IP地址分类和NAT技术
3. IP地址的分类 (1)五类IP地址 (2)数轴表示法 4. 保留地址 (1)网段的地址:主机ID全0.如192.168.100.0/24,其中的192.168.10.0指的是网段. (2)广播地 ...
- delphi正则表达式学习笔记（一）
在 Delphi 中是没有自带的正则表达式库的,在网上能找到的用于 Delphi 的正则表达式类大体上有两个,分别是 PerlRegEx 和 RegExpr. 前者相当强大,但发布程序时需要带上他的一 ...
- Docker删除镜像
docker images往往不知不觉就占满了硬盘空间,为了清理冗余的image,可采用以下方法: 1.进入root权限 sudo su 2.停止所有的container,这样才能够删除其中的imag ...
- Chapter2：Qt5模板库，工具类及控件
2.1 字符串类 QString类保存16位Unicode值,提供了丰富的操作,查询和转换等函数. (1):QString提供了一个二元的"+"操作符用于组合两个字符串 (2) ...
- Navicat Premium 将sqlserver 数据库 导入mysql 中
1.新建 MySQL 数据库 2. 3 4 5 6 7 8 9一直点击下一步 10 成功
- 让MySql支持表情符号（MySQL中4字节utf8字符保存方法）
UTF-8编码有可能是两个.三个.四个字节.Emoji表情是4个字节,而MySQL的utf8编码最多3个字节,所以数据插不进去. 解决方案:将编码从utf8转换成utf8mb4. 1. 修改my.in ...
- suricata 关键字补充说明
基本关键字 1.msg(对匹配到的规则的说明,第一部分约定用大写字母表示,msg始终是签名的第一个关键字) 注意:msg中必须转义以下字符: ; \ " msg :“ATTACK-RESPO ...
- android开发 静态碎片布局实现
实现思维: 1.需要写2个或者多个子布局 2.写一个Java的class去实现将子布局与父类布局铺满.(一个子布局对应一个class) 3.在父类布局中导入fragment布局,并且添加android ...
- SAP HANA HDBSQL命令
1.登录: window操作系统下面: 打开C:\Program Files\SAP\hdbclient\hdbsql.exe \c 连接数据库 connect的缩写 HANA hostname: ...