Linux Kernel Stack

整理一些杂乱的内容。以下x86架构。

Linux 内核栈大小

内核栈大小是固定的，默认为8k，曾经有选项可以设置为4k栈。由于大小固定，申请过大的栈内存，或者函数调用层次过深，都可能导致栈溢出。

关注默认4k还是8k栈，社区曾有过长时间讨论。

其中8k栈的缺点如下：

浪费内存。
由于内核4k分页，要创建一个内核栈就需要申请2块连续的4k页。当内存碎片严重，尤其内存紧张的时候，申请8k的连续内存，要比4k困难的多。

但貌似4k栈带来的麻烦更大，内核中许多bug都由4k栈太小，发生溢出导致的。

因此内核从 2.6.37 版本开始，便移除了对4k栈的支持，见 commit : dcfa726280116dd31adad37da940f542663567d0

Linux内核栈布局

栈地址是逆增长的，thread_info 结构位于栈的底部，即低地址处。

top     +----------------+

        | return vals    |

        |   & local vars |

        | ...            |

        |                |

        |                |

        | 0's            |

        | thread_info    |

bottom  +----------------+

从内核栈布局可以的到，如果在栈上申请内存过多，则会下溢破坏 thread_info 结构。在绕过 pxn 的时候，有一个办法是修改进程的 addr_limit 值，这个值在 thread_info 中。由于内核栈固定8k的特性，要计算 thread_info 位置，只需要将 sp 指针的后13位清0，即 sp & ~(THREAD_SIZE-1) 即可。

thread_info_addr = sp & ~(THREAD_SIZE-1)

struct thread_info {

    struct task_struct  *task;

    struct exec_domain  *exec_domain;

    __u32                flags;

    __u32                status;

    __u32                cpu;

    int                  preempt_count;

    mm_segment_t         addr_limit;

    struct restart_block restart_block;

    void __user         *sysenter_return;

#ifdef CONFIG_X86_32

    unsigned long        previous_esp;

    __u8                 supervisor_stack[0];

#endif

    int                  uaccess_err;

};

Stack 使用安全

由申请栈内存过多、过大，或函数调用层次太深导致的溢出问题非常隐蔽，因此这是内核编码中需注意的地方。同时有许多工具来检查这类BUG：

1. CONFIG_FRAME_WARN

这是一个内核配置选项，默认为1024，在内核编译时传递给gcc的“-Wframe-larger-than=xxx”选项，当编译器检测到栈使用大于阙值时，会产生一条编译告警：

  ...

  CC      ipc/msg.o

  CC      ipc/sem.o

 .../linux-3.0.y/ipc/sem.c: In function 'semctl_main.clone.7':

 .../linux-3.0.y/ipc/sem.c:1021:1: warning: the frame size of 520 bytes is larger than 256 bytes

 .../linux-3.0.y/ipc/sem.c: In function 'sys_semtimedop':

 .../linux-3.0.y/ipc/sem.c:1514:1: warning: the frame size of 472 bytes is larger than 256 bytes

  CC      ipc/shm.o

  CC      ipc/ipcns_notifier.o

2. checkstack.pl

checkstack.pl是内核源码中的一个Perl脚本，用于执行静态的栈分析，使用方法如下：

$(CROSS_COMPILE)objdump -d vmlinux | scripts/checkstack.pl [arch]

其中arch支持arm, mips and x86等架构。注意其参数，是一个.S的汇编代码通过pipe输入checkstack.pl的

$ arm-eabi-objdummp -d vmlinux -o vmlinux-arm.S

$ cat vmlinux-arm.S | scripts/checkstack.pl arm

0x0012c858 nlmclnt_reclaim [vmlinux-arm.o]:             720

0x0025748c do_tcp_getsockopt.clone.11 [vmlinux-arm.o]:  552

0x00258d04 do_tcp_setsockopt.clone.14 [vmlinux-arm.o]:  544

...

3.CONFIG_DEBUG_STACK_USAGE

同样是一个内核选项，用于输出每个进程的栈使用情况。它的原理是在内核栈创建时使用’0’初始化，再通过计算thread_info结构到第一个非0位置的大小，获取栈使用情况。

可以通过 dmesg 查看栈使用情况：

# dmesg | grep greatest

kworker/u:0 used greatest stack depth: 10564 bytes left

busybox used greatest stack depth: 9512 bytes left

busybox used greatest stack depth: 9504 bytes left

grep used greatest stack depth: 9372 bytes left

init used greatest stack depth: 9028 bytes left

为什么dmesg中会有栈使用情况，看下CONFIG_DEBUG_STACK_USAGE的具体功能：

首先在进程创建时，将进程栈填充为0（kernel/fork.c）
sysrq ‘t’时，显示空闲内存大小，这是通过 stack_not_used()调用实现（kernel/sched.c）
定义check_stack_usage()，每次low-water时，进行printks打印
- low-water是所有栈全局共享的
- check_stack_usage()只有在进程退出时调用，因此只有在进程退出时才会发现栈使用的问题
stack_not_used()在include/linux/sched.h文件中定义，他输出从thread_info到第一个非0位置的内存大小

也可以通过 ‘t’ sysrq，得到当前运行进程栈实时的使用情况：

$ echo t >/proc/sysrq-trigger

$ dmesg | grep -v [[]

  task                PC stack   pid father

init            S 802af8b0   932     1      0 0x00000000

kthreadd        S 802af8b0  2496     2      0 0x00000000

ksoftirqd/0     S 802af8b0  2840     3      2 0x00000000

kworker/0:0     S 802af8b0  2776     4      2 0x00000000

kworker/u:0     S 802af8b0  2548     5      2 0x00000000

...