CGROUP

二:cgroup中的概念
在深入到cgroup的代码分析之前.先来了解一下cgroup中涉及到的几个概念:
1:cgroup: 它的全称为control group.即一组进程的行为控制.比如,我们限制进程/bin/sh的CPU使用为20%.我们就可以建一个cpu占用为20%的cgroup.然后将/bin/sh进程添加到这个cgroup中.当然,一个cgroup可以有多个进程.
2:subsystem: 它类似于我们在netfilter中的过滤hook.比如上面的CPU占用率就是一个subsystem.简而言之.subsystem就是cgroup中可添加删除的模块.在cgroup架构的封装下为cgroup提供多种行为控制.subsystem在下文中简写成subsys.
3: hierarchy: 它是cgroup的集合.可以把它理解成cgroup的根.cgroup是hierarchy的结点.还是拿上面的例子: 整个cpu占用为100%.这就是根,也就是hierarchy.然后,cgroup A设置cpu占用20%,cgroup B点用50%,cgroup A和cgroup B就是它下面的子层cgroup.
三:cgroup中的重要数据结构
我们先来看cgroup的使用.有三面一个例子:
[root@localhost cgroups]# mount -t cgroup cgroup -o debug /dev/cgroup
[root@localhost cgroups]# mkdir /dev/cgroup/eric_test
如上所示,用debug subsystem做的一个测试. /dev/cgroup是debug subsys的挂载点.也就是我们在上面所分析的hierarchy.然后在hierarchy下又创建了一个名为eric_test的cgroup.
在kernel的源代码中.挂载目录,也就是cgroup的根目录用数据结构struct cgroupfs_root表示.而cgroup用struct cgroup表示.

cgroup的框架,下面来分析cpuset子系统.所谓cpuset,就是在用户空间中操作cgroup文件系统来执行进程与cpu和进程与内存结点之间的绑定.有关cpuset

Cpuset是一个在大系统上常用的功能.这部份涉及到进程调度和内存分配方面的东西,如果对这些周边知识有不了解的地方.可以参阅本站的其它文档.

/* The default css_set - used by init and its children prior to any
* hierarchies being mounted. It contains a pointer to the root state
* for each subsystem. Also used to anchor the list of css_sets. Not
* reference-counted, to improve performance when child cgroups
* haven't been created.
*/
static struct css_set init_css_set;
static struct cg_cgroup_link init_css_set_link;

系统所有的subsystem都在这里：

static struct cgroup_subsys *subsys[] = {
#include <linux/cgroup_subsys.h>
};

cgroup_init_early：初始化init_css_set, init_css_set_link这两个全局结构，设置init进程的cgroups指针，为init_css_set

cgroup_init：调用cgroup_init_subsys初始化subsys数组里所有剩下的的subsystem（没有在cgroup_init_early中初始化的subsys），为init_css_set设置hlist指向的hash list，最后调用register_filesystem注册一个类型为cgroup的伪文件系统，并创建/proc/cgroups。其中cgroup_init会调用cgroup_init_subsys

cgroup_init_subsys：对于每一个subsystem，都要添加到rootnode（系统最高的唯一cgroupfs_root），rootnode保存了一个subsys_list里面是所有subsystem的列表，这些group_subsys互相保存在cgroup_subsys->sibling的列表中。这里出现了一个struct cgroup dummytop，用来表示hierarchy最高层的cgroup。

进程启动时会调用如下三个函数，

cgroup_fork：该函数执行 child->cgroups = current->cgroups，即把父进程指向的css_set 赋值给子进程，同时增加该css_set 的引用计数。

cgroup_fork_callbacks：对于cgroup里的所有subsystem(cgroup_subsys)，调用sys->fork(sys, task_struct *)

cgroup_post_fork：更新task_struct->cg_list

进程退出是会调用：

cgroup_exit：如果run_callbacks为1，对于每一个subsystem，调用sys->exit(sys, task_struct* )，把自己从 css_set 的task列表中删除，然后把原来的css_set 结构保存在cg中，把自己的 css_set 设为 init_css_set。最后调用 put_css_set_taskexit (cg)，里面判断css_set的引用计数，如果为0就释放掉了。释放的同时，清理掉css_set_table哈希表，cg_cgroup_link里相应项，如果对应的cgroup已经没有进程了，设置一个标志位 CGRP_RELEASABLE

我们注意到了每个subsystem有个need_forkexit_callback标志位，如果cgroup_subsys->fork，cgroup_subsys->exit 任意一个函数指针不为空，该位被置上，因此每次进程fork或者exit的时候，都会调用subsystem相应的fork, exit函数。

另外还有一个dummytop，用于无主的cgroup，比如把某个子系统移除cgroup之后就会把其对应的cgroup更改为dummytop

cgroup的文件系统这里不多说了，请参考这篇文章 http://blog.csdn.net/ustc_dylan/article/details/4030824

其实cgroup的文件系统就是通过文件系统的inode, dentry, file操作函数提供了一个控制的接口，用于设置QoS控制参数，和把进程和cgroup关联起来。每个子系统都会通过cgropu文件系统来关联自己的接口，获取需要控制的进程，从而和cgroup机制完美对接。

　二、dentry与inode
　　inode（可理解为ext2 inode）对应于物理磁盘上的具体对象，dentry是一个内存实体，其中的d_inode成员指向对应的inode。也就是说，一个inode可以在运行的时候链接多个dentry，而d_count记录了这个链接的数量。

按照d_count的值，dentry分为以下三种状态：

1、未使用（unused）状态：该dentry对象的引用计数d_count的值为0，但其d_inode指针仍然指向相关的的索引节点。该目录项仍然包含有效的信息，只是当前没有人引用他。这种dentry对象在回收内存时可能会被释放。

2、正在使用（inuse）状态：处于该状态下的dentry对象的引用计数d_count大于0，且其d_inode指向相关的inode对象。这种dentry对象不能被释放。

3、负（negative）状态：与目录项相关的inode对象不复存在（相应的磁盘索引节点可能已经被删除），dentry对象的d_inode指针为NULL。但这种dentry对象仍然保存在dcache中，以便后续对同一文件名的查找能够快速完成。这种dentry对象在回收内存时将首先被释放。
　　三、dentry与dentry_cache
　　dentry_cache简称dcache，中文名称是目录项高速缓存，是Linux为了提高目录项对象的处理效率而设计的。它主要由两个数据结构组成：

1、哈希链表dentry_hashtable：dcache中的所有dentry对象都通过d_hash指针域链到相应的dentry哈希链表中。

2、未使用的dentry对象链表dentry_unused：dcache中所有处于unused状态和negative状态的dentry对象都通过其d_lru指针域链入dentry_unused链表中。该链表也称为LRU链表。

目录项高速缓存dcache是索引节点缓存icache的主控器（master），也即 dcache中的dentry对象控制着icache中的inode对象的生命期转换。无论何时，只要一个目录项对象存在于dcache中（非 negative状态），则相应的inode就将总是存在，因为 inode的引用计数i_count总是大于0。当dcache中的一个dentry被释放时，针对相应inode对象的iput()方法就会被调用。