Linux CGroups简介

1、CGroups是什么

与Linux namespace对比来看，Linux namespace用来限制进程的运行范围或者运行环境的可见性，比如：uts限制进程读取到的hostname、mnt限制进程读取到的文件系统视图、net限制进程可以访问的网络范围等；而CGroups则是用来限制进程的资源配给，比如：磁盘IO读写速率、内存使用限制、CPU时间限制等，从而避免争抢和挤压。

2、核心概念

既然CGroups是用来管理进程的资源配给的，那么CGroups的概念最少应该涉及到进程和资源两部分：

task：任务，用来表示进程。
subsystem：子系统，用来表示资源控制***类型***，比如：cpu、memory等。Linux目前支持12种类型的subsystem：
- blkio：限制task操作块设备的io速率
- cpu：限制task的cpu使用率
- cpuacct：非限制类，生成cgroup中task的cpu使用报告
- cpuset：为cgroup中的task分配独立的cpu和内存节点
- devices：现在cgroup中的task可以访问的设备
- freezer：是cgroup中的task挂起，或者使挂起的task恢复正常运行
- hugetlb：限制cgroup的HugeTLB使用量
- memory：限制task的内存使用量
- net_cls：标记task发出的网络数据包，tc会对标记过的数据包进行处理
- net_prio：为task设置网络优先级
- perf_event：对cgroup进行性能监控，而非对task进行监控
- pids：现场cgroup中的task数量（含下级cgroup中的task）

除了进程和资源以外，还需要将两者结合起来，并且提供有效的管理手段：

cgroup：控制组，将task进行分组管理，以组为单位进行资源配给***量***设置。
hierarchy：可以理解为某个或者某些subsystem挂载点，比如：/sys/fs/cgroup/memory目录或者/sys/fs/cgroup/cpu,cpuacct目录都可以理解为一个hierarchy。
- 一个subsystem只能出现在一个hierarchy上，最精细的情况就是每个hierarchy上仅挂载一个subsystem。
- hierarchy上挂载的subsystem决定了当前hierarchy下的cgroup可以使用且只能使用的资源控制***类型***，比如：/sys/fs/cgroup/memory下的cgroup***只能***使用memory一种，而/sys/fs/cgroup/cpu,cpuacct***只能***使用cpu和cpuacct的组合。可以理解为：同一个hierarchy上的所有进程都以相同的手段限制资源，差别在于cgroup与cgroup之间的资源阈值。
- 每个hierarchy都挂载着当前系统中的所有进程，初始状态下，这些进程都属于默认的cgroup，称之为root cgroup（考虑每个hierarchy都是一颗完整的进程树），可以在root cgroup下创建子cgroup。
- 每个hierarchy上的进程只能属于一个cgroup，每当将进程加入到新的cgroup后，系统会自动从老的cgroup中移除该进程。
- 在一个hierarchy上关联所有的subsystem，这是最粗力度的进程管理方式，每个进程同时使用所有的subsystem。
- 每一个hierarchy上仅关联一个subsystem，这是最细粒度的进程管理方式，每个hierarchy上的进程仅使用一个subsystem。

核心概念中的前三个都比较简单，稍微难以理解的可能就是hierarchy了。简单来说，hierarchy可以理解为subsystem的分组，组团对进程进行限制，至于限制量多少，cgroup说了算～

上图中有两颗hierarchy树：hierarchy-a和hierarchy-b，两颗树上的task（进程）完全相同，两颗树上的subsystem不能存在交集，两颗树上的cgroup分组方式相互独立，互不影响。hierarchy-a上的cgroup必须同时使用cpu和cpuacct两种subsystem，此时cpu和cpuacct是一个整体。而hierarchy-b上只能使用memory一种subsystem。

进程fork出新的子进程时，子进程与父进程处于同一cgroup，受到相同的subsystem限制。之后子进程可以被添加到其他cgroup，父进程不受影响，父子进程相互独立。

3、基本操作

3.1、管理hierarchy

查看当前系统中的hierarchy

### 查看当前系统中的hierarchy ###

[root@localhost ~]# mount --type cgroup

cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd)

cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,memory)

cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,blkio)

cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,hugetlb)

cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,freezer)

cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,net_prio,net_cls)

cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,devices)

cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,cpuset)

cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,cpuacct,cpu)

cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,perf_event)

cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,pids)

创建hierarchy

### 尝试创建另一个hierarchy，失败，因为：从上面的结果来看，系统默认的hierarchy已经包含了所有的subsystem ###

[root@localhost ~]# mount --type cgroup --options cpu cpu cgroups/

mount: cpu is already mounted or /root/cgroups busy

### 尝试创建一个不与任何subsystem关联的hierarchy ###

[root@localhost ~]# mount --type cgroup --options none,name=cgroup-1 cgroup-1 cgroups/cgroup-1/

### 创建cgroup-1之后，系统会自动创建必要的配置文件 ###

[root@localhost ~]# ll cgroups/cgroup-1/

total 0

-rw-r--r--. 1 root root 0 Feb 26 14:57 cgroup.clone_children

--w--w--w-. 1 root root 0 Feb 26 14:57 cgroup.event_control

-rw-r--r--. 1 root root 0 Feb 26 14:57 cgroup.procs

-r--r--r--. 1 root root 0 Feb 26 14:57 cgroup.sane_behavior

-rw-r--r--. 1 root root 0 Feb 26 14:57 notify_on_release

-rw-r--r--. 1 root root 0 Feb 26 14:57 release_agent

-rw-r--r--. 1 root root 0 Feb 26 14:57 tasks

CGroup系统没有提供任何系统调用接口，而是通过vfs实现类似文件系统的操作方式来进行管理，比如上述这些自动生成的文件。因为没有关联任何subsystem，这些文件都是一些通用文件，文件的基本含义如下：

cgroup.clone_children：仅对cpuset有效，当配置内容为 1 时表示继承上级cgroup的cpuset配置。
cgroup.event_control：eventfd接口。
cgroup.procs：记录当前cgroup中的所有线程ID（TGID），无序，可重复。项此文件中增加tgid表示将整个线程组加入此cgroup。
cgroup.sane_behavior：
tasks：记录当前cgroup中的所有进程ID（PID），无序，可重复。向此文件中增加pid即表示将进程加入此cgroup，同时也会将pid从原cgroup的tasks文件中移除。
notify_on_release：如果改文件的内容为 1 ，当cgroup退出时系统将调用release_agent文件中的命令。
release_agent：cgroup退出时需要执行的命令，此文件仅出现在root cgroup中。

除了上述通用文件之外，每个subsystem都有自己独特的配置文件和配置格式，比如：

### 查看系统memory subsystem对应的配置文件 ###

[root@localhost ~]# ll /sys/fs/cgroup/memory/

total 0

-rw-r--r--. 1 root root 0 Feb 27 13:27 cgroup.clone_children

--w--w--w-. 1 root root 0 Feb 27 13:27 cgroup.event_control

-rw-r--r--. 1 root root 0 Feb 27 13:27 cgroup.procs

-r--r--r--. 1 root root 0 Feb 27 13:27 cgroup.sane_behavior

-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.failcnt

--w-------. 1 root root 0 Feb 27 13:27 memory.force_empty

-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.kmem.failcnt

-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.kmem.limit_in_bytes

-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.kmem.max_usage_in_bytes

-r--r--r--. 1 root root 0 Feb 27 13:27 memory.kmem.slabinfo

-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.kmem.tcp.failcnt

-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.kmem.tcp.limit_in_bytes

-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.kmem.tcp.max_usage_in_bytes

-r--r--r--. 1 root root 0 Feb 27 13:27 memory.kmem.tcp.usage_in_bytes

-r--r--r--. 1 root root 0 Feb 27 13:27 memory.kmem.usage_in_bytes

-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.limit_in_bytes

-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.max_usage_in_bytes

-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.memsw.failcnt

-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.memsw.limit_in_bytes

-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.memsw.max_usage_in_bytes

-r--r--r--. 1 root root 0 Feb 27 13:27 memory.memsw.usage_in_bytes

-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.move_charge_at_immigrate

-r--r--r--. 1 root root 0 Feb 27 13:27 memory.numa_stat

-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.oom_control

----------. 1 root root 0 Feb 27 13:27 memory.pressure_level

-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.soft_limit_in_bytes

-r--r--r--. 1 root root 0 Feb 27 13:27 memory.stat

-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.swappiness

-r--r--r--. 1 root root 0 Feb 27 13:27 memory.usage_in_bytes

-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.use_hierarchy

-rw-r--r--. 1 root root 0 Feb 27 13:27 notify_on_release

-rw-r--r--. 1 root root 0 Feb 27 13:27 release_agent

-rw-r--r--. 1 root root 0 Feb 27 13:27 tasks

删除hierarchy

### 接触挂载 ###

[root@localhost ~]# umount cgroups/cgroup-1/

### 自动生成的配置文件在umount之后自动删除 ###

[root@localhost ~]# ll cgroups/cgroup-1/

total 0

3.2、管理cgroup

hierarchy创建之后，默认会与一个顶层cgroup，也就是该hierarchy的root cgroup。在root cgroup下创建新目录，也就是创建了下级cgroup，项cgroup中加入task，配置对应的subsystem参数，也就限制了task中的进行访问与subsystem对应的系统资源的访问。

创建cgroup

### 在/sys/fs/cgroup/cpu创建cgroup-c ###

[root@localhost ~]# mkdir /sys/fs/cgroup/cpu/cgroup-c

### 系统自动生成对应的配置文件，说明cgroup创建成功 ###

[root@localhost ~]# ll /sys/fs/cgroup/cpu/cgroup-c

total 0

-rw-r--r--. 1 root root 0 Feb 27 15:14 cgroup.clone_children

--w--w--w-. 1 root root 0 Feb 27 15:14 cgroup.event_control

-rw-r--r--. 1 root root 0 Feb 27 15:14 cgroup.procs

-r--r--r--. 1 root root 0 Feb 27 15:14 cpuacct.stat

-rw-r--r--. 1 root root 0 Feb 27 15:14 cpuacct.usage

-r--r--r--. 1 root root 0 Feb 27 15:14 cpuacct.usage_percpu

-rw-r--r--. 1 root root 0 Feb 27 15:14 cpu.cfs_period_us

-rw-r--r--. 1 root root 0 Feb 27 15:14 cpu.cfs_quota_us

-rw-r--r--. 1 root root 0 Feb 27 15:14 cpu.rt_period_us

-rw-r--r--. 1 root root 0 Feb 27 15:14 cpu.rt_runtime_us

-rw-r--r--. 1 root root 0 Feb 27 15:14 cpu.shares

-r--r--r--. 1 root root 0 Feb 27 15:14 cpu.stat

-rw-r--r--. 1 root root 0 Feb 27 15:14 notify_on_release

-rw-r--r--. 1 root root 0 Feb 27 15:14 tasks

### 每个cgroup还可以继续创建下级cgroup，下级会继承上级的一些配置项 ###

[root@localhost ~]# ll /sys/fs/cgroup/cpu/cgroup-c/cgroup-c-1

total 0

-rw-r--r--. 1 root root 0 Feb 27 15:17 cgroup.clone_children

--w--w--w-. 1 root root 0 Feb 27 15:17 cgroup.event_control

-rw-r--r--. 1 root root 0 Feb 27 15:17 cgroup.procs

-r--r--r--. 1 root root 0 Feb 27 15:17 cpuacct.stat

-rw-r--r--. 1 root root 0 Feb 27 15:17 cpuacct.usage

-r--r--r--. 1 root root 0 Feb 27 15:17 cpuacct.usage_percpu

-rw-r--r--. 1 root root 0 Feb 27 15:17 cpu.cfs_period_us

-rw-r--r--. 1 root root 0 Feb 27 15:17 cpu.cfs_quota_us

-rw-r--r--. 1 root root 0 Feb 27 15:17 cpu.rt_period_us

-rw-r--r--. 1 root root 0 Feb 27 15:17 cpu.rt_runtime_us

-rw-r--r--. 1 root root 0 Feb 27 15:17 cpu.shares

-r--r--r--. 1 root root 0 Feb 27 15:17 cpu.stat

-rw-r--r--. 1 root root 0 Feb 27 15:17 notify_on_release

-rw-r--r--. 1 root root 0 Feb 27 15:17 tasks

删除cgroup

### 删除cgroup时，需要先删除下级cgroup ###

[root@localhost ~]# rmdir /sys/fs/cgroup/cpu/cgroup-c/

rmdir: failed to remove ‘/sys/fs/cgroup/cpu/cgroup-c/’: Device or resource busy

### 直接删除对应的目录即可 ###

[root@localhost ~]# rmdir /sys/fs/cgroup/cpu/cgroup-c/cgroup-c-1/

[root@localhost ~]# rmdir /sys/fs/cgroup/cpu/cgroup-c

[root@localhost ~]# ll /sys/fs/cgroup/cpu/cgroup-c

ls: cannot access /sys/fs/cgroup/cpu/cgroup-c: No such file or directory

查看当前进程属于查询cgroup

### 数据结构：hierarchy_id:subsystem:cgroup_path ###

[root@localhost ~]# cat /proc/$$/cgroup

11:perf_event:/

10:blkio:/

9:freezer:/

8:pids:/

7:hugetlb:/

6:memory:/

5:cpuacct,cpu:/

4:devices:/

3:net_prio,net_cls:/

2:cpuset:/

1:name=systemd:/user.slice/user-0.slice/session-1.scope

cgroup_path表示从root cgroup（/）开始的路径，比如 /user.slice/user-0.slice/session-1.scope 表示的实际位置为：/sys/fs/cgroup/systemd/user.slice/user-0.slice/session-1.scope

这一篇先简单介绍到这里，主要为了理解cgroups的几个核心概念，具体subsystem的详细配置方法这里就不再继续研究了。