Cgroups控制系统资源的分配(cpumemio

1、cgroups概述

CGroup是Linux内核提供的可以限制、隔离进程组 (process groups) 所使用的物理资源 (如 cpu memory i/o 等等)。 全称是Control Groups,从2.6.24 内核引入,并不是全新创造的,而是将进程管理从 cpuset 中剥离出来。CGroups 是管理虚拟化资源手段。 CGroup 提供了一个虚拟文件系统,是进行分组管理和各子系统设置的接口。所以要使用 CGroup,必须挂载 CGroup 文件系统。通过挂载选项指定使用哪个子系统。

 

2、cgroup概念

任务(task):任务就是系统的一个进程;
控制群(control
group):控制群是一组按照某种标准划分的进程。Cgroup的资源控制都是以控制群为单位实现。一个进程可以加入到某个控制群,也可以迁移到另一个控制群。
层级(hierarchy):控制群可以组织成 hierarchical 的树形式。控制群树上的子节点控制群是父节点控制群的孩子,继承父控制族群的特定的属性;
子系统(subsystem):子系统是一个资源控制器,比如 cpu 子系统就是控制 cpu 时间分配的控制器。子系统必须附加(attach)到一个层级上才能起作用,一个子系统附加到某个层级以后,这个层级上的所有控制群都受到这个子系统的控制。

3、安装

操作系统:3.10.0-514.el7.x86_64

#yum
-y install  libcgroup
libcgroup-tools-0.41-11.el7.x86_64

启动:

#systemctl
start cgconfig

开机自启:

#systemctl
enable cgconfig

查看已经存在的子系统记挂载位置:

#lssubsys
–am

 

4、常用命令

cgclassify
–将运行的任务移动到一个或者多个cgroup,例如:cgclassify -g cpu:yy [pid]

cgclear
--删除层级中的所有cgroup。

cgconfigparser
--解析cgconfig.conf文件和并挂载层级。

cgcreate
-- cgcreate在层级中创建新cgroup。

cgdelete
-- cgdelete命令删除指定的cgroup。

cgexec
– 这个命令是cgroup启动的cgexec命令在指定的cgroup中运行任务。例如:cgexec -g
"blkio:foo" dd if=/dev/zero of=/dev/null &。如果不使用那就手动把进程号写入到tasks中吧。

cgget
-- cgget命令查看cgroup组里面设置的资源的限制。

cgrulesengd
--在
cgroup 中发布任务。

cgset
-- cgset 命令为
cgroup 设定参数。路径相对于根的/cgroup,如果想设置根的参数使用gset命令。

lscgroup
--命令列出层级中的 cgroup。

lssubsys
--命令列出包含指定子系统的层级,使用-am参数可以看到未挂载的所有子系统

5、cgroups限制io

限制io需要现确定两个因素:对那个pid(高io的那个进程,使用iotop –o查看,TID就是pid);

2、限制读写的disk的设备编号(例如对/dev/sda,)

#
ls –l  /dev/sda

brw-rw----. 1 root disk 8, 0 11月 10 10:51 /dev/sda

8, 0 :8是主设备号,用于区分是那种类型的设备;0副设备号,用于区分同种类型设备的编号。

查看当前所有的子系统

#
lssubsys –am

cpuset
/sys/fs/cgroup/cpuset

cpu,cpuacct
/sys/fs/cgroup/cpu,cpuacct

memory
/sys/fs/cgroup/memory

devices
/sys/fs/cgroup/devices

freezer
/sys/fs/cgroup/freezer

net_cls,net_prio
/sys/fs/cgroup/net_cls,net_prio

blkio
/sys/fs/cgroup/blkio

perf_event
/sys/fs/cgroup/perf_event

hugetlb
/sys/fs/cgroup/hugetlb

pids
/sys/fs/cgroup/pids

找到bklio,及它的挂载目录。

创建新的group,进行io限制

可以提前使用一个命令先占用系统io,仅限于测试:

#
dd if=/dev/sda of=/dev/null &

使用iotop –o 查看当前的DISK READ的值:

可以看到是600多,

#mkdir
/sys/fs/cgroup/blkio/spark

#cd
/sys/fs/cgroup/blkio/spark

#echo
'8:0 10485760' > blkio.throttle.read_bps_device
#echo '8:0 10485760' > blkio.throttle.write_bps_device

暂时设置这几个值就够用了,10485760是字节数,即表示的是10M左右,根据自己的情况设置这个值。

最后将pid写入到spark目录下的tasks文件:

#
echo 2735 > tasks

启动服务:

#systemctl
start cgconfig

Total DISK READ :         0.00 B/s | Total DISK WRITE :       0.00 B/s

Actual DISK READ:       0.00 B/s | Actual DISK WRITE:       0.00 B/s

TID 
PRIO  USER     DISK READ 
DISK WRITE  SWAPIN     IO>   
COMMAND

2735  be/4  root  11.67M/s   0.00
B/s     0.00%   97.70% 
dd if=/dev/sda of=/dev/null &

cgroups简单使用的更多相关文章

  1. 理解Docker(4):Docker 容器使用 cgroups 限制资源使用

    本系列文章将介绍Docker的有关知识: (1)Docker 安装及基本用法 (2)Docker 镜像 (3)Docker 容器的隔离性 - 使用 Linux namespace 隔离容器的运行环境 ...

  2. Centos7的安装、Docker1.12.3的安装,以及Docker Swarm集群的简单实例

    目录 [TOC] 1.环境准备 ​ 本文中的案例会有四台机器,他们的Host和IP地址如下 c1 -> 10.0.0.31 c2 -> 10.0.0.32 c3 -> 10.0.0. ...

  3. Docker简单介绍

    Docker简单介绍 Docker是一个能够把开发的应用程序非常方便地部署到容器的开源引擎.由Docker公司团队编写,基于Apache 2.0开源授权协议发行.Docker的主要目的例如以下: 提供 ...

  4. Docker资源限制与Cgroups

    一.Linux control groups 简介     Linux CGroup全称Linux Control Group, 是Linux内核的一个功能,用来限制,控制与分离一个进程组群的资源(如 ...

  5. Cgroups 与 Systemd

    Cgroups 是 linux 内核提供的一种机制,如果你还不了解 cgroups,请参考前文<Linux cgroups 简介>先了解 cgroups.当 Linux 的 init 系统 ...

  6. linux cgroups 简介

    cgroups(Control Groups) 是 linux 内核提供的一种机制,这种机制可以根据需求把一系列系统任务及其子任务整合(或分隔)到按资源划分等级的不同组内,从而为系统资源管理提供一个统 ...

  7. 也谈谈我对Docker的简单理解

    Docker能解决什么问题呢?一个工具的出现必然需要解决一些问题,Docker也不例外,简单说说我们常见的2种情况Docker是如何解决的吧.1.程序在我这跑得好好的,在你那怎么就不行呢?!这是一个典 ...

  8. Linux的Namespace与Cgroups介绍

    Namespace 的概念 Linux Namespace 是kernel 的一个功能,它可以隔离一系列系统的资源,比如PID(Process ID),User ID, Network等等.一般看到这 ...

  9. Docker的简单介绍及使用

    Docker介绍 Docker是Docker.Inc公司开源的一个基于LXC技术之上构建的Container容器引擎,源代码托管在GitHub上,基于Go语言并遵从Apache2.0协议开源. Doc ...

随机推荐

  1. EBS 11i升级R12

     http://blog.csdn.net/y657356105/article/details/8181081 概述 从EBS 11i升级至R12,总的来说更变较大的就是多OU访问(MOAC)和表视 ...

  2. 【WinRT】多语言化应用程序名称

    在Windows Phone 8的时候,要对应用程序在列表中显示的名称和锁定到开始屏幕的磁贴的名称进行多语言化是十分困难的,需要使用C++建立一个多语言资源库.但是,在WinRT中,这变得简单多了,无 ...

  3. LeetCode147:Insertion Sort List

    题目: Sort a linked list using insertion sort. 解题思路: 按题目要求,直接进行插入排序 实现代码: #include <iostream> us ...

  4. XML字符串反序列化为实体

    JSON反序列化实体 paydata = StringHelper.Base64ToString(paydata); resInfo = JsonConvert.DeserializeObject&l ...

  5. 记一次golang的实践

    之前做过一个深交所股票数据的接存储软件,消息的协议是这样. 协议文档在这  https://wenku.baidu.com/view/d102cd0b4a73f242336c1eb91a37f111f ...

  6. webapi 用腾讯云手机短信验证码

    #region 验证码相关 public class SmsSDK { #region 短信发送的必要参数 /// <summary> /// appId /// </summary ...

  7. 巧用XML配置校验导入Excel的列数据格式

    <?xml version="1.0"?> <ColumnsSeting xmlns:xsd="http://www.w3.org/2001/XMLSc ...

  8. .net core2.2 跨域

    Startup.cs 类 ConfigureServices中 //允许一个或多个具体来源: services.AddCors(options => { // Policy 名稱 CorsPol ...

  9. Asp.Net从相对路径获取绝对路径的方法(不需要httpcontext上下文也可)

    //如果拿不到当前HttpContext上下文的话可以用该方法取得绝对路径 var filePath = HostingEnvironment.MapPath("需要获取绝对路径 的 相对路 ...

  10. C#穿透session隔离———Windows服务启动UI交互程序

    在Windows服务里面启动其他具有界面的应用程序,需要穿透session隔离,尝试了很多种方法,都可行,现在一一列举下来,并写下几个需要注意的地方. 需要注意的地方 首先要将服务的Account属性 ...