5、Docker 核心原理-资源隔离和限制
Docker
资源隔离
Docker 是利用
linux的LXC技术,内核的Kernel namespace
Namespace:
- PID - 通过PID的namespace隔离,可以嵌套
- NET - 通过网络的NET的namespace隔离
- IPC - 隔离IPC
- mnt - 挂在隔离
- Uts - 可以实现每个docker 容器有自己的hostname,daemin name
- User - 让每个容器有自己的用户和组
资源限制
通过controller group进行
默认支持隔离的:
- CPU
- MEM
磁盘需要手动来隔离
配置资源隔离
Docker默认的每个容器的CPU配额是1024.
如果一个机器只有一个容器,那么就占所有,如果两个,则是平分
在进行安装配置的时候,需要用到压力测试工具stress.
需要在容器中安装测试工具,yum install stress -y,前提有epel源。
下面使用Dockerfile来构建镜像
[root@node docker-file]# mkdir stress
[root@node docker-file]# ls
nginx stress
[root@node stress]# cat Dockerfile
FROM centos
RUN rm -rf /etc/yum.repos.d/*
ADD CentOS7-Base-163.repo /etc/yum.repos.d
ADD epel.repo /etc/yum.repos.d/
RUN yum install stress -y && yum clean all
ENTRYPOINT ["stress"]
[root@node stress]# ls
CentOS7-Base-163.repo Dockerfile epel.repo
[root@node stress]# docker build -t stress:v1 .
[root@node stress]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
stress v1 14cb1cb325cd About a minute ago 221 MB
nginx-file v1 592d69098f3a 18 hours ago 399 MB
sijiayong/my-nginx v1 a80ecf40e4d2 19 hours ago 328 MB
docker.io/centos latest 5182e96772bf 2 weeks ago 200 MB
docker.io/nginx latest c82521676580 4 weeks ago 109 MB
docker.io/registry latest b2b03e9146e1 6 weeks ago 33.3 MB
可以看到进行已经制作完成。
CPU测试
配置1核CPU,让stress进行CPU的压力测试
# 使用--rm参数,当容器退出时,自动删除该容器。
[root@node stress]# docker run -it --rm stress:v1 --cpu 1
stress: info: [1] dispatching hogs: 1 cpu, 0 io, 0 vm, 0 hdd
# 然后打开一个新的终端,top查看:
[root@node ~]# top
top - 15:01:48 up 1 min, 3 users, load average: 0.08, 0.02, 0.01
Tasks: 108 total, 2 running, 49 sleeping, 0 stopped, 0 zombie
%Cpu(s):100.0 us, 0.0 sy, 0.0 ni, 0.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 985712 total, 613288 free, 154292 used, 218132 buff/cache
KiB Swap: 2097148 total, 2097148 free, 0 used. 636208 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1504 root 20 0 7320 100 0 R 93.8 0.0 0:02.80 stress
启动两个容器,不同配额
启动两个容器,一个容器不指定配额,一个容器指定512的配额,再次查看CPU使用率:
[root@node ~]# docker run -it stress:v1 --cpu 1
stress: info: [1] dispatching hogs: 1 cpu, 0 io, 0 vm, 0 hdd
# 再开一个终端
[root@node ~]# docker run -it stress:v1 -c 512 --cpu 1
stress: info: [1] dispatching hogs: 1 cpu, 0 io, 0 vm, 0 hdd
# 再开一个终端 top查看
[root@node ~]# top
top - 15:04:02 up 3 min, 3 users, load average: 1.23, 0.37, 0.13
Tasks: 109 total, 4 running, 49 sleeping, 0 stopped, 0 zombie
%Cpu(s):100.0 us, 0.0 sy, 0.0 ni, 0.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 985712 total, 588760 free, 173244 used, 223708 buff/cache
KiB Swap: 2097148 total, 2097148 free, 0 used. 612468 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1575 root 20 0 7320 96 0 R 50.9 0.0 0:36.96 stress
1618 root 20 0 7320 96 0 R 50.9 0.0 0:21.13 stress
此时每个容器占了CPU的一半。
多个容器使用多个CPU中的一核
参数 --cpuset-cpus 参数,来制定,从0 开始,可以指定多个,以
,都好分割
# 指定CPU=0
[root@node ~]# docker run -it --rm --cpuset-cpus=0 stress:v1 --cpu 1
stress: info: [1] dispatching hogs: 1 cpu, 0 io, 0 vm, 0 hdd
# 打开另一个终端top查看
[root@node ~]# top
top - 15:20:14 up 11 min, 2 users, load average: 0.26, 0.14, 0.05
Tasks: 131 total, 3 running, 57 sleeping, 0 stopped, 0 zombie
%Cpu0 :100.0 us, 0.0 sy, 0.0 ni, 0.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu1 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu2 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu3 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 4016292 total, 3604620 free, 174116 used, 237556 buff/cache
KiB Swap: 2097148 total, 2097148 free, 0 used. 3564852 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
2139 root 20 0 7320 96 0 R 100.0 0.0 0:06.22 stress
# 在重新启动一个容器,指定CPU=1
[root@node ~]# docker run -it --rm --cpuset-cpus=1 stress:v1 --cpu 1
stress: info: [1] dispatching hogs: 1 cpu, 0 io, 0 vm, 0 hdd
[root@node ~]# top
top - 15:20:24 up 11 min, 2 users, load average: 0.30, 0.15, 0.06
Tasks: 132 total, 3 running, 57 sleeping, 0 stopped, 0 zombie
%Cpu0 : 0.0 us, 1.1 sy, 0.0 ni, 98.9 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu1 :100.0 us, 0.0 sy, 0.0 ni, 0.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu2 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu3 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 4016292 total, 3601400 free, 177012 used, 237880 buff/cache
KiB Swap: 2097148 total, 2097148 free, 0 used. 3561756 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
2246 root 20 0 7320 100 0 R 100.0 0.0 0:02.99 stress
可以看到,docker把对应的容器运行那颗CPU上了
内存资源限制
| --memory-swap | --memory | 功能 |
|---|---|---|
| 正数 S | 正数 M | 容器可用内存总空间为S,其中ram为M. swap为(S-M),若S=M,则无可用swap资源 |
| 0 | 正数 M | 相当于未设置swap(unset) |
| unset | 正数 M | 若主机(Docker Host)启用了swap,则容器的可用swap为2*M |
| -1 | 正数 M | 若主机(Docker Host)启用了swap,则容器可使用最大至宿主机上的所有swap空间的swap资源 |
注意:在容器内使用free命令可以看到的swap空间并不具有其所展现出的空间只是意义。
使用 -m 来给容器分配内存,同样使用stress工具,来对容器进行压测
分配一个128m的内存给容器,然后使用stress运行256m的内存对启动的容器进行压测
[root@node ~]# docker run -it --rm -m 128m stress:v1 --vm 1 --vm-bytes 128m --vm-hang 0
stress: info: [1] dispatching hogs: 0 cpu, 0 io, 1 vm, 0 hdd
^Cstress: FAIL: [1] (415) <-- worker 7 got signal 2
stress: WARN: [1] (417) now reaping child worker processes
stress: FAIL: [1] (421) kill error: No such process
stress: FAIL: [1] (451) failed run completed in 5s
# 上面先压测的128m内存,可以正常运行
[root@node ~]# docker run -it --rm -m 128m stress:v1 --vm 1 --vm-bytes 256m --vm-hang 0
stress: info: [1] dispatching hogs: 0 cpu, 0 io, 1 vm, 0 hdd
stress: FAIL: [1] (415) <-- worker 7 got signal 9
stress: WARN: [1] (417) now reaping child worker processes
stress: FAIL: [1] (421) kill error: No such process
stress: FAIL: [1] (451) failed run completed in 0s
# 上面压测的265m内存,启动后就直接被kill退出了
5、Docker 核心原理-资源隔离和限制的更多相关文章
- docker核心原理
容器概念. docker是一种容器,应用沙箱机制实现虚拟化.能在一台宿主机里面独立多个虚拟环境,互不影响.在这个容器里面可以运行着我饿们的业务,输入输出.可以和宿主机交互. 使用方法. 拉取镜像 do ...
- Docker实践(5)—资源隔离
Docker使用cgroup实现CPU,内存和磁盘IO等系统资源的限制. CPU Docker现在有2个与CPU资源相关的参数,-c可以指定CPU的占比,--cpuset可以绑定CPU.例如,指定容器 ...
- Docker容器技术的核心原理
目录 1 前言 2 docker容器技术 2.1 隔离:Namespace 2.2 限制:Cgroup 2.3 rootfs 2.4 镜像分层 3 docker容器与虚拟机的对比 1 前言 上图是百度 ...
- Hadoop Yarn内存资源隔离实现原理——基于线程监控的内存隔离方案
注:本文以hadoop-2.5.0-cdh5.3.2为例进行说明. Hadoop Yarn的资源隔离是指为运行着不同任务的“Container”提供可独立使用的计算资源,以避免它们之间相互干扰.目 ...
- Kafka Topic Partition Replica Assignment实现原理及资源隔离方案
本文共分为三个部分: Kafka Topic创建方式 Kafka Topic Partitions Assignment实现原理 Kafka资源隔离方案 1. Kafka Topic创建方式 ...
- 资源管理与调度系统-YARN资源隔离及以YARN为核心的生态系统
资源管理与调度系统-YARN资源隔离及以YARN为核心的生态系统 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.什么是资源隔离 资源隔离是指为不同任务提供可独立使用的计算资源以 ...
- Docker 基本核心原理
Docker内核知识 namespace资源隔离 namespace的6项隔离 NameSpace 系统调用参数 隔离内容 UTS CLONE_NEWUTS 主机名与域名 IPC CLONE_NEWI ...
- [转]Greenplum 资源隔离的原理与源码分析
摘要: 背景 Greenplum是一个MPP的数据仓库系统,最大的优点是水平扩展,并且一个QUERY就能将硬件资源的能力发挥到极致. 但这也是被一些用户诟病的一点,因为一个的QUERY就可能占光所有的 ...
- Docker 容器资源隔离 namespace(十)
目录 一.简介 Linux Namespace的6大类型 二.Mount Namespace 三.IPC Namespace 四.Network Namespace 五.UTS Namespace 六 ...
随机推荐
- Windows 10 + kali Linux 双系统安装教程(详细版)
准备工具如下: kali Linux 镜像 准备一4G以上的U盘 制作U盘启动盘工具- Win32DiskImager 添加引导工具-EasyBCD 留出一个空的盘,哪个盘的空间比较大可以压缩出大概2 ...
- docker 概念简介、简单入门
1.docker 简介 Docker 是一个开源项目,这个项目旨在通过把应用程序打包为可移植的.自给自足的容器(引用语) DocKer一次构建可放在任何地方就可以运行,不需要进行任何改变DocKer ...
- (JavaScript) JS方式调用POS机蓝牙打印
function print(mac_address) { if (!mac_address) { mui.toast('请选择蓝牙打印机'); return; } main = plus.andro ...
- InfluxDB常见疑问与解答 - 数据写入时如何在表级别指定保留策略
网友Siguoei:我想让一个库中不同的measurment能够指定不同的保存策略.而不是写入时使用数据库的默认保留策略. Answer:这个特性InfluxDB支持的,写入时序数据时,在行协议前加上 ...
- Knative Serving 健康检查机制分析
作者| 阿里云智能事业群技术专家牛秋霖(冬岛) 导读:从头开发一个Serverless引擎并不是一件容易的事情,今天咱们就从Knative的健康检查说起.通过健康检查这一个点来看看Serverles ...
- js判断是否微信浏览器、IE浏览器
/*判断(微信)浏览器*/ function isWeiXin(){var ua = window.navigator.userAgent.toLowerCase();if(ua.match(/Mic ...
- 「NOIP模拟赛」数位和乘积(dp,高精)
统计方案数,要么组合数,要么递推(dp)了. 这是有模拟赛历史以来爆炸最狠的一次 T1写了正解,也想到开long long,但是开错了地方然后数组开大了结果100->0 T3看错题本来简单模拟又 ...
- 磁盘冗余阵列之RAID10的配置
1988年由加利福尼亚大学伯克利分校发表的文章首次提到并定义了RAID,当今CPU性能每年可提升30%-50%但硬盘仅提升7%,渐渐的已经成为计算机整体性能的瓶颈,并且为了避免硬盘的突然损坏导致数据丢 ...
- Project Euler 51: Prime digit replacements
通过替换*3这样一个两位数的第一位,我们可以发现形成的九个数字有六个是质数,即13, 23,43,53,73,83.类似的,如果我们用同样的数字替换56**3这样一个五位数的第三位和第四位,会生成56 ...
- Python实现自动化监控远程服务器
最近发现Python课器做很多事情,在监控服务器有其独特的优势,耗费资源少,开发周期短. 首先我们做一个定时或者实时脚本timedtask.py,让其定时监控目标服务器,两种方式: 第一种: #!/u ...