[转帖]kubernetes(k8s)：容器资源限制（内存限制、cpu限制、namespace限制）

文章目录

• 1. k8s容器资源限制
• 2. 内存资源限制实例
• 3. cpu资源限制
• 4. namespace设置资源限制
• 5. namespace中pod的配额
• 6. namespace的创建、使用和删除
• 7. 清除资源限制和配额

1. k8s容器资源限制

k8s采用request和limit两种限制类型来对资源进行分配

• request(资源需求)：即运行pod的节点必须满足运行pod的最基本需求才能运行pod。
• limit(资源限制)：即运行pod期间，可能内存使用量会增加，那最多能使用多少内存，这就是资源限额。

资源类型：

• CPU的单位是核心数，内存的单位是字节。
• 一个容器申请0.5各CPU，就相当于申请1个CPU的一半，可以加个后缀m表示千分之一的概念。比如说100m的CPU，100豪的CPU和0.1个CPU都是一样的。

内存单位：

• K，M，G，T，P，E #通常是以1000为换算标准的。
• Ki，Mi，Gi，Ti，Pi，Ei #通常是以1024为换算标准的。

2. 内存资源限制实例

[kubeadm@server2 limit]$ cat pod.yaml
apiVersion: v1
kind: Pod
metadata:
  name: memory-demo
spec:
  containers:
 - name: memory-demo
    image: stress
    args:
    - --vm
    - "1"
    - --vm-bytes
    - 200M           // 容器使用200M
    resources:
      requests:      //资源需求，下限
        memory: 50Mi
      limits:        //资源限制，上限
        memory: 100Mi

[kubeadm@server1 limit]$ kubectl get pod

NAME                                      READY   STATUS             RESTARTS   AGE

memory-demo                               0/1     CrashLoopBackOff   3          106s

因为容器需要200M，超出了最大限制100Mi，所以容器无法运行。

• 如果容器超过其内存限制，则会被终止。如果可重新启动，则与其他所有类型的运行故障一样，kubelet将重新启动它。
• 如果一个容器超过其内存要求，那么当节点内存不足时，它的pod可能被逐出。

• 当资源限制没冲突的时候正常启动

[kubeadm@server1 limit]$ vim pod.yaml
[kubeadm@server1 limit]$ cat pod.yaml
apiVersion: v1
kind: Pod
metadata:
  name: memory-demo
spec:
  containers:
  - name: memory-demo
    image: k8s/stress
    args:
    - --vm
    - "1"
    - --vm-bytes
    - 200M
    resources:
      requests:
        memory: 50Mi
      limits:
        memory: 300Mi    //将最大限制改为300mi，容器可以正常运行
[kubeadm@server1 limit]$

资源限制内部机制使用的是cgroup类型
目录： /sys/fs/cgroup/systemd

3. cpu资源限制

[kubeadm@server1 limit]$ cat pod.yaml
apiVersion: v1
kind: Pod
metadata:
  name: cpu-demo
spec:
  containers:
  - name: cpu-demo
    image: stress
    args:
    - -c
    - "2"            //容器需要2个cpu
    resources:
      requests:           //至少需要5个cpu
        cpu: "5"
      limits:
        cpu: "10"     //最大限制10个cpu

[kubeadm@server1 limit]$ kubectl apply -f pod.yaml
pod/cpu-demo created

[kubeadm@server1 limit]$ kubectl get pod -o wide

NAME                                      READY   STATUS    RESTARTS   AGE     IP             NODE      NOMINATED NODE   READINESS GATES

cpu-demo                                  1/1     Running   0          4m58s   10.244.2.124   server4   <none>           <none>

[root@server4 ~]# top   // server4上的两个cpu跑满了,CPU 使用率过高，不会被杀死

（top--->1）

top - 16:41:55 up  6:37,  1 user,  load average: 3.77, 2.69, 1.54

Tasks: 172 total,   4 running, 168 sleeping,   0 stopped,   0 zombie

%Cpu0  : 98.7 us,  0.3 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.7 hi,  0.3 si,  0.0 st

%Cpu1  : 98.3 us,  0.7 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.7 hi,  0.3 si,  0.0 st

KiB Mem :  2045672 total,   784128 free,   293728 used,   967816 buff/cache

KiB Swap:        0 total,        0 free,        0 used.  1520056 avail Mem

PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND

21204 root      20   0    7312    100      0 R  98.3  0.0   5:29.21 stress

21203 root      20   0    7312    100      0 R  97.0  0.0   5:29.84 stress

调度失败是因为申请的CPU资源超出集群节点所能提供的资源
但CPU 使用率过高，不会被杀死
满足要求

[kubeadm@server1 limit]$ vim pod.yaml
[kubeadm@server1 limit]$ cat pod.yaml
apiVersion: v1
kind: Pod
metadata:
  name: cpu-demo
spec:
  containers:
  - name: cpu-demo
    image: k8s/stress
    args:
    - -c
    - "2"
    resources:
      requests:
        cpu: "1"
      limits:
        cpu: "2"
[kubeadm@server1 limit]$

4. namespace设置资源限制

LimitRange资源限制：

apiVersion: v1
kind: LimitRange
metadata:
  name: limitrange-memory
spec:
  limits:
 - default:            //默认使用0.5个cpu，512mi内存
      cpu: 0.5
      memory: 512Mi
    defaultRequest:       //默认要求0.1个cpu和256mi内存
      cpu: 0.1
      memory: 256Mi
    max:                //最大2个cpu和1gi内存
      cpu: 1
      memory: 1Gi
    min:               //最小0.1个cpu和100mi内存
      cpu: 0.1
      memory: 100Mi
    type: Container

[kubeadm@server1 limit]$ kubectl apply -f limitrange.yaml
limitrange/limitrange-memory created

[kubeadm@server1 limit]$ kubectl get limitranges

NAME                CREATED AT

limitrange-memory   2020-05-08T08:52:10Z

[kubeadm@server1 limit]$ kubectl describe limitranges

Name:       limitrange-memory

Namespace:  default

Type        Resource  Min    Max  Default Request  Default Limit  Max Limit/Request Ratio

----        --------  ---    ---  ---------------  -------------  -----------------------

Container   cpu       100m   2    100m             500m           -

Container   memory    100Mi  1Gi  256Mi            512Mi          -

注意：LimitRange 在 namespace 中施加的最小和最大内存限制只有在创建和更新 Pod 时才会被应用。改变 LimitRange 不会对之前创建的 Pod 造成影响。

LimitRange - default xx会自动对没有设置资源限制的pod自动添加限制
ResourceQuota设置配额限制

[kubeadm@server1 limit]$ cat quota.yaml
apiVersion: v1
kind: ResourceQuota
metadata:
  name: mem-cpu-demo
spec:
  hard:
    requests.cpu: "1"   // 要求cpu1个     即cpu要求不得超过1个cpu
    requests.memory: 1Gi  // 要求内存1gi    即内存要求不得超过1Gi
    limits.cpu: "2"  // cpu限制2个          即cpu限制不得超过2个cpu
    limits.memory: 2Gi // 内存限制2gi       即内存限制不得超过2Gi

[kubeadm@server1 limit]$ kubectl apply -f quota.yaml
resourcequota/mem-cpu-demo created

[kubeadm@server1 limit]$ kubectl get resourcequotas

NAME           AGE   REQUEST                                     LIMIT

mem-cpu-demo   13s   requests.cpu: 0/1, requests.memory: 0/1Gi   limits.cpu: 0/2, limits.memory: 0/2Gi

[kubeadm@server1 limit]$ kubectl describe resourcequotas

Name:            mem-cpu-demo

Namespace:       default

Resource         Used  Hard

--------         ----  ----

limits.cpu       0     2

limits.memory    0     2Gi

requests.cpu     0     1

requests.memory  0     1Gi

一旦设置配额后，后续的容器必须设置请求（4种请求都设置），当然，这只是在rq设置的defult的namespace中

4种请求：每个容器必须设置内存请求（memory request），内存限额（memory limit），cpu请求（cpu request）和cpu限额（cpu limit）

资源会统计总的namespace中的资源加以限定，不管是之前创建还是准备创建
创建的ResourceQuota对象将在default名字空间中添加以下限制：

• 每个容器必须设置内存请求（memory request），内存限额（memory limit），cpu请求（cpu
  request）和cpu限额（cpu limit）。
• 所有容器的内存请求总额不得超过1 GiB。
• 所有容器的内存限额总额不得超过2 GiB。
• 所有容器的CPU请求总额不得超过1 CPU。
• 所有容器的CPU限额总额不得超过2 CPU。

5. namespace中pod的配额

[kubeadm@server1 limit]$ cat podquata.yaml
apiVersion: v1
kind: ResourceQuota
metadata:
  name: pod-demo
spec:
  hard:
    pods: "2"        //2个pod

设置Pod配额以限制可以在namespace中运行的Pod数量。

[kubeadm@server1 limit]$ kubectl apply -f podquata.yaml
resourcequota/pod-demo created

[kubeadm@server1 limit]$ kubectl describe resourcequotas pod-demo // 当前只有一个pod

Name:       pod-demo

Namespace:  default

Resource    Used  Hard

--------    ----  ----

pods        1     2

[kubeadm@server1 limit]$ cat pod.yaml
apiVersion: v1
kind: Pod
metadata:
  name: test
spec:
  containers:
  - name: test
    image: nginx

//创建一个pod
[kubeadm@server1 limit]$ kubectl apply -f pod.yaml
pod/test created

[kubeadm@server1 limit]$ cat pod.yaml

apiVersion: v1

kind: Pod

metadata:

name: test1

spec:

containers:

- name: test1

image: nginx

//再创建一个pod时，会发生错误，因为在当前的namespace中限制两个pod

[kubeadm@server1 limit]$ kubectl apply -f pod.yaml

Error from server (Forbidden): error when creating "pod.yaml": pods "test1" is forbidden: exceeded quota: pod-demo, requested: pods=1, used: pods=2, limited: pods=2

当然，以上设定对应相对的namespace，其它的namespace没有影响

为了后续不受影响，删除相应的设定

6. namespace的创建、使用和删除

创建namespace

kubectl create namespace test  // 创建test的namespace

运行yaml文件时指定namespace

kubectl apply -f pod.yaml -n test  // 在test的namespace中运行pod.yaml为文件

删除namespace

kubectl delete namespaces test // 删除名为test的namespace

7. 清除资源限制和配额

[kubeadm@server1 limit]$ kubectl delete -f limitrange.yaml
limitrange "limitrange-memory" deleted

[kubeadm@server1 limit]$ kubectl delete -f podquata.yaml

resourcequota "pod-demo" deleted

[kubeadm@server1 limit]$ kubectl delete -f quota.yaml

resourcequota "mem-cpu-demo" deleted

文章知识点与官方知识档案匹配，可进一步学习相关知识

云原生入门技能树容器编排(生产环境 k8s)kubelet,kubectl,kubeadm三件套16607 人正在系统学习中