Docker的资源限制

一、什么是资源限制

1、Docker的资源限制

默认情况下，容器是没有资源限制的，它会尽可能地使用宿主机能够分配给它的资源。Docker提供了一种控制分配多少量的内存、CPU或阻塞I/O给一个容器的方式，即通过在docker run或docker create命令时设置运行时配置的标志。

2、内核支持Linux功能

docker info

其中许多功能都要求您的内核支持Linux功能，可以通过docker info命令来检查是否支持，如果内核中禁用了某项功能，那你可能会在下边收到一条Warning。

3、OOM异常

对于Linux主机，如果没有足够的内容来执行其他重要的系统任务，将会抛出OOM异常（内存溢出、内存泄漏、内存异常），随后系统会开始杀死进程以释放内存，凡是运行在宿主机的进程都有可能被kill，包括docker daemon和其他重要的应用程序。如果重要的系统进程被kill，会导致和该进程相关的服务全部宕机。

产生OOM异常时，Docker尝试通过调整docker守护程序上的OOM优先级来减轻这些风险，以便它比系统上的其他进程更不可能被杀死，但是容器的OOM优先级未调整时单个容器被杀死的可能性更大（不推荐调整容器的优先级这种方式）。

4、调整/设置进程OOM评分和优先级

Linux会每个进程算一个分数，最终他会将分数最高的进程kill掉

4.1、/proc/PID/oom_score_adj

• 这个文件控制着一个进程在发生内存不足（OOM）时被内核选中杀死的倾向性。

• 值的范围是-1000到1000。默认情况下，大多数进程的值为0。正值增加进程被选中杀掉的可能性，负值则减少这种可能性。

• 如果设置为-1000，则表示进程永远不会被宿主机kernel kill，即便在极端的内存压力下也是如此。这个值允许用户或系统管理员根据进程的重要性来调整其在内存压力下的生存优先级。

4.2、/proc/PID/oom_adj

• 这个文件在较老的Linux内核版本中用于类似的目的，控制进程在OOM时被杀死的优先级。

• 它的取值范围是-17到15，作用和oom_score_adj相似，该设置参数的存在是为了和旧版本的Linux内核兼容。值越低，进程越不容易被杀死。

• -17表示进程不会被killer终止。

4.3、/proc/PID/oom_score

• 这个文件显示了一个经过计算的分数，反映了在内存不足情况下，内核选择终止该进程的倾向性。

• 这个分数是基于多个因素动态计算出来的，包括oom_score_adj（或oom_adj）的值、进程当前的内存使用量、进程的CPU使用时间（user time + system time）、进程的存活时间（uptime - start time）等因素。

• 系统在决定哪个进程应该被OOM killer终结时，会参考这个分数，分数越高，表示该进程在内存压力下被选中杀死的概率越大。通过观察这个值，管理员可以了解内核是如何评估各个进程的内存压力状况的。

二、容器的内存限制

容器可以使用的内存为：物理内存和交换空间（Swap）

1、实现原理

Docker实际上是使用Linux Cgroups中的Memory Subsystem来实现的对内存资源的限制。

对于每个容器创建后，**Docker都会在Linux Cgroups的Memory Subsystem中建立一个Control Group，并将容器中的所有进程都加入到这个cgroup中。**之后Docker就可以通过对该cgroup的Memory Subsystem相关参数进行调整来实现对容器进行内存资源的限制了。

对于内存限制，Docker通过memory.limit_in_bytes属性来设置容器可用的最大内存容量，一旦容器达到这个限制，根据设置的不同，可能被终止或受到其他类型的约束。

2、命令格式及指令参数

2.1、命令格式

dcoker run [options]
#运行容器时设置
docker update [options]
#容器运行后修改

2.2、指令参数

参数	描述
-m 或 -memory=	容器可以使用的最大内存量。单位可以是b, k, m, g。允许的最小值为4m（4MB）。
–memory-swap	容器可以使用的交换分区和物理内存大小总和，必须要在设置了物理内存限制的前提才能设置交换分区的限制。如果该参数设置未-1，则容器可以使用主机上swap的最大空间
–memory-swappiness	设置容器使用交换分区的倾向性，值越高表示越倾向于使用swap分区，范围为0-100，0为能不用就不用，100为能用就用。
–kernel-memory	容器可以使用的最大内核内存量，最小为4m，由于内核内存与用户空间内存隔离，因此无法与用户空间内存直接交换，因此内核内存不足的容器可能会阻塞宿主机主机资源，这会对主机和其他容器或者其他服务进程产生影响，因此不要设置内核内存大小
–memory-reservation	允许指定小于–memory的软限制当Docker检测到主机上的争用或内存不足时会激活该限制，如果使用–memory-reservation，则必须将其设置为低于–memory才能使其优先。因为它是软限制，所以不能保证容器不超过限制。
–oom-kill-disable	默认情况下，发生OOM时kernel会杀死容器内进程，但是可以使用该参数可以禁止oom发生在指定的容器上，仅在已设置-m选项的容器上禁用oom，如果-m参数未配置，产生oom时主机为了释放内存还会杀死进程

3、案例

如果一个容器未作内存使用限制，则该容器可以利用到系统内存最大空间，默认创建的容器没有做内存资源限制

3.1、拉取容器压测工具镜像

docker pull lorel/docker-stress-ngdocker run -it --rm lorel/docker-stress-ng -help
#查看docker-stress-ng的用法

3.2、文档的Example选项说明

stress-ng --cpu 8 --io 4 --vm 2 --vm-bytes 128M --fork 4 --timeout 10s

• -c N, --cpu N 启动 N 个子进程（ cpu ）
• --vm N 启动 N 个进程对内存进行压测
• --vm-bytes 128M 每个子进程使用多少内存（默认 256M ）

3.3、测试内存使用限制

docker run --name stress -it --rm -m 256m lorel/docker-stress-ng:latest stress --vm 2
#限制内存最多使用256M

限制内存使用最多256M

开启压测启动两个进程，每个进程使用256M

3.4、验证

docker stats stress

可以看到，无论启动多少个使用256M的进程做压测（这里启动了2个进程，按理会使用512MB内存），stress容器的最大内存使用量始终维持在256MB。

3.5、内存软限制

内存软限制不会真正限制到内存的使用

docker run -it --rm -m 256m --memory-reservation 128m --name test1 lorel/docker-stress-ng --vm 2 --vm-bytes 256m
docker stats
CONTAINER ID   NAME      CPU %     MEM USAGE / LIMIT   MEM %     NET I/O     BLOCK I/O         PIDS
0ffb4b8fdbde   test1     174.52%   255.9MiB / 256MiB   99.95%    648B / 0B   5.33GB / 18.1GB   5

• -m 256m：这是内存的硬限制（hard limit），容器使用的内存不能超过这个值。
• --memory-reservation 128m：这是内存的软限制（soft limit），尝试保证至少有这么多内存可用给容器，但实际上容器可以使用超过这个值直到达到硬限制，前提是系统中有足够的空闲内存。

3.6、交换分区限制

docker run -it --rm -m 256m --memory-swap 512m --name test1 lorel/docker-stress-ng --vm 2 --vm-bytes 256m

容器可以使用的交换分区和物理内存大小总和

必须要在设置了物理内存限制的前提才能设置交换分区的限制。

4、扩大内存限制

cat /sys/fs/cgroup/memory/memory.limit_in_bytes
9223372036854771712
#通过修改cgroup文件扩大内存限制，缩小会报错

三、容器的CPU限制

1、实现原理

Docker实际上是使用Linux Cgroups中的CPU Subsystem来实现的对CPU资源的限制。

Docker 会为每个容器在CPU Subsystem中建立一个Control Group,并且将该容器中的所有进程都加入到该cgroup中。之后Docker就可以通过对该cgroup的CPU Subsystem相关参数进行调整来实现对容器进行 CPU 资源的限制了。限制命令中的–cpu-shares参数，实际上就是在配置CPU Subsystem中某个容器所对应的Control Group中参数cpu.shares的值。

2、命令格式及指令参数

2.1、命令格式

dcoker run [options]
#运行容器时设置
docker update [options]
#容器运行后修改

2.2、指令参数

参数	描述
–cpus	指定容器可以使用的CPU资源比例。例如，在双核CPU主机上设置--cpus=1.5，容器理论上可使用相当于1.5个CPU的资源。若为4核，可跨核心分配，总使用量不超过1.5核心。
–cpu-period	设置CPU调度周期（单位微秒），通常与--cpu-quota搭配使用，以限制容器在每个周期内的CPU使用量。
–cpu-quota	在给定的--cpu-period内，设置容器可以使用的CPU时间（单位微秒）。与--cpu-period配合，实现CPU使用量的绝对控制。
–cpuset-cpus	允许指定容器可运行在哪些CPU核心上，实现CPU绑定（“绑核”），提高CPU访问效率或满足特定隔离需求。
–cpuset-mems	仅对具有非统一内存访问（NUMA）架构的系统有效，用于指定容器可使用的内存节点，优化内存访问速度。
–cpu-shares	设置容器的CPU份额权重，与其他容器共享CPU资源时，权重高的容器将获得更多的CPU时间。默认值为1024，最大值为262144。

3、案例

3.1、启动一个进程，占用8核CPU

docker run -it --rm --name test1 lorel/docker-stress-ng --vm 1 --cpu 8 docker statsCONTAINER ID   NAME      CPU %     MEM USAGE / LIMIT     MEM %     NET I/O     BLOCK I/O        PIDS
7eb5882b9379   test1     812.96%   1.387GiB / 1.781GiB   77.88%    648B / 0B   4.02GB / 412MB   25

3.2、限制容器CPU

docker run -it --rm  --cpus 4 --name test1 lorel/docker-stress-ng --vm 1 --cpu 8 docker statsCONTAINER ID   NAME      CPU %     MEM USAGE / LIMIT     MEM %     NET I/O     BLOCK I/O        PIDS
0a1c3805e5c9   test1     398.99%   1.414GiB / 1.781GiB   79.40%    648B / 0B   1.14GB / 127MB   25toptop - 21:19:53 up  2:33,  2 users,  load average: 12.50, 9.48, 4.62
Tasks: 175 total,  17 running, 158 sleeping,   0 stopped,   0 zombie
%Cpu0  : 52.1 us,  0.3 sy,  0.0 ni, 45.5 id,  1.7 wa,  0.0 hi,  0.3 si,  0.0 st
%Cpu1  : 49.8 us,  1.4 sy,  0.0 ni, 15.2 id, 32.5 wa,  0.0 hi,  1.0 si,  0.0 st
%Cpu2  : 48.6 us,  1.7 sy,  0.0 ni,  6.2 id, 41.4 wa,  0.0 hi,  2.1 si,  0.0 st
%Cpu3  : 49.1 us,  2.1 sy,  0.0 ni,  8.0 id, 39.4 wa,  0.0 hi,  1.4 si,  0.0 st
%Cpu4  : 51.6 us,  0.7 sy,  0.0 ni, 46.0 id,  1.4 wa,  0.0 hi,  0.3 si,  0.0 st
%Cpu5  : 48.4 us,  2.4 sy,  0.0 ni,  1.4 id, 46.3 wa,  0.0 hi,  1.4 si,  0.0 st
%Cpu6  : 50.2 us,  1.0 sy,  0.0 ni, 23.9 id, 24.2 wa,  0.0 hi,  0.7 si,  0.0 st
%Cpu7  : 45.3 us,  5.9 sy,  0.0 ni, 21.1 id, 26.6 wa,  0.0 hi,  1.0 si,  0.0 st

3.3、将容器运行到指定的cpu上

docker run -it --rm  --cpus 2 --cpuset-cpus 1,3 --name test1 lorel/docker-stress-ng --vm 1 --cpu 8 docker statsCONTAINER ID   NAME      CPU %     MEM USAGE / LIMIT     MEM %     NET I/O     BLOCK I/O         PIDS
ee11d834dde5   test1     186.68%   1.488GiB / 1.781GiB   83.60%    648B / 0B   44.8GB / 95.7MB   25toptop - 21:27:31 up  2:41,  2 users,  load average: 14.97, 9.00, 5.77
Tasks: 176 total,  19 running, 157 sleeping,   0 stopped,   0 zombie
%Cpu0  :  0.0 us,  0.3 sy,  0.0 ni, 99.0 id,  0.0 wa,  0.0 hi,  0.7 si,  0.0 st
%Cpu1  : 87.5 us, 10.9 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.0 hi,  1.7 si,  0.0 st
%Cpu2  :  0.0 us,  0.0 sy,  0.0 ni,100.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu3  : 32.9 us, 46.1 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.0 hi, 21.1 si,  0.0 st
%Cpu4  :  0.0 us, 17.3 sy,  0.0 ni, 82.7 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu5  :  0.0 us, 12.7 sy,  0.0 ni, 79.2 id,  0.0 wa,  0.0 hi,  8.2 si,  0.0 st
%Cpu6  :  0.0 us,  0.0 sy,  0.0 ni, 99.7 id,  0.0 wa,  0.0 hi,  0.3 si,  0.0 st
%Cpu7  :  0.0 us,  0.3 sy,  0.0 ni, 99.7 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st

3.4、基于cpu-shares对cpu进行切分

docker run -it --rm  -d --cpu-shares 1000 --name test1 lorel/docker-stress-ng --vm 1 --cpu 4 docker run -it --rm  -d --cpu-shares 500 --name test2 lorel/docker-stress-ng --vm 1 --cpu 4 docker statsCONTAINER ID   NAME      CPU %     MEM USAGE / LIMIT     MEM %     NET I/O     BLOCK I/O       PIDS
d6dd34edb722   test1     543.41%   819.6MiB / 1.781GiB   44.95%    648B / 0B   102MB / 154MB   13
154b07a94e2f   test2     241.15%   711.1MiB / 1.781GiB   39.00%    648B / 0B   406MB / 145MB

四、容器的块I/O带宽限制

块I/O带宽(Block I/O Bandwidth，Blkio)用于管理容器在读写磁盘时的吞吐量，Docker可通过设置权重、限制每秒字节数(B/s)和每秒I/O次数(IO/s)的方式控制容器读写盘的带宽。确保各容器之间以及与宿主机的资源使用保持合理平衡

1、实现原理

Docker利用cgroups的blkio子系统，通过修改特定cgroup目录下的控制文件来实施这些限制。这些文件通常位于/sys/fs/cgroup/blkio/目录下，具体路径会包含容器的唯一cgroup路径，如/sys/fs/cgroup/blkio/docker/<container-id>/...。

• 权重分配：通过修改blkio.weight文件。值范围为10到1000，值越大，优先级越高。
• 每秒字节数限制:
  • 读限制：blkio.throttle.read_bps_device，格式为<major>:<minor> <bytes_per_second>。
  • 写限制：blkio.throttle.write_bps_device，格式相同。
• 每秒I/O操作限制：
  • 读IOPS限制：blkio.throttle.read_iops_device，格式同上。
  • 写IOPS限制：blkio.throttle.write_iops_device，格式相同。

2、指令格式及指令参数

2.1、指令格式

dcoker run [options]
#运行容器时设置
docker update [options]
#容器运行后修改

2.2、指令参数

指令参数	描述
–blkio-weight	设置容器块I/O带宽权重，影响容器相对于其他容器的I/O调度优先级。默认值为500。
–device-read-bps	限制容器对指定设备的读取速率，单位可以是kbps, mbps, gbps等。
–device-write-bps	限制容器对指定设备的写入速率，用法同上。
–device-read-iops	限制容器对指定设备的每秒读取I/O次数。
–device-write-iops	限制容器对指定设备的每秒写入I/O次数。

3、案例

3.1、创建两个不同块I/O带宽权重的容器

docker run -itd --name io1 --blkio-weight 200 centos:7
docker run -itd --name io2 --blkio-weight 600 centos:7

3.2、限制读取速率

docker run -it --device-read-bps /dev/sda:1mb centos:7

限制对/dev/sda设备的读取速率为每秒1MB

3.3、限制写入速率

docker run -it --device-write-bps /dev/sda:2mb centos:7

限制对/dev/sda设备的写入速率为每秒2MB

3.4、限制读取IOPS（每秒I/O操作次数）

docker run -it --device-read-iops /dev/sda:1000 centos:7

限制对/dev/sda设备的读取每秒不能超过1000次读I/O操作

3.5、限制写入IOPS

docker run -it --device-write-iops /dev/sda:500 centos:7

限制对/dev/sda设备的读取每秒不能超过500次写I/O操作