简介

Cgroups 全称 Control Groups，是 Linux 内核提供的物理资源隔离机制，通过这种机制，可以针对一组进程或线程设置资源权重，统计资源使用量，操纵启停等

Cgroups 可以限制，记录一组进程或者线程所使用的的物理资源（CPU, Memory, IO 等），是 LXC 实现虚拟化所使用的的资源管理手段

本质上来讲，cgroups 是内核附加在程序上的一系列钩子(hook), 通过程序运行时对资源的调度触发相应的钩子已达到资源追踪和限制的目的

Cgroups 概念

很多文章都写 task 代表的是系统的进程，其实是很不准确的，task id 其实是线程 id 会被写入到 task 文件中，而 cgroup.procs 中记录的是进程 id

• process(进程): 表示系统中的进程
• task(任务/线程): 表示系统中一个线程
• cgroup(控制组): cgroups 以 控制组 为单位来进行资源空值的，控制组 指明了资源的配额限制，一个进程可以加入到某个 控制组，也可以迁移到另一个 控制组 中，控制组是有树状结构关系的，子控制组会继承父控制组的属性(资源配额，限制等）
• hierarchy(层级): 层级是作为控制组的根目录，来绑定controller，来达到对资源的控制
• subsystem(子系统)/controller(控制器): 也可以称其为 resource controllers (资源控制器)，比如 memory controller 可以控制进程内存的使用，这些 controller 可以统称为 cgroup controllers

每个层级需要绑定controller来进行资源控制
系统中可以存在多个层级，整个 Cgroups 的结构应该是多个树状结构
子控制组分配的资源不能超过父控制组分配的资源

层级, 控制组, 任务，控制器的关系

1. 同一个层级可以附加绑定一个或多个controller
2. controller是可以同时附加到多个层级，但是一个已经附加到某个层级的controller不能附加到其他含有其他controller的层级上，也就是说绑定多个层级后，这些层级都是只有唯一controller
3. 一个任务不能存在于同一个层级的不同控制组，但是一个任务可以存在于不同层级中的多个控制组中
4. 系统每创建一个层级时，该系统上的所有任务都会默认加入到这个层级的根控制组
5. fork 或 clone 一个子任务时，会自动加入到父任务的控制组中，允许子任务移动到其他控制组, 没有限制

当把一个任务 加入到同一个层级中另一个控制组后，会从原来的控制组中移除

Cgroups V1 和 Cgroups V2

本文主要介绍 Cgroups V1， Cgroups V2 将来另一篇文章介绍

Cgroups 实现的最初版本是在 Linux 2.6.24，随着时间的推移，添加了越来越多的controller，而这些controller又各自独立开发，导致了controller之间很大的不一致

Linux 3.10 提供了作为试验特性的 Cgroups V1, 到了 Linux kernel 4.5 后 Cgroups V2 才成为正式特性

Cgroups v2 希望完全取代 Cgroups v1, 但是为了兼容，v1 并没有被移除，而且很多场景下都会作为系统的默认设置

系统中可以同时使用 Cgroups v2 和 v1，但是一个 controller 只能选择一个版本使用

v1 的缺陷

v1 中，task(线程)可以被划分到不同的控制组(cgroup)中，在一些场景中，会存在一些问题，比如对于 memory controller，相同进程的线程都是使用同样的内存地址空间，配置不同的资源是没有意义的
V2 提供了 线程模式，修复了该问题

Cgroups V1 Controller(控制器) 介绍

控制器实际上是 Cgroups 的资源控制系统，每种控制器独立的控制一种资源

Cgroups 文件系统

Linux 通过(伪)文件系统的方式将功能和配置暴露给用户，这得益于 Linux 的虚拟文件系统（VFS）

VFS 将具体文件系统的细节隐藏起来，给用户态一个统一的问题件系统 API 接口

使用 mount 挂载 cgroup 文件系统就可以使用配置这些controller了，系统通常已经挂载好了

许多系统 v1 控制器会自动挂载在 /sys/fs/cgroup 下，特别是 systemd

root@IceberX:/sys/fs/cgroup# mount -t cgroup
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,name=systemd)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls,net_prio)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/rdma type cgroup (rw,nosuid,nodev,noexec,relatime,rdma)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)

进入到controller挂载的层级目录下，就可以看到根控制组用来配置controller的文件，以及子控制组

root@IceberX:/sys/fs/cgroup/cpu# ll
total 0
dr-xr-xr-x  9 root root   0 May 11 12:00 ./
drwxr-xr-x 15 root root 380 Oct 16  2019 ../
-rw-r--r--  1 root root   0 Nov  7  2019 cgroup.clone_children
-rw-r--r--  1 root root   0 Nov  7  2019 cgroup.procs
-r--r--r--  1 root root   0 Nov  7  2019 cgroup.sane_behavior
-r--r--r--  1 root root   0 Nov  7  2019 cpuacct.stat
-rw-r--r--  1 root root   0 Nov  7  2019 cpuacct.usage
-r--r--r--  1 root root   0 Nov  7  2019 cpuacct.usage_all
-r--r--r--  1 root root   0 Nov  7  2019 cpuacct.usage_percpu
-r--r--r--  1 root root   0 Nov  7  2019 cpuacct.usage_percpu_sys
-r--r--r--  1 root root   0 Nov  7  2019 cpuacct.usage_percpu_user
-r--r--r--  1 root root   0 Nov  7  2019 cpuacct.usage_sys
-r--r--r--  1 root root   0 Nov  7  2019 cpuacct.usage_user
-rw-r--r--  1 root root   0 Nov  7  2019 cpu.cfs_period_us
-rw-r--r--  1 root root   0 Nov  7  2019 cpu.cfs_quota_us
-rw-r--r--  1 root root   0 Nov  7  2019 cpu.shares
-r--r--r--  1 root root   0 Nov  7  2019 cpu.stat
drwxr-xr-x  2 root root   0 Apr 30 16:21 docker/
drwxr-xr-x  4 root root   0 Nov 20 16:46 kubepods/
-rw-r--r--  1 root root   0 Nov  7  2019 notify_on_release
-rw-r--r--  1 root root   0 Nov  7  2019 release_agent
drwxr-xr-x  3 root root   0 May  8 18:11 systemd/
drwxr-xr-x 64 root root   0 May 11 16:32 system.slice/
-rw-r--r--  1 root root   0 Nov  7  2019 tasks
drwxr-xr-x  3 root root   0 May 11 12:03 test/
drwxr-xr-x  2 root root   0 Nov  7  2019 user.slice/

在控制组目录下创建新的目录就相当于创建了一个子控制组

查看内核支持的 控制器(controller)

/proc/cgroups 可以列出内核支持的 cgroup controllers,以及使用情况

λ IceberX /proc → cat cgroups
#subsys_name    hierarchy       num_cgroups     enabled
cpuset  2       29      1
cpu     4       95      1
cpuacct 4       95      1
blkio   12      92      1
memory  3       167     1
devices 7       92      1
freezer 11      28      1
net_cls 6       28      1
perf_event      8       28      1
net_prio        6       28      1
hugetlb 10      28      1
pids    5       99      1
rdma    9       1       1

controller名称、挂载位置ID（在cgroup v2中都为0）、使用该controller的cgroup数量、是否启用。

查看进程所属的 cgroup

查看 /proc/[pid]/cgroup

λ IceberX 24876 → cat cgroup
12:blkio:/kubepods/besteffort/pod14f31514-524d-421f-b8e1-3f55c5be986b/055f70da1d4b5578e442013b1429cf9eb10648f3657ad912976c17adf980d735
11:freezer:/kubepods/besteffort/pod14f31514-524d-421f-b8e1-3f55c5be986b/055f70da1d4b5578e442013b1429cf9eb10648f3657ad912976c17adf980d735
10:hugetlb:/kubepods/besteffort/pod14f31514-524d-421f-b8e1-3f55c5be986b/055f70da1d4b5578e442013b1429cf9eb10648f3657ad912976c17adf980d735
9:rdma:/
8:perf_event:/kubepods/besteffort/pod14f31514-524d-421f-b8e1-3f55c5be986b/055f70da1d4b5578e442013b1429cf9eb10648f3657ad912976c17adf980d735
7:devices:/kubepods/besteffort/pod14f31514-524d-421f-b8e1-3f55c5be986b/055f70da1d4b5578e442013b1429cf9eb10648f3657ad912976c17adf980d735
6:net_cls,net_prio:/kubepods/besteffort/pod14f31514-524d-421f-b8e1-3f55c5be986b/055f70da1d4b5578e442013b1429cf9eb10648f3657ad912976c17adf980d735
5:pids:/kubepods/besteffort/pod14f31514-524d-421f-b8e1-3f55c5be986b/055f70da1d4b5578e442013b1429cf9eb10648f3657ad912976c17adf980d735
4:cpu,cpuacct:/kubepods/besteffort/pod14f31514-524d-421f-b8e1-3f55c5be986b/055f70da1d4b5578e442013b1429cf9eb10648f3657ad912976c17adf980d735
3:memory:/kubepods/besteffort/pod14f31514-524d-421f-b8e1-3f55c5be986b/055f70da1d4b5578e442013b1429cf9eb10648f3657ad912976c17adf980d735
2:cpuset:/kubepods/besteffort/pod14f31514-524d-421f-b8e1-3f55c5be986b/055f70da1d4b5578e442013b1429cf9eb10648f3657ad912976c17adf980d735
1:name=systemd:/kubepods/besteffort/pod14f31514-524d-421f-b8e1-3f55c5be986b/055f70da1d4b5578e442013b1429cf9eb10648f3657ad912976c17adf980d735
0::/system.slice/k3s.service

第一列 层级 ID，与 /proc/cgroups第二列对应，在 Cgroups v2 中都为0
第二列为 controller 名称，第三列是控制组的目录路径

Cgroups V1 使用

v1 中，cgroups 层级目录可以挂载一个或者多个controller
注意：使用 CONFIG_CGROUP 选项构建的内核，才可以使用 cgroups

挂载

cgroups 是通过 tmpfs 文件系统的形式挂载到指定目录，通常会挂载到 /sys/fs/cgroup 目录

mount -t tmpfs cgroup /sys/fs/cgroup

挂载controller，挂载类型为 cgroup，-o 指定controller，可以有多个

root@IceberX:~# mkdir -p /tmp/cgroup/cpu,cpuacct
root@IceberX:~# mount -t cgroup -o cpu,cpuacct none /tmp/cgroup/cpu,cpuacct

进入到 /tmp/cgroup/cpu,cpuacct 目录下可以看到和 /sys/fs/cgroup/cpu,cpuacct 相同的内容

一次挂载所有controller，可以省略 -o all，挂载所有控制器是默认选项

mount -t cgroup -o all cgroup /tmp/cgroup

不挂载任何controller，必须提供 name，可以挂载多次，但是要求名字唯一

mount -t cgroup -o none,name=somename none /tmp/cgroup/none

可以使用 cgroups 的回调通知机制，来跟踪进程

Linux 5.0 后可以通过内核引导选项*cgroup_no_v1*可以禁止挂载这种命名的Cgroup V1 层级

卸载

需要将所有子目录卸载，否则 umount 只会让挂载点不可见，并不会真正的卸载

umount /tmp/cgroup/cpu,cpuacct

创建控制组(cgroup)

控制组是以目录形式来呈现的，/ 是控制组的根目录，注意根目录和挂载目录是两回事
层级 可能挂载在 /sys/fs/cgroup 之类的目录下，但是无论挂载到哪里，层级中控制组的根目录都是 /
比如
/sys/fs/cgroup/cpu/kubepods 的目录应该是 /kubepods

控制进程和线程

cgroup 目录下 cgroup.procs 记录的是 进程 ID, tasks 文件记录的是 线程 ID

将进程 id 写入指定控制组目录下的 cgroup.procs 文件中，便将进程绑定到相应的控制组了

echo $$ > /sys/fs/cgroup/cpu/test1/cgroup.procs

绑定进程后，进程下的线程也会一并绑到管理组中，可以查看 tasks 文件

cgroup.procs 文件中的进程 id 可以重复，并且没有顺序要求

把线程 id 写入 tasks 文件中，也可以绑定指定线程

删除控制组

控制组下的子控制组都删除了，并且没有绑定任何进程，线程，则直接删除目录即可

回调通知

每个 控制组目录下都有两个文件

-rw-r--r--  1 root root   0 May 11 11:33 notify_on_release
-rw-r--r--  1 root root   0 May 11 11:33 release_agent

当控制组绑定的所有进程或线程都结束后，根据 notify_on_release 文件内容，判断为否调用 release_agent 指定的命令，该命令的参数只有当前为空的控制组目录

notify_on_release 文件内容是 0 或 1， 表示 cgroup 为空后，是否发出通知，1 为通知
release_agent 文件内容为通知时调用的命令路径

release_agent 的内容也可以在挂载的时候设置

mount -o release_agent=pathname ...

控制器(Controller) 配置参数

cpu: CPU 资源控制

在 2.6.24 开始，限制CPU份额，只会在cpu忙碌的时候限制cpu使用，如果cpu空闲不做限制。CFS Scheduler
3.2.0后， 引入了CON‐FIG_CFS_BANDWIDTH编译选项，限制进程在每个调度周期占用的时间，无论CPU是否空闲。CFS Bandwidth Control

CPU 资源控制有两种策略

• 设置CPU使用周期和使用上限

• 按权重比例设定 CPU 的分配

cgroup A设置为100, cgroup B设置为300，那么cgroupA中的任务运行25%的CPU时间。对于一个四核CPU的系统来说，cgroup A中的任务可以100%占有某一个CPU，这个比例是相对整体的一个值

cpuacct: CPU资源报告

提供了 CPU 资源用量的统计，单位为 ns

cpuset: 绑定CPU

memory: 限制管理内存

• 限制和管理配置

• 统计

pids: 限制进程创建

device: 限制对 device 的使用

// 格式 type device_types:node_numbers accesstype
// 设备类型 a|b|C     all/block/character
// 访问类型r|w|m     read/write/create

 echo "a 1:5 r" > devices.deny

freezer: 暂停/恢复管理组中的任务

FORZEN: 停止
FREEZING: 正在停止，只读状态，不能写入此值
THAWED: 恢复，表示任务处于正常状态