CentOS下如何保障关键Docker容器的内存与CPU资源不受抢占？

一、Docker原生配置实现优先级保障 #

• 给关键容器配置内存预留+硬上限+OOM豁免：
  • 启动容器时用--memory-reservation设置内存预留值，这是软限制但会让操作系统优先保障该容器的内存分配，系统内存紧张时只会回收容器超出预留部分的内存；搭配--memory设置硬上限，避免容器自身内存泄漏拖垮系统；再加上--oom-kill-disable禁用系统OOM Killer对该容器的查杀，示例命令：

    docker run -d --name critical-container-1 --memory-reservation 8g --memory 16g --oom-kill-disable your-image
    

  • 注意：如果容器内存占用超过--memory上限，仍会触发内部OOM，但系统不会直接杀掉容器进程，需确保容器自身业务有内存溢出处理逻辑。

二、基于cgroups的精细化资源隔离 #

针对系统级和其他进程的内存抢占，通过cgroups做层级隔离：

• 给关键容器创建独立cgroup层级（以cgroup v2为例）：
  1. 创建专属cgroup目录：

     mkdir -p /sys/fs/cgroup/memory/critical-containers
     

  2. 设置内存最低保障值memory.min，系统内存回收时会优先满足该cgroup的内存需求，只有当它的内存使用低于此值时才会被回收：

     echo 8G > /sys/fs/cgroup/memory/critical-containers/memory.min
     

  3. 可选设置内存上限memory.max，防止容器自身内存泄漏：

     echo 16G > /sys/fs/cgroup/memory/critical-containers/memory.max
     

  4. 将关键容器的主进程加入该cgroup：
     先获取容器PID：

     docker inspect -f '{{.State.Pid}}' critical-container-1
     

     再写入cgroup的进程列表：

     echo <容器PID> > /sys/fs/cgroup/memory/critical-containers/cgroup.procs
     

• 限制普通容器/进程的内存抢占：
  将其他容器或系统进程放到单独的cgroup，设置memory.high限制其内存使用上限，当超过该值时操作系统会限制其内存分配，优先给关键cgroup让路：

  mkdir -p /sys/fs/cgroup/memory/normal-processes
  echo 10G > /sys/fs/cgroup/memory/normal-processes/memory.high
  

三、系统层面的优化配置 #

• 调整OOM Killer优先级：
  给关键容器内的所有进程设置最低OOM分数（-1000），让系统绝对不会优先查杀它们。可以在启动容器时直接用--oom-score-adj -1000参数，或者进入容器命名空间批量修改：

  nsenter -t <容器PID> -m -u -i -n -p
  for pid in $(ps -eo pid); do echo -1000 > /proc/$pid/oom_score_adj; done
  

• 清理冗余系统进程：
  禁用不必要的systemd服务、后台定时任务等，减少系统内存占用，降低关键容器被内存约束的概率。

四、监控与告警 #

• 实时监控关键容器和对应cgroup的内存状态：
  用docker stats查看容器内存，或用cgget查看cgroup内存使用：

  cgget -r memory.current /sys/fs/cgroup/memory/critical-containers
  

• 设置告警阈值，当关键容器内存接近预留值、系统可用内存低于安全线时触发告警，及时介入处理。

内容的提问来源于stack exchange，提问作者蔡振振