如何限制Docker容器内存缓存？Spark作业缓存溢出自动处理方案

针对你遇到的Docker容器内Spark作业缓存持续增长导致OOM的问题，我整理了几个比手动执行sync && echo 3 > /proc/sys/vm/drop_caches更可靠的解决方案，按优先级推荐：

1. 限制Spark的非堆/Off-Heap内存 #

Spark的spark.executor.memory仅控制JVM堆内存，而作业运行中产生的直接内存、Off-Heap缓存、线程栈等不在这个范围内，这些内存加上系统页缓存很容易突破Docker的5G限制。你可以通过以下配置收紧Spark的内存占用：

• 启用并限制Off-Heap内存：

  spark.memory.offHeap.enabled=true
  spark.memory.offHeap.size=512m  # 根据实际情况调整，比如预留512M给Off-Heap
  

• 调整Executor内存Overhead：这个参数是给JVM非堆内存预留的空间，默认是spark.executor.memory的10%，可以明确设置：

  spark.executor.memoryOverhead=1g  # 4G堆 + 1G Overhead = 5G，贴近Docker限制的同时给系统缓存留缓冲
  

  注意：总JVM内存（堆+Overhead）建议不超过Docker内存限制的90%，避免挤占系统缓存空间。

2. 通过Docker内核参数自动管理系统缓存 #

你可以在启动Docker容器时，通过--sysctl参数调整内核的虚拟内存管理策略，让内核主动回收缓存，避免缓存无限制增长：
启动容器的命令示例：

docker run --memory=5g \
  --sysctl vm.vfs_cache_pressure=200 \
  --sysctl vm.dirty_background_ratio=5 \
  --sysctl vm.dirty_ratio=10 \
  # 其他容器启动参数...

参数说明：

• vm.vfs_cache_pressure=200：默认值为100，提高到200会让内核更倾向于回收页缓存而非其他内存资源
• vm.dirty_background_ratio=5：当脏页占总内存的5%时，内核后台异步将脏页写入磁盘
• vm.dirty_ratio=10：当脏页占总内存的10%时，强制同步写入磁盘，避免缓存持续堆积

3. 利用Cgroup软限制触发缓存回收 #

如果你的Docker使用Cgroup v2（大部分现代系统默认采用），可以设置memory.high软限制，当内存使用达到这个值时，内核会主动开始回收缓存，而非等到硬限制（5G）触发OOM：

• 启动容器时可通过Cgroup参数配置（部分环境支持直接通过--sysctl设置，或需提前创建Cgroup组）：

docker run --memory=5g \
  --cgroup-parent=/spark-job-cgroup \
  # 或在容器内以root权限手动设置：
  # echo 4608m > /sys/fs/cgroup/memory/memory.high
  # 其他启动参数...

memory.high建议设为比硬限制低512M（比如4.5G），给内核足够的时间完成缓存回收。

4. 优化Spark作业本身 #

从根源减少缓存产生：

• 检查作业中的persist/cache操作，移除不必要的缓存，或改用更节省内存的存储级别（比如MEMORY_AND_DISK_SER替代MEMORY_ONLY）
• 调整spark.sql.inMemoryColumnarStorage.batchSize（默认1000），合适的批大小可以减少内存碎片和缓存占用
• 避免生成大量临时文件，降低系统页缓存的压力

内容的提问来源于stack exchange，提问作者user1159923