Airflow与Ray运行时内存不足问题求助

问题描述 #

通过Docker Compose部署Airflow，包含两个容器化模块：

• 模块A：以API形式对外提供AI推理服务
• 模块B：负责数据处理与AI模型训练，依赖Ray库加速数据采集、处理及模型训练流程

使用Airflow DAG中的BashOperator，通过Docker命令在应用容器内执行模块B的Python脚本（Docker-in-Docker场景），任务能成功启动但很快触发内存不足（OOM），大量Ray Worker（10-30个）被强制终止。

已尝试的配置 #

已将Ray Worker最大数量设为4，同时在Docker Compose中把Airflow并行相关参数调至最小值：

AIRFLOW__CORE__PARALLELISM: 1  # 调度器可并发执行的最大任务实例数
AIRFLOW__CORE__DAG_CONCURRENCY: 1  # 单个DAG内允许并发运行的最大任务实例数
AIRFLOW__CORE__MAX_ACTIVE_RUNS_PER_DAG: 1  # 单个DAG的最大活跃运行数
AIRFLOW__CORE__WORKERS: 1  # 启动的Worker进程总数
AIRFLOW__CORE__WORKER_CONCURRENCY: 1  # 单个Worker可并发执行的最大任务数
AIRFLOW__CORE__MAX_THREADS: 1  # 单个Airflow进程（调度器/WEB服务）的最大线程数
AIRFLOW__CORE__EXECUTE_TASKS_NEW_PYTHON_INTERPRETER: 'true'

解决方案建议 #

1. 给Ray集群设死资源上限 #

别只限制Worker数量，直接给Ray指定最大可用内存：

• 启动Ray Head节点时添加参数：ray start --head --num-cpus=4 --memory=16384（16384单位为MB，对应16G内存）
• 在代码中初始化Ray时明确资源配额：ray.init(num_cpus=4, memory=16 * 1024 * 1024 * 1024)

2. 严格管控Docker容器内存 #

• 执行模块B的Docker命令中添加内存限制：docker run --memory=16g --memory-swap=16g ...，避免容器无限制抢占内存
• 检查Airflow Worker容器本身的资源配置，确保它不会过度占用宿主机内存，影响模块B运行

3. 排查模块B的内存泄漏问题 #

• 检查模块B代码，确认是否存在未释放的大对象、重复加载模型/数据等内存泄漏场景
• 启动ray dashboard查看监控，定位每个Ray Worker的内存占用情况，找出高内存消耗的任务

4. 调整Airflow任务执行方式 #

• 替换BashOperator为PythonOperator，直接在Airflow Worker中执行模块B代码，省去Docker-in-Docker的额外内存开销
• 若必须使用Docker，改用Airflow的DockerOperator，可更精细地控制容器资源分配

5. 宿主机资源层面优化 #

• 检查宿主机内存总量，若硬件资源不足，优先考虑扩容内存，或暂停其他非必要服务释放资源
• 临时缓解可开启Swap分区，但长期建议扩容物理内存，Swap会带来性能损耗

内容的提问来源于stack exchange，提问作者JrCaspian