Airflow Docker Operator信号传递问题：如何实现容器脚本优雅退出

核心问题分析 #

Airflow标记任务失败时会发送SIGTERM，但容器内脚本收不到，本质是信号没有正确传递到脚本进程：要么脚本不是容器的PID 1进程（被shell包裹，shell不转发信号），要么Airflow Docker Operator的信号配置没生效。

具体解决方案 #

1. 确保容器内脚本能接收信号（解决PID 1问题）

容器内的PID 1进程是唯一能接收外部信号的进程，如果你的脚本是通过sh -c启动的（比如CMD ["sh", "-c", "./script.sh"]），PID 1是shell进程，它不会主动转发SIGTERM/SIGINT给子进程的脚本。

解决方法二选一：

• 直接让脚本成为PID 1：在Dockerfile里用exec模式启动脚本

  ENTRYPOINT ["exec", "./your-script.sh"]
  # 或者用CMD
  CMD ["./your-script.sh"]
  

• 用init进程转发信号：安装tini（轻量级init）作为PID 1，负责转发信号给脚本

  RUN apt-get update && apt-get install -y tini
  ENTRYPOINT ["tini", "--", "./your-script.sh"]
  

2. 正确配置Airflow Docker Operator的信号参数

不要直接修改底层的ContainerSpec，而是用Operator封装好的参数，直接指定要发送的信号和优雅等待时间：

from airflow.providers.docker.operators.docker import DockerOperator

your_task = DockerOperator(
    task_id="graceful_exit_task",
    image="your-custom-image:latest",
    command="./your-script.sh",
    # 指定要发送给容器的信号（和你本地测试用的SIGINT一致）
    stop_signal="SIGINT",
    # 优雅退出等待时间（单位：秒）
    stop_grace_period=30,
    docker_url="unix://var/run/docker.sock",
    network_mode="bridge"
)

这里的stop_signal会直接传递给Docker API，替代默认的SIGTERM，和你本地执行docker kill --signal=INT的效果一致。

3. 在脚本中添加信号捕获逻辑

确保你的脚本本身能处理信号，比如添加trap语句捕获SIGINT/SIGTERM并执行清理：

#!/bin/bash

# 定义清理函数
cleanup() {
    echo "=== 开始优雅清理资源 ==="
    # 这里写你的清理逻辑：关闭连接、删除临时文件等
    sleep 2
    echo "=== 清理完成，退出 ==="
    exit 0
}

# 捕获SIGINT和SIGTERM信号
trap cleanup SIGINT SIGTERM

# 脚本主逻辑
echo "脚本启动，等待信号..."
while true; do
    echo "运行中..."
    sleep 1
done

验证步骤 #

1. 构建修改后的Docker镜像
2. 在Airflow中启动任务，然后手动标记任务失败
3. 查看容器日志，确认是否输出了捕获信号和清理的日志

内容的提问来源于stack exchange，提问作者dmitry