Airflow容器中执行Docker任务异常：任务秒完成无预期输出

一、任务秒完成却不失败的常见原因 #

1. BashOperator场景 #

• 脚本ex-my-script.sh未开启严格模式（比如没加set -euo pipefail），就算中间命令报错，脚本仍会返回0（成功状态码），Airflow就判定任务成功。
• 脚本里的docker run加了-d参数，容器后台启动后docker run瞬间返回成功，Airflow只识别这个命令的退出码，不管容器内脚本是否执行完成。
• 挂载的目录路径错误，ex-my-script.sh或config.sh根本没被Airflow worker读取到，脚本空跑或报错但未传递错误状态。

2. DockerOperator场景 #

• 未设置detach=False，默认后台启动容器，Airflow仅确认容器启动就标记成功，不等待内部脚本执行完毕。
• 自定义镜像twm_step01的ENTRYPOINT/CMD配置错误，比如未指向my-script.sh，或容器因缺少环境变量、配置文件直接退出，Docker认为容器启动成功，Airflow随之标记任务成功。
• Airflow worker的用户无权限操作挂载的docker.sock，导致docker run实际执行失败，但DockerOperator未捕获到错误（比如未开启tty=True或未处理退出码）。

二、任务耗时极短的核心原因 #

要么是核心数据处理逻辑根本未执行：比如脚本找不到配置直接跳过、容器启动后立刻退出，未运行my-script.sh；要么是逻辑被后台化：比如用docker run -d让容器后台运行，Airflow仅负责启动容器，不等待脚本执行完成。

三、验证输出及排查的实操方法 #

1. 确认脚本/容器是否真的执行 #

• 给ex-my-script.sh添加调试日志，每一步执行都写入日志：echo "执行到XX步骤" >> /your/mounted/path/debug.log，将该日志目录挂载到Airflow worker，任务完成后直接查看日志文件。
• 在DockerOperator中设置detach=False（强制等待容器执行完毕），同时开启log_output=True，让Airflow将容器内的日志同步到任务日志中，直接在Airflow UI查看。
• 手动进入Airflow worker容器：docker exec -it <airflow-worker-container-id> bash，然后运行./ex-my-script.sh，观察实际执行情况和报错信息。

2. 修复脚本的退出码逻辑 #

• 在ex-my-script.sh开头添加set -euo pipefail，确保任何命令失败都会让脚本返回非0状态码，Airflow就会标记任务失败，避免“假成功”。
• 在docker run命令后添加echo $?，查看该命令的退出码。如果用了-d参数，退出码肯定为0，但容器可能未正常运行，需用docker logs <container-id>查看容器内部日志。

3. 验证输出数据的方法 #

• 先确认输出目录挂载正确：不管是docker run中挂载的本地目录，还是Airflow worker挂载的目录，要保证容器内的输出路径与本地路径完全对应。
• 任务执行完成后直接查看本地挂载目录，比如ls /your/output/path，检查是否有生成的目标文件。
• 在my-script.sh中将处理结果写入日志文件，要么将该文件挂载到本地查看，要么用docker logs <container-id>查看容器日志。
• 在DAG中添加一个简单的检查任务，用PythonOperator编写函数，检查输出目录是否存在指定文件、文件大小是否符合预期，放在数据处理任务之后，自动验证任务执行结果。

内容的提问来源于stack exchange，提问作者pctwm