Airflow中通过Docker执行带参数Python脚本失败求助

你的问题核心在于多层shell命令的引号嵌套和参数转义错误——不带参数时，命令结构简单，shell能正确解析；但加上--myarg这类带空格的参数后，嵌套的双引号让shell搞不清参数边界，导致命令执行失败。下面给你几个实用的解决方案：

方案1：简化命令，去掉多余的bash -c #

其实docker exec可以直接执行容器内的Python命令，没必要多套一层bash -c，这能彻底避免引号嵌套的麻烦：

a02_retrieve_2 = SSHExecuteOperator(
    task_id='a02_retrieve_2',
    ssh_hook=sshHook,
    dag=dag,
    bash_command='docker exec myDocker /opt/conda/bin/python aretrieve_2.py --myarg 45 --myarg 35'
)

另外建议去掉-i参数，因为在Airflow的SSH非交互式环境下，这个参数（保持标准输入打开）不仅没用，还可能引发不必要的阻塞。

方案2：调整引号嵌套规则 #

如果确实需要保留bash -c（比如有更复杂的shell逻辑），可以通过调整引号类型或转义来解决解析问题：
要么用单引号包裹内层命令，外层用双引号：

a02_retrieve_2 = SSHExecuteOperator(
    task_id='a02_retrieve_2',
    ssh_hook=sshHook,
    dag=dag,
    bash_command="""docker exec myDocker bash -c '/opt/conda/bin/python aretrieve_2.py --myarg 45 --myarg 35'"""
)

要么对内层的双引号进行转义：

a02_retrieve_2 = SSHExecuteOperator(
    task_id='a02_retrieve_2',
    ssh_hook=sshHook,
    dag=dag,
    bash_command='docker exec myDocker bash -c \" /opt/conda/bin/python aretrieve_2.py --myarg 45 --myarg 35 \" '
)

方案3：改用Airflow原生DockerOperator（更优实践） #

如果你的Airflow Worker有权限直接访问Docker守护进程，推荐用Airflow官方的DockerOperator替代SSH+Docker的组合，这更符合Airflow的设计理念，也减少了中间环节的问题：

from airflow.providers.docker.operators.docker import DockerOperator

a02_retrieve_2 = DockerOperator(
    task_id='a02_retrieve_2',
    container_id='myDocker',  # 针对已运行的容器，用container_id而非image
    command='/opt/conda/bin/python aretrieve_2.py --myarg 45 --myarg 35',
    dag=dag
)

注意如果是基于镜像启动新容器执行任务，就把container_id换成image参数指定镜像名。

额外排查小技巧 #

• 先在SSH终端手动执行你要运行的Docker命令，确认能正常执行，排除容器内路径、权限等基础问题
• 检查Airflow使用的SSH用户是否有执行docker exec的权限
• 确认容器内的/opt/conda/bin/python路径正确，或者直接用python（如果已加入环境变量）

内容的提问来源于stack exchange，提问作者tensor