如何从Airflow Docker容器中运行本地主机上的bash脚本？

以下是3种可行的实现方案，可根据你的部署场景选择：

方案1：SSH远程执行（生产环境首选，安全隔离性好） #

• 首先在宿主机开启SSH服务，创建一个仅拥有脚本执行权限的低权限用户，配置为密钥登录、关闭密码登录，降低安全风险。
• 将该用户的SSH私钥存入Airflow的Connections管理面板，连接类型选择SSH，依次填入宿主机IP、SSH端口、用户名、私钥内容并保存。
• 在Airflow DAG中直接调用SSHOperator执行宿主机目标脚本，参考代码如下：

from airflow.providers.ssh.operators.ssh import SSHOperator

update_packages_task = SSHOperator(
    task_id="update_host_packages",
    ssh_conn_id="你配置的宿主机SSH连接ID",
    command="bash /宿主机上脚本的绝对路径/update_packages.sh",
    cmd_timeout=300
)

• 提前给宿主机上的脚本配置对应执行权限，按需给SSH用户开放包更新所需的最小sudo权限，不要分配多余权限。

方案2：Docker套接字挂载（仅适合测试/私有可信环境） #

• 启动Airflow容器时增加挂载参数-v /var/run/docker.sock:/var/run/docker.sock，同时在Airflow容器内安装Docker客户端。
• 在Airflow任务中执行如下命令即可直接调用宿主机脚本：

docker run --rm --net=host -v /:/host alpine chroot /host bash /宿主机上脚本的绝对路径/update_packages.sh

注意：该方案风险极高，挂载Docker套接字后容器拥有宿主机Docker的完全控制权，生产环境禁止使用。

方案3：自定义HTTP服务触发（生产环境权限管控场景可选） #

• 在宿主机部署一个轻量HTTP服务，仅开放一个触发脚本执行的接口，配置IP白名单、调用鉴权规则，仅允许Airflow容器的IP访问该接口。
• Airflow DAG中使用SimpleHttpOperator调用该接口即可触发脚本执行，可通过接口返回值判断执行状态。

通用注意事项 #

• 所有方案都建议提前单独测试脚本执行逻辑、权限，同时配置脚本执行日志落盘到宿主机，方便后续排查问题。
• 包更新操作建议加锁避免重复执行，更新前做好数据备份。

内容的提问来源于stack exchange，提问作者Raja Anvesh Baru