Airflow通过URL下载文件至磁盘：BashOperator执行报错求助

问题原因 #

运行BashOperator的环境（如Airflow Worker容器/虚拟机）未安装wget工具，导致执行命令时找不到该程序。

解决方案 #

方案1：用curl替代wget（推荐，多数基础镜像默认自带curl）

将bash命令替换为curl下载命令，指定保存文件名：

download = BashOperator(
    task_id="download",
    bash_command="curl -o url.csv https://github.com/url.csv",
)

-o url.csv参数用于指定下载后保存的文件名，可根据需求修改。

方案2：在命令中临时安装wget（适合临时测试，不推荐长期使用）

如果必须使用wget，可在bash命令开头先安装工具（根据系统发行版选择命令）：

• Debian/Ubuntu系环境：

download = BashOperator(
    task_id="download",
    bash_command="apt-get update && apt-get install -y wget && wget https://github.com/url.csv",
)

• CentOS/RHEL系环境：

download = BashOperator(
    task_id="download",
    bash_command="yum install -y wget && wget https://github.com/url.csv",
)

注意：每次任务运行都会重复安装，会增加执行时间和资源消耗，仅适合临时场景。

方案3：在基础镜像中预先安装wget（长期解决方案）

修改Airflow的Docker镜像（如果用容器部署），在Dockerfile中添加安装wget的命令：

RUN apt-get update && apt-get install -y wget && rm -rf /var/lib/apt/lists/*

构建新镜像后，所有Worker环境都会默认包含wget，无需每次任务都安装。

内容的提问来源于stack exchange，提问作者vinicius de novaes