如何通过docker-compose.yml为Airflow容器安装系统包解决wget未找到问题

你的判断完全正确——BashOperator的命令是在Airflow容器内部运行的，官方Airflow镜像默认没有预装wget，所以才会出现"command not found"错误。可以通过修改docker-compose.yml来解决，下面是两种可行方案：

方案一：自定义Airflow镜像（推荐，持久化解决） #

1. 在docker-compose.yml同目录下创建Dockerfile，内容如下：

# 替换成你当前使用的Airflow版本号，比如apache/airflow:2.8.0
FROM apache/airflow:2.x.x
USER root
# 安装wget并清理apt缓存
RUN apt-get update && apt-get install -y --no-install-recommends wget \
    && rm -rf /var/lib/apt/lists/*
USER airflow

2. 修改docker-compose.yml中相关服务的镜像配置：
   找到airflow-worker、airflow-scheduler（如果用的是SequentialExecutor模式，还要改airflow-webserver）的image字段，替换成build: ./（表示从当前目录的Dockerfile构建镜像），示例：

airflow-worker:
    build: ./
    # 保留原有其他配置...
airflow-scheduler:
    build: ./
    # 保留原有其他配置...

3. 重新启动Airflow容器：

docker-compose up -d --build

方案二：容器启动时临时安装wget（适合快速测试） #

如果只是临时测试，不想构建新镜像，可以修改docker-compose.yml中airflow-worker的启动命令，让容器启动时自动安装wget：

airflow-worker:
    # 保留原有其他配置...
    command: >
        bash -c "apt-get update && apt-get install -y wget && airflow celery worker"

修改后重启容器：

docker-compose up -d

这种方式每次容器重启都会重新安装wget，适合临时验证需求，不建议长期使用。

另外，也可以考虑替换为PythonOperator，用Python的requests或urllib库实现下载，无需依赖容器内的wget工具，示例代码：

from airflow.operators.python import PythonOperator
import requests

def download_file(url):
    response = requests.get(url)
    with open("downloaded_file", "wb") as f:
        f.write(response.content)

download = PythonOperator(
    task_id='download_file',
    python_callable=download_file,
    op_kwargs={'url': url}
)

内容的提问来源于stack exchange，提问作者user2268997