Docker安装Airflow依赖遇ValueError: Unable to configure handler 'processor'

核心原因 #

你遇到的ValueError: Unable to configure handler 'processor'（根源是mkdir()收到意外参数'exist_ok'），本质是多个Python依赖安装时触发了版本冲突，导致Airflow核心依赖的某个模块被降级或篡改，进而破坏了os.makedirs(exist_ok=True)的正常调用。单个依赖安装时无冲突，多个一起装才触发，说明是特定依赖组合的兼容性问题。

快速排查步骤 #

• 二分法定位冲突依赖
  将requirements.txt中的依赖分成两组，分别构建镜像并执行docker compose up airflow-init，确定哪一组触发错误，逐步缩小范围找到具体的冲突包。
• 对比版本差异
  构建仅安装单个无问题依赖的镜像，执行：

  docker exec -it <your-airflow-container> pip list
  

  再构建触发错误的多依赖镜像，执行同样命令，对比两个列表中**Airflow核心依赖（如apache-airflow、setuptools）、文件操作/日志相关包（如pathlib）**的版本差异，找到被降级的包。

解决办法 #

1. 锁定冲突包的兼容版本 #

找到冲突包后，在requirements.txt中指定其与Airflow 2.5.2兼容的版本。例如，如果发现setuptools被降级到低于60.0.0的版本，可添加：

setuptools>=60.0.0

2. 优化Dockerfile构建逻辑 #

使用以下Dockerfile避免依赖解析问题：

FROM apache/airflow:2.5.2

# 先升级pip，提升依赖解析效率与准确性
RUN pip install --upgrade pip

# 复制依赖文件到临时目录
COPY requirements.txt /tmp/requirements.txt

# 安装依赖并检查冲突
RUN pip install --no-cache-dir -r /tmp/requirements.txt \
    && pip check  # 自动检测依赖冲突，提前发现问题

3. 修复核心依赖被降级问题 #

如果确认是Airflow核心包被其他依赖降级，可在安装完自定义依赖后强制恢复核心版本：

RUN pip install --no-cache-dir -r /tmp/requirements.txt \
    && pip install apache-airflow==2.5.2 --force-reinstall --no-deps

（注：此方法需谨慎使用，可能引发其他依赖兼容问题，仅在明确核心包被降级时尝试）

4. 排除非必要依赖 #

如果某个冲突依赖并非业务必需，直接从requirements.txt中移除；若必须保留，尝试寻找功能替代的兼容包。

内容的提问来源于stack exchange，提问作者Overmind