Airflow中安装rpy2库执行R脚本遇错求助

问题原因 #

你的Dockerfile存在两个核心冲突：

• Ubuntu latest默认搭载Python3.10，但你手动安装了Python3.6，后续使用python3命令（默认指向系统自带的3.10）执行pip操作，导致Python版本混乱。
• 指定安装的setuptools 49.6.0版本不兼容Python3.10，_distutils_hack模块尝试调用importlib.util.abc，但Python3.10中该属性已迁移至importlib.abc，旧版setuptools无法适配这个变更，从而触发报错。

修复方案 #

步骤1：统一Python版本执行环境 #

将所有python3、pip3命令替换为python3.6、pip3.6，或者通过系统工具将默认Python3指向3.6，确保全程使用目标版本。

步骤2：调整依赖版本适配性 #

选择与Python3.6兼容的pip、setuptools版本，同时确保rpy2版本和Python3.6匹配。

步骤3：优化Dockerfile结构 #

清理冗余操作，合理安排依赖安装顺序，减少无效缓存层。

修改后的完整Dockerfile #

FROM ubuntu:latest

ENV DEBIAN_FRONTEND=noninteractive

# 安装基础依赖，明确指定Python3.6相关包
RUN apt-get update && apt-get install -y --no-install-recommends \
    build-essential \
    r-base r-base-core r-cran-randomforest \
    python3.6 python3.6-dev python3-pip python3-setuptools && \
    rm -r /var/lib/apt/lists/*

WORKDIR /app

# 将系统默认python3、pip3指向Python3.6
RUN update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.6 1 && \
    update-alternatives --install /usr/bin/pip3 pip3 /usr/bin/pip3.6 1

# 升级到Python3.6兼容的稳定版pip和setuptools
RUN pip3 install --upgrade pip==21.3.1 wheel setuptools==59.6.0

# 安装适配Python3.6的rpy2版本
RUN pip3 install rpy2==3.5.14

# 安装R依赖包
RUN Rscript -e "install.packages('data.table')"

COPY . /app

额外说明 #

• 使用update-alternatives统一默认Python版本，避免后续命令出现版本混淆。
• 选择的pip 21.3.1和setuptools 59.6.0是Python3.6的最后兼容稳定版本，能完美适配rpy2 3.5.14。
• 如果requirements.txt中有其他依赖，建议在安装rpy2前优先安装，利用Docker缓存优化构建速度。

内容的提问来源于stack exchange，提问作者moltke_colombia