本地Docker运行Apache Airflow时无法导入selenium问题求助

核心问题：你在本地安装的Selenium和Docker中的Airflow容器是完全隔离的环境，容器无法访问本地的Python包，修改sys.path指向本地路径自然无效。以下是可行的解决方向：

1. 自定义Airflow镜像（推荐，持久化解决） #

基于官方Airflow镜像，在Dockerfile中添加Selenium的安装步骤，构建专属镜像后启动Airflow：

# 基于官方Airflow镜像，替换成你实际使用的版本
FROM apache/airflow:2.8.0

# 在容器内安装Selenium
RUN pip install selenium

执行构建和启动命令：

# 构建自定义镜像
docker build -t my-airflow-with-selenium .

# 替换原有启动命令中的镜像名，用新镜像启动Airflow
docker-compose up -d

2. 进入Airflow容器直接安装（临时测试用） #

如果只是临时验证功能，可直接进入Airflow Worker容器（任务由Worker执行）安装Selenium：

# 查看Airflow Worker容器名称/ID
docker ps | grep airflow-worker

# 进入容器
docker exec -it <airflow-worker-container-id/name> bash

# 在容器内安装Selenium
pip install selenium

⚠️ 注意：容器重启后安装的包会丢失，仅适合临时测试场景。

3. 在DAG中使用PipInstallOperator（不推荐，应急用） #

在DAG里先通过PipInstallOperator安装Selenium，再执行爬取任务：

from airflow.operators.python import PythonOperator
from airflow.operators.bash import PipInstallOperator
from airflow import DAG
from datetime import datetime

def crawl_task():
    from selenium import webdriver
    # 你的网页爬取逻辑代码...

with DAG(
    'selenium_crawl_dag',
    start_date=datetime(2024,1,1),
    schedule_interval='@daily'
) as dag:
    install_selenium = PipInstallOperator(
        task_id='install_selenium',
        packages=['selenium']
    )
    run_crawl = PythonOperator(
        task_id='run_crawl',
        python_callable=crawl_task
    )
    install_selenium >> run_crawl

⚠️ 缺点：每次任务执行都会重新安装依赖，耗时且效率低，不适合生产环境。

4. 验证容器内的Python环境 #

先确认容器内是否真的安装了Selenium：

# 进入Worker容器
docker exec -it <airflow-worker-container-name> bash

# 检查已安装包
pip list | grep selenium

如果没有输出，说明容器内确实未安装Selenium，按上述1或2的方法解决即可。

内容的提问来源于stack exchange，提问作者Anshuman Verma