配置Python/Firefox/Selenium爬虫Docker环境遇阻，求指导

一、正确的Dockerfile配置 #

直接基于官方Python镜像构建，搭配Debian源的Firefox和geckodriver，避免手动安装的版本兼容问题：

# 选择稳定的Python slim镜像，自带Python和pip，体积更小
FROM python:3.10-slim-bookworm

WORKDIR /repo

# 非交互式环境变量，避免apt安装时弹出交互提示
ENV DEBIAN_FRONTEND=noninteractive
# 全局开启Firefox无头模式，和代码参数双重保障
ENV MOZ_HEADLESS=1

# 安装系统依赖：Firefox ESR、geckodriver、git，以及Selenium运行必需的底层库
RUN apt-get update && apt-get install -y --no-install-recommends \
    firefox-esr \
    geckodriver \
    git \
    libglib2.0-0 \
    libnss3 \
    libdbus-glib-1-2 \
    libgtk-3-0 \
    && rm -rf /var/lib/apt/lists/*

# 先复制requirements文件，利用Docker缓存优化构建速度
COPY pipeline/requirements.txt pipeline/requirements.txt
RUN pip3 install --no-cache-dir -r pipeline/requirements.txt

# 复制整个项目代码
COPY . /repo

# 保持容器运行的默认命令
CMD ["tail", "-F", "anything"]

关键说明 #

• 用firefox-esr：Debian官方源的长期支持版，和系统依赖兼容性最好，无需手动下载安装
• 系统库libglib2.0-0等：是Firefox无头模式运行必需的底层依赖，之前手动安装大概率漏了这些导致启动失败
• MOZ_HEADLESS=1：全局设置无头模式，和代码中的-headless参数配合，避免启动时的图形化依赖问题

二、Selenium代码调整（小优化） #

你的代码框架没问题，只需补充下载目录的权限处理，避免容器内创建目录失败：

from selenium import webdriver
from selenium.webdriver.firefox.options import Options
import os

def firefox_driver(self):
    # 提前创建下载目录，确保权限正常
    os.makedirs(self.download_dir, exist_ok=True)
    
    options = Options()
    options.add_argument("-headless")
    options.set_preference("browser.download.folderList", 2)
    options.set_preference("browser.download.manager.showWhenStarting", False)
    options.set_preference("browser.download.manager.focusWhenStarting", False)
    options.set_preference(
        "browser.helperApps.neverAsk.saveToDisk",
        "text/csv, application/vnd.openxmlformats-officedocument.spreadsheetml.sheet, application/octet-stream,application/vnd.ms-excel"
    )
    options.set_preference("browser.helperApps.alwaysAsk.force", False)
    options.set_preference("browser.download.manager.alertOnEXEOpen", False)
    options.set_preference("browser.download.manager.closeWhenDone", True)
    options.set_preference("browser.download.manager.showAlertOnComplete", False)
    options.set_preference("browser.download.manager.useWindow", False)
    options.enable_downloads = True

    options.set_preference("browser.download.dir", self.download_dir)

    return webdriver.Firefox(options=options)

注：geckodriver已经在系统PATH中，无需手动指定executable_path，代码会自动识别。

三、docker-compose优化（可选） #

如果需要把容器内的下载文件同步到本地，可以添加卷映射，同时通过环境变量传递下载目录：

services:
  scrapers:
    build:
      context: .
      dockerfile: pipeline/dockerfiles/Dockerfile
    container_name: scrapers
    image: scrapers
    volumes:
      - .:/repo
      - ~/.gitconfig:/etc/gitconfig
      # 把容器内的下载目录映射到本地
      - ./downloads:/repo/downloads
    environment:
      # 通过环境变量设置下载目录，代码中可以读取这个变量
      - DOWNLOAD_DIR=/repo/downloads
    command: tail -F anything

四、验证环境是否正常 #

1. 构建镜像：docker-compose build
2. 启动容器：docker-compose up -d
3. 进入容器：docker exec -it scrapers bash
4. 创建测试脚本test.py并运行：

from selenium import webdriver
from selenium.webdriver.firefox.options import Options

def test_driver():
    options = Options()
    options.add_argument("-headless")
    driver = webdriver.Firefox(options=options)
    driver.get("https://www.example.com")
    print(driver.title)
    driver.quit()

if __name__ == "__main__":
    test_driver()

执行python test.py，如果输出Example Domain，说明环境配置成功。

内容的提问来源于stack exchange，提问作者OJT