Docker中运行SeleniumBase遇ElementNotFound异常求解决

核心问题分析 #

你的Docker配置存在几个关键问题，导致Selenium在容器中无法正常定位元素：

1. Chrome与ChromeDriver版本严重不兼容 #

你安装的是google-chrome-stable（当前最新稳定版），但手动下载的ChromeDriver是72.0.3626.69，两者版本差距过大，会导致浏览器驱动无法正常通信，元素定位自然失败。

2. Xvfb配置无效 #

Dockerfile中构建阶段启动Xvfb并设置DISPLAY变量的操作，仅在构建镜像时生效，容器运行时这些配置不会保留，导致Chrome无法找到显示设备，页面加载异常。

3. 手动下载驱动冗余 #

SeleniumBase自带自动驱动管理功能（uc=True启用的Undetected Chromedriver也会自动匹配驱动），手动下载驱动反而会干扰自动匹配逻辑。

修正后的Dockerfile #

FROM ubuntu:20.04  # 升级到更稳定的新版本，避免依赖问题

# 设置环境变量，确保DISPLAY在运行时生效
ENV DISPLAY=:99
ENV PYTHONIOENCODING=utf8

# 安装基础依赖和Chrome
RUN apt-get update -y && apt-get install -y --no-install-recommends \
    python3.8 python3-pip python3.8-venv \
    google-chrome-stable \
    xvfb \
    wget curl unzip sudo vim \
    libxi6 libgconf-2-4 \
    && rm -rf /var/lib/apt/lists/*

# 创建并激活虚拟环境
RUN python3.8 -m venv /venv
ENV PATH="/venv/bin:$PATH"

# 设置工作目录
WORKDIR /linkedin_scraper

# 复制依赖文件并安装
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

# 复制源码
COPY ./src ./src

# 启动Xvfb并运行脚本（合并为一个CMD，确保运行时启动Xvfb）
CMD ["sh", "-c", "Xvfb -ac :99 -screen 0 1280x1024x16 > /dev/null 2>&1 && python ./src/main.py"]

代码层面的优化建议 #

1. 增强元素等待策略：容器中页面加载速度可能比本地慢，建议显式等待元素出现，而不是依赖隐式等待：

with SB(uc=True, xvfb=True) as sb:
    sb.open("你的目标URL")
    # 显式等待元素可见，超时10秒
    sb.wait_for_element_visible("元素选择器", timeout=10)
    # 再执行操作
    sb.click("元素选择器")

2. 禁用手动驱动指定：确保你的代码中没有手动指定ChromeDriver路径，让SeleniumBase自动匹配驱动版本。

验证步骤 #

1. 用新的Dockerfile重新构建镜像：

docker build -t seleniumbase-scraper .

2. 运行容器：

docker run --rm seleniumbase-scraper

内容的提问来源于stack exchange，提问作者Alex M