部署至Heroku后Selenium无法获取网页动态卡片价格内容求助

核心问题分析 #

本地环境能正常获取动态加载的价格卡片，但Heroku环境下driver.getPageSource()不包含目标元素，本质是Heroku的无头浏览器配置与本地差异大，导致动态内容未触发加载。以下是针对性解决方案：

具体解决方案 #

1. 修复ChromeDriver无头模式配置 #

Heroku环境下的无头浏览器默认参数会被网站识别为自动化工具，或因窗口过小导致内容不加载，需添加以下参数模拟正常浏览器：

ChromeOptions options = new ChromeOptions();
// 使用新版无头模式，行为更接近常规Chrome
options.addArguments("--headless=new");
// 禁用自动化检测，避免网站拦截
options.addArguments("--disable-blink-features=AutomationControlled");
// 设置标准窗口尺寸，确保内容完整加载
options.addArguments("--window-size=1920,1080");
// Heroku必需的沙箱与资源限制参数
options.addArguments("--no-sandbox");
options.addArguments("--disable-dev-shm-usage");

WebDriver driver = new ChromeDriver(options);

2. 用显式等待替代超长等待 #

固定时长等待无法精准匹配元素加载时机，显式等待能在元素可见时立即执行操作：

WebDriverWait wait = new WebDriverWait(driver, Duration.ofSeconds(20));
// 等待所有价格卡片可见
List<WebElement> cards = wait.until(
    ExpectedConditions.visibilityOfAllElementsLocatedBy(
        By.cssSelector("div.card-body.text-center.text-md-left")
    )
);

if (!cards.isEmpty()) {
    String price = cards.get(0).findElement(By.tagName("b")).getText();
    // 处理获取到的价格信息
}

3. 模拟页面滚动触发动态加载 #

部分网站的动态内容需滚动到视图范围内才会加载，可通过JS执行滚动：

JavascriptExecutor js = (JavascriptExecutor) driver;
// 滚动至页面底部，触发所有动态内容加载
js.executeScript("window.scrollTo(0, document.body.scrollHeight);");
// 等待价格元素加载完成
wait.until(
    ExpectedConditions.visibilityOfElementLocated(
        By.cssSelector("div.card-body.text-center.text-md-left b")
    )
);

4. 调整页面加载策略 #

尝试将页面加载策略改为EAGER，提前获取DOM内容而非等待所有资源加载完成：

ChromeOptions options = new ChromeOptions();
options.setPageLoadStrategy(PageLoadStrategy.EAGER);

补充说明 #

之前执行所有页面脚本的方法可能重复执行脚本引发冲突，超长等待也无法适配动态内容的异步加载逻辑。Heroku环境下的核心优化方向是让无头浏览器尽可能接近正常浏览器的行为，再配合精准的显式等待，即可解决动态元素加载问题。

内容的提问来源于stack exchange，提问作者user22715125