Selenium getPageSource()无法返回完整页面的问题求助

• 需求：抓取Lidl意大利官网促销页面的完整HTML，该页面包含JavaScript，但禁用JS后浏览器源码里仍有需要的促销产品元素
• 异常：用Postman发送GET请求能拿到正确HTML，但Selenium调用driver.getPageSource()返回的内容缺失促销元素
• 细节：手动按F12复制的源码是完整的，但代码输出的内容始终不对；哪怕等待5秒、点击Cookie按钮后，输出的源码还是缺东西
• 环境：Chrome版本114.0.5735.110，ChromeDriver版本114.0.5735.90
• 代码：

System.setProperty("webdriver.chrome.driver","C:\\Program Files\\chromedriver\\chromedriver.exe");
ChromeOptions options = new ChromeOptions();
// options.addArguments("--headless=new");
WebDriver driver = new ChromeDriver(options);

driver.get(link);
Thread.sleep(5000);
WebElement acceptButton = driver.findElement(By.className("cookie-alert-extended-button"));
acceptButton.click();
System.out.println(driver.getPageSource());

1. 替换getPageSource()，直接获取html元素的outerHTML #

getPageSource()有时返回的是页面初始加载的DOM快照，而非实时更新的内容。换成获取<html>标签的outerHTML，能拿到当前页面的完整代码：

// 把System.out.println(driver.getPageSource());替换为以下代码
WebElement htmlElement = driver.findElement(By.tagName("html"));
System.out.println(htmlElement.getAttribute("outerHTML"));

2. 用显式等待替代Thread.sleep #

硬编码等待时间不可靠，改成等待关键元素加载完成再操作，确保页面真的渲染完毕：

import org.openqa.selenium.support.ui.WebDriverWait;
import org.openqa.selenium.support.ui.ExpectedConditions;
import java.time.Duration;

// 初始化driver之后
driver.get(link);

// 等待Cookie按钮可点击后再点击
WebDriverWait wait = new WebDriverWait(driver, Duration.ofSeconds(10));
WebElement acceptButton = wait.until(ExpectedConditions.elementToBeClickable(By.className("cookie-alert-extended-button")));
acceptButton.click();

// 等待促销元素出现（把"product-grid-item"换成你要抓取的促销元素的实际定位器，比如类名、标签名）
wait.until(ExpectedConditions.presenceOfElementLocated(By.className("product-grid-item")));

// 获取完整HTML
WebElement htmlElement = driver.findElement(By.tagName("html"));
System.out.println(htmlElement.getAttribute("outerHTML"));

3. 确保ChromeDriver与Chrome版本完全匹配 #

你当前Chrome版本是114.0.5735.110，ChromeDriver是114.0.5735.90，版本号存在差异，大概率有兼容性问题。去ChromeDriver官网下载与你Chrome完全一致的版本重试。

4. 添加ChromeOptions优化参数 #

添加参数模拟正常浏览器环境，避免被页面识别为自动化工具：

ChromeOptions options = new ChromeOptions();
options.addArguments("--disable-blink-features=AutomationControlled");
options.addArguments("--no-sandbox");
options.addArguments("--disable-dev-shm-usage");
options.addArguments("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.5735.110 Safari/537.36");

内容的提问来源于stack exchange，提问作者VondeTaconadis