Chrome Headless模式下Selenium Java传递URL参数失效求助

以下是针对该问题的具体解决思路和代码实现：

• 设置匹配正常浏览器的窗口大小
  Headless模式默认窗口尺寸极小，可能触发页面响应式布局逻辑，导致参数对应的视图不渲染。设置和常规浏览器一致的分辨率：

ChromeOptions options = new ChromeOptions();
options.addArguments("--headless=new"); // 使用新版Headless，行为更贴近正常Chrome
options.addArguments("--window-size=1920,1080");
WebDriver driver = new ChromeDriver(options);
driver.get("{domain}/?ref=pd_sl_5szpgfto9i_e");

• 替换Headless专属User-Agent
  部分网站会识别"HeadlessChrome"标识并调整页面逻辑，导致参数解析或渲染异常。设置和正常Chrome一致的User-Agent：

String normalUserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36";
options.addArguments("--user-agent=" + normalUserAgent);

• 清除缓存与Cookie
  Headless模式可能残留旧缓存或Cookie，导致页面加载时复用旧状态而非解析新参数。启动时禁用缓存或启动后清除Cookie：

// 启动时禁用缓存
options.addArguments("--disable-cache");
options.addArguments("--disable-application-cache");

// 启动后清除所有Cookie
driver.manage().deleteAllCookies();

• 添加显式等待确保渲染完成
  Headless模式下页面JS执行时机或加载速度可能和正常模式不同，需等待参数对应的视图元素加载完成：

WebDriverWait wait = new WebDriverWait(driver, Duration.ofSeconds(10));
// 替换为你预期视图的标志性元素定位
wait.until(ExpectedConditions.visibilityOfElementLocated(By.cssSelector(".ref-specific-view")));

• 校验URL参数编码
  确保URL参数无编码错误，特殊字符需正确转义，避免Headless模式下解析失败：

// 构造正确编码的URL
String targetUrl = "{domain}/?ref=pd_sl_5szpgfto9i_e";
// 若参数含特殊字符，可使用URLEncoder处理
String encodedRef = URLEncoder.encode("pd_sl_5szpgfto9i_e", StandardCharsets.UTF_8.name());
targetUrl = "{domain}/?ref=" + encodedRef;
driver.get(targetUrl);

• 确认JavaScript启用状态
  部分页面渲染依赖JS，确保Headless模式下JS未被禁用：

options.addArguments("--enable-javascript");

内容的提问来源于stack exchange，提问作者rarunp04