Java中Selenium设置Googlebot User-Agent无效的解决方案咨询

你的代码中设置User-Agent的参数存在格式问题，结合常见配置坑，以下是可行解决方案：

核心修正：修复User-Agent参数格式 #

你当前代码里user-agent= Mozilla/...的等号后多了一个空格，这会导致Chrome无法正确解析该参数。需去掉空格，保证参数格式正确：

System.setProperty("webdriver.chrome.driver","src/main/resources/Drivers/chromedriver.exe");
ChromeOptions chromeOptions = new ChromeOptions();
// 推荐使用新版headless模式，旧版存在兼容性问题
chromeOptions.addArguments("--headless=new");
chromeOptions.addArguments("--disable-gpu");
// 去掉user-agent=后的空格，确保参数被正确识别
chromeOptions.addArguments("user-agent=Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)");
WebDriver driver = new ChromeDriver(chromeOptions);

// 可访问httpbin.org验证User-Agent是否生效
driver.get("http://httpbin.org/user-agent");
System.out.println(driver.getPageSource());
driver.quit();

额外注意事项 #

• 版本匹配：必须保证ChromeDriver版本与本地Chrome浏览器版本完全一致，版本不兼容会导致配置参数失效
• 权限问题：若运行时出现异常，可添加--no-sandbox参数绕过沙箱限制
• headless模式：旧版--headless参数在部分Chrome版本中存在解析问题，建议使用--headless=new（Chrome 112及以上版本支持）

内容的提问来源于stack exchange，提问作者ankush singh