Selenium headless模式下ChromeDriver无法读取导航栏菜单问题求助

该问题核心是Chrome headless模式与普通模式的渲染策略差异导致，和页面加载时长无关，因此你添加的50秒休眠无法解决问题。常见原因有两个：一是headless模式默认使用极小视口（通常为800x600），响应式网站在小屏场景下会收起桌面端导航栏，替换为移动端汉堡菜单，因此nav元素的displayed属性为false，内部也不会渲染桌面端的ul菜单项；二是部分网站识别到headless自动化特征后，主动隐藏了核心导航内容。

排查步骤 #

• 截图验证渲染状态
  在headless模式下执行截图代码，直接查看页面实际渲染效果：

  _driver.GetScreenshot().SaveAsFile("headless_render.png");
  

  如果截图里导航栏位置是汉堡菜单图标，即可确认是响应式布局适配问题；如果截图页面空白、存在验证码或者导航栏被刻意隐藏，说明网站触发了反爬拦截。

解决方案 #

1. 配置固定桌面级视口（90%以上该类问题的解决方案） #

在ChromeOptions中添加窗口尺寸参数，模拟桌面端分辨率触发桌面端布局渲染：

ChromeOptions options = new ChromeOptions();
options.AddArgument("--headless");
options.AddArgument("--disable-gpu");
// 新增配置：固定视口尺寸
options.AddArgument("--window-size=1920,1080");
options.AddArgument("--start-maximized");
options.AddUserProfilePreference("download.default_directory", downloadsPath);
options.AddUserProfilePreference("profile.default_content_setting_values.automatic_downloads", 1);
options.AddArgument("no-sandbox");

配置完成后重新运行，绝大多数响应式导航栏会正常渲染。

2. 绕过headless自动化特征检测 #

如果是反爬拦截导致的导航栏隐藏，添加以下配置消除自动化特征即可：

ChromeOptions options = new ChromeOptions();
options.AddArgument("--headless");
options.AddArgument("--disable-gpu");
options.AddArgument("--window-size=1920,1080");
options.AddArgument("--start-maximized");
// 新增反检测配置
options.AddArgument("--disable-blink-features=AutomationControlled");
options.AddExcludedArgument("enable-automation");
options.AddAdditionalOption("useAutomationExtension", false);
// 可选：配置和普通桌面Chrome完全一致的User-Agent
options.AddArgument("--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36");
options.AddUserProfilePreference("download.default_directory", downloadsPath);
options.AddUserProfilePreference("profile.default_content_setting_values.automatic_downloads", 1);
options.AddArgument("no-sandbox");

3. 适配移动端汉堡菜单逻辑 #

如果验证后确认网站在小屏下仅展示汉堡菜单，你可以修改代码逻辑：先定位汉堡菜单按钮执行点击操作展开导航栏，再抓取内部菜单项即可。

内容的提问来源于stack exchange，提问作者Thierry Verhaegen