MacOS下Selenium无头模式元素加载异常问题求助

问题重现 #

你的爬虫在Windows下无论是否开启Headless模式都能正常抓取表格数据，但MacOS开启Headless模式时，元素加载耗时极长甚至无法加载，当前Chrome配置代码如下：

expanduser = os.path.expanduser('~')
options = webdriver.ChromeOptions()
options.add_argument("start-maximized")
options.add_argument('--disable-web-security')
options.add_argument(f'--user-data-dir={expanduser}\\AppData\\Local\\Google\\Chrome\\{profile}')
options.add_argument("headless")
browser = webdriver.Chrome(ChromeDriverManager().install(), options=options)
return browser

以下是针对性的解决思路：

1. 修正用户数据目录的路径问题 #

你代码里用了Windows风格的路径分隔符\\，还指定了Windows系统的Chrome数据目录AppData/Local，但MacOS的Chrome用户数据实际存储在~/Library/Application Support/Google/Chrome/下，路径分隔符需用/。错误的路径会导致Chrome在Mac下无法找到用户配置，只能初始化全新的浏览器环境，这是加载异常的核心原因之一。

改成跨平台兼容的写法：

import os
expanduser = os.path.expanduser('~')
# 根据系统选择对应的数据目录
if os.name == 'nt':  # Windows系统
    user_data_path = os.path.join(expanduser, 'AppData', 'Local', 'Google', 'Chrome', profile)
else:  # MacOS/Linux系统
    user_data_path = os.path.join(expanduser, 'Library', 'Application Support', 'Google', 'Chrome', profile)
options.add_argument(f'--user-data-dir={user_data_path}')

2. 优化Headless模式的浏览器参数 #

MacOS下Chrome Headless默认窗口尺寸极小，很多网站会针对小窗口加载简化版页面或延迟加载内容，直接导致目标表格元素无法正常加载。建议补充窗口尺寸参数，同时添加模拟正常浏览器的标识，避免被网站识别为爬虫：

# 使用新版Headless模式（Chrome 112+支持，兼容性更好）
options.add_argument("--headless=new")
# 设置与正常浏览器一致的窗口尺寸
options.add_argument("--window-size=1920,1080")
# 移除自动化标识，防止网站检测
options.add_argument("--disable-blink-features=AutomationControlled")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)

3. 确认ChromeDriver与Chrome版本匹配 #

ChromeDriverManager虽会自动安装对应版本，但MacOS偶尔会出现版本匹配异常。手动检查本地Chrome版本（Chrome菜单→关于Google Chrome），若自动安装的ChromeDriver版本不符，可手动指定版本安装：

# 示例：指定ChromeDriver版本为120.0.6099.109，需与你的Chrome版本一致
browser = webdriver.Chrome(ChromeDriverManager(version="120.0.6099.109").install(), options=options)

4. 替换隐式等待为显式等待 #

避免依赖全局隐式等待，改用显式等待专门监听目标表格元素，确保元素加载完成后再进行抓取，有效避免超时问题：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 等待30秒，直到目标表格元素出现
wait = WebDriverWait(browser, 30)
target_table = wait.until(EC.presence_of_element_located((By.ID, "你的目标表格ID")))

5. 移除不必要的--disable-web-security参数 #

该参数会关闭浏览器的跨域安全限制，多数情况下反而会导致页面资源加载异常。若你的爬虫无需跨域访问，直接删除该参数，恢复默认安全设置即可。

内容的提问来源于stack exchange，提问作者Omar Yacop