Selenium无法点击span标签切换Glassdoor福利板块选项卡咨询

需要通过Selenium爬取亚马逊美国员工福利页面的「Financial & Retirement」板块数据。页面默认加载「Insurance, Health & Wellness」选项卡，必须点击「Financial & Retirement」选项卡才能获取对应板块的有效数据。
目标选项卡对应的span标签源码如下：

<span data-brandviews="MODULE:n=ei-benefits-category:eid=6036:benefit_category_id=2" aria-selected="false" data-test="tabName-Financial &amp; Retirement" id="2" role="tab" tabindex="-1" class="css-1lydi83 e1dy3s0i0" data-triggered-brandview="">

此前尝试的三种点击方案均未生效，对应代码如下：

WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.XPATH, "//*[@id='2']"))).click()
WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.XPATH, "//*[@id='2'][contains(., 'Financial')]"))).click()
WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.XPATH, "//input[@data-test='tabName-Financial & Retirement']"))).click()

• 第三条定位语句错误将目标标签写为input，实际目标元素是span，无法匹配到有效节点
• 直接使用id='2'作为定位条件过于宽泛，Glassdoor页面存在大量数字id的节点，匹配到的元素大概率不是目标选项卡
• 未提前处理页面加载时弹出的Cookie授权弹窗、登录引导浮层，这些浮层会拦截点击事件；同时目标元素初始tabindex="-1"，不在可视区域时普通点击事件无法触发

按以下步骤操作即可成功切换选项卡：

• 启动浏览器时配置基础反爬参数，避免被Glassdoor的反爬机制拦截
• 页面加载完成后，优先关闭所有弹出的Cookie弹窗、登录引导浮层
• 使用固定的data-test属性定位目标选项卡，不要使用易重复的id、动态类名作为定位依据
• 先将目标元素滚动到页面可视区域，优先尝试普通点击，失效时用JS点击做兜底
• 等待目标选项卡的aria-selected属性变为true，确认切换完成后再爬取板块数据

参考实现代码：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver import Chrome, ChromeOptions
import time

# 配置基础反爬参数
options = ChromeOptions()
options.add_argument("--disable-blink-features=AutomationControlled")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option("useAutomationExtension", False)
driver = Chrome(options=options)
# 隐藏webdriver标识
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    "source": "Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"
})

wait = WebDriverWait(driver, 20)
driver.get("https://www.glassdoor.com/Benefits/Amazon-US-Benefits-EI_IE6036.0,6_IL.7,9_IN1.htm")
time.sleep(3)

# 处理拦截点击的弹窗
try:
    # 关闭Cookie同意按钮
    wait.until(EC.element_to_be_clickable((By.XPATH, "//button[contains(text(),'Accept') or contains(text(),'同意')]"))).click()
    time.sleep(1)
    # 关闭登录引导浮层
    wait.until(EC.element_to_be_clickable((By.XPATH, "//button[@aria-label='Close']"))).click()
except:
    pass

# 精准定位目标选项卡
target_tab = wait.until(EC.presence_of_element_located((By.XPATH, "//span[@data-test='tabName-Financial & Retirement']")))
# 滚动到元素可视区域
driver.execute_script("arguments[0].scrollIntoView({block: 'center'});", target_tab)
time.sleep(0.5)

# 点击兜底逻辑
try:
    target_tab.click()
except:
    driver.execute_script("arguments[0].click();", target_tab)

# 确认选项卡切换成功
wait.until(EC.attribute_to_be((By.XPATH, "//span[@data-test='tabName-Financial & Retirement']"), "aria-selected", "true"))
# 后续即可正常爬取Financial & Retirement板块数据

• 如果点击仍失败，可在定位元素前加1-2秒强制等待，等页面动态资源完全渲染
• Glassdoor前端类名为动态生成，定位元素优先选择data-test、role这类固定属性，稳定性远高于id、动态类名
• 如果遇到Cloudflare人机验证，需要手动完成验证后再继续执行爬取逻辑

内容的提问来源于stack exchange，提问作者AYA