如何使用Selenium定位nav内div并点击Activity选项卡爬取数据

核心解决思路 #

按优先级从易到难排查点击失败原因，不需要靠反复调整固定等待时间碰运气，所有方案均可直接落地。

具体操作步骤 #

• 优先修正元素定位逻辑
  该站点是React单页应用，元素class名是构建时随机生成的，不要用class做定位标识，很容易随版本更新失效。正确的定位方式是先锁定带role="tablist"属性的选项卡父容器，再匹配文本为Activity的按钮节点，参考定位XPath：

  //div[@role="tablist"]//button[normalize-space(text())="Activity"]
  

  不要直接全局搜索"Activity"文本，容易抓到页面其他位置的同名节点导致点击无效。

• 用显式等待替代固定等待
  页面加载速度受网络、设备性能影响，固定time.sleep()很容易出现元素还没渲染完成就执行点击的问题，用显式等待等元素进入可点击状态再操作：

  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.support import expected_conditions as EC
  from selenium.webdriver.common.by import By
  
  # 最长等待10秒，每0.5秒检查一次元素状态
  activity_tab = WebDriverWait(driver, 10).until(
      EC.element_to_be_clickable((By.XPATH, '//div[@role="tablist"]//button[normalize-space(text())="Activity"]'))
  )
  

• 解决点击拦截问题
  页面顶部固定导航栏、首次进入的cookie授权弹窗、加载中的全局遮罩都会挡住按钮导致点击失败：

  1. 进入页面先处理弹窗：检测到cookie同意按钮就先点击关闭，等全局加载遮罩消失再操作tab
  2. 点击前先把元素滚动到视口中间位置，避免被导航栏遮挡：

     driver.execute_script("arguments[0].scrollIntoView({block: 'center'});", activity_tab)
     

  3. 如果常规点击报element click intercepted错误，优先用动作链模拟真人点击，其次可以用JS直接触发点击事件绕过前端拦截：

     # 方案1：动作链模拟真人点击
     from selenium.webdriver.common.action_chains import ActionChains
     ActionChains(driver).move_to_element(activity_tab).click().perform()
     
     # 方案2：JS强制触发点击
     driver.execute_script("arguments[0].click();", activity_tab)
     

• 绕过站点反爬检测
  该站点有基础的自动化工具检测，默认启动的Selenium会携带明显的自动化特征，导致页面交互失效。可以用selenium-stealth库隐藏webdriver特征，启动浏览器时加上以下配置：

  from selenium_stealth import stealth
  
  stealth(driver,
      languages=["en-US", "en"],
      vendor="Google Inc.",
      platform="Win32",
      webgl_vendor="Intel Inc.",
      renderer="Intel Iris OpenGL Engine",
      fix_hairline=True,
  )
  

更稳定的替代方案 #

不需要死磕模拟点击操作，Activity选项卡的所有数据都是前端调用GraphQL接口拉取的，打开浏览器开发者工具抓对应请求，直接构造HTTP请求就能拿到结构化的活动数据，不受前端渲染、元素变动影响，稳定性远高于模拟页面操作，还可以直接修改分页参数拉取全量数据，不用模拟翻页点击。

内容的提问来源于stack exchange，提问作者John Doe