使用Python Selenium爬取LinkedIn公司信息无法定位下一页按钮怎么办

• 优先通过固定文本匹配定位
  下一页按钮的展示文本通常是固定值（如「下一页」「Next」「>」），直接写XPath匹配即可，完全不受动态ID影响：
  精准匹配写法：//button[text()="下一页"]
  兼容前后空格/特殊字符写法：//button[contains(text(),"下一页")]
• 通过固定属性组合过滤
  避免和页面其他同结构ember按钮冲突，可以先定位到分页区域的固定父容器，再在父容器范围内找下一页按钮：
  示例：假设分页栏的class固定为pagination-container，组合XPath为：//div[@class="pagination-container"]//button[contains(text(),"下一页")]
  如果按钮有部分固定class值，也可以配合class匹配：//button[contains(@class,"pagination-next") and contains(text(),"下一页")]
• 显式等待配合定位避免加载问题
  页面切换后要等按钮渲染完成再操作，示例代码：

  from selenium.webdriver.common.by import By
  from selenium.webdriver.support import expected_conditions as EC
  from selenium.webdriver.support.ui import WebDriverWait
  
  # 最多等待10秒直到下一页按钮可点击
  next_button = WebDriverWait(driver, 10).until(
      EC.element_to_be_clickable((By.XPATH, '//div[@class="pagination-container"]//button[contains(text(),"下一页")]'))
  )
  next_button.click()
  

• 特殊场景的兜底方案
  如果按钮没有文本、用的是图标，就找按钮的固定属性关联，比如aria-label属性如果固定为「下一页」，可以写：//button[@aria-label="下一页"]；也可以先获取分页区所有按钮，取下一页对应的固定索引，比如分页栏最后一个可点击按钮通常是下一页：

  pagination_btns = driver.find_elements(By.XPATH, '//div[@class="pagination-container"]//button')
  # 可根据实际页面结构调整索引值
  pagination_btns[-1].click()
  

内容的提问来源于stack exchange，提问作者Gabriel Tkacz