Selenium定位到Motley Fool网站加载更多按钮却无法点击求助

我正在为Motley Fool网站开发网页爬虫，目标页面是https://www.fool.com/quote/nasdaq/aep/。页面上有一个“load more articles”按钮，所有文章加载完成前该按钮可见可点击，加载完成后会消失。

目前我的代码能定位到该按钮，且打印显示按钮处于启用状态，但就是无法触发点击动作。已经尝试过用XPath（不同精准度）、name、CSS选择器来定位，都没能解决问题。

代码片段如下：

url=https://www.fool.com/quote/nasdaq/aep/
driver.get(url)
wait = WebDriverWait(driver, 20)
try:
 while(driver.find_element(By.XPATH,'/html/body/div[8]/div[2]/div[1]/section[2]/div/div[1]/div[2]/div[4]/div[3]/div[1]/button').is_displayed()):           
      element=driver.find_element(By.XPATH,'/html/body/div[8]/div[2]/div[1]/section[2]/div/div[1]/div[2]/div[4]/div[3]/div[1]/button')
      driver.execute_script("arguments[0].scrollIntoView();", element)
      button = wait.until(EC.element_to_be_clickable((By.XPATH, '/html/body/div[8]/div[2]/div[1]/section[2]/div/div[1]/div[2]/div[4]/div[3]/div[1]/button')))
      print(button.text)
      print(button.is_enabled())
      driver.execute_script("arguments[0].click()", button)
      time.sleep(3)
except:
  pass 

• 替换绝对XPath为相对定位：你用的是绝对XPath，页面结构稍有变动就会失效，还容易定位到错误元素。改成基于按钮文本或属性的相对定位，比如用//button[contains(text(),'Load more articles')]，或者查看按钮的class属性后用//button[contains(@class,'对应的class名')]（具体class名可通过浏览器开发者工具查看）。
• 排查遮挡元素：页面可能存在弹窗、悬浮层或透明元素挡住按钮，虽然按钮显示enabled，但实际点击被拦截。可以先检查是否有需要关闭的弹窗，或者直接用JS触发点击绕开遮挡：driver.execute_script("document.querySelector('你的选择器').click();")。
• 优化循环与等待逻辑：当前循环里重复定位元素容易引发StaleElementReferenceException，可以改成循环内重新等待元素，同时优先尝试原生点击，失败再用JS：

  while True:
      try:
          # 用相对定位等待按钮可见
          button = wait.until(EC.visibility_of_element_located((By.XPATH, "//button[contains(text(),'Load more articles')]")))
          # 滚动到按钮居中位置，确保完全可见
          driver.execute_script("arguments[0].scrollIntoView({block: 'center'});", button)
          # 先尝试原生点击
          try:
              button.click()
          except:
              # 原生点击失败再用JS触发
              driver.execute_script("arguments[0].click();", button)
          # 替换固定sleep为等待新内容加载的条件（比如等待文章数量增加），更可靠
          time.sleep(2)
      except TimeoutException:
          # 按钮消失，退出循环
          break
  

• 验证定位元素正确性：打印按钮的get_attribute('outerHTML')，确认你定位到的确实是目标“load more”按钮，避免因页面存在结构类似的按钮导致定位错误。
• 禁用浏览器缓存：缓存可能导致页面元素状态异常，初始化driver时可添加禁用缓存的选项：

  options = webdriver.ChromeOptions()
  options.add_argument("--disable-cache")
  driver = webdriver.Chrome(options=options)
  

内容的提问来源于stack exchange，提问作者geo200