Python+Selenium Chrome WebDriver爬取门店定位时AJAX调用失败（手动正常）

针对你遇到的「手动Chrome能正常触发滚动加载、按钮点击AJAX，但Selenium失效」的问题，给你几个实用的排查和解决步骤：

一、滚动触发AJAX加载的问题 #

直接粗暴滚动到页面底部可能无法触发前端的滚动监听逻辑，试试这两种更贴近真实用户操作的方式：

• 逐步分段滚动：分多次滚动短距离，给前端监听事件留足响应时间：

  import time
  for _ in range(5):
      driver.execute_script("window.scrollBy(0, 500);")
      time.sleep(0.5)  # 可根据页面加载速度调整等待时长
  

• 滚动到目标元素位置：如果知道下一批加载元素的选择器，先等待元素出现再滚动到对应位置触发加载：

  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.support import expected_conditions as EC
  from selenium.webdriver.common.by import By
  
  # 等待下一批元素的容器出现
  target = WebDriverWait(driver, 10).until(
      EC.presence_of_element_located((By.CSS_SELECTOR, ".address-list-item:last-child"))
  )
  # 平滑滚动到该元素位置
  driver.execute_script("arguments[0].scrollIntoView({behavior: 'smooth', block: 'end'});", target)
  # 等待AJAX加载完成，比如判断元素数量增加
  WebDriverWait(driver, 10).until(
      lambda d: len(d.find_elements(By.CSS_SELECTOR, ".address-list-item")) > 初始元素数量
  )
  

二、点击按钮触发AJAX的问题 #

直接调用click()失败，大概率是元素未完全可交互或页面有防自动化检测，试试这些方案：

• 等待元素完全可点击后再操作：

  button = WebDriverWait(driver, 10).until(
      EC.element_to_be_clickable((By.CSS_SELECTOR, ".show-detail-btn"))
  )
  button.click()
  

• 用JavaScript强制触发点击：如果元素被遮挡或绑定了特殊JS事件，原生click()无效时用这个：

  driver.execute_script("arguments[0].click();", button)
  

三、通用排查点 #

1. ChromeDriver与Chrome版本必须匹配：版本不兼容会导致各种奇怪的交互失效，务必下载对应你Chrome版本的驱动。
2. 关闭自动化特征检测：很多网站会识别Selenium的特征，初始化浏览器时加参数规避：

   from selenium.webdriver.chrome.options import Options
   
   options = Options()
   options.add_experimental_option("excludeSwitches", ["enable-automation"])
   options.add_experimental_option('useAutomationExtension', False)
   options.add_argument("--disable-blink-features=AutomationControlled")
   driver = webdriver.Chrome(options=options)
   

3. 等待AJAX请求完成：操作后不要立刻断言结果，用显式等待页面元素变化或加载状态消失，比如等待加载动画消失：

   WebDriverWait(driver, 10).until(
      EC.invisibility_of_element_located((By.CSS_SELECTOR, ".loading-spinner"))
   )
   

内容的提问来源于stack exchange，提问作者DickDickSean