Python3 Selenium等待Ajax加载卡片详情的EC方法选择及循环卡死问题

等待逻辑的两处核心错误 #

• CSS选择器语法错误
  你代码中使用的选择器'card-details'，Selenium会理解为匹配标签名为card-details的元素，但你的BS4抓取逻辑是提取class="card-details"的<a>标签，CSS选择器匹配类名必须加前缀.，正确写法应为.card-details。这是无等待逻辑时能正常抓取、加等待就卡住的核心原因：选择器完全匹配不到目标元素，等待一直无法完成。
• WebDriverWait参数单位错误
  Selenium的WebDriverWait构造函数参数规则为：
  WebDriverWait(driver, 超时时间(单位：秒), 轮询间隔(单位：秒))
  你传入的轮询间隔为5000，相当于每5000秒（约83分钟）才检测一次元素状态，完全不符合你注释中“5秒轮询一次”的需求，直接导致程序长时间无响应。

EC预期条件选型说明 #

针对Ajax加载的、需要完整可见的卡片详情元素，你原本选用的visibility_of_all_elements_located是完全合适的：

• 该方法会等待所有匹配选择器的元素同时出现在DOM中、且满足可见条件（宽高大于0、非隐藏样式）后再继续执行，完全匹配你用BS4爬取前的内容就绪校验需求
• 如果你仅需要校验DOM中存在对应元素、不需要等可见，可换用presence_of_all_elements_located，但不推荐用于提取可见内容的场景

循环中断的根源 #

wait.until()超时后会直接抛出TimeoutException，你没有做异常捕获，程序会直接崩溃退出，不会进入下一轮循环。若需要遇到超时仍继续爬取后续页面，可增加基础的异常捕获逻辑。 #

修正后的可运行代码 #

from selenium.common.exceptions import TimeoutException

def spider_me_links(driver, max_pages, links):
    page = 1
    while page <= max_pages:
        url = "https://www.example.com/home/?sort=title&p=" + str(page)
        driver.get(url)
        try:
            # 超时120秒，轮询间隔5秒，匹配注释需求
            wait = WebDriverWait(driver, 120, 5)
            # 精确匹配class为card-details的a标签
            wait.until(EC.visibility_of_all_elements_located((By.CSS_SELECTOR, 'a.card-details')))
        except TimeoutException:
            print(f"第{page}页元素加载超时，跳过继续")
            page += 1
            continue
        
        source_code = driver.page_source
        soup = BeautifulSoup(source_code, 'lxml')
        target_links = soup.findAll('a', {'class' : 'card-details'})
        print("findAll:", len(target_links))
        links += target_links
        page += 1

补充优化建议 #

• 若需要更精确校验Ajax内容加载完成（比如卡片内文本、跳转链接是否渲染），可自定义预期条件：比如等待对应数量的.card-details元素出现，或等待元素的href属性非空
• 不要混用Selenium隐式等待与显式等待，否则会导致等待时长不可控，出现随机超时问题

内容的提问来源于stack exchange，提问作者leeand00