多页面下使用Selenium通过XPath定位重复ID元素的问题

你的XPath逻辑有误——你写的//*[text()[contains(.,id='card')]]是在找**文本内容里包含id='card'**的元素，而不是元素的ID属性包含card，这才导致定位失败。下面是正确的解决方法：

正确的元素定位方式 #

要定位所有ID以card开头的元素，推荐两种简洁高效的方式：

1. XPath定位 #

使用starts-with匹配ID属性的开头：

# 获取当前页面所有符合条件的元素（注意是find_elements复数形式）
cards = driver.find_elements(By.XPATH, "//*[starts-with(@id, 'card')]")

2. CSS选择器定位（更推荐） #

CSS选择器中[id^='card']表示ID以card开头的元素，语法更简洁：

cards = driver.find_elements(By.CSS_SELECTOR, "[id^='card']")

分页爬取的完整流程 #

因为每页的ID会重复，需要分页面处理，爬完一页后切换到下一页再重新定位元素：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get("你的目标网站URL")

# 循环处理分页，直到没有下一页
while True:
    # 等待当前页的card元素加载完成（避免页面未加载完就定位）
    cards = WebDriverWait(driver, 10).until(
        EC.presence_of_all_elements_located((By.CSS_SELECTOR, "[id^='card']"))
    )
    
    # 遍历处理每个card的信息
    for card in cards:
        # 示例：提取card的文本内容，可根据需求修改
        print(card.text)
        # 若要提取内部子元素，比如标题：card.find_element(By.XPATH, ".//h3").text
    
    # 尝试点击下一页按钮
    try:
        # 这里的下一页按钮定位需要根据实际网站调整，比如用文本、class等
        next_btn = driver.find_element(By.XPATH, "//a[contains(text(), '下一页')]")
        # 等待按钮可点击后再点击
        WebDriverWait(driver, 5).until(EC.element_to_be_clickable(next_btn))
        next_btn.click()
        # 等待页面切换完成（旧页面的元素失效，说明新页面已加载）
        WebDriverWait(driver, 10).until(EC.staleness_of(cards[0]))
    except:
        # 没有下一页或点击失败，退出循环
        break

driver.quit()

关键注意事项 #

• 必须用find_elements（复数）而不是find_element（单数），这样才能获取当前页所有的card元素。
• 分页切换后一定要等待页面加载完成，否则会出现StaleElementReferenceException（元素已失效），可以用WebDriverWait等待旧元素失效或新元素出现。
• 下一页按钮的定位方式需要根据目标网站的实际HTML结构调整，比如有的网站用button标签、有的用a标签，可能需要通过class属性定位（如By.CLASS_NAME, "next-page"）。

内容的提问来源于stack exchange，提问作者Arthur