使用Selenium+Python爬取CarMax：无法定位shadow-root内的加载更多按钮

你的核心问题是两个：一是直接查找元素时页面还没加载完成，二是选择器没有精准定位到按钮元素（比如你之前用的XPath误选了文本节点而非按钮标签）。下面是具体的解决步骤：

1. 为什么之前的XPath会报错？ #

你复制的//*[@id="see-more"]/div/hzn-button/text()指向的是按钮里的文本内容，不是按钮元素本身，所以会提示"invalid selector"。必须定位到<button>标签才能执行点击操作。

2. 改用显式等待+可靠选择器 #

页面加载需要时间，直接调用find_element会因为元素未渲染完成抛出NoSuchElementException。用WebDriverWait等待元素可点击，同时用更稳定的选择器定位按钮：

完整可运行代码 #

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
import time

website = 'https://www.carmax.com/cars/all'
service = webdriver.ChromeService(executable_path='/Users/apple/Downloads/chromedriver-mac-arm64/chromedriver')
driver = webdriver.Chrome(service=service)
driver.get(website)

# 先处理Cookie弹窗（如果页面出现）
try:
    cookie_btn = WebDriverWait(driver, 5).until(
        EC.element_to_be_clickable((By.XPATH, "//button[text()='Accept All']"))
    )
    cookie_btn.click()
except:
    pass  # 没有弹窗就跳过

# 循环点击按钮直到全部结果加载完成
while True:
    try:
        # 等待"See More Matches"按钮出现并可点击
        see_more_btn = WebDriverWait(driver, 10).until(
            EC.element_to_be_clickable((By.XPATH, "//button[text()='See More Matches']"))
        )
        # 滚动到按钮位置，避免被页面元素遮挡
        driver.execute_script("arguments[0].scrollIntoView({block: 'center'});", see_more_btn)
        time.sleep(1)
        see_more_btn.click()
        time.sleep(3)  # 等待新结果加载，可根据网速调整时长
    except:
        # 按钮消失说明所有结果已加载完成
        print("全部结果加载完毕")
        break

# 后续爬取车辆数据的代码写在这里...

关键注意事项 #

• 调整time.sleep()时长：网速慢就延长等待时间，避免因结果未加载完重复点击导致错误。
• 反爬规避：频繁点击可能触发网站反爬机制，可适当增加等待间隔，或者模拟人类操作节奏。
• 选择器备选：如果按文本查找失效，可改用按钮的class属性（比如查看按钮的class后，用By.CSS_SELECTOR定位："hzn-button > button"）。

内容的提问来源于stack exchange，提问作者dataguyfml