Selenium爬取Conforama商品评论时无法点击下一页按钮技术咨询

• 代码存在逻辑bug：连续两次点击同一个bv_main_container_row_flex评论区切换按钮，该按钮是触发式开关，第一次点击展开评论面板，第二次点击就会把面板重新收起，后续自然找不到分页组件
• 第一个CSS选择器匹配逻辑完全错误：button.bv-content-btn.bv-content-btn-pages.bv-content-btn-pages-last.bv-focusable.bv-content-btn-pages-active 匹配的是当前高亮显示的已激活页码按钮，从定义上就和下一页按钮无关
• 第二个CSS选择器选错交互节点：li.bv-content-pagination-buttons-item.bv-content-pagination-buttons-item-next 匹配的是分页按钮外层的li容器，该节点没有绑定点击交互事件，真正可点击的是li内部的button标签
• 第三个XPATH路径过于脆弱：写死层级的//*[@id="BVRRContainer"]/div/div/div/div/div[3]/div/ul/li[2]/button 没有考虑评论区动态加载时插入的排序、筛选节点，一旦DOM结构偏移，就会定位到错误元素
• 交互逻辑存在缺陷：分页按钮位于页面底部，不在初始视口范围内，Selenium原生点击要求元素处于可视可交互状态，未滚动到元素位置就直接点击会触发交互报错

• 修正Tab点击逻辑，避免重复点击导致评论面板意外收起，通过类名状态判断Tab是否已激活，仅在未激活时执行点击操作
• 替换错误的元素定位规则，采用Bazaarvoice评论系统的稳定语义类名定位下一页按钮，跳过所有外层容器节点，直接定位绑定交互事件的button元素
• 优化点击流程，找到下一页按钮后先通过动作链将元素滚动到可视区域，再触发点击，解决视口外元素交互报错的问题
• 增加JS点击兜底逻辑，应对元素被弹窗、悬浮组件遮挡导致的原生点击失效问题

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains
import time

link = "https://www.conforama.fr/chambre-literie/textile-literie/couette/couette-240x220-cm-2-oreillers-60x60-cm-kit-couette-oreiller/p/473785#productInformations"
driver = webdriver.Chrome(executable_path=r'C:\Users\Desktop\python_export\chromedriver.exe')
driver.get(link)
time.sleep(3)

# 评论区Tab点击逻辑
review_tab = WebDriverWait(driver, 20).until(
    EC.element_to_be_clickable((By.CLASS_NAME, "bv_main_container_row_flex"))
)
# 检查Tab激活状态，避免重复点击收起面板
if "bv-is-active" not in (review_tab.get_attribute("class") or ""):
    review_tab.click()
time.sleep(2)

try:
    # 等待分页组件加载，直接定位可交互的下一页按钮
    next_btn = WebDriverWait(driver, 30).until(
        EC.element_to_be_clickable(
            (By.CSS_SELECTOR, "button.bv-content-btn-pages-next:not([disabled])")
        )
    )
    # 滚动到元素可视区域
    ActionChains(driver).move_to_element(next_btn).perform()
    time.sleep(0.5)
    # 优先原生点击，失败则用JS点击兜底
    try:
        next_btn.click()
    except:
        driver.execute_script("arguments[0].click()", next_btn)
    print("成功触发下一页跳转")
except Exception as e:
    print(f"点击流程报错：{str(e)}")

• 每完成一次翻页，必须等待当前页的评论列表节点加载完成，再重新定位下一页按钮，动态重渲染的页面会让之前获取的元素实例失效
• 下一页按钮处于禁用状态时（即到达最后一页），[disabled] 属性会被加上，对应的CSS选择器会自动跳过这类节点，适配翻页终止的判断逻辑
• 不要依赖固定层级的XPATH定位评论区元素，评论区会根据展示内容动态插入筛选、排序、广告类节点，层级结构随时可能变化

内容的提问来源于stack exchange，提问作者Daisy Lily