Selenium爬取遇ElementClickInterceptedException及移除BeautifulSoup求助

原代码问题分析 #

• 冗余依赖：使用requests+BeautifulSoup解析页面完全多余，Selenium已经持有当前浏览器的DOM上下文，且requests请求的页面未携带浏览器中的登录cookie，解析结果和浏览器实际显示内容不一致。
• 元素点击未做前置处理：直接调用click()前未等待元素可交互，也未将元素滚动到可视区域，导致元素被页面其他元素（如底部导航、弹窗）遮挡，触发ElementClickInterceptedException。
• XPath语法错误：代码中XPath里的"是HTML转义字符，实际应使用单引号或双引号，否则会导致元素定位失败。
• 异常处理逻辑不合理：捕获异常后直接递归调用load()，容易引发无限循环或重复执行错误操作。

移除BeautifulSoup的优化代码 #

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.action_chains import ActionChains
import pandas as pd
import csv

# 初始化浏览器
driver_path = 'C:/Users/adith/Downloads/chromedriver_win32/chromedriver.exe'
brave_path = 'C:/Program Files/BraveSoftware/Brave-Browser/Application/brave.exe'
option = webdriver.ChromeOptions()
option.binary_location = brave_path
browser = webdriver.Chrome(executable_path=driver_path, options=option)
browser.get('https://www.dell.com/community/Laptops/ct-p/Laptops')

# 添加cookie并刷新生效
cookies = {
    'lithiumLogin:vjauj58549': '~2TtiW3OEsenvCn5Ir~fBcCal7YbmhAmxNWLe4LgaSRCss_g69Gqm2CAs-fDA_FtccFLDK3AoWuzXHz72fb'
}
for name, value in cookies.items():
    browser.add_cookie({'name': name, 'value': value})
browser.refresh()

def load_more_content():
    count = 0
    wait = WebDriverWait(browser, 10)
    while count <= 12:  # 限制最多点击12次
        try:
            # 等待"Load more"按钮可见并可交互
            load_more_btn = wait.until(
                EC.element_to_be_clickable((By.ID, 'btn-load-more'))
            )
            # 将按钮滚动到可视区域，避免被遮挡
            browser.execute_script("arguments[0].scrollIntoView({block: 'center'});", load_more_btn)
            # 用ActionChains执行点击，提升稳定性
            ActionChains(browser).click(load_more_btn).perform()
            count += 1
            # 等待新内容加载完成
            wait.until(EC.staleness_of(load_more_btn))
        except Exception as e:
            print(f"加载中断：{str(e)}")
            break

# 执行加载操作
load_more_content()

# 后续可直接用Selenium定位元素提取数据，示例：
# titles = browser.find_elements(By.CSS_SELECTOR, '.lia-link-navigation')
# for title in titles:
#     print(title.text)

# 关闭浏览器
browser.quit()

优化点说明 #

• 彻底移除requests和BeautifulSoup，全程使用Selenium API处理页面交互与元素操作。
• 用WebDriverWait等待元素可交互，避免页面未加载完成导致的定位失败。
• 通过scrollIntoView将按钮滚动到可视区域，解决元素被遮挡的核心问题。
• 使用ActionChains执行点击，比直接调用click()更适配复杂页面交互场景。
• 优化循环与异常处理，限制最大点击次数，异常时直接终止循环，避免无效重试。
• 修正cookie添加逻辑，确保cookie生效。

内容的提问来源于stack exchange，提问作者Adithya Jere