如何为BestBuy评论爬虫实现Selenium多页面分页爬取？

核心思路 #

• 分页规则：目标URL通过page参数控制页码（如page=1、page=2），同时页面底部分页栏的「下一页」按钮会在最后一页时标记为禁用状态，可据此判断是否终止循环。
• 循环逻辑：从第1页开始，爬取当前页评论后，切换至下一页，重复操作直到无更多页面。

具体实现步骤及代码修改 #

1. 基础配置初始化 #

假设你的单页爬虫基础代码如下，先调整URL为可拼接页码的格式：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

# 初始化驱动与等待器
driver = webdriver.Chrome()
wait = WebDriverWait(driver, 10)

# 基础URL，预留页码拼接位
base_url = "https://www.bestbuy.com/site/reviews/bella-pro-series-12-6-qt-digital-air-fryer-oven-stainless-steel/6412331?variant=A&skuId=6412331&page="

2. 分页循环爬取逻辑 #

添加循环结构，完成多页数据爬取：

all_reviews = []
current_page = 1

while True:
    # 访问当前页
    driver.get(f"{base_url}{current_page}")
    # 等待页面加载（也可用显式等待替代固定sleep）
    time.sleep(2)

    # 爬取当前页评论（替换为你原有单页爬取的逻辑）
    try:
        # 等待评论列表加载完成
        review_items = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, ".review-item")))
        
        for item in review_items:
            # 提取评论核心字段（示例，可根据需求调整）
            username = item.find_element(By.CSS_SELECTOR, ".consumer-name").text.strip()
            rating = item.find_element(By.CSS_SELECTOR, ".c-review-average").get_attribute("aria-label")
            content = item.find_element(By.CSS_SELECTOR, ".review-text").text.strip()
            
            all_reviews.append({
                "username": username,
                "rating": rating,
                "content": content,
                "page": current_page
            })
        
        print(f"已完成第{current_page}页爬取，共{len(review_items)}条评论")
    except Exception as e:
        print(f"第{current_page}页爬取失败：{str(e)}")
        break

    # 判断是否存在下一页
    try:
        next_btn = driver.find_element(By.CSS_SELECTOR, ".pagination-next")
        # 检查按钮是否禁用（BestBuy禁用的按钮含`disabled`类）
        if "disabled" in next_btn.get_attribute("class"):
            print("已爬取所有页面，循环终止")
            break
        # 页码递增，进入下一轮循环
        current_page += 1
    except Exception as e:
        print("未找到下一页按钮，循环终止")
        break

# 关闭驱动
driver.quit()

# 结果处理示例
print(f"爬取完成，累计获取{len(all_reviews)}条评论")
# 可将数据导出至文件
# import pandas as pd
# pd.DataFrame(all_reviews).to_csv("bestbuy_airfryer_reviews.csv", index=False)

3. 关键优化点 #

• 优先用显式等待：替换固定time.sleep()为WebDriverWait等待元素加载，提升稳定性，比如等待评论列表出现后再提取数据。
• 反爬应对：BestBuy有反爬机制，可添加随机延迟、更换User-Agent、使用代理IP等，避免被限制访问。
• 异常容错：增加异常捕获，防止单页爬取失败导致整个程序崩溃。
• 页码拼接替代点击：直接修改URL的page参数比点击按钮更稳定，避免定位元素失败的问题，若某一页无评论也可自动终止循环。

内容的提问来源于stack exchange，提问作者user20045377