You need to enable JavaScript to run this app. Trustpilot评论爬虫分页失效:爬取DoorDash多页评论仅返回首页内容
优惠活动
大模型
产品
解决方案
定价
更多

Trustpilot评论爬虫分页失效:爬取DoorDash多页评论仅返回首页内容

问题定位与修复方案

核心失效原因

  • 变量错位导致解析逻辑与请求结果脱节:原代码循环中直接把requests.get()的返回结果赋值给了存页码的临时变量page,但后续状态码判断、HTML解析流程中,引用的是从未在循环内被赋值的全局response对象——这个对象残留的是前期测试时请求第一页存下的内容,无论循环实际请求了多少个不同页码的URL,解析流程始终读取的是同一份第一页的内容,自然只返回第一页的评论。
  • 缺少基础反爬标识:原代码请求时未携带浏览器User-Agent头,Trustpilot会对无正常客户端标识的爬虫请求统一返回第一页的静态内容,哪怕URL拼接了正确的分页参数,服务器也不会返回对应页码的内容。

具体修复操作

  • 拆分变量命名:将循环中的页码标识与请求响应对象的命名完全区分,不要让临时变量覆盖原有的页码值,每次请求的结果单独赋值给response对象供后续解析调用。
  • 请求时添加模拟浏览器的请求头:至少携带User-Agent字段匹配正常浏览器的请求标识,避免被服务器反爬逻辑拦截、返回固定内容。
  • 优化冗余判断逻辑:原代码中if len(nv) == True的写法可以简化为if nv,避免长度判断的逻辑偏差。

修正后的核心代码

import numpy as np
from time import sleep, randint
import requests
from bs4 import BeautifulSoup
import json

review_text=[]
review_score=[]
review_date=[]
review_title=[]

# 模拟正常浏览器请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36"
}

pages = np.arange(1, 10, 1)
for current_page in pages:
    # 单独拼接分页URL,不覆盖页码变量
    request_url = f"https://www.trustpilot.com/review/doordash.com?page={current_page}"
    response = requests.get(request_url, headers=headers)
    sleep(randint(2,10))

    if response.status_code == 200:
        soup = BeautifulSoup(response.text, "html.parser")
        # 原有解析逻辑保留
        for rev in soup.find_all('div',class_="review-content"):
            nv = rev.find_all('p',class_= 'review-content__text')
            review = rev.p.text.strip() if nv else '-'
            review_text.append(review)            
            date_json = json.loads(rev.find('script').string)
            date = date_json['publishedDate']
            review_date.append(date)
        for rev in soup.find_all('div',class_='star-rating star-rating--medium'):
            review_score.append(rev.find('img').get('alt'))
        for rev in soup.find_all('h2',class_='review-content__title'):
            review_title.append(rev.text.strip())
    else:
        print(f"请求第{current_page}页失败,状态码:{response.status_code}")

内容的提问来源于stack exchange,提问作者Adorable

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.30 23:27:01