Trustpilot评论爬虫分页失效:爬取DoorDash多页评论仅返回首页内容
问题定位与修复方案
核心失效原因
- 变量错位导致解析逻辑与请求结果脱节:原代码循环中直接把
requests.get()的返回结果赋值给了存页码的临时变量page,但后续状态码判断、HTML解析流程中,引用的是从未在循环内被赋值的全局response对象——这个对象残留的是前期测试时请求第一页存下的内容,无论循环实际请求了多少个不同页码的URL,解析流程始终读取的是同一份第一页的内容,自然只返回第一页的评论。 - 缺少基础反爬标识:原代码请求时未携带浏览器
User-Agent头,Trustpilot会对无正常客户端标识的爬虫请求统一返回第一页的静态内容,哪怕URL拼接了正确的分页参数,服务器也不会返回对应页码的内容。
具体修复操作
- 拆分变量命名:将循环中的页码标识与请求响应对象的命名完全区分,不要让临时变量覆盖原有的页码值,每次请求的结果单独赋值给
response对象供后续解析调用。 - 请求时添加模拟浏览器的请求头:至少携带
User-Agent字段匹配正常浏览器的请求标识,避免被服务器反爬逻辑拦截、返回固定内容。 - 优化冗余判断逻辑:原代码中
if len(nv) == True的写法可以简化为if nv,避免长度判断的逻辑偏差。
修正后的核心代码
import numpy as np from time import sleep, randint import requests from bs4 import BeautifulSoup import json review_text=[] review_score=[] review_date=[] review_title=[] # 模拟正常浏览器请求头 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36" } pages = np.arange(1, 10, 1) for current_page in pages: # 单独拼接分页URL,不覆盖页码变量 request_url = f"https://www.trustpilot.com/review/doordash.com?page={current_page}" response = requests.get(request_url, headers=headers) sleep(randint(2,10)) if response.status_code == 200: soup = BeautifulSoup(response.text, "html.parser") # 原有解析逻辑保留 for rev in soup.find_all('div',class_="review-content"): nv = rev.find_all('p',class_= 'review-content__text') review = rev.p.text.strip() if nv else '-' review_text.append(review) date_json = json.loads(rev.find('script').string) date = date_json['publishedDate'] review_date.append(date) for rev in soup.find_all('div',class_='star-rating star-rating--medium'): review_score.append(rev.find('img').get('alt')) for rev in soup.find_all('h2',class_='review-content__title'): review_title.append(rev.text.strip()) else: print(f"请求第{current_page}页失败,状态码:{response.status_code}")
内容的提问来源于stack exchange,提问作者Adorable
相关产品推荐
相关产品推荐

