如何使用Python爬取Bestbuy的笔记本顾客产品评论？

核心常见失败原因 #

• 错误解析页面静态源码：Bestbuy的评论区完全通过前端异步接口加载，初始返回的商品静态HTML中不存在任何评论相关的DOM节点，直接解析源码当然拿不到内容。正确的定位方式是打开开发者工具的「网络」面板，过滤review类请求，切换到评论标签页时就能捕获到独立的评论结构化接口，返回内容为标准化JSON格式，无需从DOM中逐字段提取。
• 请求校验不通过被拦截：Bestbuy对评论接口有严格的请求头和来源校验，裸请求大概率会被重定向至地区提示页、或者返回空数据：
  • 必须携带和当前商品页完全匹配的Referer请求头，否则接口会直接拒绝返回内容
  • 搭配对应美区的代理IP发起请求，国内直连的IP段会被直接拦截，无法加载真实评论模块
  • 请求头中的User-Agent需要和真实浏览器标识保持一致，不能用爬虫框架默认的UA
• 接口参数传值错误：评论接口没有固定的公开路径，必须携带核心参数才能返回有效数据：
  • 从商品页嵌入的JS变量中提取对应商品的SKU ID，这是定位评论所属商品的必填参数
  • 分页参数需匹配接口规则，单页最大返回20条评论，设置超过阈值的pageSize会直接触发参数校验失败
  • 高频无间隔请求会触发临时限流，此时接口会返回空的评论列表，保持2-3秒的单请求间隔即可正常拿到数据

实操注意事项 #

• 爬取过程中不要突破合理请求频率，避免对站点服务造成非正常压力
• 收集的评论数据仅可用于个人用户反馈分析的学术用途，禁止商用或未经授权二次分发

内容的提问来源于stack exchange，提问作者Siddharth Agrawal