使用requests爬虫沃尔玛时session cookies传递失败返回403如何解决

问题根本原因 #

仅请求沃尔玛首页HTML只能拿到初始基础cookie，完整的校验cookie是页面加载过程中通过内嵌JS、异步反爬接口、静态资源请求逐步下发的，缺少任意核心校验字段都会触发反爬规则返回403。

可落地解决步骤 #

• 纯requests实现方案

  1. 打开浏览器F12网络面板，勾选「保留日志」，清空现有日志后重新访问沃尔玛首页，等待页面完全加载完成
  2. 过滤掉图片、字体、视频类媒体资源，按请求发起时间排序，按顺序模拟前10-20个非媒体请求，全程使用同一个requests.Session()实例，session会自动存储所有接口返回的cookie，无需手动处理
  3. 所有模拟请求的请求头要和浏览器实际发起的请求头完全对齐，重点检查User-Agent、Accept、Accept-Language、Referer、sec-ch-ua系列字段，禁止使用requests默认的UA字段
  4. 攒齐完整cookie后再发起搜索接口请求，搜索接口的请求头、参数也要和抓包得到的内容保持一致

• 无头浏览器实现方案（开发成本更低）

  直接使用playwright或selenium启动无头浏览器，先访问沃尔玛首页等待3-5秒让页面完成所有资源加载和反爬校验，再直接调用搜索接口或者模拟用户输入关键词点击搜索按钮即可。浏览器会自动处理所有cookie生成、参数加密逻辑，基本不会触发403，适合不想处理复杂反爬逆向的场景。

• 额外排查点

  如果完成以上操作还是返回403，检查搜索接口的URL参数或POST payload中是否存在sign、signature、_v、timestamp这类动态参数，这类参数通常由前端JS运算生成，需要逆向对应的JS文件实现相同的生成逻辑，随请求一起携带即可通过校验。

内容的提问来源于stack exchange，提问作者Volatil3