Scrapy shell请求返回403错误的排查与解决方法

安全阿岳

2026-8-27

Scrapy爬取房产站点返回403的排查方向与解决方案

补全缺失的必要请求头
之前仅传递cookie和user-agent的方式已经无法适配站点升级后的反爬规则，站点现在会校验referer、accept、accept-language、accept-encoding、sec-ch-ua、sec-fetch-*系列的全量浏览器特征头。直接从浏览器开发者工具的请求头板块复制匹配目标域名的全部请求头即可。注意不要复制:authority这类HTTP/2伪头，这类头会由Scrapy自动生成，手动添加反而容易触发校验异常。
修复TLS指纹不匹配问题
Scrapy默认HTTP客户端的TLS握手指纹和真实Firefox、Chrome浏览器差异极大，目前主流反爬系统都会通过JA3指纹识别爬虫客户端。可以替换下载器为scrapy-playwright或者基于curl_cffi的请求组件，这类组件可以完美模拟真实浏览器的TLS握手特征，绕过基于传输层特征的反爬拦截。如果使用无头浏览器模式，记得关闭webdriver标识，避免被页面检测到无头环境特征。
校验Cookie的完整性与绑定关系
*你之前代码里粘贴的Cookie存在明显截断（criteria字段后带有省略号），字段缺失会直接触发拦截。*另外站点现在的反爬Cookie普遍和访问IP、TLS指纹绑定，如果你在本地浏览器生成Cookie后，换用其他出口IP、其他请求客户端发起请求，哪怕Cookie是刚复制的也会直接失效。注意不要遗漏_abck、bm_sz这类反爬系统自动生成的校验Cookie，这类字段有效期短，是拦截判断的核心依据。
排查出口IP封禁问题
如果请求使用的出口是机房IP、已被标记的代理IP，哪怕所有请求参数完全正确也会直接返回403。排查时可以先用同一个出口IP在普通浏览器手动访问目标URL，如果浏览器也无法正常加载页面，说明IP已被封禁，更换住宅代理IP即可恢复。
模拟真实用户访问路径
不要首次请求就直接打向搜索列表页，先请求站点首页，等待站点自动种下第一方Cookie后，再跳转至搜索结果页，和普通用户的访问路径保持一致。跳过前置访问步骤直接请求列表页，触发反爬规则的概率会高很多。

快速验证技巧：可以先把浏览器中正常加载页面的请求导出为cURL格式，转换为代码跑通后确认所有必填参数，再迁移到Scrapy逻辑中，不需要盲目猜测必填字段。

补全请求头的最小参考示例：

url = 'https://www.realtor.com/realestateandhomes-search/McLean_VA/type-single-family-home/pg-1?pos=39.126499,-77.43902,38.685678,-76.779841,11&qdm=true'
headers = {
    "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:102.0) Gecko/20100101 Firefox/102.0",
    "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8",
    "accept-language": "zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3",
    "accept-encoding": "gzip, deflate, br",
    "referer": "https://www.realtor.com/",
    "upgrade-insecure-requests": "1",
    "sec-fetch-dest": "document",
    "sec-fetch-mode": "navigate",
    "sec-fetch-site": "same-origin",
    "sec-fetch-user": "?1",
    "cookie": "替换为从浏览器复制的完整无截断Cookie"
}
fetch(scrapy.Request(url=url, headers=headers))

内容的提问来源于stack exchange，提问作者Michael Boles