如何配置Scrapy以抓取所有不同主机名(如www2.example.com)的站点?
Scrapy 跨子域抓取被OffsiteMiddleware拦截的解决方案
枚举域名变体方案的可行性验证
你提到的「将所有目标域名变体逐一填入allowed_domains列表」的方案是完全可行的:只要某台主机的完整域名被列入列表,OffsiteMiddleware就会正常放行对应主机的请求,不会出现误拦截。
但这个方案存在明显的维护弊端:
- 需要提前掌握目标站点所有可能的主机名前缀
- 若站点后续新增www3、api、cdn这类未提前枚举的主机名,请求仍会被自动拦截,需要手动补充列表
更优的配置方式
OffsiteMiddleware的核心放行规则是只要请求主机名的后缀与allowed_domains列表中的某一条目完全匹配,即判定为站内请求予以放行,这也是很多人对配置规则产生误解的来源:
不同填写内容的匹配效果对比:
- 若你在
allowed_domains中填写带主机前缀的完整域名(如www.example.com):仅会放行主机名后缀为www.example.com的请求,例如bob.www.example.com可以正常通过,但www2.example.com、api.example.com这类后缀不同的主机会被判定为站外请求拦截——这也是你之前遇到www1、www2主机名被跳过的核心原因- 若你在
allowed_domains中填写不带任何主机前缀的根域(如example.com):会放行所有主机名后缀为example.com的请求,不管是www、www1、www2、cdn还是任意自定义前缀的子域,都不会被拦截
针对你提到的花旗澳洲站跳转场景,只需要在spider中做如下配置:
allowed_domains = ["citibank.com.au"]
不需要逐一枚举所有带数字前缀的主机名,即可一次性覆盖所有同根域下的任意子域请求,哪怕站点后续新增更多主机节点,也不需要修改配置。
配置注意事项
- 填入
allowed_domains的内容仅保留纯域名后缀即可,不要添加https://协议头、路径、端口等额外内容,否则会导致匹配逻辑完全失效 - 如果站点存在跨根域的跳转(例如从
citibank.com.au跳转到citibank.com.sg),只需要将对应跳转的根域补充进列表即可,依然不需要枚举子域变体 - 该配置完全兼容重定向场景:OffsiteMiddleware会在重定向后自动校验新请求的主机名,只要匹配根域规则,就不会拦截跳转后的请求
内容的提问来源于stack exchange,提问作者Ger
相关产品推荐
相关产品推荐

