Zillow爬虫headers获取方法及请求头使用场景判定问题咨询

• 浏览器开发者工具：打开Chrome、Firefox等浏览器的F12控制台，切换到「网络」面板，刷新Zillow页面后筛选对应域名的请求，点击请求详情即可查看完整的「请求头」字段，直接复制需要的参数即可，最常用的必填参数包括User-Agent、Referer、Cookie、Accept这几类，是当前最准确、最常用的获取方式。
• 第三方抓包工具：如果需要获取APP端的请求头，或者站点有复杂的跳转逻辑，可以用Fiddler、Charles这类抓包工具捕获设备的全量流量，从中提取对应请求的头信息。
• 公开的请求头模板：可以参考网络上公开的常用浏览器请求头模板，但这类通用模板容易被反爬规则识别，复用性较低，仅可作为临时测试使用。

判定是否需要携带请求头的方法 #

• 最简访问测试：首先用requests.get(url)不带任何请求头发起请求，查看返回结果：如果状态码为200，且返回的页面内容和浏览器正常访问的内容一致，说明不需要携带请求头；如果返回403、503等错误码，或者返回验证码、人机校验、访问拒绝等异常内容，就需要补充请求头参数。
• 对比删减测试：如果最简访问异常，可以先把抓包拿到的所有请求头全部带上，确认能正常访问后再逐个删除参数测试，就能定位出哪些是站点校验的必填请求头。

不同站点校验差异的原因 #

• 反爬策略严格程度不同：Zillow这类房产数据商业价值高、爬取需求量大的站点，反爬规则更严格，会校验请求头的多个字段来识别非浏览器的爬虫请求，一旦识别到异常就直接拦截；而Cars.com的反爬策略相对宽松，没有做基础的请求头校验，所以不带请求头的裸请求也能正常获取数据。
• 站点业务定位不同：面向公共服务、公开数据的站点一般不会限制基础访问请求，而以数据为核心商业资产的站点，会设置多层校验规则避免数据被批量爬取。
• 请求资源类型不同：静态公开资源（如公开图片、静态资讯页面）一般不需要请求头校验，而动态数据接口、付费/敏感数据相关的请求，校验规则会严格很多。

内容的提问来源于stack exchange，提问作者Hary2