如何在启用Zyte智能代理管理器（原Crawlera）的Scrapy爬虫中完成身份验证

1. 代理适配登录场景配置校验 #

• 必须开启会话粘性：Zyte Smart Proxy默认每次请求更换出口IP，登录流程要求同一会话的所有请求绑定同一个IP，可在全局配置中添加ZYTE_SMARTPROXY_STATIC_SESSION = True，也可给单个请求的meta参数添加'zyte_smartproxy_static_session': '自定义会话标识'，保证登录请求、后续带登录态的请求复用同一个IP会话。
• 校验地域配置是否匹配：如果目标站点限制登录IP的所属区域，需在ZYTE_SMARTPROXY_GEOLOCATION参数中指定对应地区编码，避免跨地域访问触发站点风控拦截。

2. 请求头与Cookie逻辑排查 #

• 确认Scrapy配置中COOKIES_ENABLED设置为True，保证登录请求返回的Set-Cookie信息会被自动携带到后续请求中。
• 替换默认User-Agent：Zyte代理默认UA可能被部分站点识别为代理流量，可自行配置真实浏览器UA，或开启ZYTE_SMARTPROXY_AUTOBROWSER_UA = True自动生成真实浏览器UA。
• 不要硬编码Cookie值：代理切换会话时，硬编码的Cookie会和当前出口IP不匹配，触发站点的IP-Cookie绑定校验规则，导致登录失效。

3. 反爬拦截排查 #

• 查看登录请求返回状态码：如果返回403/429，说明当前代理IP已被站点标记，可在请求meta中添加'zyte_smartproxy_session': None强制更换新IP后重试登录。
• 如果返回人机校验/验证码页面，可开启代理自动验证码处理功能，在配置中添加ZYTE_SMARTPROXY_ENABLE_CAPTCHA_SOLVING = True。

4. 本地逻辑校验 #

• 临时关闭代理，使用本地IP测试登录流程是否正常运行，排除是登录逻辑本身的代码BUG，再定位代理相关问题。
• 开启Scrapy Debug日志，配置LOG_LEVEL = 'DEBUG'，查看登录请求的返回内容、代理连接日志，确认是代理连接失败还是站点返回了登录失败的业务响应。

内容的提问来源于stack exchange，提问作者Danil