Azure App Service部署后请求Cookie失效（本地运行正常）

1. Cookie的环境绑定问题 #

很多网站的Cookie会与客户端IP、User-Agent、浏览器指纹等环境信息绑定，你本地Chrome获取的Cookie在Azure服务器的IP环境下可能直接失效。即使更换Cookie，如果还是在本地获取的，依然会因为环境不匹配被拒绝。

• 解决：在Azure环境中模拟Chrome请求获取Cookie（比如用selenium+headless Chrome在Azure容器中运行，确保IP和环境一致）；或者检查Cookie的属性，确认是否包含SameSite、Secure、HttpOnly等限制，调整请求是否符合要求（比如目标网站要求HTTPS的话，Secure属性的Cookie只能在HTTPS请求中携带）。

2. 请求头缺失关键字段 #

你的代码只设置了User-Agent和Cookie，但Chrome发起请求时会自动携带很多其他头信息（比如Referer、Accept、Accept-Language、Accept-Encoding等），目标网站可能依赖这些头验证请求合法性，Azure环境下缺失这些头会被判定为异常请求。

• 代码修改建议：补充完整请求头，模拟Chrome的真实请求：

def login(self, url):
    headers = {
        'User-Agent': self.user_agent,
        'Cookie': self.cookie,
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
        'Accept-Encoding': 'gzip, deflate, br',
        'Referer': url,
        'Connection': 'keep-alive',
        'Upgrade-Insecure-Requests': '1'
    }
    session = requests.Session()
    response = session.get(url, headers=headers)
    # 修正编码处理方式
    response.encoding = 'utf-8'
    if response.status_code != 200:
        # 打印更多日志辅助排查
        print(f'WARNING: Login Failed!! Status Code: {response.status_code}')
        print(f'Response Content Preview: {response.text[:500]}')
    return response

3. Azure出站IP被目标网站拦截 #

你调整的是Azure App Service的入站IP，但爬虫是向目标网站发起出站请求，使用的是Azure App Service的出站IP地址（可在Azure门户的App Service -> 网络 -> 出站IP地址中查看）。如果目标网站将这些IP加入了黑名单，就会拒绝请求。

• 解决：
  • 确认目标网站的IP限制规则，检查Azure出站IP是否在黑名单中；
  • 使用Azure虚拟网络（VNet）配置自定义出站IP，或通过代理服务转发请求；
  • 若目标网站支持，改用API密钥替代Cookie登录，规避IP限制问题。

4. Cookie格式或存储问题 #

检查self.cookie的字符串格式是否正确，必须是key1=value1; key2=value2的格式，无多余空格或转义字符。如果Cookie是从环境变量读取的，要确认Azure环境变量是否正确设置，未被截断或转义。

• 排查：在Azure环境中打印self.cookie的内容，确认与本地一致。

5. Scrapy与requests混用的潜在问题 #

你继承了scrapy.Spider，却手动使用requests.Session发起请求，这会导致Scrapy的内置请求处理机制（如代理、重试、Cookie管理）无法生效，同时Azure的网络配置可能仅对Scrapy请求生效，对requests请求不生效。

• 解决：改用Scrapy的Request对象处理登录，利用内置的Cookie管理机制：

def start_requests(self):
    yield scrapy.Request(
        url=self.link,
        headers={'User-Agent': self.user_agent},
        cookies=self.parse_cookie_string(self.cookie),
        callback=self.check_login
    )

def parse_cookie_string(self, cookie_str):
    # 将Cookie字符串转换为Scrapy所需的字典格式
    cookies = {}
    for item in cookie_str.split(';'):
        item = item.strip()
        if '=' in item:
            key, value = item.split('=', 1)
            cookies[key] = value
    return cookies

def check_login(self, response):
    if response.status_code != 200:
        print('WARNING: Login Failed!!')
    # 后续业务逻辑

内容的提问来源于stack exchange，提问作者jinwei Zhang