Python抓取每次需登录的网站时携带cookie仍请求失败如何解决？

• 优先使用requests.Session()管理会话
  不要手动提取、传递cookie，Session实例会自动承接全链路请求的cookie、上下文头信息，避免手动拼接遗漏。标准用法参考：

  import requests
  
  # 初始化会话实例
  session = requests.Session()
  # 第一步先请求登录页，初始化基础cookie、提取表单隐藏字段
  login_page_resp = session.get("你的登录页URL", headers=和浏览器对齐的请求头)
  # 此处可从login_page_resp.text中提取登录表单的隐藏字段，比如csrf_token、timestamp等
  login_post_data = {
      "username": "账号",
      "password": "密码",
      "csrf_token": "从登录页提取的csrf值",
      # 抓包登录请求的所有参数，哪怕没有「保持登录」勾选框，也要原样提交类似remember=0的默认参数，不要遗漏
  }
  # 提交登录请求
  session.post("登录接口请求URL", headers=登录请求头, data=login_post_data)
  # 登录完成后直接用session发起目标页请求，无需手动携带cookies参数
  target_resp = session.get("需登录访问的目标URL", headers=目标页请求头)
  

• 全量对齐请求头参数
  多数站点会校验Referer、Origin、X-CSRFToken、X-Requested-With等请求头字段，仅携带User-Agent会被拦截，需和浏览器实际发起的请求头完全一致。
• 校验请求访问顺序
  部分站点有请求链路校验逻辑，登录成功后不能直接跳转访问目标页面，需要完全模拟浏览器的访问顺序，先访问首页、用户中心等中间页后，再发起目标页请求。
• 复杂校验场景使用自动化模拟工具
  如果站点存在JS动态生成请求签名、动态Cookie的逻辑，无需强行逆向JS，直接使用Playwright、Selenium等浏览器自动化工具模拟真人操作登录后提取页面内容，可绕过绝大多数登录态校验。

内容的提问来源于stack exchange，提问作者Ryan Crenny