使用Python Requests携带Cookie仍遇Cookie Banner问题求助

可能的原因 #

• Cookie属性不完整：Selenium中的Cookie包含domain、path、secure等关键属性，你用Requests只传了notice_preferences:2:的键值对，服务器可能因为缺少这些属性而不识别该Cookie。比如如果Cookie的domain设置不对，Requests不会把它正确发送给目标服务器。
• 会话上下文缺失：Selenium访问页面时，服务器会自动生成会话Cookie（比如session_id），你添加自定义Cookie后是在已有会话里请求。而Requests的请求是全新会话，缺少这些隐性的会话Cookie，服务器判断会话不完整，依然返回Cookie横幅。
• 前端动态控制显示：有些网站的Cookie横幅是前端JS根据Cookie判断是否隐藏的，服务器返回的原始HTML里本来就包含这个iframe。Requests只获取静态HTML，不会执行JS，所以你能看到iframe，但实际浏览器里JS会把它隐藏。
• Cookie参数不匹配：Selenium中的Cookie可能带有expires、HttpOnly等参数，Requests未同步这些参数，导致服务器拒绝接受该Cookie。

解决方案 #

• 完整复制Cookie的所有属性：在Selenium中打印出目标Cookie的完整信息（比如用driver.get_cookies()），然后在Requests中构造包含所有属性的Cookie。示例代码：

  import requests
  from requests.utils import add_dict_to_cookiejar
  
  session = requests.Session()
  # 从Selenium复制的完整Cookie字典
  cookie = {
      'name': 'notice_preferences',
      'value': '2:',
      'domain': '.example.com',  # 替换成实际域名
      'path': '/',
      'secure': True,
      # 其他属性如expires等按需添加
  }
  add_dict_to_cookiejar(session.cookies, cookie)
  response = session.get('https://example.com')
  

• 复用Selenium的会话Cookie：让Selenium完成Cookie设置后，导出所有Cookie到Requests的Session中，确保会话上下文一致。示例：

  from selenium import webdriver
  import requests
  
  driver = webdriver.Chrome()
  driver.get('https://example.com')
  # 添加你需要的Cookie
  driver.add_cookie({'name': 'notice_preferences', 'value': '2:', 'domain': '.example.com'})
  driver.refresh()
  # 导出所有Cookie
  selenium_cookies = driver.get_cookies()
  driver.quit()
  
  # 传给Requests Session
  session = requests.Session()
  for cookie in selenium_cookies:
      session.cookies.set(cookie['name'], cookie['value'], domain=cookie['domain'], path=cookie['path'])
  response = session.get('https://example.com')
  

• 处理前端动态渲染：如果是JS控制隐藏横幅，直接用Requests拿静态HTML会看到iframe，这时候可以改用无头浏览器（如Playwright、Pyppeteer）替代Requests，它们会自动执行JS并返回渲染后的页面。
• 模拟完整请求头：除了Cookie，还要带上和浏览器一致的User-Agent、Accept、Referer等请求头，避免网站识别为爬虫而拒绝生效Cookie。比如：

  headers = {
      'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',
      'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8'
  }
  response = session.get('https://example.com', headers=headers)
  

内容的提问来源于stack exchange，提问作者DJM