如何将JSON格式Cookie适配Python requests库实现网站登录
你手里的这份Cookie文件是浏览器扩展导出的通用JSON格式,和Requests原生的Cookie存储格式不兼容,需要做格式转换、过期过滤之后才能正常复用登录态,具体操作流程如下:
前期预处理本地Cookie文件
- 先修正文件语法错误:你提供的示例JSON存在格式问题——第二条Cookie的value字段缺失闭合引号、数组末尾也缺少收尾的
]符号,先用JSON校验工具把文件调整到可被json.load()正常解析的状态,避免读文件阶段直接报错。 - 清理过期Cookie:文件里的
expirationDate字段是Unix时间戳,和当前系统时间戳对比,把值小于当前时间的过期Cookie条目全部删掉,携带过期Cookie发起的请求会直接被服务器判定为无效登录态。
格式转换为Requests可识别的Cookie结构
Requests提供了专门的RequestsCookieJar对象来管理Cookie的域名、路径匹配规则,比手动拼Cookie头的兼容性高很多,转换逻辑的完整代码如下:
import json import time import requests from requests.cookies import RequestsCookieJar # 读取本地存储的cookie.json with open("cookie.json", "r", encoding="utf-8") as f: raw_cookie_list = json.load(f) # 初始化空的Cookie容器 cookie_container = RequestsCookieJar() current_timestamp = int(time.time()) # 逐条转换Cookie,跳过无效/过期条目 for cookie_item in raw_cookie_list: # 跳过已过期的Cookie if cookie_item.get("expirationDate") and cookie_item["expirationDate"] < current_timestamp: continue # 把单条Cookie写入容器,兼容带前导点的域名格式 cookie_container.set( name=cookie_item["name"], value=cookie_item["value"], domain=cookie_item["domain"].lstrip("."), path=cookie_item.get("path", "/") )
挂载Cookie到会话发起登录态请求
不要在单个请求里手动拼接Cookie头,用Requests的Session对象持久化整个请求上下文,稳定性会高很多,后续所有同域名的请求都会自动携带处理好的登录Cookie:
# 初始化持久化会话 login_session = requests.Session() # 将处理好的Cookie容器挂载到会话上 login_session.cookies = cookie_container # 补充基础请求头,避免被网站WAF识别为爬虫拦截 login_session.headers.update({ "User-Agent": "你平时导出Cookie时使用的浏览器UA字符串" }) # 直接发起需要登录权限的请求即可 test_resp = login_session.get("https://example.com/需要登录的页面地址", timeout=10) # 校验请求结果 print(f"请求状态码:{test_resp.status_code}")
常见踩坑提醒
- 不要简单转成字典传Cookie:如果直接把所有Cookie的name和value拼成
{name: value}的字典传给请求,会丢失domain、path的匹配规则,遇到同域下不同路径的Cookie冲突、跨子域Cookie匹配错误的问题时,会出现明明Cookie正确但登录态失效的情况。 - 注意时间戳单位差异:部分浏览器导出的Cookie过期时间是毫秒级单位,如果对比时间的时候发现时间差了几十年,就把读取到的
expirationDate值除以1000,再和当前秒级时间戳对比。 - 检查重复Cookie条目:你提供的示例里存在两条同域名、同名称的Cookie,这种重复条目会在Jar里被后者覆盖,提前在本地JSON里清理冗余条目,减少不必要的请求开销。
内容的提问来源于stack exchange,提问作者Santryx
相关产品推荐
相关产品推荐

