如何将Python3 urllib的Cookie保存到文件中

问题背景 #

要在代码多次执行间存储复用Cookie，使用urllib库时，直接用CookieJar无法通过pickle序列化，FileCookieJar作为抽象类调用save()会触发NotImplementedError，需要使用LWPCookieJar子类来实现。

完整实现代码 #

1. 初始化CookieJar并加载已有Cookie

import http.cookiejar
import urllib.request

# 初始化LWPCookieJar，指定Cookie存储文件路径
cookie_jar = http.cookiejar.LWPCookieJar("persistent_cookies.lwp")

# 尝试加载已保存的Cookie文件
try:
    # ignore_discard=True: 保存/加载本应被丢弃的会话Cookie
    # ignore_expires=True: 忽略Cookie过期状态，加载后会自动校验有效性
    cookie_jar.load(ignore_discard=True, ignore_expires=True)
except FileNotFoundError:
    # 首次运行文件不存在，直接跳过加载
    pass

# 构建带Cookie处理器的opener并全局安装
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie_jar))
urllib.request.install_opener(opener)

2. 发送请求（自动携带Cookie）

# 示例：请求目标站点，Cookie会自动从jar中读取并携带
response = urllib.request.urlopen("https://your-target-site.com")
# 处理响应内容
content = response.read().decode("utf-8")

3. 请求完成后保存Cookie到文件

# 将当前jar中的Cookie保存到文件，参数含义同load方法
cookie_jar.save(ignore_discard=True, ignore_expires=True)

关键说明 #

• LWPCookieJar的作用：它是FileCookieJar的具体子类，实现了标准LWP格式的Cookie文件读写逻辑，解决了抽象类无法直接使用的问题。
• 参数解释：
  • ignore_discard=True：确保会话型Cookie（通常关闭浏览器即失效）也能被保存，实现跨执行复用会话。
  • ignore_expires=True：允许保存已过期的Cookie，下次加载时urllib会自动判断是否仍有效，无需手动清理。
• 为什么不用pickle：CookieJar内部包含_thread.RLock线程锁对象，这类对象无法被pickle序列化，因此官方推荐使用文件存储方案。

内容的提问来源于stack exchange，提问作者Adam Smooch