使用pickle序列化Tweepy Response时遇RecursionError问题求助

使用Tweepy 4.14获取推文，将Response对象存入列表后用pickle序列化时遇到以下问题：

• 执行pickle.dump()触发RecursionError: maximum recursion depth exceeded
• 调高sys.setrecursionlimit()后问题依旧
• pickle.dumps()保存成功，但加载时同样触发递归错误

问题根源 #

Tweepy的Response对象包含复杂的内部嵌套结构（如客户端实例引用、请求上下文、关联对象链），pickle在反序列化时需要递归重建这些结构，即使调高递归限制也无法处理深层嵌套或隐性循环引用，最终触发递归超限错误。

解决方案 #

方案1：提取原生数据序列化（推荐）

不要直接保存Response对象，而是提取其中需要的推文数据转成Python原生类型（字典、列表等），再进行序列化。这样既避免递归问题，也减少存储体积。

修改retrieve_tweets函数，只返回需要的数据：

def retrieve_tweets(tweet_ids):
    tweet_fields=['id', 'text', 'author_id', 'created_at', 'conversation_id']
    response = client_bearer.get_tweets(ids=tweet_ids,tweet_fields=tweet_fields)
    
    # 提取核心数据，转成原生字典列表
    extracted_data = {
        "tweets": [tweet.data for tweet in response.data] if response.data else [],
        # 若需要关联数据（如用户信息），可按需提取
        "includes": response.includes.to_dict() if response.includes else {}
    }
    return extracted_data

后续保存和加载代码无需修改，因为现在列表中都是原生Python类型，pickle可以正常处理。

方案2：使用dill替代pickle

如果必须保存完整Response对象，可使用dill库（pickle的扩展，支持更多复杂对象序列化）：

1. 安装dill：

pip install dill

2. 替换pickle为dill进行序列化/反序列化：

import dill

# 保存数据
with open('helpful_src_raw.bin','wb') as f:
    dill.dump(responses, f)

# 加载数据
with open('helpful_src_raw.bin','rb') as f:
    data = dill.load(f)

原代码问题说明 #

原代码直接存储Tweepy的Response实例，这些实例内部持有客户端连接、请求元数据等复杂引用，pickle在反序列化时需要递归解析这些嵌套结构，导致递归深度超出Python默认限制，即使调高限制也无法彻底解决（因为对象嵌套可能无限深）。

内容的提问来源于stack exchange，提问作者Ray