如何在单个bytes对象中反序列化多个pickle对象（网络场景）

刚好我之前处理过类似的粘包问题，其实不用纠结自定义终止符，Pickle本身就自带解决这个场景的特性——它的序列化数据流是自终止的，也就是说反序列化器能精准判断一个对象的结束位置，不需要额外加标记。下面给你具体的实现方法：

核心思路：用BytesIO模拟文件流 #

我们可以把网络接收的bytes缓冲区包装成类文件对象（io.BytesIO），这样就能复用文件中反序列化多对象的逻辑，反复调用pickle.load()直到流结束。

示例代码 #

模拟粘包的发送端（生成合并的bytes）

import pickle

# 两个要发送的对象
obj1 = {"name": "Alice", "age": 30}
obj2 = ["apple", "banana", "cherry"]

# 连续序列化后合并成一个bytes（模拟网络粘包）
combined_data = pickle.dumps(obj1) + pickle.dumps(obj2)

接收端处理粘包数据

import pickle
from io import BytesIO

# 模拟网络接收的缓冲区bytes
received_buffer = combined_data

# 把bytes包装成类文件流
stream = BytesIO(received_buffer)

try:
    # 循环读取直到流结束
    while True:
        obj = pickle.load(stream)
        print("反序列化得到对象：", obj)
except EOFError:
    print("所有对象处理完成")

运行这段代码，你会看到两个对象被正确拆分并反序列化——pickle.load()会自动从流中读取刚好足够的字节来解析一个对象，剩下的字节会留在流中供下一次读取，完全不用手动拆分。

手动跟踪字节偏移的方法（进阶） #

如果你不想用BytesIO，也可以手动跟踪已读取的字节数，不过这种方法稍显繁琐，需要借助pickle.Unpickler的tell()方法来获取当前读取的位置：

import pickle

received_buffer = combined_data
offset = 0

while offset < len(received_buffer):
    # 从当前偏移位置创建子流
    sub_stream = BytesIO(received_buffer[offset:])
    unpickler = pickle.Unpickler(sub_stream)
    
    try:
        obj = unpickler.load()
        print("反序列化得到对象：", obj)
        # 获取本次读取的字节数，更新偏移量
        used_bytes = sub_stream.tell()
        offset += used_bytes
    except EOFError:
        break

为什么不推荐自定义终止符？ #

很多人第一反应是加个特殊分隔符（比如b'\x00\x00'）来拆分，但这种方法有个致命问题：Pickle序列化的字节流可能包含任意字节，包括你选的分隔符，很容易出现误拆分的情况。相比之下，利用Pickle本身的自终止特性是最可靠的方案。

内容的提问来源于stack exchange，提问作者tonysdg