C++如何读取Python pickle及pandas生成的pickle文件？

pickle是Python官方定义的私有序列化协议，本质属于Python生态专属格式，其序列化、反序列化逻辑深度绑定Python的对象模型，没有发布跨语言的通用标准规范，非Python生态没有官方提供的标准读写实现。

直接硬解析pickle文件的投入产出比极低，实际落地可以根据自身场景选以下方案：

• 优先调整存储格式（最稳妥）：如果可以修改Python侧的写入逻辑，不要用pickle做长期跨场景存储。把DataFrame转成Parquet、Arrow这类有跨语言标准的列式存储格式，普通Python字典转成MessagePack、JSON这类通用结构化格式，C++侧直接用对应实现库读取即可，兼容性、读取性能都远好于解析pickle，还能规避pickle本身的版本兼容、恶意代码执行风险。
• 嵌入Python运行时读存量文件：如果手上是已经生成好的存量pickle文件、完全没法改动原始存储，可以在C程序中嵌入Python解释器，直接调用pandas.read_pickle、pickle.load接口加载数据，再把读取到的Python对象转换成C侧的原生数据结构即可。这个方案对所有版本pandas生成的pickle文件兼容性拉满，唯一的缺点是程序需要携带对应版本的Python运行时依赖，打包体积会有所增加。
• 第三方C++ pickle解析库（不推荐用于DataFrame场景）：目前有部分第三方C++实现支持解析pickle格式，但这类库基本只覆盖了Python基础类型（整数、字符串、列表、普通字典）的解析逻辑，对pandas自定义的Index、Block存储结构、扩展数据类型等复杂对象支持极差，遇到不同版本pandas生成的文件大概率解析失败，根本没法稳定读出完整的DataFrame数据，仅适合读取只包含基础类型的简单pickle文件。

补充提醒：pickle的设计初衷是Python进程间传参、短期临时持久化对象，从来不是为跨语言、长期存档场景设计的，只要涉及跨语言交互、数据长期留存的需求，都不应该选用pickle作为存储格式。

内容的提问来源于stack exchange，提问作者JPWilson