Python自定义JSON编码器处理GB级数据无法结束运行问题咨询

原因说明 #

• 核心问题是Python标准库json模块本身的性能瓶颈导致的。标准库json的C扩展部分仅实现了基础类型的序列化逻辑，所有自定义类型的处理都会从C层回调到Python层执行你写的default方法，每遇到一个datetime、set类型就要做一次跨层函数调用，当数据规模达到GB级别时，这类高频次的Python层调用开销会被放大到难以接受的程度，最终表现为程序长时间运行无结果。
• 你当前的set序列化实现也会额外增加开销：代码中将set转换为{o: None for o in obj}的临时字典，除了遍历set的开销外，额外生成的临时字典还要再走一遍序列化流程，进一步拖慢了处理速度。
• orjson性能远高于标准库的核心原因是它全链路的C实现，包括自定义类型的序列化逻辑也可以在C层完成，不需要频繁在C和Python之间切换调用，同时底层序列化算法做了大量优化，自然可以快速处理GB级别的数据。

可选优化方案 #

• 如果必须使用标准库json完成序列化，可以先全量遍历一次待序列化的数据，提前将所有datetime、set类型转换为可被json直接支持的字符串、字典格式，再调用json.dumps执行序列化，避免序列化过程中频繁触发default回调。
• 直接使用orjson进行序列化，它本身原生支持datetime类型的ISO格式输出，set类型如果需要保持{元素: None}的字典格式，仅需要少量配置即可实现，处理效率远高于标准库实现。

内容的提问来源于stack exchange，提问作者Michael Dorner