如何提升Python 3.7环境下Protobuf 3.17.2的反序列化执行速度

优化技巧按生效优先级排序如下： #

1. Protobuf底层层面优化

• 升级protobuf版本到3.20+，优先使用带C++扩展的官方预编译包，禁止使用纯Python实现的protobuf版本。3.17.2版本的Python绑定存在较多性能问题，后续版本对消息解析、重复字段处理的性能提升超过30%。
• 复用消息实例：将Any和FullSegmentCacheEntries实例改为类成员变量，每次调用反序列化方法前先调用Clear()方法重置状态，避免反复创建、销毁对象的内存分配开销。
• 跳过Any的反射校验：你当前用的any.Unpack()是通用反射方法，性能开销较高。如果能确定消息类型固定，可直接提取Any的value字段解析，代码改为：

any.ParseFromString(proto)
full_segments.ParseFromString(any.value)

该改动可减少20%左右的proto解析耗时。

2. 字段映射逻辑优化

• 减少嵌套属性访问：列表推导中反复访问x.segment会产生额外的属性查找开销，可先将x.segment赋值给局部变量再读取字段，局部变量的访问速度是嵌套属性的2倍以上。
• 优化空字符串判断逻辑：将多个None if x.segment.xxx is EMPTY_STRING else x.segment.xxx的三元判断改为seg.xxx if seg.xxx else None，同时将EMPTY_STRING常量放到局部作用域，减少全局变量查找开销。
• 优化SegmentEntity初始化：如果SegmentEntity是普通Python类，可给类加__slots__属性减少实例内存开销和属性访问耗时；也可替换为Pydantic V2的dataclass，其Rust实现的初始化逻辑比纯Python类快4~6倍。

3. 自定义方法优化

• 优先排查_deserialize_linestring、_deserialize_milemarkers、utc_datetime_from_timestamp三个自定义方法的耗时，这部分通常是性能瓶颈：
  • 时间转换操作优先用标准库datetime的C实现接口，避免用纯Python实现的日期处理逻辑。
  • 几何、里程碑反序列化逻辑如果是纯Python实现，可改用C扩展库（如Shapely处理几何数据）实现，或批量处理减少函数调用开销。

4. 运行时层面优化

• 切换到PyPy运行代码，无需修改业务代码即可获得2~5倍的性能提升，尤其适合这种循环多、属性操作密集的场景。
• 批量处理序列化数据：不要单次调用仅处理一条proto数据，攒一批数据批量反序列化，减少函数调用的固定开销。

内容的提问来源于stack exchange，提问作者Demitriush