C++序列化int转double的Protobuf数据，Python解析失败原因排查

云上老周

2026-6-22

环境信息

C++
1. clang++ 14.0.6
2. protobuf v21.7
  C++序列化代码：

*response = new char[report.ByteSizeLong()];
report.SerializeToArray(*response,report.ByteSizeLong());
*response_length = report.ByteSizeLong();

Python
1. Python 3.8.10
2. protoc v26.1（生成.py和.pyi文件）
3. protobuf==5.26.1
  Python反序列化代码：

from ctypes import cdll, c_char_p, c_int, byref

__so = cdll.LoadLibrary(self.__file)
__report_in_pb = c_char_p()
__report_ob_size = c_int()
__so.handle_message_v1(__data, len(__data),byref(__report_in_pb), byref(__report_ob_size))

if __report_ob_size.value > 0:
    try:
        __report: RulesReport = RulesReport()
        __report.ParseFromString(__report_in_pb.value)
        print(__report)
    except Exception as e:
        print(f'Could not analyse the dataview data with timestamp {__timestamp}: {e}')

Proto定义

message ReviewResult {
  message ZeroSumItem {
      bool is_passed = 1;
      string message = 2;
  }
  message AccumulatorItem {
      double total = 1;
      uint64 num_measurements = 2;
  }
  uint64 timestamp = 1;
  uint32 sequence_number = 2;
  reserved 3;
  oneof metric_data {
      ZeroSumItem boolean_indicator = 4;
      AccumulatorItem accumulator_indicator = 5;
      double statistics_indicator = 6;
  }
}

/// message for report rules situation
message RulesReport {
  reserved 1 to 2;
  repeated ReviewResult review_results = 3;
}

问题场景

当通过static_cast<double>将int类型值转换为double，赋值给AccumulatorItem的total字段并序列化后，Python调用ParseFromString时报错：

Could not analyse the dataview data with timestamp 1717840976634: Error parsing message

但直接使用原生double值（如1.1）赋值时，Python可正常解析。已尝试将protoc降级至v21.7重新生成Python文件，问题仍未解决，请问该错误原因是什么？

问题原因及解决思路

这个问题可以从以下几个核心方向排查：

C++端序列化的内存与字段完整性问题
你当前的代码中，ByteSizeLong()的调用和SerializeToArray()存在时间差，若这段时间内report对象的字段被意外修改，会导致分配的内存大小和实际序列化的字节数不匹配，进而造成二进制数据截断或溢出。建议提前固定序列化大小并校验序列化结果：
```
auto size = report.ByteSizeLong();
*response = new char[size];
bool serialize_ok = report.SerializeToArray(*response, size);
if (!serialize_ok) {
    delete[] *response;
    *response = nullptr;
    *response_length = 0;
    return;
}
*response_length = size;
```
Oneof字段的赋值正确性
检查C++端是否正确激活了accumulator_indicator这个oneof分支。如果误操作设置了其他分支（比如statistics_indicator），Python端解析时会因字段不匹配报错。确保赋值逻辑类似：
```
ReviewResult* result = report.add_review_results();
auto* accumulator = result->mutable_accumulator_indicator();
accumulator->set_total(static_cast<double>(your_int_value));
accumulator->set_num_measurements(1);
```
注意：oneof字段赋值时会自动清除其他分支，但如果未通过mutable_xxx()方法获取字段指针直接赋值，可能导致字段未被标记为已设置。
Protobuf跨版本兼容性问题
虽然你降级了protoc，但Python端使用的protobuf 5.26.1对应C的v26.x版本，和C端的v21.7属于跨大版本使用，二者的二进制序列化格式可能存在细微差异。建议将C++和Python的Protobuf版本统一到同一大版本（比如都用21.x或26.x），彻底规避跨版本兼容风险。
内存生命周期问题
确认C端handle_message_v1函数返回后，__report_in_pb指向的内存是否被提前释放。如果C在函数返回后就释放了内存，Python端解析时会访问无效内存，导致解析失败。需要保证内存生命周期覆盖Python解析的全过程，或者在C++中提供专门的内存释放函数，让Python解析完成后主动调用。

内容的提问来源于stack exchange，提问作者Sunnee

C++序列化int转double的Protobuf数据，Python解析失败原因排查

环境信息 #

问题场景 #

问题原因及解决思路 #

环境信息

问题场景

问题原因及解决思路