Pub/Sub推送到BigQuery时FLOAT类型值异常变更问题求助

可能的原因 #

• 单精度浮点数精度限制：如果Finance_Amount在发布或推送转换环节被处理为单精度float，由于单精度仅能精确表示2^24以内的整数（约1677万），45544450超出该范围后会被近似为最接近的可表示值（即45544448.0）。拉取订阅直接获取原始数据，未经过中间类型转换，因此数值显示正常。
• 推送订阅的类型映射逻辑问题：Pub/Sub推送至BigQuery的自动导入机制中，可能存在隐式类型转换（比如将JSON数字解析为单精度后再写入BigQuery的FLOAT64字段），导致精度丢失。
• 消息序列化格式差异：若发布消息时用Protobuf定义了float（单精度）类型字段，推送订阅的自动映射会直接将单精度值写入BigQuery，保留近似结果；而拉取订阅直接获取原始Protobuf数据，显示的是序列化前的原始值。

调试步骤 #

• 检查原始消息的格式与类型
  • 通过拉取订阅导出完整原始消息，确认序列化格式：
    • 若为JSON，检查数值是原始数字还是字符串，以及数字的精度表示；
    • 若为Protobuf，查看字段类型定义是float（单精度）还是double（双精度）。
• 验证手动写入BigQuery的结果
  • 用拉取到的消息内容，手动构造写入请求（如bq命令行或客户端SDK）写入目标表：
    • 若手动写入正确，说明问题出在Pub/Sub推送的中间转换环节；
    • 若手动写入也异常，检查BigQuery表字段类型是否配置错误，或数据本身存在精度问题。
• 排查发布端代码的数值类型
  • 检查CloudRun发布消息的代码，确认Finance_Amount的数值类型：
    • 比如Python中是否用了numpy.float32而非原生float，Go中是否用了float32而非float64，这些单精度类型会导致序列化时丢失精度。
• 查看推送环节的日志
  • 启用Pub/Sub推送日志和BigQuery导入日志，查看推送的payload内容是否已为错误值，或是否有类型转换相关警告，定位转换发生的具体环节。
• 检查Pub/Sub订阅的BigQuery配置
  • 查看推送订阅的字段映射规则，确认是否存在强制类型转换配置，或是否将字段错误映射到了非预期的BigQuery类型。

内容的提问来源于stack exchange，提问作者mads.koop