GCP Pub/Sub向BigQuery NUMERIC列写入整数字符串值异常咨询

问题根源 #

这不是编码方式的问题，而是Pub/Sub BigQuery订阅的自动类型推断逻辑bug：当JSON里的字段值是纯整数形式的字符串（如"6533"）时，订阅的自动解析会错误地将其识别为非字符串类型（比如二进制或其他数值编码），导致转成NUMERIC时出现乱码值；而带小数点的字符串（如"6533.0"）会被正确识别为数值型字符串，转NUMERIC正常。

解决办法 #

• 统一发布消息格式：把所有数字字符串都处理成带小数位的形式，比如整数6533写成"6533.0"，避免纯整数字符串的情况。
• 手动配置订阅字段映射：在Pub/Sub BigQuery订阅的写入转换设置里，关闭自动模式，手动指定reading字段的转换规则——将STRING类型的源字段直接转换为NUMERIC类型的目标字段，强制订阅按字符串转NUMERIC的逻辑处理，绕过自动类型推断的bug。
• 临时替代方案：如果不想改消息格式，可先把BigQuery的reading列改成STRING类型，写入后再通过SQL转换为NUMERIC（比如CAST(reading AS NUMERIC)），但这种方式需要额外的ETL步骤。

内容的提问来源于stack exchange，提问作者Matthew Brown