Cloud Fusion迁移Postgres至BigQuery时，Numeric类型字段小数位异常咨询

1. 修正BigQuery侧的字段类型定义 #

Postgres的NUMERIC(13,2)和NUMERIC(12,8)在BigQuery中直接用NUMERIC类型即可（BigQuery NUMERIC支持最高38位精度、9位小数，完全覆盖你的场景）。绝对不要用FLOAT/DOUBLE类型，这类浮点类型会因二进制存储特性丢失精度，是数值异常的常见原因。

2. 调整Cloud Fusion的类型映射配置 #

Cloud Fusion默认的类型映射可能会把Postgres NUMERIC转成浮点类型，需要手动修正：

• 在Postgres源连接器的配置中，开启「精确类型映射」选项，强制将NUMERIC类型映射为BigQuery的NUMERIC而非FLOAT。
• 如果管道中包含转换组件，对NUMERIC字段显式添加类型转换，比如用SQL语句：CAST(your_numeric_column AS NUMERIC)，确保转换逻辑精确。

3. 排查小数位移位的核心原因 #

如果已经对齐类型仍出现位移（比如123.45变成12345或0.012345），大概率是连接器的缩放因子识别错误：

• 检查Postgres源连接器的「numeric scaling」配置项，确保它读取到Postgres表中NUMERIC字段的实际小数位（比如NUMERIC(13,2)对应缩放因子2，NUMERIC(12,8)对应缩放因子8），避免使用默认缩放值导致数值被错误放大/缩小。
• 对于小数位较多的NUMERIC(12,8)字段，可在管道的转换阶段显式保留小数位，比如用ROUND(your_column, 8)确保数值精度。

4. 快速验证数据的方法 #

• 抽取10-20条有异常的样本数据，直接对比Postgres和BigQuery的原始值，定位是精度丢失还是缩放错误。
• 利用Cloud Fusion的管道预览功能，查看转换后的数值是否正确，在数据流入BigQuery前就排查问题，减少重复同步的成本。

内容的提问来源于stack exchange，提问作者Sarthak Bhatia