Snowflake Python连接器write_pandas写入数值精度异常问题咨询

• 精度损失的根源是浮点类型的存储特性：构建DataFrame时传入的数值默认会被pandas解析为float64（双精度浮点数）类型，该类型基于二进制浮点实现，仅能保证15~17位有效十进制数字的精度，无法精确存储18位小数的高精度数值，在DataFrame初始化阶段就已经产生了存储误差。
• write_pandas的默认写入流程会将DataFrame序列化为Parquet文件后通过COPY INTO语句加载到Snowflake，整个流程中float64类型的列会被直接映射为Snowflake的浮点类型，而非预先定义的NUMBER(32,16)定点类型。浮点类型转定点类型时，会将二进制浮点数的存储偏移直接暴露为十进制尾数位的偏差，最终得到查询到的异常值。

核心原则是写入全流程避免使用浮点类型存储高精度定点数值，具体可落地的方案如下：

• 优先方案：写入前将目标列转换为高精度Decimal类型
  不要使用原生float类型存高精度数值，通过Python标准库的Decimal类型构造精确值，注意必须传入字符串格式的数值初始化Decimal，避免带入浮点本身的误差。示例代码：

  import pandas as pd
  from decimal import Decimal
  from snowflake.connector.pandas_tools import write_pandas
  
  # 构建DataFrame时直接使用Decimal类型存储精确值
  df = pd.DataFrame(
      [Decimal("62009.7009562123700055")],
      columns=['COL1']
  )
  
  # 写入时开启Decimal精度保留参数（要求snowflake-connector-python版本 >= 2.7.0）
  write_pandas(
      conn=你的Snowflake连接对象,
      df=df,
      table_name="ABC",
      database="你的目标库名",
      schema="你的目标schema名",
      use_decimal_precision=True
  )
  

  该方案写入性能和默认write_pandas逻辑一致，且能完全保留数值精度，写入后查询即可得到和原始值完全一致的结果。
• 兼容方案：如果存量数据已经是float类型且无法重新构造，可以先将float列格式化为对应精度的字符串，再转成Decimal类型写入，避免浮点转定点的隐式转换误差。注意格式化时要指定足够的小数位数，避免截断有效数字。

注意：不要尝试通过调整Snowflake表字段精度解决该问题，只要写入链路中存在浮点类型的隐式转换，精度偏差就必然存在，和表字段定义的精度长度无关。

内容的提问来源于stack exchange，提问作者Nithin Govindaraju