使用to_sql向Snowflake导入数据时chunksize参数报错

错误原因 #

这个Numeric value 'unknown' is not recognized错误不是Snowflake的特性问题，核心是DataFrame数据与Snowflake目标表的列类型不匹配：你的目标表中存在数值类型（INT/FLOAT等）的列，但DataFrame对应列里有字符串值unknown，批量插入时Snowflake无法将该字符串解析为数值，从而抛出报错。

排查与修复步骤 #

1. 先修复数据类型不匹配问题 #

• 检查Snowflake目标表的列数据类型，定位对应的数值型列。
• 检查DataFrame中对应列的数据：

  # 查看列的唯一值，找出异常值
  print(df2['目标数值列'].unique())
  # 查看列的数据类型
  print(df2['目标数值列'].dtype)
  

• 处理异常值：将unknown替换为符合数值类型的值（比如np.nan，前提是Snowflake列允许空值）：

  import numpy as np
  df2['目标数值列'] = df2['目标数值列'].replace('unknown', np.nan)
  # 强制转换列类型为数值型
  df2['目标数值列'] = pd.to_numeric(df2['目标数值列'], errors='coerce')
  

2. 关于to_sql的参数问题 #

你使用的method='multi'会生成单条多行INSERT语句，虽然chunksize拆分了数据，但Snowflake对单条INSERT的复杂度（行数、字段数）有隐性限制，且这种方式在数据类型映射上不如官方工具灵活。如果修复数据后仍有问题，可以尝试去掉method='multi'（默认逐行插入，但效率较低），但更推荐用官方优化工具。

3. 改用write_pandas导入（推荐） #

write_pandas是Snowflake官方为DataFrame导入优化的工具，通过先上传CSV到Snowflake内部stage再执行COPY INTO的方式，效率更高，数据类型映射更准确，能避免很多to_sql的兼容性问题。示例代码如下：

import snowflake.connector
from snowflake.connector.pandas_tools import write_pandas

# 创建Snowflake连接
conn = snowflake.connector.connect(
    user='USERNAME',
    password='PASSWORD',
    account='SNOWFLAKE_LINK',
    warehouse='WAREHOUSE',
    database='DATABASE',
    schema='PUBLIC',
    role='ROLE'
)

# 执行导入
success, nchunks, nrows, _ = write_pandas(
    conn=conn,
    df=df2,
    table_name='TABLE',
    schema='PUBLIC',
    auto_create_table=False,  # 表已存在设为False，需自动创建则设为True
    overwrite=False,  # 追加数据设为False，覆盖表数据设为True
    quote_identifiers=False
)

# 关闭连接
conn.close()

内容的提问来源于stack exchange，提问作者Perdue