Snowflake写入DataFrame报错：无法将Variant值转为DATE类型

可能的原因 #

1. 数据列存在隐藏的非datetime值：虽然df.dtypes显示为datetime64[ns]，但列内部可能混有整数/浮点数类型的时间戳（比如未被完全转换的微秒级数值1466467200000000），这类值在write_pandas传输时会被识别为Variant类型，无法直接转为Snowflake的DATE。
2. Snowflake表列类型与pandas数据不匹配：如果目标表的日期列定义为DATE类型，而pandas中的datetime64[ns]包含时间部分，传输时可能触发类型转换错误；反之若表列是TIMESTAMP，但pandas数据的时间精度超出表的定义范围，也会报错。
3. write_pandas的类型映射逻辑问题：该工具在自动映射pandas datetime到Snowflake类型时，可能因某些边缘情况（如NaT值、非标准datetime对象）出现转换异常。

排查与解决步骤 #

1. 彻底检查数据列的内部类型 #

执行以下代码确认列中是否存在非datetime类型的元素：

# 查看列中所有唯一的数据类型
print(df['date_col'].apply(type).unique())

# 检查是否有隐藏的数值型时间戳
numeric_mask = df['date_col'].apply(lambda x: isinstance(x, (int, float)))
if numeric_mask.any():
    print("找到异常数值：")
    print(df[numeric_mask]['date_col'])

2. 强制标准化日期列格式 #

将日期列统一转换为Python原生date对象（仅保留日期部分），避免时间精度或类型问题：

# 先转换为datetime，再提取date对象
df['date_col'] = pd.to_datetime(df['date_col'], errors='coerce').dt.date
# 过滤掉转换失败的NaT对应的None值
df = df.dropna(subset=['date_col'])

3. 匹配Snowflake表的列类型 #

• 如果目标表的日期列是DATE类型：确保pandas数据仅包含日期部分（如上一步处理）。
• 如果需要保留时间信息：将Snowflake表的列类型修改为TIMESTAMP_NTZ(9)（兼容pandas的纳秒级datetime）。

4. 调整write_pandas的参数 #

显式指定列的类型映射，避免自动映射出错：

from snowflake.connector.pandas_tools import pd_writer

# 自定义类型映射，将date_col指定为DATE类型
dtype_mapping = {'date_col': 'DATE'}

success, nchunks, nrows, _ = write_pandas(
    cnn,
    df,
    "TABLE_NAME",
    quote_identifiers=False,
    dtype=dtype_mapping,
    writer=pd_writer
)

5. 分块排查异常数据 #

如果全局查找未找到异常值，尝试分块定位问题chunk：

chunk_size = 10000
for idx in range(0, len(df), chunk_size):
    chunk = df.iloc[idx:idx+chunk_size]
    try:
        # 尝试写入单个chunk
        write_pandas(cnn, chunk, "TABLE_NAME", quote_identifiers=False)
    except Exception as e:
        print(f"异常出现在第{idx//chunk_size + 1}块，索引范围：{idx}-{idx+chunk_size-1}")
        print(chunk)
        break

内容的提问来源于stack exchange，提问作者user2288429