使用Pandas向Snowflake加载数据时日期转为Variant类型的问题

问题根源 #

• Pandas读取Excel时，日期列被识别为字符串（object类型）而非datetime类型，导致write_pandas将其以Variant类型写入Snowflake，最终存储为时间戳格式的字符串。
• 直接修改Snowflake字段类型时，因原字段是Variant类型，无法直接转换为Date。

解决方案 #

1. 读取Excel时正确解析日期列 #

读取Excel时指定parse_dates参数，将目标列解析为datetime类型，确保Pandas识别为日期格式：

df = pd.read_excel(
    open(r'SampleSuperstore.xlsx', 'rb'),
    sheet_name='Orders',
    parse_dates=['Order_Date', 'Ship_Date']  # 指定需要解析的日期列
)
df.columns = df.columns.str.upper()

此时DataFrame中的ORDER_DATE和SHIP_DATE会是datetime64类型，而非字符串。

2. 写入Snowflake时匹配正确类型 #

write_pandas默认会将Pandas的datetime类型映射到Snowflake的TIMESTAMP_NTZ类型，如果需要Date类型，可提前在Snowflake创建表并指定字段类型：

-- 在Snowflake中提前创建表
CREATE TABLE SUPERSTORE.PUBLIC.ORDERS (
    -- 根据实际数据定义其他字段
    ORDER_DATE DATE,
    SHIP_DATE DATE,
    -- 其他列...
);

再执行写入操作，此时会自动适配Date类型：

success, nchunks, nrows, _ = write_pandas(
    conn,
    df,
    table_name='ORDERS',
    chunk_size=300,
    schema='PUBLIC'
)

3. 修复已写入的Variant类型日期数据 #

如果已经有错误的Variant数据在Snowflake中，可通过SQL转换为Date类型：

-- 添加新的Date类型字段
ALTER TABLE SUPERSTORE.PUBLIC.ORDERS ADD COLUMN ORDER_DATE_NEW DATE;
ALTER TABLE SUPERSTORE.PUBLIC.ORDERS ADD COLUMN SHIP_DATE_NEW DATE;

-- 将Variant时间戳转换为Date（除以1e6转为秒级时间戳）
UPDATE SUPERSTORE.PUBLIC.ORDERS
SET 
    ORDER_DATE_NEW = TO_DATE(TO_TIMESTAMP_NTZ(ORDER_DATE / 1000000)),
    SHIP_DATE_NEW = TO_DATE(TO_TIMESTAMP_NTZ(SHIP_DATE / 1000000));

-- 验证数据正确后，替换旧字段
ALTER TABLE SUPERSTORE.PUBLIC.ORDERS DROP COLUMN ORDER_DATE;
ALTER TABLE SUPERSTORE.PUBLIC.ORDERS DROP COLUMN SHIP_DATE;
ALTER TABLE SUPERSTORE.PUBLIC.ORDERS RENAME COLUMN ORDER_DATE_NEW TO ORDER_DATE;
ALTER TABLE SUPERSTORE.PUBLIC.ORDERS RENAME COLUMN SHIP_DATE_NEW TO SHIP_DATE;

内容的提问来源于stack exchange，提问作者Maverick