从Parquet文件导入Snowflake时的Timestamp字段异常问题

一、从导出端修正Timestamp格式 #

Pandas默认导出的Parquet Timestamp格式（尤其是旧版int96类型）会导致Snowflake识别错误，先调整导出逻辑：

使用PyArrow引擎导出，禁用过时的int96 Timestamp格式，强制使用标准的微秒级Timestamp存储：

import pandas as pd

# 确保Timestamp列是datetime64[ns]类型
df['timestamp_col'] = pd.to_datetime(df['timestamp_col'], format='%Y-%m-%d %H:%M:%S.%f')

# 导出Parquet时指定引擎和参数
df.to_parquet(
    'your_data.parquet',
    engine='pyarrow',
    use_deprecated_int96_timestamps=False,
    compression='snappy'
)

这样导出的Parquet文件会使用Snowflake原生支持的Timestamp格式，避免后续手动转换的麻烦。

二、Snowflake端导入优化 #

1. COPY INTO 直接导入（推荐） #

创建表时直接定义TIMESTAMP_NTZ(6)类型，Snowflake会自动识别正确的微秒值：

CREATE OR REPLACE TABLE target_schema.target_table (
    id INT,
    event_time TIMESTAMP_NTZ(6),
    -- 其他列...
);

COPY INTO target_schema.target_table
FROM '@your_stage/path/to/parquet/'
FILE_FORMAT = (TYPE = PARQUET);

无需手动转换，性能拉满，不会出现秒/微秒混淆问题。

2. 外部表优化（若必须使用） #

不要在查询阶段做实时转换，直接在外部表定义时映射正确类型：

CREATE OR REPLACE EXTERNAL TABLE ext_schema.ext_table
WITH LOCATION = '@your_stage/path/to/parquet/'
FILE_FORMAT = (TYPE = PARQUET)
AUTO_REFRESH = TRUE
AS SELECT
    $1:id::INT AS id,
    $1:event_time::TIMESTAMP_NTZ(6) AS event_time
    -- 其他列映射...
FROM @your_stage/path/to/parquet/;

避免查询时的动态转换，彻底解决Querying (repair)的慢查询问题。

3. 存储过程动态导入修复 #

“SQL execution internal error”多因动态SQL语法错误或运行时转换开销过大导致，优化方案：

• 用INFER_SCHEMA自动生成表结构，避免手动拼接类型的错误：

CREATE OR REPLACE PROCEDURE bulk_import(schema_name STRING, table_name STRING, stage_path STRING)
RETURNS STRING
LANGUAGE SQL
AS
$$
DECLARE
    create_table_sql STRING;
    copy_sql STRING;
BEGIN
    -- 自动从Parquet推断表结构（含Timestamp类型）
    create_table_sql := 'CREATE OR REPLACE TABLE ' || schema_name || '.' || table_name || 
                        ' USING TEMPLATE (SELECT ARRAY_AGG(OBJECT_CONSTRUCT(''NAME'', COLUMN_NAME, ''TYPE'', DATA_TYPE))' ||
                        ' FROM TABLE(INFER_SCHEMA(LOCATION => ''' || stage_path || ''')))';
    EXECUTE IMMEDIATE create_table_sql;

    -- 执行批量导入
    copy_sql := 'COPY INTO ' || schema_name || '.' || table_name || 
                ' FROM ''' || stage_path || ''' FILE_FORMAT = (TYPE = PARQUET)';
    EXECUTE IMMEDIATE copy_sql;

    RETURN '导入完成：' || schema_name || '.' || table_name;
END;
$$;

• 拆分大批次导入，避免单查询处理过多数据；
• 确保存储过程使用的角色有足够权限，且Snowflake集群资源充足。

三、异常排查（若仍有内部错误） #

1. 升级Snowflake到最新版本，部分旧版本存在Timestamp转换的已知Bug；
2. 查看查询执行计划，确认是否存在不必要的类型转换或资源瓶颈；
3. 先手动执行单表导入验证逻辑，再封装到存储过程中。

内容的提问来源于stack exchange，提问作者saso