Snowflake加载S3中TSV数据时，如何为各列指定日期格式？

核心思路 #

你的三个日期列格式完全不同（YYYY/MM/DD、YYYY、YYYYMMDD），Snowflake的自动日期解析（AUTO）无法适配多种格式，因此需要在加载时针对每一列单独指定日期格式，通过TO_DATE函数手动解析字段。

方法1：使用COPY INTO批量加载 #

假设目标表名为target_date_table，外部阶段为s3_date_stage，已定义的TSV文件格式为tsv_file_format（需确保已设置正确的分隔符、跳过表头等参数），执行以下SQL：

COPY INTO target_date_table (col_1, col_2, col_3)
FROM (
    SELECT
        -- 解析col_1的YYYY/MM/DD格式
        TO_DATE($1, 'YYYY/MM/DD'),
        -- 解析col_2的YYYY格式
        TO_DATE($2, 'YYYY'),
        -- 解析col_3的YYYYMMDD格式
        TO_DATE($3, 'YYYYMMDD')
    FROM @s3_date_stage
)
FILE_FORMAT = (FORMAT_NAME = 'tsv_file_format');

方法2：使用INSERT INTO结合阶段查询 #

如果需要灵活处理数据后再插入，可使用INSERT INTO语句：

INSERT INTO target_date_table (col_1, col_2, col_3)
SELECT
    TO_DATE($1, 'YYYY/MM/DD'),
    TO_DATE($2, 'YYYY'),
    TO_DATE($3, 'YYYYMMDD')
FROM @s3_date_stage
FILE_FORMAT = (FORMAT_NAME = 'tsv_file_format');

处理特殊占位符 #

如果文件中存在..这类非日期占位符，可搭配NULLIF函数转换为NULL，避免解析报错：

TO_DATE(NULLIF($1, '..'), 'YYYY/MM/DD'),
TO_DATE(NULLIF($2, '..'), 'YYYY'),
TO_DATE(NULLIF($3, '..'), 'YYYYMMDD')

注意事项 #

• 不要修改文件格式的全局DATE_FORMAT参数，它只能指定一种格式，无法适配多列不同的日期规则。
• 确保$1、$2、$3对应TSV文件中的列顺序，若列顺序变动需同步调整序号。

内容的提问来源于stack exchange，提问作者Santhosh