如何在Snowflake中捕获源文件名并忽略加载错误？

以下几种方法可同时实现捕获源文件名和忽略加载错误的需求：

方法1：使用COPY INTO的SELECT语法（推荐） #

Snowflake的COPY INTO支持从Stage查询数据并加载，既能指定ON_ERROR参数处理错误，又能在SELECT语句中获取METADATA$FILENAME：

COPY INTO MYTABLE(FILE_NAME, JSON_VALUE)
FROM (
    SELECT METADATA$FILENAME, $1
    FROM @MYSTAGE
)
FILE_FORMAT = (FORMAT_NAME => 'MYJSON')
ON_ERROR = 'CONTINUE'; -- 可选值还有'SKIP_FILE'、'ABORT_STATEMENT'等，按需选择

该方案保留了COPY INTO的错误处理能力，同时能捕获每行对应的源文件名，是最直接的解决方式。

方法2：INSERT..SELECT结合TRY_PARSE_JSON过滤错误行 #

若仅需处理JSON解析错误，可使用TRY_PARSE_JSON函数替代直接读取$1，过滤掉解析失败的行：

INSERT INTO MYTABLE(FILE_NAME, JSON_VALUE)
SELECT 
    METADATA$FILENAME,
    TRY_PARSE_JSON($1) AS JSON_VALUE
FROM @MYSTAGE(FILE_FORMAT => MYJSON)
WHERE TRY_PARSE_JSON($1) IS NOT NULL;

注意：此方法仅能处理JSON格式错误，若遇到文件编码错误、行格式不符合定义等问题，仍会触发语句报错，适合仅需过滤无效JSON的场景。

方法3：暂存表中转（兼容复杂场景） #

若需更精细的错误排查，可先通过COPY INTO将数据加载到暂存表（开启ON_ERROR），再从暂存表插入目标表并关联文件名：

1. 创建暂存表：

CREATE OR REPLACE TEMPORARY TABLE STAGING_TABLE (
    RAW_DATA VARCHAR,
    FILE_NAME VARCHAR
);

2. 使用COPY INTO加载暂存表，捕获文件名并忽略错误：

COPY INTO STAGING_TABLE(RAW_DATA, FILE_NAME)
FROM (
    SELECT $1, METADATA$FILENAME
    FROM @MYSTAGE
)
FILE_FORMAT = (FORMAT_NAME => 'MYJSON')
ON_ERROR = 'CONTINUE';

3. 解析有效数据并插入目标表：

INSERT INTO MYTABLE(FILE_NAME, JSON_VALUE)
SELECT 
    FILE_NAME,
    TRY_PARSE_JSON(RAW_DATA)
FROM STAGING_TABLE
WHERE TRY_PARSE_JSON(RAW_DATA) IS NOT NULL;

该方案适合需要保留原始错误数据用于排查的场景，同时实现了错误忽略和文件名捕获。

内容的提问来源于stack exchange，提问作者Vlad Kupchan