Snowflake中获取部分加载Parquet文件坏记录遇参数冲突求助

由于VALIDATION_MODE与MATCH_BY_COLUMN_NAME无法同时使用，你可以通过以下几种方法定位目标Parquet文件中的坏记录：

方法1：借助临时Variant表解析验证 #

1. 创建仅含一个Variant类型列的临时表：

CREATE OR REPLACE TEMP TABLE temp_parquet_data (raw_data VARIANT);

2. 将目标Parquet文件全量导入临时表（无需匹配列名，直接以Variant格式存储）：

COPY INTO temp_parquet_data FROM @extg_stage/test.snappy.parquet
FILE_FORMAT=(format_name='parquet_file_format');

3. 通过SQL查询验证数据是否符合目标表的结构与规则，筛选出坏记录：

-- 示例：检查目标表所需字段是否存在、类型是否匹配
SELECT 
    raw_data:目标列1::STRING AS 列1,
    raw_data:目标列2::INT AS 列2,
    RAW_DATA AS 完整原始记录
FROM temp_parquet_data
WHERE 
    raw_data:目标列1 IS NULL -- 排查缺失字段的记录
    OR TRY_CAST(raw_data:目标列2 AS INT) IS NULL; -- 排查类型转换失败的记录

方法2：查询Snowpipe加载历史与错误日志 #

如果数据是通过Snowpipe加载的，直接查询管道加载历史获取错误详情：

SELECT 
    FILE_NAME,
    ERROR_CODE,
    ERROR_MESSAGE,
    ROW_NUMBER,
    RAW_RECORD
FROM TABLE(INFORMATION_SCHEMA.PIPE_LOAD_HISTORY(PIPE_NAME => '你的管道名称'))
WHERE FILE_NAME = 'test.snappy.parquet' AND ERROR_MESSAGE IS NOT NULL;

若加载时配置了错误集成（如将错误记录写入指定表或阶段），直接查询对应存储位置即可。

方法3：通过COPY HISTORY查看加载错误 #

无论是Snowpipe还是手动执行的COPY语句，都可以通过COPY历史记录获取之前加载时的错误信息：

SELECT 
    FILE_NAME,
    ERROR_CODE,
    ERROR_MESSAGE,
    ROW_NUMBER,
    RAW_RECORD
FROM TABLE(INFORMATION_SCHEMA.COPY_HISTORY(TABLE_NAME => '目标表名', START_TIME => DATEADD(HOUR, -24, CURRENT_TIMESTAMP())))
WHERE FILE_NAME = 'test.snappy.parquet' AND ERROR_MESSAGE IS NOT NULL;

内容的提问来源于stack exchange，提问作者viswa