Parquet文件加载至Snowflake时如何跳过表头？

注意：Parquet本身是结构化列存储格式，不存在原生的表头行定义，需要跳过首行的场景通常是CSV转Parquet时误将表头作为第一行数据写入文件导致的，以下是不同场景下的实现方案：

方案1：COPY INTO 命令单次加载时过滤 #

适用于手动单次批量加载Parquet文件的场景，通过窗口函数按文件分组跳过首行：

COPY INTO 你的目标表名
FROM (
    -- 此处按你实际的表字段结构做类型映射
    SELECT $1:字段1::STRING, $1:字段2::INT, $1:字段3::DATE
    FROM @你的阶段名/parquet文件存储路径/
)
FILE_FORMAT = (TYPE = PARQUET)
PATTERN = '.*\.parquet'
-- 过滤每个文件的第一行
QUALIFY ROW_NUMBER() OVER (PARTITION BY METADATA$FILENAME ORDER BY 1) > 1;

这里通过内置字段METADATA$FILENAME按单个文件分组排序，不会影响多文件批量加载的逻辑。

方案2：创建外部表时预设跳过规则 #

如果需要反复查询同一批Parquet文件，建议直接创建带过滤规则的外部表，后续查询/加载直接调用外部表即可：

CREATE EXTERNAL TABLE 你的外部表名 (
    字段1 STRING AS (value:字段1::STRING),
    字段2 INT AS (value:字段2::INT),
    字段3 DATE AS (value:字段3::DATE)
)
WITH LOCATION = @你的阶段名/parquet文件存储路径/
FILE_FORMAT = (TYPE = PARQUET)
PATTERN = '.*\.parquet';

-- 对外表查询时自动跳过每个文件首行
SELECT * FROM 你的外部表名 QUALIFY ROW_NUMBER() OVER (PARTITION BY METADATA$FILENAME ORDER BY 1) > 1;

方案3：Snowpipe自动加载场景配置 #

如果用Snowpipe做增量自动加载，直接在管道定义的COPY逻辑中加入过滤规则即可：

CREATE PIPE 你的管道名
AUTO_INGEST = TRUE
AS
COPY INTO 你的目标表名
FROM (
    SELECT $1:字段1::STRING, $1:字段2::INT, $1:字段3::DATE
    FROM @你的阶段名/parquet文件存储路径/
)
FILE_FORMAT = (TYPE = PARQUET)
QUALIFY ROW_NUMBER() OVER (PARTITION BY METADATA$FILENAME ORDER BY 1) > 1;

如果你的Parquet首行存储的是字段名，也可以用自动字段映射避免硬编码字段列表：

COPY INTO 你的目标表名
FROM (
    SELECT * EXCLUDE (row_num)
    FROM (
        SELECT 
            $1.*,
            ROW_NUMBER() OVER (PARTITION BY METADATA$FILENAME ORDER BY 1) row_num
        FROM @你的阶段名/parquet文件存储路径/
    )
    WHERE row_num > 1
)
MATCH_BY_COLUMN_NAME = CASE_INSENSITIVE
FILE_FORMAT = (TYPE = PARQUET);

内容的提问来源于stack exchange，提问作者BalajiAWS