如何配置COPY INTO的pattern参数加载ADLS分区Parquet到Snowflake

核心实现逻辑 #

COPY INTO的PATTERN参数通过POSIX正则匹配外部存储中文件的相对路径（相对于你创建的外部Stage的根路径），无需提前定义Hive分区列，即可匹配所有分区目录下的Parquet文件。 #

基础加载语法（无需提取分区ID到表字段） #

如果你的目标表已经包含所有需要的字段，不需要存储分区目录中的ABC_PARTITIONED_ID值，直接使用如下语句：

COPY INTO <你的目标表名称>
FROM @<你创建的指向ADLS根目录的外部Stage名称>
FILE_FORMAT = (
    TYPE = 'PARQUET'
    -- 可补充其他Parquet格式配置，比如BINARY_AS_TEXT、TRIM_SPACE等
)
PATTERN = 'ABC_PARTITIONED_ID=[0-9]+/.*[.]snappy[.]parquet'
ON_ERROR = 'ABORT_STATEMENT'; -- 可根据需求调整为'CONTINUE'、'SKIP_FILE'等策略

进阶加载语法（提取分区ID到表字段） #

如果你需要把分区目录中的ABC_PARTITIONED_ID值写入目标表，可通过METADATA$FILENAME函数提取路径中的分区值：

COPY INTO <你的目标表名称>(字段1, 字段2, ABC_PARTITIONED_ID)
FROM (
    SELECT 
        $1:<Parquet文件内字段名1>::<对应Snowflake数据类型>,
        $1:<Parquet文件内字段名2>::<对应Snowflake数据类型>,
        -- 从文件路径中提取ABC_PARTITIONED_ID的值
        REGEXP_SUBSTR(METADATA$FILENAME, 'ABC_PARTITIONED_ID=([0-9]+)/', 1, 1, 'e', 1)::NUMBER AS ABC_PARTITIONED_ID
    FROM @<你创建的指向ADLS根目录的外部Stage名称>
)
FILE_FORMAT = (
    TYPE = 'PARQUET'
)
PATTERN = 'ABC_PARTITIONED_ID=[0-9]+/.*[.]snappy[.]parquet'
ON_ERROR = 'ABORT_STATEMENT';

参数说明 #

• PATTERN正则含义：
  • ABC_PARTITIONED_ID=[0-9]+/：匹配前缀为ABC_PARTITIONED_ID=加任意数字、后缀为斜杠的分区目录，若分区值包含字母/特殊字符，可将[0-9]+替换为[^/]+，适配所有非斜杠的分区值格式
  • .*：匹配分区目录下任意文件名前缀
  • [.]snappy[.]parquet：精准匹配后缀为.snappy.parquet的文件，用方括号包裹点是为了避免正则中点默认匹配任意字符的特性

注意事项 #

• 外部Stage的根路径需要指定到所有ABC_PARTITIONED_ID=xx目录的父级目录，否则需要调整正则匹配的路径前缀
• 若Parquet文件的schema和目标表schema完全匹配，且字段顺序一致，可省略FROM子句中的字段映射逻辑
• 批量加载前可先加LIMIT 10执行测试，验证数据匹配正确性

内容的提问来源于stack exchange，提问作者Kent