Snowpipe能否读取S3分区子文件夹中的Parquet文件至单表？

完全支持将S3存储桶中按日期分区的Parquet文件批量导入至单个Snowflake表，无需按子文件夹拆分表。具体实现步骤如下：

• 创建带分区识别的外部阶段
  指向S3存储桶的根路径（或分区父路径），同时配置自动识别Parquet格式与提取分区信息。示例SQL：

  CREATE OR REPLACE STAGE s3_date_partitioned_stage
    URL = 's3://your-bucket/parent-path/'
    STORAGE_INTEGRATION = your_s3_integration -- 可替换为ACCESS_KEY/SECRET_KEY
    FILE_FORMAT = (TYPE = PARQUET AUTO_DETECT = TRUE)
    PARTITION_BY = (date_partition => REGEXP_SUBSTR($PATH, 'date=(\\d{4}-\\d{2}-\\d{2})', 1, 1, 'e'));
  

  这里通过REGEXP_SUBSTR从文件路径中提取date=YYYY-MM-DD格式的分区值，作为自定义分区列date_partition。

• 创建Snowpipe管道关联目标表
  定义管道将阶段内所有分区下的Parquet文件导入同一目标表，同时将提取的分区值写入表中对应的列：

  CREATE OR REPLACE PIPE s3_to_single_table_pipe
    AUTO_INGEST = TRUE -- 开启自动加载
    AS
    COPY INTO your_target_table (col1, col2, date_partition)
    FROM (SELECT $1:col1, $1:col2, METADATA$PARTITION:date_partition
          FROM @s3_date_partitioned_stage)
    MATCH_BY_COLUMN_NAME = CASE_INSENSITIVE; -- 按列名匹配Parquet字段
  

  如果目标表已包含date_partition列，直接通过METADATA$PARTITION引用阶段提取的分区值即可。

• 配置S3事件触发（可选）
  若需要自动导入新增文件，在S3存储桶中配置事件通知（选择s3:ObjectCreated:*事件），将通知发送至Snowpipe提供的SQS队列，实现新分区文件自动同步。

关键注意事项 #

• 确保所有分区下的Parquet文件schema与目标表兼容，若存在字段差异，可通过SELECT子句调整字段映射。
• 若分区路径格式不同，需修改PARTITION_BY中的正则表达式以匹配实际路径规则。
• 验证阶段权限：确保Snowflake的存储集成（或密钥）拥有S3存储桶的读权限。

内容的提问来源于stack exchange，提问作者Sam Richardson