如何在Snowpipe加载数据完成后自动删除外部阶段S3中的已加载文件

Snowpipe原生不支持COPY命令中的PURGE参数，你可以通过以下两种方案实现需求：

方案1：基于Snowflake内置功能的定时清理（无需额外云服务配置） #

• 首先查询Snowflake内置的COPY_HISTORY系统视图，筛选出指定管道下近一段时间内加载状态为LOADED的S3文件路径，参考查询语句：

SELECT DISTINCT file_name 
FROM TABLE(INFORMATION_SCHEMA.COPY_HISTORY(
  PIPE_NAME => '<你的管道名>',
  START_TIME => DATEADD(HOUR, -24, CURRENT_TIMESTAMP())
))
WHERE STATUS = 'LOADED';

• 配置对应S3外部 Stage 的存储集成权限，赋予Snowflake账号S3路径的删除权限
• 将「查询已加载文件、生成并执行删除命令」的逻辑封装为存储过程，绑定到Snowflake Task上按固定周期（如每1~6小时）自动运行，删除命令参考：

REMOVE @<你的Stage名>/<文件路径> PATTERN='<匹配已加载文件的正则规则>';

方案2：基于事件驱动的实时清理（延迟更低） #

• 给Snowpipe开启加载成功事件通知，将事件推送到AWS SQS队列
• 编写AWS Lambda函数消费SQS队列消息，解析出消息中已成功加载的S3文件路径，调用S3的DeleteObject接口直接删除对应文件

注意：建议给对应S3桶开启至少7天的版本保留功能，避免误删未成功加载的文件，或者出现数据质量问题时无法回溯源文件。删除逻辑中建议额外增加数据校验步骤，确认文件对应数据已经成功写入目标表后再执行删除操作。

内容的提问来源于stack exchange，提问作者Ramya Chandrasekaran