SnowPipe已加载文件追踪时长及同名文件重入解决方案咨询

1. SnowPipe对已加载文件的追踪时长 #

SnowPipe对已加载文件的追踪时长与官方文档提到的复制历史保留期一致，为14天。在这14天内，SnowPipe会通过文件名记录已加载的文件，只要文件名匹配，无论文件内容是否更新，都会判定为已加载状态，不会重新摄入。超过14天后，该文件的加载记录会被清除，若同名文件再次出现在S3 Bucket中，SnowPipe会重新识别并加载它。

2. 保持文件名不变时的解决方法 #

以下是几种无需修改文件名即可让SnowPipe重新加载更新后文件的可行方案：

方案一：使用ALTER PIPE ... REFRESH命令强制加载 #

替换完S3中的同名文件后，执行以下SQL命令指定目标文件路径，强制SnowPipe重新扫描并加载该文件：

ALTER PIPE YOUR_PIPE_NAME REFRESH(PATH => '@YOUR_STAGE_NAME/path/to/your/target_file.parquet');

• 注意：该操作会将文件数据重新加载到目标表，需确保表有相应的重复数据处理机制（例如主键去重、MERGE INTO逻辑、先清空对应数据再加载），避免数据重复堆积。

方案二：结合Snowflake任务（Task）实现自动触发 #

如果文件替换是定期执行的，可以创建Snowflake任务，在文件更新完成后自动执行刷新命令。示例任务创建语句：

CREATE OR REPLACE TASK refresh_my_pipe
WAREHOUSE = YOUR_WH_NAME
SCHEDULE = 'USING CRON 0 0 * * * UTC' -- 按实际更新周期调整
AS
ALTER PIPE YOUR_PIPE_NAME REFRESH(PATH => '@YOUR_STAGE_NAME/path/to/your/target_file.parquet');

• 也可通过外部系统调用EXECUTE TASK refresh_my_pipe命令，在文件替换完成后立即触发刷新。

方案三：S3事件通知+SnowPipe REST API（进阶） #

替换文件时S3会生成PUT事件，可通过Lambda函数监听该事件，调用SnowPipe的REST API触发特定文件加载，并通过force参数忽略已加载记录。该方式需额外云服务配置，适合复杂自动化场景。

内容的提问来源于stack exchange，提问作者svalls