Snowflake Snowpipe无法多次导入同文件名数据如何解决？

问题根因 #

这是Snowflake内置的防重复加载机制导致的：Snowflake会为所有通过COPY INTO（包括Snowpipe触发的COPY操作）加载过的文件保留64天的元数据记录，记录包含文件路径、文件大小、ETag校验值。只要新触发加载的文件与历史记录中的条目匹配，就会被直接跳过，该逻辑和目标表是否被truncate、Stage文件是否被删除后重传无关。

解决方案 #

方案1：修改Pipe定义添加FORCE参数（最适合测试场景） #

直接修改Pipe创建语句，在COPY的配置项中添加FORCE = TRUE，修改后语句如下：

create or replace pipe exampledb.dbschema.example_pipe 
as copy into exampledb.dbschema.example_table 
from
    (
        select
            t.*
        from
            @exampledb.dbschema.example_stage t
    ) 
file_format = (TYPE = CSV) ON_ERROR = SKIP_FILE
FORCE = TRUE;

开启后只要触发Snowpipe就会强制加载文件内容，完全不需要修改文件名或业务代码。注意生产环境如果没有重复加载需求不要开启该参数，避免产生重复数据。

方案2：调用Ingest API时传入文件最新属性 #

你当前代码中StagedFile(file_name, None)的第二个参数传了空值，Snowpipe会默认用历史记录匹配文件。你可以在执行put命令上传文件后，先查询Stage中文件的最新大小和MD5校验值，再传给StagedFile构造函数即可：

1. 执行SQL查询Stage文件信息：

LIST @exampledb.dbschema.example_stage;

2. 修改代码中的对应逻辑：

staged_file_list.append(StagedFile(file_name, size=查询到的文件大小, md5=查询到的文件MD5值))

Snowpipe会识别出这是新上传的文件，即使文件名相同也会正常触发加载。

方案3：手动清理Pipe的加载历史 #

如果仅需要临时重新加载特定文件，可以执行SQL清除对应文件的加载记录：

-- 清理所有历史加载记录
ALTER PIPE exampledb.dbschema.example_pipe REFRESH;
-- 仅清理指定前缀文件的加载记录
ALTER PIPE exampledb.dbschema.example_pipe REFRESH PREFIX='a.csv';

执行完成后再触发Snowpipe即可正常加载同名文件。

内容的提问来源于stack exchange，提问作者huy