Snowflake COPY INTO重复加载文件问题及重复文件判定逻辑咨询

一、Snowflake判定文件是否已加载的逻辑 #

Snowflake默认通过**文件的完整路径（Stage路径 + 文件名）**结合目标表的加载历史（COPY HISTORY）来判断文件是否已被加载：

• 执行COPY INTO时，Snowflake会检查该文件路径是否在目标表的加载记录中存在且状态为LOADED。如果存在，默认不会重复加载（除非指定FORCE = TRUE）。
• 若文件被从Stage中删除，后续重新上传同名文件（即使内容、MD5或修改时间变化），Snowflake会将其视为新的文件实例——原有加载记录对应的文件已不存在于Stage，因此会重新执行加载。

你的场景中，第一次加载后删除文件，再上传同名但MD5、修改时间不同的文件，Snowflake识别为新文件，因此再次执行COPY INTO时完成加载，这符合默认逻辑。

二、避免重复加载的解决方案 #

1. 基于数据内容去重（推荐） #

如果核心需求是避免重复数据行进入表中，而非单纯阻止文件加载，可使用COPY INTO的MATCH_BY_COLUMNS参数结合表中的唯一键：

COPY INTO employee_axion_frontend_tb 
FROM @test_stage/axion_customer_details_16062023.csv
MATCH_BY_COLUMNS = (customer_id) -- 替换为你的表中唯一键列
ON_ERROR = CONTINUE;

该参数会对比源文件数据与目标表中指定的唯一键列，仅加载不存在的行。

2. 基于文件元数据（MD5）跟踪加载 #

若需要严格基于文件内容判断是否已加载，可维护自定义加载清单表，记录已加载文件的MD5值：

• 创建清单表

CREATE TABLE LOADED_FILES_METADATA (
    FILE_NAME VARCHAR,
    FILE_MD5 VARCHAR,
    LOAD_TIMESTAMP TIMESTAMP DEFAULT CURRENT_TIMESTAMP()
);

• 过滤未加载的文件并执行加载

COPY INTO employee_axion_frontend_tb
FROM (
    SELECT $1, $2, ... -- 替换为你的表对应列
    FROM @test_stage/axion_customer_details_16062023.csv
    WHERE metadata$filename NOT IN (
        SELECT FILE_NAME FROM LOADED_FILES_METADATA
        WHERE FILE_MD5 = metadata$file_content_md5
    )
);

• 插入成功加载的文件元数据

INSERT INTO LOADED_FILES_METADATA (FILE_NAME, FILE_MD5)
SELECT metadata$filename, metadata$file_content_md5
FROM @test_stage/axion_customer_details_16062023.csv;

3. 严格基于文件路径阻止重复加载（即使删除后重传） #

若需要无论文件内容是否变化，只要路径曾经加载过就不再加载，可扩展清单表记录文件路径：

CREATE TABLE LOADED_FILES_PATH (
    FILE_PATH VARCHAR PRIMARY KEY,
    LOAD_TIMESTAMP TIMESTAMP DEFAULT CURRENT_TIMESTAMP()
);

• 加载前检查路径是否已存在

COPY INTO employee_axion_frontend_tb
FROM @test_stage/axion_customer_details_16062023.csv
WHERE metadata$filename NOT IN (SELECT FILE_PATH FROM LOADED_FILES_PATH);

-- 加载完成后插入记录
INSERT INTO LOADED_FILES_PATH (FILE_PATH)
SELECT metadata$filename FROM @test_stage/axion_customer_details_16062023.csv;

内容的提问来源于stack exchange，提问作者Rahul Srivastava