Snowflake中COPY INTO与INSERT INTO对比：现有表转换场景探讨

关键结论 #

• COPY INTO可以用于已有表，但默认行为是覆盖数据，需要配置参数实现追加逻辑
• 大数据量转换场景下，COPY INTO的效率确实比INSERT INTO更高；小数据量时INSERT INTO更简洁直接

你的语法为什么报错？ #

COPY INTO的FROM子句只能指向Snowflake的Stage（内部或外部存储），不能直接接表查询的子查询，必须通过Stage中转数据，这是你之前的写法无法运行的核心原因。

正确的实现步骤与代码 #

1. 创建临时内部Stage（用于中转查询结果） #

临时Stage会在会话结束后自动删除，适合临时数据中转场景：

CREATE OR REPLACE TEMPORARY STAGE temp_transfer_stage;

2. 将联合查询结果卸载到Stage #

推荐使用PARQUET列存格式，它比CSV的压缩率和加载效率更高：

COPY INTO @temp_transfer_stage
FROM (
    SELECT * FROM SOURCE_TABLE_1
    UNION ALL
    SELECT * FROM SOURCE_TABLE_2
)
FILE_FORMAT = (TYPE = PARQUET);

3. 从Stage追加数据到已有目标表 #

通过参数配置实现追加、错误处理和自动清理：

COPY INTO TEST_TABLE
FROM @temp_transfer_stage
FILE_FORMAT = (TYPE = PARQUET)
ON_ERROR = CONTINUE -- 可选：遇到单条数据错误时继续加载其余数据
FORCE = TRUE -- 强制加载，避免因Stage文件已存在而跳过
PURGE = TRUE; -- 加载完成后自动删除Stage中的临时文件，可选

效率差异说明 #

• 大数据量场景：COPY INTO利用Snowflake的批量并行处理能力，卸载和加载都是批量操作，能大幅减少事务日志和元数据更新的开销；而INSERT INTO是逐行或小批量写入，在数据量较大时，尤其是目标表有索引、约束的情况下，性能差距会非常明显
• 小数据量场景：INSERT INTO不需要中转Stage，操作更简单直接，两者的效率差异可以忽略不计

内容的提问来源于stack exchange，提问作者thejoker34