如何在Snowflake中将4个同结构年度表合并为单表？

嘿，这个需求在Snowflake里其实很好解决，既然你的四个年度表结构完全一致，咱们可以用几种简单且高效的方式来合并数据：

方法1：直接创建新的合并表（最常用） #

如果还没有目标表，直接用CREATE OR REPLACE TABLE配合UNION ALL就能一步生成合并后的表。推荐用UNION ALL而不是UNION，因为后者会自动去重，额外消耗性能，而你的年度数据应该不会有重复的业务主键，完全没必要做去重。

CREATE OR REPLACE TABLE combined_data AS
SELECT * FROM data_2017
UNION ALL
SELECT * FROM data_2018
UNION ALL
SELECT * FROM data_2019
UNION ALL
SELECT * FROM data_2020;

• 这个语句会创建名为combined_data的新表，包含所有四个年度的全部数据
• 如果combined_data已经存在，CREATE OR REPLACE会替换掉它；如果不想替换，改成CREATE TABLE即可（但要确保表不存在）

方法2：向已存在的目标表插入数据 #

如果已经有一个结构匹配的目标表，直接用INSERT INTO把数据导进去就行：

INSERT INTO combined_data
SELECT * FROM data_2017
UNION ALL
SELECT * FROM data_2018
UNION ALL
SELECT * FROM data_2019
UNION ALL
SELECT * FROM data_2020;

⚠️ 注意：目标表的列结构（数量、类型、顺序）必须和源表完全一致，否则会抛出数据类型不匹配的错误。

方法3：更健壮的写法（显式指定列名） #

虽然SELECT *用起来方便，但如果后续源表的列顺序发生变化，可能会导致数据错位。更稳妥的方式是显式列出所有列名：

CREATE OR REPLACE TABLE combined_data AS
SELECT col1, col2, col3, col4 FROM data_2017
UNION ALL
SELECT col1, col2, col3, col4 FROM data_2018
UNION ALL
SELECT col1, col2, col3, col4 FROM data_2019
UNION ALL
SELECT col1, col2, col3, col4 FROM data_2020;

把col1到col4替换成你实际的列名即可，这样即使源表的列顺序调整，合并后的数据也不会出错。

方法4：动态生成合并逻辑（适合大量年度表） #

如果后续还要加更多年度表（比如2021、2022...），手动写UNION ALL会很麻烦，用Snowflake的脚本功能可以动态生成SQL：

DECLARE
    sql_stmt STRING;
BEGIN
    -- 初始化SQL语句
    sql_stmt := 'CREATE OR REPLACE TABLE combined_data AS ';
    -- 循环遍历年度
    FOR year IN 2017 TO 2020 DO
        sql_stmt := sql_stmt || 'SELECT * FROM data_' || year || ' UNION ALL ';
    END FOR;
    -- 去掉最后多余的" UNION ALL "
    sql_stmt := LEFT(sql_stmt, LENGTH(sql_stmt) - LENGTH(' UNION ALL '));
    -- 执行生成的SQL
    EXECUTE IMMEDIATE sql_stmt;
END;

后续只要修改循环的起止年份，就能自动合并新增的年度表，非常省心。

额外建议：用动态表实现自动同步 #

如果希望后续新增年度表后，合并表能自动更新，可以创建动态表（Dynamic Table）：

CREATE OR REPLACE DYNAMIC TABLE combined_data
TARGET_LAG = '1 minute' -- 数据延迟设置
WAREHOUSE = your_warehouse_name -- 替换成你的仓库名
AS
SELECT * FROM data_2017
UNION ALL
SELECT * FROM data_2018
UNION ALL
SELECT * FROM data_2019
UNION ALL
SELECT * FROM data_2020;

动态表会自动刷新数据，后续只要把新的年度表加入到SELECT语句里，就能自动同步新增数据。

内容的提问来源于stack exchange，提问作者Santhosh