Snowflake如何按Division拆分数据导出为前缀命名文件至Azure存储

前置准备 #

首先需要配置指向目标Azure存储账户的外部阶段，确保Snowflake有对应容器的写入权限：

-- 替换占位符为你的实际Azure存储信息
CREATE OR REPLACE STAGE az_div_export_stage
URL = 'azure://<YOUR_STORAGE_ACCOUNT>.blob.core.windows.net/<YOUR_CONTAINER>/'
CREDENTIALS = (AZURE_SAS_TOKEN='<YOUR_VALID_SAS_TOKEN>');

执行前先跑关联校验查询，确认两表匹配逻辑正确，避免导出脏数据：

SELECT 
    m.TERMINAL_ID,
    m.MESSAGE_TYPE_CD,
    m.TRANSACTION_TYPE_CD,
    d.Prefix
FROM Main m
INNER JOIN Division d
ON m.DIVISION_OWNER_NM = d.FIID
-- 可以加LIMIT 100先抽查样例数据
LIMIT 100;

方案1：高性能批量导出（推荐大数据量场景） #

直接用COPY INTO的分区拆分能力，自动按分部Prefix拆分文件，性能远高于循环导出，TB级数据也能稳定运行：

COPY INTO @az_div_export_stage
FROM (
    SELECT 
        m.TERMINAL_ID,
        m.MESSAGE_TYPE_CD,
        m.TRANSACTION_TYPE_CD,
        d.Prefix
    FROM Main m
    INNER JOIN Division d
    ON m.DIVISION_OWNER_NM = d.FIID
)
-- 按Prefix字段分区，同Prefix的数据会写入同一个/组文件
PARTITION BY Prefix
FILE_FORMAT = (
    TYPE = CSV 
    COMPRESSION = NONE 
    FIELD_OPTIONALLY_ENCLOSED_BY = '"' 
    SKIP_HEADER = 1
)
-- 文件名自动带Prefix前缀，格式为 {Prefix}/{Prefix}_<分片序号>.csv
FILE_NAME_PATTERN = 'Prefix/Prefix_*.csv'
-- 单文件最大10G，单分部数据不超过10G时只会生成1个文件
MAX_FILE_SIZE = 10737418240
OVERWRITE = TRUE;

导出完成后执行LIST @az_div_export_stage即可查看所有生成的文件，每个分部对应独立的文件，文件名前缀和Division表中配置的Prefix完全一致。
如果需要导出Parquet、JSON等格式，只需要修改FILE_FORMAT中的TYPE参数即可。

方案2：存储过程循环导出（推荐小数据量、需灵活自定义文件名场景） #

如果需要严格控制每个分部只生成单个文件，或者需要在文件名中拼接日期、分部编号等自定义字段，可以用存储过程遍历Division表逐分部导出：

CREATE OR REPLACE PROCEDURE sp_export_div_to_azure()
RETURNS VARCHAR
LANGUAGE SQL
AS
$$
DECLARE
    div_rec RECORD;
    copy_cmd VARCHAR;
BEGIN
    FOR div_rec IN (SELECT FIID, Prefix FROM Division)
    LOOP
        copy_cmd := 'COPY INTO @az_div_export_stage/' || div_rec.Prefix || '_transactions_' || TO_VARCHAR(CURRENT_DATE(), 'YYYYMMDD') || '.csv
            FROM (
                SELECT TERMINAL_ID, DIVISION_OWNER_NM, MESSAGE_TYPE_CD, TRANSACTION_TYPE_CD
                FROM Main
                WHERE DIVISION_OWNER_NM = ''' || div_rec.FIID || '''
            )
            FILE_FORMAT = (TYPE = CSV COMPRESSION = NONE FIELD_OPTIONALLY_ENCLOSED_BY = ''"'' SKIP_HEADER = 1)
            SINGLE = TRUE
            OVERWRITE = TRUE;';
        EXECUTE IMMEDIATE copy_cmd;
    END LOOP;
    RETURN 'Export completed for all divisions';
END;
$$;

-- 执行导出
CALL sp_export_div_to_azure();

这个方案生成的文件名示例：DV06_transactions_20240520.csv、DV04_transactions_20240520.csv，完全匹配Prefix前缀要求。

注意事项 #

• 导出前确认Snowflake到Azure存储的网络连通性，SAS令牌要确保有写入、列目录权限
• 如果需要压缩文件，把COMPRESSION参数改成GZIP等对应压缩格式即可，能大幅降低存储成本和传输时间
• 如果存在Main表中有数据但Division表中没有匹配FIID的情况，需要先确认这类数据的处理逻辑，上述两个方案默认只会导出两表关联匹配上的数据

内容的提问来源于stack exchange，提问作者user15488631