Snowflake加载非结构化文件如何将多行内容合并为单条记录入库

加载200行内容的文件到Snowflake表时，默认CSV解析规则会将换行符作为记录分隔符，逐行生成200条记录，实际需求为将整个文件的全部内容合并为1条记录存储，保留原文件的换行格式。
原有建表及加载SQL存在的核心问题：未自定义文件格式的记录分隔规则，使用默认CSV配置导致按换行拆分记录。

方案1：直接修改文件格式参数（推荐，性能最优） #

核心逻辑是调整COPY命令的文件格式配置，让Snowflake将整个文件识别为单条记录，不需要额外聚合操作。

1. 先调整目标表字段长度，避免内容截断：
   原表single_col字段设置为varchar(2000)，200行文本内容大概率超过该长度，建议调整为无长度限制的varchar（最大支持16MB）：

create or replace table sample_test_single_col (
    LOADED_AT timestamp, 
    FILENAME string, 
    single_col varchar
);

2. 执行修改后的COPY加载命令，核心是新增两个文件格式参数：

• FIELD_DELIMITER = NONE：整个文件仅需映射到1个字段，不需要做字段拆分
• RECORD_DELIMITER = '\0'：将记录分隔符设置为文本文件中几乎不会出现的空字符，让Snowflake将整个文件识别为单条记录

COPY INTO sample_test_single_col
from (
  SELECT
    CURRENT_TIMESTAMP as LOADED_AT,
    METADATA$FILENAME as FILENAME,
    s.$1 as single_col 
  from @%sample_test_single_col s 
) 
file_format = (
    type = csv
    FIELD_DELIMITER = NONE
    RECORD_DELIMITER = '\0'
    ENCODING = 'UTF8' -- 可根据文件实际编码调整
);

注意：如果空字符\0碰巧存在于你的文件内容中，可以替换为其他确认不会在文件正文中出现的字符/字符串，比如控制符'\x1E'、特殊标记串'||FILE_END||'等。

加载完成后single_col字段会自动保留原文件的所有换行符，查询时会按原格式展示多行内容，完全匹配预期输出。

方案2：临时表加载后聚合（适合需要保留逐行数据的场景） #

如果后续需要用到逐行加载的明细数据，可以先按原有逻辑加载到临时表，再按文件名分组拼接为单条记录插入目标表：

-- 1. 建临时表存储逐行数据，同时记录行号保证拼接顺序
create or replace temporary table tmp_sample_lines (
    LOADED_AT timestamp, 
    FILENAME string, 
    line_content varchar,
    line_no number
);

-- 2. 逐行加载数据，通过METADATA$FILE_ROW_NUMBER获取行号
COPY INTO tmp_sample_lines
from (
  SELECT
    CURRENT_TIMESTAMP as LOADED_AT,
    METADATA$FILENAME as FILENAME,
    s.$1 as line_content,
    METADATA$FILE_ROW_NUMBER as line_no
  from @%sample_test_single_col s 
) 
file_format = (type = csv);

-- 3. 按文件名分组，按行号顺序用换行符拼接所有行，插入目标表
insert into sample_test_single_col (LOADED_AT, FILENAME, single_col)
select 
    min(LOADED_AT) as LOADED_AT,
    FILENAME,
    LISTAGG(line_content, '\n') within group (order by line_no) as single_col
from tmp_sample_lines
group by FILENAME;

注意：Snowflake中LISTAGG函数默认返回结果最大长度为16MB，如果单文件内容超过该大小，必须使用方案1直接加载，避免内容截断。

内容的提问来源于stack exchange，提问作者CodeM