如何通过COPY INTO将含未加引号换行字段的CSV加载到Snowflake？

当CSV文件中存在字段包含换行符但未用双引号包裹时，Snowflake的FIELD_OPTIONALLY_ENCLOSED_BY配置无法识别这种非标准格式，导致部分记录加载失败。以下两种方法可实现100%加载：

方法一：预处理源文件，补全缺失的引号 #

用脚本工具（如awk、sed）识别跨行字段，给包含换行符的字段添加双引号，将文件转为标准CSV格式后再加载。

针对示例中4字段的情况，可使用如下awk脚本处理：

BEGIN { FS=","; OFS="," }
{
    field_count = split($0, fields, ",")
    # 当前行字段数不足4时，合并下一行内容
    if (field_count < 4) {
        getline next_line
        $0 = $0 next_line
        field_count = split($0, fields, ",")
        # 给含换行的字段添加双引号
        fields[3] = "\"" fields[3] "\""
        # 重新拼接输出
        for (i=1; i<=field_count; i++) {
            printf "%s%s", fields[i], (i==field_count ? "\n" : OFS)
        }
    } else {
        print $0
    }
}

执行脚本后，原记录value 1, value 2, valu\ne3, value 4会转为value 1, value 2, "valu\ne3", value 4，之后即可用常规COPY INTO命令加载。

方法二：Snowflake半结构化加载+自定义解析 #

无需修改源文件，先将整个文件作为单条记录加载到临时表，再用SQL正则解析拆分字段：

1. 创建临时存储表

CREATE OR REPLACE TEMP TABLE raw_csv_content (full_content TEXT);

2. 将整个文件加载为单条记录（用罕见字符作为记录分隔符，确保文件被整体读取）

COPY INTO raw_csv_content
FROM '@your_stage/your_file.txt'
FILE_FORMAT = (
    TYPE = CSV
    FIELD_DELIMITER = NONE
    RECORD_DELIMITER = '\x01'  -- 用极少出现的ASCII控制字符作为分隔符
    SKIP_HEADER = 0
);

3. 用正则表达式解析拆分字段

SELECT
    TRIM(REGEXP_SUBSTR(full_content, '^([^,]+),([^,]+),([\\s\\S]+),([^,]+)$', 1, 1, 'e', 1)) AS field1,
    TRIM(REGEXP_SUBSTR(full_content, '^([^,]+),([^,]+),([\\s\\S]+),([^,]+)$', 1, 1, 'e', 2)) AS field2,
    TRIM(REGEXP_SUBSTR(full_content, '^([^,]+),([^,]+),([\\s\\S]+),([^,]+)$', 1, 1, 'e', 3)) AS field3,
    TRIM(REGEXP_SUBSTR(full_content, '^([^,]+),([^,]+),([\\s\\S]+),([^,]+)$', 1, 1, 'e', 4)) AS field4
FROM raw_csv_content;

正则中的[\s\S]会匹配包括换行符在内的所有字符，确保含换行的字段被完整捕获，同时正确拆分其他字段。

内容的提问来源于stack exchange，提问作者mad_