如何在Snowflake中正确上传含特殊字符的CSV格式脏数据？

一、数据格式化规则 #

必须严格遵循以下规则处理CSV中的特殊字符（逗号、换行、反斜杠、双引号）：

• 所有包含特殊字符的字符串字段，必须用双引号(")包裹
• 如果字符串本身包含双引号，需用两个连续双引号("")转义（禁止用反斜杠转义双引号）
• 保持字段分隔符为逗号，行分隔符为统一的换行符(\n)，避免混合使用\r\n和\n

示例正确格式化的CSV内容：

ID,NAME,DESCRIPTION,PRICE,STATUS
1,"John Doe","Likes coffee, tea\nand hiking",10.99,ACTIVE
2,"Jane ""The Pro"" Smith","Uses backslash: \\test",15.50,INACTIVE

二、COPY FROM命令的正确配置 #

不需要额外设置ESCAPE参数，仅需通过FIELD_OPTIONALLY_ENCLOSED_BY指定双引号识别规则，配合必要的辅助参数即可：

COPY INTO YOUR_TARGET_TABLE
FROM @YOUR_STAGE/uploaded_file.csv
FILE_FORMAT = (
    TYPE = CSV
    FIELD_DELIMITER = ','
    FIELD_OPTIONALLY_ENCLOSED_BY = '"'  -- 核心配置，识别双引号包裹的特殊字段
    SKIP_HEADER = 1  -- 如果CSV包含表头则设置为1，否则去掉该行
    TRIM_SPACE = FALSE  -- 如需保留字段前后空格则设为FALSE，否则设为TRUE
    ERROR_ON_COLUMN_COUNT_MISMATCH = TRUE  -- 确保列数不匹配时及时报错
);

三、常见错误排查 #

• 错误使用反斜杠转义双引号：比如"Jane \"The Pro\" Smith"会导致解析失败，必须改为"Jane ""The Pro"" Smith"
• 特殊字段未用双引号包裹：比如未包裹的Likes coffee, tea会让逗号被识别为列分隔符，引发列数不匹配
• 同时设置ESCAPE和FIELD_OPTIONALLY_ENCLOSED_BY：两者规则冲突会导致解析异常，需删除ESCAPE参数
• 行分隔符不统一：混合使用\r\n和\n会导致部分行解析错误，可在FILE_FORMAT中显式指定RECORD_DELIMITER = '\n'统一规则

内容的提问来源于stack exchange，提问作者Mason Wheeler