Snowflake COPY INTO加载报错，求适配的文件格式分隔符配置

核心问题定位 #

问题根源在于数据导出时的字段包裹规则与Snowflake文件格式不匹配，同时换行符识别出现异常干扰。

具体调整方案 #

1. 兼容多字段包裹符 #

Python的to_csv默认用双引号(")包裹含特殊字符的字段，但你的数据中出现了反引号(```)包裹的情况。需在Snowflake文件格式中同时支持这两种包裹符：

CREATE FILE FORMAT IF NOT EXISTS TEST
TYPE=CSV
FIELD_DELIMITER ='\xC3\x9A',
RECORD_DELIMITER = '\n',
NULL_IF = 'NULL',
REPLACE_INVALID_CHARACTERS = TRUE,
ESCAPE = '\\',
ESCAPE_UNENCLOSED_FIELD = NONE,
FIELD_OPTIONALLY_ENCLOSED_BY = '`"' -- 同时支持反引号和双引号作为字段包裹符

2. 强制统一换行符 #

报错提示反引号被误识别为换行符，需确保导出时换行符统一：
在Python导出代码中明确指定换行符：

df_byte = df.to_csv(compression="gzip", 
     header=False,   
            index=False,   
            na_rep='NULL',  
            sep='Ú',
            line_terminator='\n'  # 强制使用LF作为换行符
            ).encode()

如果导出的是Windows风格换行，可在Snowflake中尝试设置RECORD_DELIMITER = '\r\n'，优先保证导出端的换行符一致性。

3. 确认分隔符正确性 #

Ú的UTF-8编码确实是\xC3\x9A，这部分配置无需修改。

测试建议 #

调整后先用小批量数据执行COPY INTO测试，若仍有问题，使用COPY INTO ... VALIDATION_MODE = RETURN_ERRORS获取具体错误行，精准定位异常数据。

内容的提问来源于stack exchange，提问作者gayathri