Snowflake文件格式配置：含双引号与反引号字段加载问题求助

问题背景 #

加载数据至Snowflake时，部分字段同时包含双引号（"）和反引号（`），示例字段内容：

mount'"`0&nslookup -q=cname 2fivzq4hj1s86ukok4mnaedds4yxmphde15owcl.oastify.com.&`'

由于Snowflake的FIELD_OPTIONALLY_ENCLOSED_BY仅支持单引号、双引号或NONE三种配置，无法直接指定反引号作为字段封闭符。尝试过十六进制值配置、移除该参数、更换记录分隔符等操作后，仍触发解析错误：

found character '`' instead of record delimiter '\n’

当前使用的文件格式配置：

CREATE FILE FORMAT IF NOT EXISTS <format_name>
TYPE=CSV,
FIELD_DELIMITER ='\xC3\x9A',
RECORD_DELIMITER = '\n',
NULL_IF = 'NULL',
REPLACE_INVALID_CHARACTERS = TRUE,
ESCAPE = '\\',
ESCAPE_UNENCLOSED_FIELD = NONE,
FIELD_OPTIONALLY_ENCLOSED_BY = '”’;

可行配置方案 #

方案1：禁用字段封闭符，强化转义逻辑 #

将FIELD_OPTIONALLY_ENCLOSED_BY设为NONE，同时启用未封闭字段的转义规则，让Snowflake正确识别字段内的特殊字符：

CREATE FILE FORMAT IF NOT EXISTS <format_name>
TYPE=CSV,
FIELD_DELIMITER ='\xC3\x9A',
RECORD_DELIMITER = '\n',
NULL_IF = 'NULL',
REPLACE_INVALID_CHARACTERS = TRUE,
ESCAPE = '\\',
ESCAPE_UNENCLOSED_FIELD = '\\', -- 对未封闭字段启用反斜杠转义
FIELD_OPTIONALLY_ENCLOSED_BY = NONE;

说明：关闭字段封闭后，Snowflake仅以字段分隔符和记录分隔符作为边界，通过ESCAPE_UNENCLOSED_FIELD让反斜杠转义字段内的所有特殊字符（包括反引号、双引号），避免误判为分隔符。

方案2：加载时通过TRANSFORM子句清理字段 #

若方案1仍无法解决问题，可在加载过程中直接清洗字段内的干扰字符：

COPY INTO <target_table>
FROM @<stage>/<file_path>
FILE_FORMAT = (FORMAT_NAME = <format_name>)
TRANSFORM = (
    <problem_column> => REGEXP_REPLACE(<problem_column>, '["`]', '') -- 移除双引号和反引号
    -- 其他字段原样保留：<col1> => <col1>, <col2> => <col2>...
);

说明：该方式适合不需要保留特殊字符的场景，直接在加载环节完成字段清洗。

方案3：将反引号设为转义符（非常规但有效） #

如果字段内的反引号是用作转义标记的，可尝试将ESCAPE参数设为反引号，同时关闭字段封闭：

CREATE FILE FORMAT IF NOT EXISTS <format_name>
TYPE=CSV,
FIELD_DELIMITER ='\xC3\x9A',
RECORD_DELIMITER = '\n',
NULL_IF = 'NULL',
REPLACE_INVALID_CHARACTERS = TRUE,
ESCAPE = '`', -- 用反引号作为转义符
ESCAPE_UNENCLOSED_FIELD = '`',
FIELD_OPTIONALLY_ENCLOSED_BY = NONE;

说明：此配置会让Snowflake将反引号后的字符视为普通文本，避免误判为分隔符，但需确认字段内的反引号确实承担转义功能。

关键注意事项 #

• 确认字段分隔符\xC3\x9A（Unicode字符Ü）未在数据中被用作普通内容，否则会触发额外解析错误。
• 若特殊字符为随机干扰项，优先使用方案2的TRANSFORM方式处理。

内容的提问来源于stack exchange，提问作者Caroline-Hoelscher