如何解决ADF Copy中Snowflake ESCAPE属性失效问题？

问题场景 #

源表某列存在值为\的记录，该值干扰Snowflake的转义字符解析逻辑。尝试在ADF COPY活动的接收器属性中覆盖转义相关配置，但未生效。ADF自动生成并执行的SQL如下：

CREATE OR REPLACE STAGE "stg"."abc" URL = 'azure://staging/2b476d30-f166-4f81-ac57-8765bf79f29b/SnowflakeImportCopyCommand/' CREDENTIALS = (AZURE_SAS_TOKEN = '☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺')

FILE_FORMAT = (type = CSV RECORD_DELIMITER = '
' FIELD_OPTIONALLY_ENCLOSED_BY = '"' ESCAPE = '\\' SKIP_HEADER = 1 NULL_IF = '' ENCODING = UTF8)

COPY INTO "stgdb"."tab1" ( "col1", "col2",,,,,... , "INSERT_DATE", "UPDATE_DATE") FROM (SELECT $1, $2, $52, $53, $54 FROM @"stgdb"."abc") FORCE = TRUE LOAD_UNCERTAIN_FILES = TRUE ON_ERROR = CONTINUE

DROP STAGE IF EXISTS "stgdb"."abc"

分析与处理方案 #

从生成的SQL可见，FILE_FORMAT中设置ESCAPE = '\\'（对应Snowflake中的单个反斜杠转义符），但源数据本身包含\，会被误判为转义符导致字段解析异常。结合ADF设置不生效的情况，可按以下方式调整：

1. 调整文件格式的转义参数 #

• 改用源数据中不存在的字符作为转义符，比如ESCAPE = '^'，避免和源数据中的\冲突：

  FILE_FORMAT = (type = CSV RECORD_DELIMITER = '\n' FIELD_OPTIONALLY_ENCLOSED_BY = '"' ESCAPE = '^' SKIP_HEADER = 1 NULL_IF = '' ENCODING = UTF8)
  

• 如果源数据中的\是普通业务字符而非转义用途，可设置ESCAPE_UNENCLOSED_FIELD = NONE，让未被引号包裹的字段里的\直接作为普通字符处理：

  FILE_FORMAT = (type = CSV RECORD_DELIMITER = '\n' FIELD_OPTIONALLY_ENCLOSED_BY = '"' ESCAPE = '\\' ESCAPE_UNENCLOSED_FIELD = NONE SKIP_HEADER = 1 NULL_IF = '' ENCODING = UTF8)
  

2. 规避ADF自动生成SQL的问题 #

如果确认ADF未正确同步接收器设置到生成的SQL中，可跳过ADF自动生成文件格式的逻辑：

• 先在Snowflake中创建自定义文件格式：

  CREATE OR REPLACE FILE_FORMAT "stgdb"."custom_csv_format"
  TYPE = CSV
  RECORD_DELIMITER = '\n'
  FIELD_OPTIONALLY_ENCLOSED_BY = '"'
  ESCAPE = '^'
  ESCAPE_UNENCLOSED_FIELD = NONE
  SKIP_HEADER = 1
  NULL_IF = ''
  ENCODING = UTF8;
  

• 在ADF COPY活动的接收器配置中，直接引用该预创建的文件格式，而非使用ADF自动生成的临时格式。

3. 验证ADF配置一致性 #

检查ADF COPY活动接收器中设置的转义符、文件格式参数，是否与生成的SQL完全匹配。如果配置的参数和SQL中实际生成的不一致，大概率是ADF的适配bug，此时优先使用预创建文件格式的方式绕过。

内容的提问来源于stack exchange，提问作者Mahesh