如何修复Snowflake外部表加载Azure存储数据时的错误数据

方法1：调整文件格式的转义参数 #

问题根源是错误的双引号闭合格式"A""导致Snowflake解析时判定引号未闭合，进而整行返回null。可以通过设置文件格式的转义参数，让Snowflake正确识别不完整的引号：

创建适配的文件格式：

CREATE OR REPLACE FILE FORMAT mydb.public.fix_quote_csv
TYPE = CSV
SKIP_HEADER = 1
FIELD_OPTIONALLY_ENCLOSED_BY = '"'
ESCAPE = '"' -- 指定双引号作为转义符，两个连续双引号解析为一个
ESCAPE_UNENCLOSED_FIELD = NONE; -- 不对未被引号包裹的字段做转义处理

使用该文件格式重建外部表：

CREATE OR REPLACE EXTERNAL TABLE mydb.public.tb2_434
WITH LOCATION = @mydb.public.blob_tb2_434/
FILE_FORMAT = mydb.public.fix_quote_csv
PATTERN='.*.tsv';

这个设置会将"A""解析为A"，避免因引号未闭合导致的整行null问题。

方法2：通过COPY INTO预处理清洗数据 #

如果方法1无法解决，可先将原始数据整行加载到暂存表，修正引号后再拆分字段：

1. 创建仅存储整行原始数据的暂存表：

CREATE OR REPLACE TABLE mydb.public.staging_raw (raw_line STRING);

2. 整行加载所有TSV文件数据：

COPY INTO mydb.public.staging_raw
FROM @mydb.public.blob_tb2_434/
FILE_FORMAT = (TYPE = CSV SKIP_HEADER=1 FIELD_DELIMITER='\n' RECORD_DELIMITER='\n')
PATTERN='.*.tsv';

3. 修正引号并按制表符拆分字段（以两个字段为例，可根据实际字段数量扩展）：

SELECT 
    SPLIT_PART(REPLACE(raw_line, '""', '"""'), CHAR(9), 1) AS col1,
    SPLIT_PART(REPLACE(raw_line, '""', '"""'), CHAR(9), 2) AS col2
    -- 继续添加其他字段的拆分逻辑
FROM mydb.public.staging_raw;

方法3：在外部表定义中直接处理原始行 #

利用外部表的$1字段获取整行原始数据，直接在表定义中嵌入修正和拆分逻辑：

CREATE OR REPLACE EXTERNAL TABLE mydb.public.tb2_434 (
    col1 STRING AS SPLIT_PART(REPLACE($1, '""', '"""'), CHAR(9), 1),
    col2 STRING AS SPLIT_PART(REPLACE($1, '""', '"""'), CHAR(9), 2)
    -- 根据实际字段数量添加对应字段定义
)
WITH LOCATION = @mydb.public.blob_tb2_434/
FILE_FORMAT = (TYPE = CSV SKIP_HEADER=1 FIELD_DELIMITER='\n')
PATTERN='.*.tsv';

内容的提问来源于stack exchange，提问作者Adx