将AWS S3数据加载至Snowflake外部表时遇类型转换错误求助

错误原因 #

该错误是因为Snowflake解析CSV文件时，自动将某列推断为FIXED（数值型），但该列实际存在文本数据，导致类型转换失败。即使外部表字段定义为VARCHAR，底层解析CSV到variant时的自动类型推断仍会触发此错误。

解决步骤 #

1. 修改文件格式，禁用自动类型转换 #

更新文件格式，添加DISABLE_AUTO_CONVERT = TRUE参数，强制Snowflake将所有CSV字段解析为字符串类型，避免自动类型推断导致的错误：

create or replace file format my_csv_format
type = csv 
field_delimiter = ',' 
skip_header = 1
null_if = ('NULL','null')
empty_field_as_null = true 
FIELD_OPTIONALLY_ENCLOSED_BY = '"' 
encoding = 'UTF-8' 
ESCAPE_UNENCLOSED_FIELD = NONE
DISABLE_AUTO_CONVERT = TRUE;

2. 可选：添加列数不匹配容错 #

如果CSV文件存在行与行列数不一致的情况，可额外添加ERROR_ON_COLUMN_COUNT_MISMATCH = FALSE避免报错：

create or replace file format my_csv_format
type = csv 
field_delimiter = ',' 
skip_header = 1
null_if = ('NULL','null')
empty_field_as_null = true 
FIELD_OPTIONALLY_ENCLOSED_BY = '"' 
encoding = 'UTF-8' 
ESCAPE_UNENCLOSED_FIELD = NONE
DISABLE_AUTO_CONVERT = TRUE
ERROR_ON_COLUMN_COUNT_MISMATCH = FALSE;

3. 刷新外部表元数据 #

更新文件格式后，刷新外部表的元数据以应用新设置：

ALTER EXTERNAL TABLE "AAW"."ACS_CLS_MART"."EXT_RPT_MASTER" REFRESH;

4. 验证数据加载 #

查询外部表确认错误是否解决：

SELECT * FROM "AAW"."ACS_CLS_MART"."EXT_RPT_MASTER" LIMIT 10;

额外检查点 #

• 确认CSV文件中对应列的文本数据是否存在未正确转义的引号或分隔符，确保符合FIELD_OPTIONALLY_ENCLOSED_BY = '"'的格式要求。
• 验证外部表中的列索引（如c1、c2、c20）是否与CSV文件中的实际列位置对应，避免映射错误。

内容的提问来源于stack exchange，提问作者Shaik Bakshu