Snowflake从AWS S3加载CSV：动态识别数据类型失败如何解决？

常见原因及修复方案 #

1. 文件格式未配置表头处理 #

如果你的CSV文件包含表头，但文件格式未设置SKIP_HEADER = 1，INFER_SCHEMA会把表头行（字符串）当作第一行数据，直接导致所有列被识别为VARCHAR。

修改文件格式：

CREATE OR REPLACE FILE FORMAT my_csv
  TYPE = CSV 
  FIELD_DELIMITER = '|'
  SKIP_HEADER = 1; -- 新增该行跳过表头

2. 默认抽样范围未覆盖有效数值行 #

INFER_SCHEMA默认仅抽样前1000行数据，如果前1000行里数值列存在空值、非数值字符（如特殊符号、换行符），就会将列判定为VARCHAR。可以通过SAMPLE_SIZE指定更大的抽样量，甚至覆盖全部数据：

CREATE TABLE GEO_DATA
  USING TEMPLATE (
    SELECT ARRAY_AGG(OBJECT_CONSTRUCT(*))
      FROM TABLE(
        INFER_SCHEMA(
          LOCATION=>'@LOAD.GEO_DATA',
          FILE_FORMAT=>'my_csv',
          SAMPLE_SIZE => 200000 -- 指定与数据量匹配的抽样行数
        )
      ));

3. 数值被引号包裹导致识别异常 #

若CSV中的数值字段被双引号/单引号包裹，需在文件格式中配置对应QUOTE参数，并开启TRIM_SPACE，让Snowflake正确识别引号内的数值：

CREATE OR REPLACE FILE FORMAT my_csv
  TYPE = CSV 
  FIELD_DELIMITER = '|'
  SKIP_HEADER = 1
  QUOTE = '"' -- 匹配文件实际使用的引号类型，无引号则设为NONE
  TRIM_SPACE = TRUE;

4. 阶段内存在异常干扰文件 #

检查@LOAD.GEO_DATA阶段是否存在测试文件、空文件或格式不符的文件，INFER_SCHEMA会扫描阶段内所有文件，异常文件会干扰识别结果。可指定单个目标文件缩小识别范围：

CREATE TABLE GEO_DATA
  USING TEMPLATE (
    SELECT ARRAY_AGG(OBJECT_CONSTRUCT(*))
      FROM TABLE(
        INFER_SCHEMA(
          LOCATION=>'@LOAD.GEO_DATA/your_target_file.csv', -- 指定具体文件路径
          FILE_FORMAT=>'my_csv'
        )
      ));

5. 手动修正识别结果 #

若上述方法仍有部分列识别错误，可先导出INFER_SCHEMA的结果，手动调整数据类型后再创建表：

-- 先查看自动识别的 schema 详情
SELECT * FROM TABLE(INFER_SCHEMA(LOCATION=>'@LOAD.GEO_DATA', FILE_FORMAT=>'my_csv'));

-- 复制结果并修正数据类型，手动创建表
CREATE TABLE GEO_DATA (
  COLUMN_ID NUMBER(18,0),
  COLUMN_NAME VARCHAR(500),
  -- 按实际需求补充其他列及对应类型
);

内容的提问来源于stack exchange，提问作者Chuck