Snowflake从S3导入数据时NULL_IF配置不生效问题

问题原因 #

你遇到的这个报错，本质是Snowflake的数据处理优先级导致的：虽然你在STAGE的file_format里配置了NULL_IF = ('None')，但这个规则是在Snowflake尝试将JSON中的字符串值映射到目标表EXPORT的PROJECT_ID字段类型（FIXED/数值型）之后才会生效。

简单说，Snowflake会先尝试把JSON里的"None"字符串直接转换成FIXED类型——这显然不符合数值格式，所以直接抛出Failed to cast variant value "None" to FIXED错误，根本没轮到NULL_IF规则执行。

解决方案 #

这里提供两种最直接的解决方法，你可以根据场景选择：

方案1：在COPY INTO中显式处理字段（推荐）

通过子查询先对PROJECT_ID进行判断，把"None"转为NULL后再转换为数值类型，绕过直接转换的错误：

COPY INTO "EXPORT" 
FROM (
    SELECT 
        $1:START_TIME::TIMESTAMP AS START_TIME,
        $1:END_TIME::TIMESTAMP AS END_TIME,
        $1:EXPORT_CHANNEL::STRING AS EXPORT_CHANNEL,
        -- 先转为字符串判断，是'None'就返回NULL，否则转FIXED
        CASE WHEN $1:PROJECT_ID::STRING = 'None' THEN NULL ELSE $1:PROJECT_ID::FIXED END AS PROJECT_ID
    FROM @"export_scheduled__2023-01-17T16:40:00+00:00"
)

方案2：临时修改目标表字段类型（适合批量导入场景）

如果目标表可以临时调整字段类型，可以先转为STRING导入，处理完None后再改回原类型：

-- 1. 临时将PROJECT_ID改为STRING类型
ALTER TABLE "EXPORT" ALTER COLUMN PROJECT_ID SET DATA TYPE STRING;

-- 2. 执行导入（此时NULL_IF规则会生效，把'None'转为NULL）
COPY INTO "EXPORT" FROM @"export_scheduled__2023-01-17T16:40:00+00:00";

-- 3. 确保所有剩余的'None'字符串都转为NULL（如果有的话）
UPDATE "EXPORT" SET PROJECT_ID = NULL WHERE PROJECT_ID = 'None';

-- 4. 改回原FIXED类型（注意：需确保此时PROJECT_ID只有NULL或合法数值）
ALTER TABLE "EXPORT" ALTER COLUMN PROJECT_ID SET DATA TYPE FIXED;

验证建议 #

你可以先测试方案1的语句，通过SELECT子句单独查询数据，确认PROJECT_ID的转换结果：

SELECT 
    $1:PROJECT_ID::STRING AS raw_project_id,
    CASE WHEN $1:PROJECT_ID::STRING = 'None' THEN NULL ELSE $1:PROJECT_ID::FIXED END AS processed_project_id
FROM @"export_scheduled__2023-01-17T16:40:00+00:00";

内容的提问来源于stack exchange，提问作者Lesha Pipiev