Snowflake COPY INTO导入带嵌套结构CSV文件报错求助

问题根源 #

你遇到的列数不匹配错误，是因为Snowflake默认的CSV解析规则没有识别到你用双引号包裹的JSON/数组字符串中的逗号属于字段内容，而是将其当作列分隔符，导致原本9列的CSV被错误解析为11列。

解决方案 #

修改COPY INTO命令的文件格式参数，明确启用字段包围符识别和引号转义规则，让Snowflake正确解析带引号的嵌套字段：

COPY INTO test_table 
FROM @my_stage 
FILE_FORMAT = (
    TYPE = CSV 
    SKIP_HEADER = 1 
    FIELD_OPTIONALLY_ENCLOSED_BY = '"'  -- 指定字段可用双引号包围
    ESCAPE = '"'                        -- 指定用双引号转义字段内的双引号
) 
PURGE = TRUE;

验证解析结果 #

在执行导入前，可先验证Snowflake是否能正确解析CSV内容：

SELECT $1 AS id, $2 AS name, $3 AS age, $4 AS email, $5 AS country, 
       $6 AS score, $7 AS subscribed, $8 AS preferences, $9 AS hobbies
FROM @my_stage (FILE_FORMAT => (
    TYPE = CSV 
    SKIP_HEADER = 1 
    FIELD_OPTIONALLY_ENCLOSED_BY = '"'
    ESCAPE = '"'
));

如果查询结果显示为9列，且preferences和hobbies字段完整保留JSON/数组字符串，则说明解析规则正确，可执行导入命令。

额外说明 #

• 确保CSV中的JSON/数组字符串是有效格式，且内部双引号已用双引号转义（如"{""theme"": ""dark""}"）；
• 若你仍想使用原始的点表示法CSV（如preferences.theme作为单独列），可先导入到包含所有11列的临时表，再通过OBJECT_CONSTRUCT动态合并嵌套字段到VARIANT列，但这种方法仅适用于字段数量固定的场景，不符合你提到的“嵌套字段数量不固定”的需求，因此优先推荐使用JSON字符串格式的CSV+正确解析规则的方案。

内容的提问来源于stack exchange，提问作者Sitruc