如何将嵌套JSON数据加载到Snowflake？解决列数不匹配问题

问题原因 #

你的COPY命令未指定JSON文件格式，Snowflake默认按CSV解析文件，导致将单条JSON记录识别为多列，引发列数不匹配；同时未显式映射JSON字段与表列，VARIANT类型字段无法自动匹配。

解决方案 #

方法1：创建复用的JSON文件格式 #

先创建适配JSON数据的文件格式：

CREATE OR REPLACE FILE FORMAT my_json_format
TYPE = JSON
STRIP_OUTER_ARRAY = TRUE; -- 若JSON为每行一个独立对象（无外层数组包裹），启用此参数确保正确解析单条记录

然后使用带列映射的COPY命令：

COPY INTO xxxx.yyyy.EVENTS (EVENT_TIMESTAMP, EVENT_NAME, EVENT_PARAMS)
FROM (
    SELECT 
        $1:event_timestamp::TIMESTAMP_NTZ(9),
        $1:event_name::VARCHAR,
        $1:event_params::VARIANT
    FROM 'gcs://my-data-source'
)
STORAGE_INTEGRATION = my_integration
FILE_FORMAT = my_json_format;

方法2：直接在COPY命令中指定文件格式 #

无需提前创建文件格式，直接在命令中定义：

COPY INTO xxxx.yyyy.EVENTS (EVENT_TIMESTAMP, EVENT_NAME, EVENT_PARAMS)
FROM (
    SELECT 
        $1:event_timestamp::TIMESTAMP_NTZ(9),
        $1:event_name::VARCHAR,
        $1:event_params::VARIANT
    FROM 'gcs://my-data-source'
)
STORAGE_INTEGRATION = my_integration
FILE_FORMAT = (TYPE = JSON STRIP_OUTER_ARRAY = TRUE);

额外注意点 #

原COPY命令中的表名xxxx.yyyy..EVENTS多了一个点，需修正为xxxx.yyyy.EVENTS，避免路径识别错误。

内容的提问来源于stack exchange，提问作者Silver Ringvee