如何解决Snowflake加载大JSON文件遇Variant类型16MB限制问题

针对JSON文件因results字段过大超出VARIANT类型16MB限制的问题，以下是几种可行的导入方案：

方案1：扁平化拆分数组导入（优先推荐） #

将大数组results拆分为单行记录，同时保留run_details、connections等元数据，确保单条记录大小控制在VARIANT限制内。

1. 创建目标表：

CREATE OR REPLACE TABLE TEST (
    RUN_ID STRING,
    RUN_DATE TIMESTAMP,
    SOURCE_CONNECTION OBJECT,
    TARGET_CONNECTION OBJECT,
    KEYS ARRAY,
    COMPARISON_COLUMNS ARRAY,
    RESULT VARIANT
);

2. 执行拆分导入的COPY命令：

COPY INTO TEST
FROM (
    SELECT
        $1:payload.run_details.run_id::STRING AS RUN_ID,
        $1:payload.run_details.run_date::TIMESTAMP AS RUN_DATE,
        $1:payload.connections.source::OBJECT AS SOURCE_CONNECTION,
        $1:payload.connections.target::OBJECT AS TARGET_CONNECTION,
        $1:payload.Keys::ARRAY AS KEYS,
        $1:payload.Comparison_Columns::ARRAY AS COMPARISON_COLUMNS,
        VALUE::VARIANT AS RESULT
    FROM @TEST,
    LATERAL FLATTEN(input => $1:payload.results)
)
FILE_FORMAT = (TYPE = 'JSON');

导入后，每个results数组元素对应表中一行，并关联完整元数据，既规避大小限制，也便于后续查询分析。

方案2：预处理拆分JSON文件 #

若整个JSON文件体积超过16MB，先通过脚本将原始文件拆分为多个独立JSON对象，每个对象包含元数据和单个results元素，再导入Snowflake。

示例拆分脚本（Python）： #

import json

with open('large_input.json', 'r') as f:
    raw_data = json.load(f)

core_metadata = {
    'run_details': raw_data['payload']['run_details'],
    'connections': raw_data['payload']['connections'],
    'Keys': raw_data['payload']['Keys'],
    'Comparison_Columns': raw_data['payload']['Comparison_Columns']
}

# 按results元素拆分并逐行写入新文件
with open('split_output.json', 'w') as f:
    for res in raw_data['payload']['results']:
        json.dump({**core_metadata, 'result': res}, f)
        f.write('\n')

导入操作： #

将拆分后的文件上传至@TEST阶段，执行以下命令：

CREATE OR REPLACE TABLE TEST (
    RUN_DETAILS OBJECT,
    CONNECTIONS OBJECT,
    KEYS ARRAY,
    COMPARISON_COLUMNS ARRAY,
    RESULT VARIANT
);

COPY INTO TEST
FROM @TEST
FILE_FORMAT = (TYPE = 'JSON');

方案3：用CLOB类型存储完整JSON（仅适用于无需频繁解析内部结构场景） #

若仅需存储完整JSON内容、无需频繁查询内部字段，可将表字段设为CLOB类型（最大支持16MB），直接导入完整JSON对象：

1. 创建表：

CREATE OR REPLACE TABLE TEST (
    FULL_JSON CLOB
);

2. 执行导入：

COPY INTO TEST
FROM (SELECT $1::CLOB FROM @TEST)
FILE_FORMAT = (TYPE = 'JSON');

注意：若JSON文件本身超过16MB，此方案不适用，需采用方案2预处理拆分。

内容的提问来源于stack exchange，提问作者Estrobelai