Snowflake暂存区拆分JSON分片文件无法COPY导入表问题咨询

一、文件缺失报错排查 #

• 优先检查COPY命令是否遗漏FROM @staging源路径参数。你当前执行的第二条COPY语句未显式指定源路径，Snowflake会沿用之前COPY操作的上下文路径（即第一次操作时@staging/yelp_academic_dataset_user.json.gz对应的内部存储位置），自然无法定位到你上传在@staging根路径下的分片文件。
• 执行以下命令，核对@staging路径下的分片实际文件名，禁止手动拼接文件名写入COPY参数：

  LIST @staging PATTERN='.*yelp_academic_dataset_user.*';
  

  常见匹配偏差：7zip拆分文件生成的后缀可能无.gz扩展名（如分片名为yelp_academic_dataset_user.json.004而非.004.gz），文件名不匹配会直接触发远程文件不存在报错。

• 核对文件是否在暂存区子路径下，若文件存储在@staging/json这类子路径，COPY命令的源路径需同步修改为对应层级。
• 检查历史COPY操作是否开启了PURGE=TRUE参数，导致第4个分片被自动删除，若已删除需重新上传。
• 关键校验：确认每个分片是独立可解压的完整文件，而非7z分卷压缩包。如果是分卷压缩产物，单个分片无法被Snowflake识别为有效gzip文件，需在本地将分卷合并后重新拆分为独立文件上传。

二、标准加载流程 #

1. 调整JSON文件格式参数 #

先查看现有JSON文件格式的配置，确保匹配你的文件结构：

DESC FILE FORMAT yelp_user;

如果是每行一个独立JSON对象的NDJSON格式，需确认STRIP_OUTER_ARRAY参数为FALSE，若参数错误执行以下命令修正：

ALTER FILE FORMAT yelp_user SET STRIP_OUTER_ARRAY = FALSE;

2. 加载分片到VARIANT临时表 #

显式指定源路径，放弃手动指定分片文件名的写法，改用通配符匹配所有分片，同时关闭自动删除避免文件被误清：

COPY INTO JSON_TABLE_USER
FROM @staging
FILE_FORMAT = (format_name = 'yelp_user')
PATTERN = '.*yelp_academic_dataset_user\.json\.\d+\.gz'
ON_ERROR = 'skip_file'
PURGE = FALSE;

3. 校验加载完整性 #

加载完成后统计临时表行数，与拆分前原文件的总行数对比，确认4个分片的数据无遗漏：

SELECT COUNT(*) FROM JSON_TABLE_USER;

4. 解析VARIANT数据到目标业务表 #

之前直接COPY到多列业务表报错，是因为Snowflake的JSON文件格式仅支持生成单列VARIANT类型，无法直接映射多列业务字段。需通过INSERT语句解析VARIANT字段完成数据入表：

-- 替换括号内的业务字段、对应VARIANT路径为你的实际表结构
INSERT INTO yelp_user (user_id, name, review_count, yelping_since)
SELECT
  json_data:user_id::STRING,
  json_data:name::STRING,
  json_data:review_count::NUMBER,
  json_data:yelping_since::TIMESTAMP_NTZ
FROM JSON_TABLE_USER;

内容的提问来源于stack exchange，提问作者ilikawa