Snowflake中如何通过SQL直接解压base64编码gzip压缩的JSON数据

核心原理 #

你之前操作失败的核心原因是缺少了base64解码的前置步骤，DECOMPRESS_STRING 只能直接处理gzip压缩后的二进制输入，不能直接识别base64编码后的内容，需要按照存储逻辑反向执行每一步：

1. 先将二进制列转成base64编码的字符串（和你之前的操作一致）
2. 用BASE64_DECODE_BINARY把base64字符串解码为gzip压缩格式的二进制数据
3. 用DECOMPRESS_STRING指定压缩算法为gzip，解压缩得到明文JSON字符串
4. 可选：如果需要直接解析JSON字段，可以在外层套PARSE_JSON函数

完整查询语句 #

SELECT
  -- 步骤1：转base64字符串
  BASE64_ENCODE(my_binary_data) AS my_base64_string,
  -- 步骤2+3：base64解码后gzip解压得到明文
  DECOMPRESS_STRING(BASE64_DECODE_BINARY(BASE64_ENCODE(my_binary_data)), 'gzip') AS raw_json_string,
  -- 可选：直接解析为JSON类型方便后续字段提取
  PARSE_JSON(DECOMPRESS_STRING(BASE64_DECODE_BINARY(BASE64_ENCODE(my_binary_data)), 'gzip')) AS parsed_json
FROM my_table;

优化说明 #

如果你的my_binary_data列本身存储的就是gzip压缩后的原始二进制（而非base64编码后的二进制），可以跳过base64编解码的步骤，直接使用如下更简洁的查询：

SELECT
  DECOMPRESS_STRING(my_binary_data, 'gzip') AS raw_json_string,
  PARSE_JSON(DECOMPRESS_STRING(my_binary_data, 'gzip')) AS parsed_json
FROM my_table;

常见报错排查 #

• 如果提示DECOMPRESS_STRING: Input is not a valid compressed archive，可以先单独输出BASE64_DECODE_BINARY(BASE64_ENCODE(my_binary_data))的结果，确认解码后的二进制格式是标准gzip格式
• 如果解压后是乱码，检查压缩算法参数是否正确，除了gzip外可选参数还有deflate、zstd等，匹配你写入时的压缩算法即可

内容的提问来源于stack exchange，提问作者NoobsterNoob