Snowflake使用COPY INTO导出Parquet自动追加_COL_0列问题咨询

• 多出_COL_0列：直接使用select *读取S3 Stage内的Parquet文件时，Snowflake会默认将整行Parquet数据作为单个未命名的VARIANT类型列返回，未显式指定列名的前提下，COPY INTO导出时会自动生成_COL_0作为该列的名称，写入新Parquet文件时就会多出这个外层键。
• 对象被转成字符串：Snowflake默认的Parquet导出配置会将VARIANT类型序列化为JSON字符串，没有显式调整写入参数或者拆分VARIANT结构的情况下，原本的嵌套对象就会被转为带转义符的字符串存储。

分两种场景选择适配的方案：

场景1：导出的Parquet需要和源文件结构完全一致，顶层直接为业务字段 #

直接修改SELECT语句，显式提取VARIANT内的所有业务字段并指定对应类型和别名即可：

COPY INTO @S3_STAGE/new-data
FROM (
select 
  $1:uid::STRING as uid,
  $1:food_ids::ARRAY as food_ids,
  $1:room_ids::ARRAY as room_ids
  -- 其余需要保留的业务字段都按照上述格式显式提取
  from @S3_STAGE/food
  (FILE_FORMAT => 'PARQ', pattern => '.*.parquet')
  where $1:uid in
   (select $1:uid::STRING from @S3_STAGE/rooms
   (FILE_FORMAT => 'PARQ', pattern => '.*.parquet')
   )
)
FILE_FORMAT = (
  TYPE = PARQUET
  COMPRESSION = 'SNAPPY' -- 可根据实际需求调整压缩格式，和源文件保持一致即可
)

场景2：需要保留整行嵌套结构，不想逐个提取字段 #

使用OBJECT_CONSTRUCT拼接所有字段后显式指定列名，同时调整Parquet写入参数，关闭VARIANT转JSON字符串的默认行为：

COPY INTO @S3_STAGE/new-data
FROM (
select 
  OBJECT_CONSTRUCT(
    'uid', $1:uid::STRING,
    'food_ids', $1:food_ids::ARRAY,
    'room_ids', $1:room_ids::ARRAY
    -- 其余需要保留的业务字段都按照上述格式拼接
  ) as data -- 显式指定列名，避免自动生成_COL_0
  from @S3_STAGE/food
  (FILE_FORMAT => 'PARQ', pattern => '.*.parquet')
  where $1:uid in
   (select $1:uid::STRING from @S3_STAGE/rooms
   (FILE_FORMAT => 'PARQ', pattern => '.*.parquet')
   )
)
FILE_FORMAT = (
  TYPE = PARQUET
  WRITE_VARIANT_AS_JSON = FALSE -- 核心参数：将VARIANT类型作为嵌套结构写入Parquet，而非转为JSON字符串
  COMPRESSION = 'SNAPPY'
)

内容的提问来源于stack exchange，提问作者Colin Koepke