Snowflake导出Parquet到S3无列名及数据类型异常问题求助

• 通过Snowflake将数据导出为Parquet文件存储到S3，执行的SQL语句如下：

USE DATABASE SANDBOX;
USE SCHEMA SANDBOX;

CREATE OR REPLACE FILE FORMAT my_parquet_format 
  TYPE = parquet;

COPY INTO @bla/x_
FROM (
    SELECT 
        TOP 10
        xxx AS "id",
    FROM table
)
FILE_FORMAT = (FORMAT_NAME = my_parquet_format)
OVERWRITE=TRUE;

• 使用pandas或Dask读取该Parquet文件时，原本定义的列名id被识别为_COL_0，且数据类型变为object：

s3_path = 's3://ddd/dddd__0_0_0.snappy.parquet'
df = pd.read_parquet(s3_path, engine='pyarrow')

• 尝试在COPY INTO语句中添加HEADER=TRUE参数，结果生成了损坏的Parquet文件，无法正常读取。

• 删除HEADER=TRUE参数
  Parquet是自带列元数据的列式存储格式，HEADER=TRUE是CSV格式专属参数，用于输出表头行，对Parquet完全不适用，添加后会破坏文件结构，导致文件损坏。

• 修正SELECT语句的语法错误
  原导出SQL中xxx AS "id",末尾多了一个逗号，这会引发语法问题，可能导致列名无法正确写入Parquet元数据，需删除该逗号：

USE DATABASE SANDBOX;
USE SCHEMA SANDBOX;

CREATE OR REPLACE FILE FORMAT my_parquet_format 
  TYPE = parquet;

COPY INTO @bla/x_
FROM (
    SELECT 
        TOP 10
        xxx AS "id"
    FROM table
)
FILE_FORMAT = (FORMAT_NAME = my_parquet_format)
OVERWRITE=TRUE;

• 显式配置Parquet文件格式的元数据写入参数
  创建文件格式时，显式开启WRITE_HEADER = TRUE（Snowflake默认开启该参数，显式设置可避免因环境配置差异导致的问题），确保列名元数据被正确写入Parquet文件：

CREATE OR REPLACE FILE FORMAT my_parquet_format 
  TYPE = parquet
  WRITE_HEADER = TRUE;

• 验证导出文件的元数据
  导出完成后，可通过Snowflake命令查看文件元信息，确认列名是否正确存储：

DESC @bla/x_/dddd__0_0_0.snappy.parquet;

内容的提问来源于stack exchange，提问作者cs0815