Parquet文件导入Snowflake时Schema丢失原因及优化加载方案咨询

• 该现象并非Parquet本身的问题，是未配置字段映射的默认导入逻辑导致：如果目标表仅定义了单个VARIANT类型列，或COPY INTO命令未指定Parquet字段到表列的映射规则，Snowflake会将整行Parquet数据作为单个JSON变体对象写入，因此不会保留Parquet原生的Schema结构。
• Snowflake默认COPY操作不会主动读取并应用Parquet文件的元数据Schema，需要调用对应功能主动触发Schema推导。

• 即使暂未做Schema映射，Snappy压缩的Parquet相比文本类格式仍有不可替代的优势：
  • 存储空间仅为同数据量CSV/JSON的1/5~1/3，大幅降低S3传输和存储成本
  • 列式存储特性支持后续从变体字段提取指定列时，仅扫描对应Parquet列块，查询性能比JSON文本高3~10倍
  • 原生支持复杂数据类型（嵌套结构、数组）的编码存储，无需额外做格式转义处理，避免文本格式常见的转义字符解析错误问题

Snowflake原生支持读取Parquet元数据自动推导表结构，不需要逐张表手动定义字段，具体操作流程如下：

单目录Parquet文件自动加载 #

1. 首先创建指向S3 Parquet存储路径的外部阶段（已有阶段可跳过该步骤）

CREATE OR REPLACE STAGE s3_parquet_stage
URL = 's3://你的存储桶路径/parquet文件根目录/'
STORAGE_INTEGRATION = 你的S3存储集成名称
FILE_FORMAT = (TYPE = PARQUET COMPRESSION = SNAPPY);

2. 调用INFER_SCHEMA函数读取Parquet文件元数据，自动推导表结构并创建目标表

CREATE OR REPLACE TABLE 目标表名称
USING TEMPLATE (
  SELECT ARRAY_AGG(OBJECT_CONSTRUCT(*))
  FROM TABLE(
    INFER_SCHEMA(
      LOCATION=>'@s3_parquet_stage/对应子目录/',
      FILE_FORMAT=>'s3_parquet_stage'
    )
  )
);

3. 执行按列名自动映射的COPY导入，无需手动指定字段映射规则

COPY INTO 目标表名称
FROM @s3_parquet_stage/对应子目录/
MATCH_BY_COLUMN_NAME = CASE_INSENSITIVE;

多结构批量文件自动化加载 #

如果需要批量加载多个不同Schema的Parquet目录，可以编写Snowflake存储过程遍历所有S3子路径，对每个子路径循环执行上述自动建表+导入的逻辑，全程无需手动干预单个表的字段定义。
如果同业务的Parquet文件存在Schema演化（新增字段），可以开启目标表的Schema Evolution功能，新增的Parquet字段会自动同步到目标表结构中，不需要手动执行ALTER TABLE操作。

内容的提问来源于stack exchange，提问作者Francisco Albert