如何在Athena的UNLOAD输出Parquet中保留列名大小写？

核心问题根源 #

Athena（以及Presto/Trino）默认会将未加引号的标识符（包括列名）转为小写，即便你显式指定列名，若没加引号，UNLOAD导出Parquet时还是会自动转小写。要保留原有大小写，关键是用双引号包裹列名，强制引擎识别大小写。

具体解决步骤 #

1. UNLOAD时显式用双引号指定列名
   在UNLOAD的子查询里，给每个需要保留大小写的列名加上双引号，同时配合format='parquet'和write_header=true参数，确保Parquet元数据写入正确的列名：

   UNLOAD (
     SELECT "SomeColumn", "SomeOtherColumn", "YetAnotherColumn"
     FROM your_target_table
   )
   TO 's3://your-storage-bucket/unload-path/'
   WITH (
     format = 'parquet',
     write_header = true,
     -- 如有分区需求可添加，示例：partitioned_by = ARRAY['PartitionColumn']
     compression = 'snappy' -- 可选压缩配置
   )
   

   这里的双引号会告诉引擎严格保留列名的大小写，不会自动转换。

2. 确保源表的列名定义带双引号
   如果你的源表列名原本就是大小写混合的，创建表时必须用双引号定义列名，否则元数据里的列名已经是小写，后续操作无法恢复：

   CREATE TABLE your_source_table (
     "SomeColumn" string,
     "SomeOtherColumn" int,
     "YetAnotherColumn" timestamp
   )
   LOCATION 's3://your-bucket/source-data-path/'
   

   后续查询或UNLOAD时，必须用双引号引用这些列名，否则会提示列不存在。

注意事项 #

• 带双引号的列名是严格区分大小写的，后续所有操作（查询、关联、再次UNLOAD）都必须完全匹配大小写并加双引号。
• write_header=true是必填项，否则Parquet文件可能不会写入列名元数据，导致后续读取时列名丢失或异常。
• 如果是从CSV等无schema的数据源导入，创建表时一定要用双引号定义列名，避免引擎自动将列名转为小写。

内容的提问来源于stack exchange，提问作者Pragmateek