将含不合规字段名的Parquet文件导入AWS Athena的方法

可以通过Parquet SerDe的配置属性实现源字段到SQL列名的映射，无需修改原始Parquet文件，以下针对两种问题分别说明：

1. 处理超过128字符的长列名 #

使用Parquet SerDe的parquet.column.index.map属性，将源Parquet中的长字段名映射为符合Athena长度限制的短列名。

示例CREATE TABLE语句：

CREATE EXTERNAL TABLE IF NOT EXISTS my_parquet_table (
  short_col1 STRING,
  short_col2 INT
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
WITH SERDEPROPERTIES (
  'parquet.column.index.map'='{"this_is_an_extremely_long_column_name_that_exceeds_the_128_character_limit_in_aws_athena_sql_specifications": "short_col1", "another_very_long_column_name_that_cannot_be_used_directly_in_athena_queries": "short_col2"}'
)
LOCATION 's3://your-bucket/path/to/parquet-files/';

2. 处理仅大小写不同的重复列名 #

同样借助parquet.column.index.map属性，将大小写不同的源字段映射为唯一的合法列名（Athena SQL列名默认大小写不敏感，必须避免重复）。

示例CREATE TABLE语句：

CREATE EXTERNAL TABLE IF NOT EXISTS my_parquet_table (
  user_id_upper STRING,
  user_id_lower INT
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
WITH SERDEPROPERTIES (
  'parquet.column.index.map'='{"UserID": "user_id_upper", "userid": "user_id_lower"}'
)
LOCATION 's3://your-bucket/path/to/parquet-files/';

注意事项 #

• 映射的JSON字符串必须格式正确，键为源Parquet文件中的原始字段名（大小写敏感），值为你定义的合法Athena列名
• 确保使用的Parquet SerDe版本支持该属性（Athena默认的Parquet SerDe已支持）
• 建表后可通过SELECT语句验证字段映射是否正确，确认数据能正常读取

内容的提问来源于stack exchange，提问作者Isac Casapu