如何基于Pandas生成的Parquet文件创建可正常查询的AWS Athena表？

我来帮你拆解下问题，你遇到的查询失败主要是字段类型不匹配加上建表语句里的小错误导致的，下面一步步给你解决方法：

一、先解决现有Parquet文件的建表问题 #

先看你的Parquet schema：date字段是int64类型的timestamp（微秒精度），但你在Athena建表时把它定义成了date类型，这直接导致了读取失败。另外还有几个小细节需要修正：

正确的建表语句 #

CREATE EXTERNAL TABLE IF NOT EXISTS `mydb`.`table1` (
  abc double,  -- 匹配Parquet里的double类型，别用float
  xyz bigint,  -- Parquet里的int64对应Athena的bigint（Athena的int是32位）
  jkl boolean,
  idx string,
  date timestamp  -- 这里必须改成timestamp，和Parquet的类型一致
)
STORED AS PARQUET  -- 用这个简化写法，自动处理SerDe和输入输出格式
LOCATION 's3://mybucket/'
TBLPROPERTIES (
  'classification' = 'parquet',
  'parquet.compression' = 'snappy'  -- 如果你导出时用了snappy，这里可以加上，可选
);

关键修正点说明 #

1. 类型匹配：
   • abc：Parquet里是double，Athena用double而不是float，避免类型转换错误
   • xyz：Parquet里是int64，对应Athena的bigint（Athena的int是32位，会溢出）
   • date：必须从date改成timestamp，因为Pandas导出的datetime是timestamp类型（带时间精度），和纯date类型不兼容
2. 简化写法：用STORED AS PARQUET代替手动指定SerDe和Input/OutputFormat，既简洁又能避免拼写错误（你之前的OUTPUTFORMAT里把parquet写成了paruqet，这也是个小坑）

二、优化Pandas导出Parquet的方式，让后续建表更省心 #

如果想从源头减少兼容问题，可以调整Pandas导出Parquet的参数，让生成的文件更符合Athena的预期：

import pandas as pd

df = pd.DataFrame([
    {'abc': 1.231, 'xyz':2, 'jkl': False, 'idx': 'first row', 'date': '2023-12-01'},
    {'abc': 9.123, 'xyz':5, 'jkl': True, 'idx': '2nd row', 'date': '2023-12-04'}
])

# 转换datetime时可以指定时区（比如UTC），避免时区问题
df['date'] = pd.to_datetime(df['date'], format='%Y-%m-%d').dt.tz_localize('UTC')

# 用pyarrow引擎导出（兼容性比fastparquet更好），指定snappy压缩
df.to_parquet(
    'x.parq',
    engine='pyarrow',
    compression='snappy',
    write_metadata_version='1.0'  # 兼容旧版本的Parquet阅读器，可选
)

三、更懒的方式：让Athena自动推断表结构 #

如果你不想手动写schema，可以让Athena自动读取Parquet的元数据来生成表结构：

1. 先创建一个空的外部表指向S3路径：

CREATE EXTERNAL TABLE IF NOT EXISTS `mydb`.`table1`
STORED AS PARQUET
LOCATION 's3://mybucket/'
TBLPROPERTIES ('classification' = 'parquet');

2. 然后执行元数据修复命令，Athena会自动识别字段类型：

MSCK REPAIR TABLE `mydb`.`table1`;

这样Athena会直接读取Parquet文件的schema，自动生成正确的字段类型，完全不用手动写，避免出错。

备注：内容来源于stack exchange，提问作者alvas