在AWS Athena中加载Spark输出Parquet文件的Long类型列问题

我帮你梳理下这个问题的核心原因和解决方案——其实Spark的LongType和Athena的bigint理论上是完全兼容的（两者都对应Parquet规范里的INT64类型），你遇到的异常大概率是建表时的细节没处理好，或者Parquet元数据的兼容性问题。下面是一步步的排查和解决方法：

一、先确认Parquet文件的实际元数据 #

首先得搞清楚你Spark输出的Parquet文件里，LINK_ID字段到底是什么类型。你可以用parquet-tools（本地安装后）查看：

parquet-tools schema s3://your-bucket/path/to/parquet-directory/

输出里应该能看到LINK_ID对应的类型是int64，如果不是的话，问题出在Spark写入环节。

二、修正Athena建表语句的关键细节 #

这是最容易踩坑的地方，尤其是字段名大小写和SerDe配置：

1. 字段名大小写问题 #

Spark默认会保留字段名的大小写（比如你的LINK_ID是大写），但Athena默认是大小写不敏感的——如果建表时不用反引号或双引号包裹字段名，Athena会自动把字段名转成小写，导致和Parquet里的大写字段名不匹配，进而抛出异常。

2. 正确的SerDe和存储格式配置 #

Parquet文件需要用专门的SerDe类来解析，下面是一个标准的建表语句模板，你可以直接替换成你的信息：

CREATE EXTERNAL TABLE IF NOT EXISTS your_table_name (
  `URI` string,
  `LINK_ID` bigint
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION 's3://your-bucket/path/to/your/parquet-files/';

注意这里用反引号`包裹了字段名，确保Athena能正确匹配Parquet里的大小写字段。

三、刷新Athena表的元数据 #

建表后，执行以下命令让Athena识别S3上的所有Parquet文件：

MSCK REPAIR TABLE your_table_name;

四、排查Spark写入Parquet的兼容性设置 #

如果上面的步骤都做完还是报错，那可能是Spark写入Parquet时的格式和Athena不兼容。你可以在Spark写入时添加以下配置，开启Hive兼容性：

// Scala示例
spark.conf.set("spark.sql.parquet.writeLegacyFormat", "true")
spark.conf.set("spark.sql.hive.convertMetastoreParquet", "false")

// 然后再执行写入操作
yourDataFrame.write.parquet("s3://your-bucket/path/to/output/")

这些配置会让Spark生成更兼容Hive/Athena的Parquet文件，避免一些元数据格式的差异。

常见异常的快速排查 #

如果查询时出现类似HIVE_CURSOR_ERROR: Can't read value at 0 in block 0的错误，90%的概率是字段名不匹配或者类型不匹配——再仔细核对建表语句的字段名、类型和Parquet元数据是否完全一致。

内容的提问来源于stack exchange，提问作者Thagor