如何在AWS Athena中将Parquet文件的JSON列映射为Struct/Map？

错误根源 #

你遇到的HIVE_CANNOT_OPEN_SPLIT错误，本质是Parquet文件元数据与你手动修改的表结构不匹配：原Parquet文件中该JSON列的底层存储是字符串类型（对应PrimitiveColumnIO），而你手动将表结构定义为struct/map（属于组类型，对应GroupColumnIO），Athena读取时无法在两种底层存储类型间强制转换，因此报错。

可行解决方案 #

方案1：重写Parquet文件，将JSON列转为原生struct存储（彻底解决）

通过Spark/Pandas等工具读取原Parquet文件，解析JSON列为struct类型后重新写入，从根源上修正存储格式，后续查询可直接使用struct语法。

示例Spark代码：

import org.apache.spark.sql.functions.from_json
import org.apache.spark.sql.types.StructType

// 定义JSON对应的struct schema，替换为你的实际字段
val jsonSchema = new StructType()
  .add("user_id", "string")
  .add("order_amount", "double")
  .add("create_time", "timestamp")

// 读取原文件并解析JSON列
val df = spark.read.parquet("s3://blah/blah/mydata/")
  .withColumn("parsed_json", from_json($"json_col", jsonSchema))
  .drop("json_col")
  .withColumnRenamed("parsed_json", "json_col")

// 重新写入Parquet（可覆盖原路径或写入新路径）
df.write.mode("overwrite").parquet("s3://blah/blah/mydata_processed/")

之后用Athena Crawler爬取新路径，会自动识别该列为struct类型，查询时直接用json_col.user_id这种语法即可。

方案2：创建视图映射JSON列为struct（无需修改原文件）

如果不想重写原文件，可创建Athena视图，预先将JSON列解析为struct，查询时直接使用视图，避免重复写cast和json_extract。

示例SQL：

CREATE OR REPLACE VIEW my_table_view AS
SELECT
  -- 保留原表其他字段
  col1,
  col2,
  create_date,
  -- 解析JSON列为struct，替换为你的字段和类型
  from_json(json_col, 'struct<user_id:string, order_amount:double, create_time:timestamp>') AS json_struct
FROM my_original_table;

后续查询视图时，直接用json_struct.user_id访问字段，和原生struct用法完全一致。

方案3：使用Athena投影定义虚拟struct列（适用于固定结构场景）

若JSON结构长期固定，可在原表DDL中添加虚拟的struct列，通过投影表达式自动解析JSON字符串：

ALTER TABLE my_table
ADD COLUMN json_struct STRUCT<user_id:string, order_amount:double, create_time:timestamp>
WITH (
  projection.json_struct.type = 'transform',
  projection.json_struct.expression = 'from_json(json_col, ''struct<user_id:string, order_amount:double, create_time:timestamp>'')'
);

注意：此方式需确保Athena启用了投影功能，且JSON结构固定时适用，否则维护成本较高。

内容的提问来源于stack exchange，提问作者vinayakshukre