使用JsonSerDe加载数据至Athena，如何将struct/array转为string存Parquet表？

方法1：建表时直接定义为字符串类型（推荐，避免二次转换） #

如果还没创建原始表，直接把原本要定义为struct<...>或array<...>的字段设为string类型，使用org.apache.hive.hcatalog.data.JsonSerDe加载时，会自动把JSON中的对象/数组完整保留为字符串格式存储，不需要后续转换。

示例建表语句：

CREATE EXTERNAL TABLE raw_table (
  id INT,
  -- 把原本的struct/array类型改为string
  nested_obj STRING,
  nested_arr STRING,
  other_field VARCHAR
)
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
LOCATION 's3://your-bucket/data-path/';

方法2：用to_json()函数转换已有复杂类型字段 #

如果已经有了包含struct/array类型的表，使用Athena内置的to_json()函数直接将复杂类型序列化为标准JSON字符串，这比你之前尝试的cast方式更可靠——cast as JSON只是转换为内部JSON类型，不会直接输出字符串，而to_json()专门负责将复杂结构序列化为JSON格式的字符串。

示例CTAS语句：

CREATE TABLE new_parquet_table
WITH (
  format = 'PARQUET',
  external_location = 's3://your-bucket/parquet-path/'
) AS
SELECT
  id,
  -- 将struct/array字段转为JSON字符串
  to_json(nested_obj) AS nested_obj,
  to_json(nested_arr) AS nested_arr,
  other_field
FROM raw_table;

为什么你的原有方法无效？ #

你之前尝试的cast(my_struct_col as JSON)只是将字段转换为Athena的内部JSON数据类型，并非直接输出JSON格式的字符串；后续再cast as varchar无法正确完成序列化，而to_json()函数会直接处理复杂类型的序列化，生成符合要求的JSON字符串。

内容的提问来源于stack exchange，提问作者Oleksandr Baranov