无需中间POJO，将JsonArray转换为Spark Dataset<Row>的方法

通过HTTP请求获取JSON数据后，需提取其中的data元素，转换为Spark Dataset<Row>并持久化为Parquet文件。当前采用的方式存在冗余：先解析JSON对象，再将data转为字符串，最后通过spark.read().json()生成Dataset，这种字符串-对象-字符串的转换完全没必要。

目标Dataset结构如下：

| abc | xyz | alpha |
---------------------
| 123 |     | 4     |
| 456 |     | 1     |
| 679 |     | 2     |
| 890 |     | 5     |

由于HTTP接口结构尚未稳定，不想为每个接口创建对应的POJO类，且仅需将数据写入Parquet无需额外处理，询问能否直接通过JsonElement或JsonArray完成转换，并给出实现方案。

当前冗余代码：

JsonObject responseBodyObject = new JsonParser().parse(responseBody).getAsJsonObject();
String dataString = new Gson().toJson(responseBodyObject.get("data"));

完全可以跳过字符串转换步骤，直接基于JsonArray（假设data是数组类型，这也是接口返回列表数据的常规格式）转换为Spark Dataset，核心思路是将JsonArray转为Spark可直接识别的Java集合类型，无需POJO：

实现代码 #

1. 解析响应并提取data对应的JsonArray

// 解析原始HTTP响应字符串
JsonObject responseBodyObject = JsonParser.parseString(responseBody).getAsJsonObject();
JsonArray dataJsonArray = responseBodyObject.getAsJsonArray("data");

2. 将JsonArray转为List<Map<String, Object>>
   利用Gson直接将JSON数组转为键值对集合，适配动态结构：

Gson gson = new Gson();
// 通过TypeToken指定泛型类型
List<Map<String, Object>> dataList = gson.fromJson(
    dataJsonArray,
    new TypeToken<List<Map<String, Object>>>(){}.getType()
);

3. 直接创建Spark Dataset并写入Parquet

// 从List直接生成Dataset<Row>
Dataset<Row> dataDs = spark.createDataFrame(dataList, Map.class);

// 持久化为Parquet文件（可根据需求调整SaveMode）
dataDs.write().mode(SaveMode.Overwrite).parquet("/your/output/path");

特殊情况处理 #

如果data是单个JSON对象而非数组，只需将其转为单个Map并包装为List：

JsonObject dataJsonObject = responseBodyObject.getAsJsonObject("data");
Map<String, Object> rowMap = gson.fromJson(dataJsonObject, new TypeToken<Map<String, Object>>(){}.getType());
Dataset<Row> dataDs = spark.createDataFrame(Collections.singletonList(rowMap), Map.class);

方案优势 #

• 完全避免了字符串-对象-字符串的冗余转换，提升执行效率
• 用Map<String, Object>适配动态JSON结构，无需创建固定POJO，完美应对接口结构不稳定的场景
• 代码简洁直接，仅需几步即可完成从JSON元素到Parquet文件的转换

内容的提问来源于stack exchange，提问作者Calimero