Spark中如何将ArrayList转为Scala Array以动态创建StructType

问题原因 #

你原代码存在两个核心错误导致无法运行：

• 类名拼写错误：Datatypes 拼写错误，Spark SQL对应的工具类是 org.apache.spark.sql.types.DataTypes
• 数组类型不匹配：List.toArray() 无参方法返回的是 Object[] 类型，而 StructType 构造器要求传入 StructField[] 类型的数组，类型不匹配会触发编译/运行报错

可行实现代码 #

import org.apache.spark.sql.types.DataTypes;
import org.apache.spark.sql.types.StructField;
import org.apache.spark.sql.types.StructType;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;

// 此处为fields变量的示例声明，可替换为你实际的字段来源
Map<String, String> fields = ...; 

List<StructField> structFieldList = new ArrayList<>();
for (String field : fields.values()) {
  // 入参依次为：字段名、字段类型、是否允许为null
  StructField sf = DataTypes.createStructField(field, DataTypes.StringType, true);
  structFieldList.add(sf);
}
// 转数组时明确指定StructField类型，匹配StructType构造器要求
StructType structType = new StructType(structFieldList.toArray(new StructField[0]));

扩展说明 #

如果需要根据JSON字段的实际类型动态匹配Spark数据类型，不需要全部设为StringType，可以增加类型判断逻辑：

• JSON字符串类型对应 DataTypes.StringType
• JSON整数类型对应 DataTypes.IntegerType / DataTypes.LongType
• JSON布尔类型对应 DataTypes.BooleanType
• JSON浮点类型对应 DataTypes.DoubleType

如果你不需要严格控制Schema，也可以直接让Spark读取JSON文件时自动推断Schema：

Dataset<Row> df = spark.read()
  .option("inferSchema", "true")
  .json("你的JSON文件路径");
StructType autoInferSchema = df.schema();

内容的提问来源于stack exchange，提问作者ddddff3f33_gieor