Databricks中PySpark从API数据创建DataFrame遇ArrayStoreException错误

错误原因分析 #

你遇到的java.lang.ArrayStoreException: java.util.HashMap错误，核心原因是**spark.read.json()方法的参数使用错误**：这个API是用来读取JSON格式的文件路径、JSON字符串或RDD[String]的，不能直接传入Python的list[dict]对象（你的data变量就是这种类型）。

另外你尝试的spark.createDataFrame([Row(**i) for i in data])报错，大概率是没正确导入Row类，或者完全没必要多此一举——createDataFrame可以直接接收list[dict]作为输入。

正确解决方案 #

方案1：直接用spark.createDataFrame处理Python对象 #

这是最直接的方式，适用于中小规模数据，Spark会自动推断Schema：

# 先确保你已经获取到数据
data = gather_data()
# 直接创建DataFrame
df = spark.createDataFrame(data)
# 验证结果
df.show()
df.printSchema()

方案2：显式定义Schema（适合大规模数据+时间戳处理） #

如果数据量很大，自动推断Schema会消耗额外资源；同时你的数据包含时间戳字段birthday，显式定义Schema可以直接将其解析为TimestampType，避免后续转换操作：

from pyspark.sql.types import StructType, StructField, StringType, IntegerType, TimestampType

# 定义与数据结构匹配的Schema
schema = StructType([
    StructField("name", StringType(), nullable=True),
    StructField("id_number", IntegerType(), nullable=True),
    StructField("birthday", TimestampType(), nullable=True)
])

data = gather_data()
# 传入预定义的Schema创建DataFrame
df = spark.createDataFrame(data, schema=schema)

# 验证时间戳类型是否正确解析
df.printSchema()
# 输出：
# root
#  |-- name: string (nullable = true)
#  |-- id_number: integer (nullable = true)
#  |-- birthday: timestamp (nullable = true)

补充：如果非要用spark.read.json的写法 #

如果你想保留spark.read.json的方式，需要将Python对象转换为JSON字符串，再转为Spark能识别的输入：

import json

data = gather_data()
# 将list[dict]转为JSON字符串数组
json_strings = [json.dumps(item) for item in data]
# 转为RDD后读取
df = spark.read.json(spark.sparkContext.parallelize(json_strings))

不过这种方式完全没必要，createDataFrame更简洁高效。

额外说明 #

• 你可以通过type(gather_data())确认返回类型：从你给出的输出看，它应该是list类型，每个元素是dict。
• 处理CSV和JSON的API逻辑不同：spark.read.csv可以直接处理内存中的CSV字符串，但spark.read.json的设计是优先处理文件，所以不能直接传Python对象。

内容的提问来源于stack exchange，提问作者R3YS