PySpark环境下JSON转DataFrame格式不符问题求助

我来帮你搞定这个PySpark处理JSON的问题——你提到的纽约卫生数据集我之前也接触过，它的结构确实是典型的meta元数据+data记录数组，直接读取的话PySpark会把整个结构当成嵌套对象，没法直接得到你想要的扁平DataFrame，下面一步步给你拆解解决方法：

步骤1：读取HDFS上的JSON文件 #

首先用spark.read.json读取文件，但因为是嵌套结构，读出来的DataFrame只会有两个顶层列：meta（存元数据）和data（存所有记录的数组）。

# 替换成你的HDFS文件路径
df = spark.read.json("hdfs://your/path/to/rows.json")
df.printSchema()

执行后你会看到data是一个数组类型的列，每个元素又是一个包含单条记录的数组。

步骤2：展开data数组 #

我们需要把data列里的数组展开成单独的行，这里用PySpark的explode函数：

from pyspark.sql.functions import explode

# 把data数组拆成单条记录行，命名为record
exploded_df = df.select(explode(df.data).alias("record"))
exploded_df.printSchema()

现在record列就是每条单独的记录数组，比如[1, "2024-01-01", "XXX", ...]这样的结构。

步骤3：结合meta里的字段名给列命名 #

这一步是关键——meta.view.columns里存了每条记录对应字段的名称，我们可以提取出来给DataFrame的列命名，避免默认的_c0、_c1这种无意义的列名：

# 从meta里提取字段结构列表
columns_metadata = df.select("meta.view.columns").first()[0]
# 只取每个字段的"name"属性作为最终列名
column_names = [col["name"] for col in columns_metadata]

# 将record数组的每个元素映射成单独的列
final_df = exploded_df.select(
    *[exploded_df.record[i].alias(column_names[i]) for i in range(len(column_names))]
)

# 查看结果
final_df.show(5)
final_df.printSchema()

这样处理后，你就得到了字段名准确、结构扁平的DataFrame，完全符合预期格式。

额外快速处理方案（如果不需要元数据映射） #

如果你只是想快速解析data里的内容，暂时不需要正确的列名，也可以用inline函数直接展开数组：

# 开启multiLine支持读取整个JSON文件
df = spark.read.json("hdfs://your/path/to/rows.json", multiLine=True)
# 直接展开data数组成行和列
data_df = df.selectExpr("inline(data)")
data_df.show(5)

不过这种方式的列名会是_1、_2...，还是建议结合meta的字段名映射，可读性更强。

内容的提问来源于stack exchange，提问作者user2763088