Spark读取多JSON文件构建DataFrame及嵌套字段访问问题求助

我来帮你搞定这个问题！这种情况我也碰到过，大概率是JSON文件格式或者加载方式出了问题，咱们一步步拆解解决：

你遇到的「加载后是原始JSON行、Schema看似正常但访问字段报错」，核心原因通常是这两个：

• 你的JSON文件是整个文件一个大数组（比如[{"a":1},{"b":2}]），但Spark默认按行解析，会把整个数组当成一行字符串，虽然Schema能被推断出来，但实际数据是字符串类型，自然没法访问字段。
• 加载时误用了纯文本读取方式，或者没指定适配你JSON格式的选项。

1. 先确认你的JSON文件格式 #

先打开一个测试子集文件，看是哪种类型：

• JSON Lines格式（推荐）：每行一个独立JSON对象，比如：

{"user_id": 101, "username": "scott", "email": "scott@example.com"}
{"user_id": 102, "username": "emily", "email": "emily@example.com"}

• 单一JSON数组格式：整个文件是一个包含多对象的数组，比如：

[{"user_id":101,"username":"scott"},{"user_id":102,"username":"emily"}]

2. 用正确方式加载JSON #

根据格式选对应的加载代码：

情况1：JSON Lines格式 #

直接用spark.read.json()加载即可，Spark会自动解析每行成结构化数据：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("JSONtoDF").getOrCreate()
# 支持加载单个文件、目录下所有文件，或用通配符（比如data/*.json）
raw_df = spark.read.json("path/to/your/json/files")

# 先验证：打印Schema和前5行数据
raw_df.printSchema()
raw_df.show(5)

情况2：单一JSON数组格式 #

需要加multiLine=True选项，告诉Spark读取整个文件作为一个JSON对象，解析数组为多行数据：

raw_df = spark.read.option("multiLine", True).json("path/to/your/json/files")

3. 构建指定列的DataFrame #

加载完成后，先确认数据是结构化的（不是string类型）：

# 查看所有字段的类型，确保不是string
raw_df.dtypes

如果已经是结构化数据，直接选择你需要的列即可：

# 假设你需要user_id、username、email这三列
target_df = raw_df.select("user_id", "username", "email")
target_df.show()

进阶：手动指定Schema（避免推断错误） #

如果多个JSON文件格式不一致，或者Spark的Schema推断有偏差，你可以手动定义Schema来确保正确性：

from pyspark.sql.types import StructType, StructField, IntegerType, StringType

# 定义你需要的Schema结构
custom_schema = StructType([
    StructField("user_id", IntegerType(), nullable=True),
    StructField("username", StringType(), nullable=True),
    StructField("email", StringType(), nullable=True)
])

# 加载时绑定自定义Schema
raw_df = spark.read.schema(custom_schema).json("path/to/your/json/files")
# 数组格式的话就加multiLine选项
# raw_df = spark.read.schema(custom_schema).option("multiLine", True).json("path/to/your/json/files")

# 再筛选指定列
target_df = raw_df.select("user_id", "username", "email")
target_df.show()

4. 批量加载的注意事项 #

• 如果目录下的JSON文件格式不统一，Spark会以第一个文件的Schema为准，可能导致后续文件的字段丢失或类型错误，强烈建议手动指定统一Schema。
• 用通配符*.json可以一次性加载目录下所有JSON文件，比如data/user_data/*.json。

• 如果还是看到原始JSON字符串，检查是不是用了spark.read.text()（这是纯文本加载），一定要用spark.read.json()。
• 访问字段报错ColumnNotFound？注意Spark的字段名是大小写敏感的，核对JSON里的字段名和你写的是否完全一致。

内容的提问来源于stack exchange，提问作者Scott Rothbarth