在Azure Databricks中读取JSON Schema时Value字段显示为Null的问题

1. 检查字段名大小写匹配 #

Spark对字段名大小写敏感，如果JSON里的字段是Value（大写开头），但读取时代码里用了value（小写），就会解析为null。先通过自动推断Schema验证：

df = spark.read.json("/path/to/your/json/file")
df.printSchema()
df.show()

如果自动推断后Value字段能正常显示值，说明是手动指定Schema时的字段名错误。

2. 修正手动指定的Schema #

手动定义Schema时，必须保证字段名、数据类型、嵌套层级完全匹配JSON结构。比如JSON中Value是字符串类型，Schema里不能定义为IntegerType，否则会解析为null。示例正确定义：

from pyspark.sql.types import StructType, StructField, StringType

schema = StructType([
    StructField("Value", StringType(), nullable=True)
])

df = spark.read.schema(schema).json("/path/to/your/json/file")
df.show()

3. 调整JSON读取参数 #

如果JSON是多行嵌套格式（不是每行一个JSON对象），需要开启multiLine参数：

df = spark.read.option("multiLine", "true").json("/path/to/your/json/file")

若部分JSON记录本身缺失Value字段，可填充默认值：

df = df.fillna({"Value": "默认值"})

4. 验证路径与权限 #

确认Databricks集群有权限访问目标存储路径（如ADLS、Blob Storage），路径错误或权限不足会导致数据读取不完整。可先列出路径下文件验证：

dbutils.fs.ls("/path/to/your/json/file")

内容的提问来源于stack exchange，提问作者Nothing