Databricks中查询S3 JSON文件时空列a无法识别的问题求助

问题原因 #

Databricks自动推断JSON Schema时，会忽略所有行中都无有效字段的空对象列（比如你的a列全是{}），导致生成的Schema里不包含a，因此直接查询a会报错，全量查询也只会返回有有效值的b、c列。

解决方案 #

方案1：手动指定Schema读取数据 #

通过显式定义包含a列的Schema，强制Spark识别该列。

Python代码示例：

from pyspark.sql.types import StructType, StructField, IntegerType

# 定义Schema，a列为空Struct类型，b、c为整数类型
custom_schema = StructType([
    StructField("a", StructType(), nullable=True),
    StructField("b", IntegerType(), nullable=True),
    StructField("c", IntegerType(), nullable=True)
])

# 读取S3上的JSON文件
df = spark.read.schema(custom_schema).json("s3://my-bucket/file.json.gz")

# 查询目标列
df.select("a", "b", "c").show()

SQL方式（创建临时视图）：

先通过Python定义Schema并创建视图，再用SQL查询：

# 沿用上面的custom_schema
df = spark.read.schema(custom_schema).json("s3://my-bucket/file.json.gz")
df.createOrReplaceTempView("json_data")

然后执行SQL：

SELECT a, b, c FROM json_data;

方案2：直接解析原始JSON字符串 #

利用Spark SQL的JSON函数，从原始JSON字符串中提取a列，无需提前定义Schema。

基础提取（返回字符串格式的空对象）：

SELECT
  get_json_object(value, '$.a') AS a,
  b,
  c
FROM json.`s3://my-bucket/file.json.gz`;

转换为Struct类型（返回空Struct对象）：

SELECT
  from_json(get_json_object(value, '$.a'), 'struct<>') AS a,
  b,
  c
FROM json.`s3://my-bucket/file.json.gz`;

或者直接解析整个JSON字符串为完整结构：

SELECT
  parsed.a,
  parsed.b,
  parsed.c
FROM (
  SELECT from_json(value, 'struct<a:struct<>,b:int,c:int>') AS parsed
  FROM json.`s3://my-bucket/file.json.gz`
);

内容的提问来源于stack exchange，提问作者tty