从API提取JSON写入Azure容器时Spark DataFrame值多为NULL求助

可能的问题点及解决方法 #

• JSON嵌套结构解析不完整
  使用json_normalize时，若原始JSON存在多层嵌套，默认仅展开第一层，深层嵌套字段会保留为字典或列表类型，Spark无法自动解析这类复杂类型，写入时就会显示为NULL。可通过指定参数控制展开层级：

  data = json_normalize(response_final, max_level=2)
  

  针对嵌套数组场景，还可使用record_path指定要展开的数组路径，搭配meta参数保留上层关联字段。

• Spark Schema自动推断错误
  Spark自动推断Schema时，若字段存在空值、混合类型（如同一字段同时包含字符串与数字），会导致类型推断偏差，后续写入无法正确映射值从而出现NULL。建议手动定义Schema：

  from pyspark.sql.types import StructType, StructField, StringType, IntegerType
  
  schema = StructType([
      StructField("field1", StringType(), True),
      StructField("field2", IntegerType(), True),
      # 根据实际字段补充定义
  ])
  df = spark.createDataFrame(data, schema=schema)
  

• Pandas与Spark类型不兼容
  json_normalize生成的是Pandas DataFrame，其中部分Pandas特有类型（如datetime64、category）无法被Spark直接识别，转换后会变为NULL。可先将Pandas DataFrame的类型转换为Spark支持的类型：

  data = data.astype({"date_field": str, "category_field": str})
  df = spark.createDataFrame(data)
  

• Azure容器路径或权限问题
  尽管Notebook能正常显示数据，但写入路径格式错误（如缺少容器名、SAS参数无效）或权限不足，可能导致写入不完整。需确认路径为标准ABFS格式：

  abfss://<container-name>@<storage-account-name>.dfs.core.windows.net/<path>
  

  同时检查Spark配置的存储账户密钥或SAS令牌是否有效。

• 数据转换环节验证缺失
  可先验证转换后的Spark DataFrame本身是否已存在大量NULL：

  df.show()
  df.printSchema()
  

  若转换后DataFrame已存在NULL，说明问题出在JSON解析或类型转换阶段；若转换后数据正常但写入后出现NULL，则需排查写入过程的配置或存储端问题。

内容的提问来源于stack exchange，提问作者Arun.K