Databricks读取Avro/JSON文件异常：Body字段显示不符合预期

• 检查body字段的类型与解析方式
  如果body字段是二进制类型（bytes），直接读取会显示乱码，需解码为字符串：

  from pyspark.sql.functions import col, decode
  df = df.withColumn("body_decoded", decode(col("body"), "utf-8"))
  

  若body是嵌套Avro结构，需指定对应schema解析：

  from pyspark.sql.types import StructType, StructField, StringType
  
  # 根据实际嵌套结构定义schema
  body_schema = StructType([
      StructField("content", StringType(), True),
      StructField("metadata", StringType(), True)
  ])
  
  df = spark.read.format("avro") \
      .option("avroSchema", body_schema.json()) \
      .load("dbfs:/path/to/your/avro/files")
  

• 验证Avro文件本身的完整性
  用avro-tools本地校验文件内容，确认body字段原始值是否正常：

  avro-tools tojson your-avro-file.avro | jq '.body'
  

  若本地查看也异常，说明文件本身存在损坏，需联系上游数据源排查。

• 排查读取参数配置

  • 关闭ignoreCorruptFiles，确保损坏文件会抛出错误，避免静默读取异常数据：

    df = spark.read.format("avro") \
        .option("ignoreCorruptFiles", "false") \
        .load("dbfs:/path/to/your/avro/files")
    

  • 开启mergeSchema，处理多文件schema不一致的情况：

    df = spark.read.format("avro") \
        .option("mergeSchema", "true") \
        .load("dbfs:/path/to/your/avro/files")
    

• 确认压缩格式支持
  如果Avro文件使用了特定压缩算法（如snappy、deflate），明确指定压缩类型读取：

  df = spark.read.format("avro") \
      .option("compression", "snappy") \
      .load("dbfs:/path/to/your/avro/files")
  

内容的提问来源于stack exchange，提问作者Naresh reddy