Spark读取Avro文件Body列显示二进制，如何正确读取？

我之前碰到过好几个类似的场景，问题出在Apache Drill和Spark对二进制列的默认处理逻辑不一样——Drill会自动尝试识别并反序列化二进制里的结构化数据，但Spark只会把Body列当成原始字节数组，所以显示成二进制格式。下面给你一步步的解决方法：

首先你得搞清楚Body里的二进制数据到底是什么格式（比如JSON、Avro、纯文本或者Protobuf）。可以用Spark SQL先把二进制转成字符串看看：

SELECT CAST(Body AS STRING) FROM your_avro_table LIMIT 1;

或者用DataFrame API查看原始内容：

avroDF.selectExpr("CAST(Body AS STRING)").show(false)

如果转出来是合法的JSON、XML或者纯文本，那直接对应处理就行；如果是乱码，大概率是Avro、Protobuf这类二进制序列化格式。

情况1：Body是纯文本/JSON字符串 #

如果转成字符串后是正常可读的文本或者JSON，直接用CAST转成字符串，或者用from_json解析成结构化数据：

• 纯文本直接转：

  SELECT 
    SequenceNumber,
    Offset,
    CAST(Body AS STRING) AS Body
  FROM your_avro_table;
  

• JSON格式解析成结构：
  假设JSON结构是{"userId": 123, "message": "hello world"}，可以定义STRUCT类型来解析：

  SELECT 
    SequenceNumber,
    Offset,
    from_json(
      CAST(Body AS STRING),
      STRUCT('userId' INT, 'message' STRING)
    ) AS Body
  FROM your_avro_table;
  

  如果JSON结构复杂，也可以先在代码里定义完整的Schema，再用from_json解析。

情况2：Body是Avro序列化数据 #

如果是Avro格式，需要用到Spark的Avro扩展库（确保你的Spark项目引入了spark-avro依赖，版本要和Spark对应），然后用from_avro函数解析：

-- 替换成你实际的Avro Schema字符串
SELECT 
  SequenceNumber,
  Offset,
  from_avro(
    Body,
    '{"type":"record","name":"BodyData","fields":[{"name":"userId","type":"int"},{"name":"message","type":"string"}]}'
  ) AS Body
FROM your_avro_table;

如果Avro Schema存放在文件里，也可以读取文件内容传入from_avro。

情况3：Body是Protobuf/其他二进制格式 #

如果是Protobuf这类需要自定义解析逻辑的格式，你需要写一个UDF（用户自定义函数）来反序列化二进制数据：

import com.google.protobuf.GeneratedMessageV3
import org.apache.spark.sql.functions.udf
import org.apache.spark.sql.Column

// 通用的Protobuf解析UDF
def parseProtobuf[T <: GeneratedMessageV3](parser: Array[Byte] => T): Column = {
  val parseUdf = udf(parser)
  parseUdf(col("Body"))
}

// 假设你的Protobuf类是BodyProto
val parsedBodyDF = avroDF.withColumn("Body", parseProtobuf(BodyProto.parseFrom))
// 注册临时视图供Spark SQL查询
parsedBodyDF.createOrReplaceTempView("parsed_avro_data")

之后在Spark SQL里查询parsed_avro_data，就能看到解析后的Body列了。

核心思路就是：先确定二进制数据的序列化格式，再用Spark对应的工具（内置函数/UDF）把二进制反序列化成可读的结构化数据，这样就能和Apache Drill一样正常显示Body列的内容了。

内容的提问来源于stack exchange，提问作者Anil Kumar