You need to enable JavaScript to run this app. Spark实现Postgres与Kafka间Avro读写时消费端报EOFException
优惠活动
大模型
产品
解决方案
定价
更多

Spark实现Postgres与Kafka间Avro读写时消费端报EOFException

基于Spark实现Postgres与Kafka双向数据流转的EOF异常排查

实现背景

当前目标是基于Spark搭建Postgres与Kafka的双向数据链路:

  • 正向链路:Postgres数据以Avro格式序列化后发布到Kafka
  • 反向链路:从Kafka消费Avro格式数据后反序列化,最终落地到业务存储

现有实现代码

数据生产端(Postgres→Kafka)

代码逻辑为从Postgres读取的DataFrame选择指定列,打包为Avro格式后写入Kafka指定Topic:

df.select(cols).as("data").select(to_avro(struct("data.*"))).as("value").write().format(kafka)
   .options("kafka.bootstap.server",serverdetails).options("topic",topicname).save() 

数据消费端(Kafka→下游)

首先从本地avsc文件读取生成Avro Schema字符串,再读取Kafka Topic数据完成Avro反序列化:

  • 读取本地avsc生成Schema字符串的代码:
    String schema = new String(Files.readAllBytes(Path.get("avsc file path")))
  • Kafka消费与Avro反序列化代码:
    spark.read().format("kafka").options("kafka.bootstap.server",serverdetails).options("subscribe",topic)
    .load().select(from_avro(col("value"),schema)).as("data")).select("data.*")
    

运行抛出的异常栈

程序运行时抛出EOFException,核心栈信息如下:

java.io.EOFException: null
                at org.apache.avro.io.BinaryDecoder$ByteArrayByteSource.readRaw(BinaryDecoder.java:944) ~[avro-1.8.2.jar:1.8.2]
                at org.apache.avro.io.BinaryDecoder.doReadBytes(BinaryDecoder.java:349) ~[avro-1.8.2.jar:1.8.2]
                at org.apache.avro.io.BinaryDecoder.readString(BinaryDecoder.java:263) ~[avro-1.8.2.jar:1.8.2]
                at org.apache.avro.io.ResolvingDecoder.readString(ResolvingDecoder.java:201) ~[avro-1.8.2.jar:1.8.2]
                at org.apache.avro.generic.GenericDatumReader.readString(GenericDatumReader.java:422) ~[avro-1.8.2.jar:1.8.2]
                at org.apache.avro.generic.GenericDatumReader.readString(GenericDatumReader.java:414) ~[avro-1.8.2.jar:1.8.2]
                at org.apache.avro.generic.GenericDatumReader.readWithoutConversion(GenericDatumReader.java:181) ~[avro-1.8.2.jar:1.8.2]
                at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:153) ~[avro-1.8.2.jar:1.8.2]
                at org.apache.avro.generic.GenericDatumReader.readField(GenericDatumReader.java:232) ~[avro-1.8.2.jar:1.8.2]
                at org.apache.avro.generic.GenericDatumReader.readRecord(GenericDatumReader.java:222) ~[avro-1.8.2.jar:1.8.2]
                at org.apache.avro.generic.GenericDatumReader.readWithoutConversion(GenericDatumReader.java:175) ~[avro-1.8.2.jar:1.8.2]
                at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:153) ~[avro-1.8.2.jar:1.8.2]
                at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:145) ~[avro-1.8.2.jar:1.8.2]
                at org.apache.spark.sql.avro.AvroDataToCatalyst.nullSafeEval(AvroDataToCatalyst.scala:50) ~[spark-avro_2.12-2.4.5.jar:2.4.5]
                at org.apache.spark.sql.catalyst.expressions.GeneratedClass$GeneratedIteratorForCodegenStage1.processNext(Unknown Source) ~[na:na]
                at org.apache.spark.sql.execution.BufferedRowIterator.hasNext(BufferedRowIterator.java:43) ~[spark-sql_2.12-2.4.5.jar:2.4.5]
                at org.apache.spark.sql.execution.WholeStageCodegenExec$$anon$2.hasNext(WholeStageCodegenExec.scala:636) ~[spark-sql_2.12-2.4.5.jar:2.4.5]
                at org.apache.spark.sql.execution.SparkPlan.$anonfun$getByteArrayRdd$1(SparkPlan.scala:255) ~[spark-sql_2.12-2.4.5.jar:2.4.5]
                at org.apache.spark.rdd.RDD.$anonfun$mapPartitionsInternal$2(RDD.scala:858) ~[spark-core_2.12-2.4.5.jar:2.4.5]
                at org.apache.spark.rdd.RDD.$anonfun$mapPartitionsInternal$2$adapted(RDD.scala:858) ~[spark-core_2.12-2.4.5.jar:2.4.5]
                at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:52) ~[spark-core_2.12-2.4.5.jar:2.4.5]
                at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:346) ~[spark-core_2.12-2.4.5.jar:2.4.5]
                at org.apache.spark.rdd.RDD.iterator(RDD.scala:310) ~[spark-core_2.12-2.4.5.jar:2.4.5]
                at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:52) ~[spark-core_2.12-2.4.5.jar:2.4.5]
                at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:346) ~[spark-core_2.12-2.4.5.jar:2.4.5]
                at org.apache.spark.rdd.RDD.iterator(RDD.scala:310) ~[spark-core_2.12-2.4.5.jar:2.4.5]
                at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:90) ~[spark-core_2.12-2.4.5.jar:2.4.5]
                at org.apache.spark.scheduler.Task.run(Task.scala:123) ~[spark-core_2.12-2.4.5.jar:2.4.5]
                at org.apache.spark.executor.Executor$TaskRunner.$anonfun$run$3(Executor.scala:411) ~[spark-core_2.12-2.4.5.jar:2.4.5]
                at org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:1360) ~[spark-core_2.12-2.4.5.jar:2.4.5]

异常根因分析

该EOFException触发于Avro反序列化阶段,本质是反序列化时读取的字节流长度小于Avro Schema定义的结构所需的字节数,结合现有代码链路,常见触发点包括:

  • 生产端与消费端的Avro Schema未强对齐
    生产端to_avro默认根据DataFrame实际结构动态生成Schema,未与消费端加载的本地avsc文件做一致性校验,若avsc定义的字段顺序、类型、非空规则与生产端实际序列化结构不匹配,反序列化时按Schema长度读取字节会直接触达流末尾,触发EOF。
  • Kafka Topic存在非Avro格式的脏数据
    若Topic内残留历史测试写入的空值、非Avro格式的普通字符串数据,消费端对这类非Avro字节执行反序列化时,会因字节长度不足抛出异常。
  • Kafka配置项拼写错误导致读写路由异常
    现有代码中kafka.bootstap.server为拼写错误(正确配置应为kafka.bootstrap.servers),会导致生产/消费链路未正确连接目标集群、路由到目标Topic,可能误读其他Topic中长度不匹配的无效数据。
  • Schema读取编码不匹配
    读取本地avsc文件时未指定字符集,默认使用JVM平台编码(如Windows环境下的GBK),会导致读取的Schema字符串被乱码截断,反序列化时按乱码Schema的结构读取字节,提前触达流末尾。

可行解决方法

  • 修正Kafka配置项拼写
    将生产端、消费端的Kafka配置项从kafka.bootstap.server修正为kafka.bootstrap.servers,确保读写链路连接到正确的Kafka集群、路由到同一个目标Topic,避免误读其他Topic的无效数据。
  • 双向对齐Avro Schema
    1. 生产端调用to_avro时显式指定与消费端完全一致的Schema,不依赖动态生成的Schema:将原逻辑to_avro(struct("data.*"))修改为to_avro(struct("data.*"), 已加载的目标avsc Schema字符串),从源头保证生产序列化结构与消费端反序列化Schema完全一致。
    2. 校验本地avsc文件内容,确保avsc定义的字段顺序、字段类型、可空规则与生产端DataFrame的列定义完全匹配,不存在字段缺失、类型不兼容的问题。
  • 前置过滤无效脏数据
    消费端在执行Avro反序列化前,过滤掉为null、长度过短的value字段,避免读取Topic内的历史脏数据触发反序列化异常,可在load()之后增加过滤条件:filter(col("value").isNotNull and length(col("value")) > Avro最小有效字节长度)。
  • 修正Schema文件读取编码
    读取本地avsc文件时显式指定UTF-8编码,避免平台默认编码导致的Schema乱码问题,将原逻辑new String(Files.readAllBytes(Path.get("avsc file path")))修改为new String(Files.readAllBytes(Path.get("avsc file path")), StandardCharsets.UTF_8)。

内容的提问来源于stack exchange,提问作者Loganathan .R

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.24 01:15:00