Spark Structured Streaming读取Kafka时与ZooKeeper频繁断开求助

我之前在Cloudera 5.11搭配Spark 2.1的环境里，碰到过和你完全一样的问题——用Structured Streaming读取Kafka主题时，频繁和ZK断开，日志里的报错也一模一样。结合我的排查经验，给你几个可行的解决方向：

1. 对齐Kafka客户端与集群的版本兼容性 #

这是最常见的根源！Cloudera 5.11集成的Kafka版本是0.10.1.0-cdh5.11.0，而Spark 2.1默认依赖的Kafka客户端版本可能和集群不一致，导致ZK交互协议不兼容，触发EOF异常。

你需要在SBT依赖里明确指定和集群匹配的Kafka客户端版本，修正后的依赖配置大概是这样：

val sparkVer = "2.1.0"
val kafkaVer = "0.10.1.0-cdh5.11.0"
Seq(
  "org.apache.spark" %% "spark-core" % sparkVer % "provided" withSources(),
  "org.apache.spark" %% "spark-sql-kafka-0-10" % sparkVer,
  "org.apache.kafka" % "kafka-clients" % kafkaVer % "provided",
  // 其他依赖...
)

注意要加上spark-sql-kafka-0-10的依赖（因为你用的是Structured Streaming），并且把kafka-clients的版本和Cloudera集群保持一致，避免依赖冲突。

2. 调整ZK会话与心跳参数 #

Spark Kafka消费者的默认ZK会话超时可能太短，或者心跳间隔不合理，导致ZK主动关闭会话。你可以在Spark提交任务时，添加以下配置：

--conf spark.kafka.consumer.properties.zookeeper.session.timeout.ms=30000 \
--conf spark.kafka.consumer.properties.zookeeper.connection.timeout.ms=30000 \
--conf spark.kafka.consumer.properties.zookeeper.sync.time.ms=5000

这些参数会传递给Kafka消费者，延长会话超时时间，确保消费者能及时给ZK发送心跳，避免被判定为离线。

3. 排查网络与防火墙问题 #

EOFException也常出现在网络连接被意外切断的场景：

• 检查Spark Executor节点和ZK节点之间的2181端口是否有防火墙规则限制长连接；
• 用nc -zv [zk host] 2181测试连通性，或者持续运行telnet [zk host] 2181观察是否会自动断开；
• 联系运维排查网络是否存在丢包、高延迟的情况。

4. 监控Spark Executor的资源与GC情况 #

如果Executor内存不足，导致频繁Full GC，消费者线程会被挂起，无法及时给ZK发送心跳，最终触发会话断开：

• 开启Executor的GC日志（添加--conf spark.executor.extraJavaOptions="-Xloggc:/path/to/gc.log -verbose:gc -XX:+PrintGCDetails"）；
• 调整spark.executor.memory和spark.executor.cores参数，给Executor分配足够的资源，避免OOM或长时间GC。

补充你提到的关键报错信息，方便其他开发者参考：

Spark日志警告：WARN clients.NetworkClient: Bootstrap broker [zk host]:2181 disconnected
ZooKeeper日志错误：Exception causing close of session 0x0 due to java.io.EOFException

内容的提问来源于stack exchange，提问作者Victor