Spark Streaming读取Kafka数据时查询卡住并超时报错求助

问题重现 #

尝试通过Spark Streaming读取Kafka主题数据并输出到控制台，使用以下代码：

读取Kafka的代码 #

df = spark.readStream \
        .format("kafka") \
        .option("kafka.bootstrap.servers", "my_host:9092") \
        .option("subscribe", "my_topic") \
        .option("startingOffsets", "earliest") \
        .load()

输出到控制台的代码 #

query = df.writeStream \
  .outputMode("append") \
  .trigger(processingTime="10 seconds") \
  .format("console") \
  .start().awaitTermination()

运行后控制台卡在[Stage 0:> (0 + 2) / 8]，即使向主题发送消息也无响应，最终抛出核心超时异常：

org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition scraping-google1-0 could be determined

错误分析 #

该异常本质是Spark Executor无法在指定时间内获取Kafka分区的位置信息，常见触发原因包括：

• Spark集群节点与Kafka broker之间网络连通性差或端口未开放
• Kafka的advertised.listeners配置错误，导致Spark无法连接到Broker的实际可访问地址
• Spark使用的账号缺少目标Kafka主题的读取权限
• Kafka消费者相关超时参数设置过短

解决步骤 #

• 检查网络连通性：在Spark的Driver和所有Executor节点上，执行telnet my_host 9092或nc -zv my_host 9092，确认能正常连接Kafka端口。若不通，排查防火墙、安全组规则，确保9092端口对Spark集群开放。
• 验证Kafka的advertised.listeners配置：Kafka Broker的advertised.listeners必须设置为Spark集群能访问到的公网/内网地址（不能仅用localhost）。可通过命令查看当前配置：

  kafka-configs.sh --describe --bootstrap-server my_host:9092 --entity-type brokers --entity-name 0
  

  确保配置的地址是Spark节点可直接访问的。
• 检查主题权限：确认Spark使用的Kafka账号（若启用SASL/SSL认证）对my_topic拥有Read权限。可通过kafka-acls.sh工具查看和配置权限：

  kafka-acls.sh --list --bootstrap-server my_host:9092 --topic my_topic
  

• 调整Kafka消费者超时参数：在Spark读取Kafka的配置中延长超时时间，避免因网络延迟导致超时：

  df = spark.readStream \
          .format("kafka") \
          .option("kafka.bootstrap.servers", "my_host:9092") \
          .option("subscribe", "my_topic") \
          .option("startingOffsets", "earliest") \
          .option("kafka.session.timeout.ms", "300000") \
          .option("kafka.request.timeout.ms", "300000") \
          .load()
  

• 确认主题状态：用以下命令检查主题是否存在、分区是否正常，以及是否有消息：

  # 查看主题详情
  kafka-topics.sh --describe --bootstrap-server my_host:9092 --topic my_topic
  # 测试消费消息
  kafka-console-consumer.sh --bootstrap-server my_host:9092 --topic my_topic --from-beginning
  

内容的提问来源于stack exchange，提问作者user2265417