本地Apache Kafka+PySpark读取流消息无响应问题排查

1. 修复Kafka Broker配置的致命错误 #

你的server.properties里有两个严重不合理的配置，直接导致消费者无法正常工作：

• max.poll.interval.ms=5：该参数定义了消费者两次poll操作之间的最大允许间隔，5毫秒的阈值远低于Spark流处理的正常耗时，只要处理时间超过这个值，Kafka就会判定消费者失效，触发消费组重平衡，最终导致流任务卡住循环。必须将其改回默认值300000（5分钟），或根据实际需求调整至至少30000毫秒以上。
• session.timeout.ms=3：该参数是消费者与Broker的会话超时时间，3毫秒的设置过短，消费者还未完成初始化就会被Broker踢出消费组，同样会引发持续的重平衡问题。**改回默认值10000（10秒）**即可。

修改上述配置后，重启Kafka Broker。

2. 处理HDFS Standby警告 #

日志中的StandbyException是因为Spark默认尝试连接HDFS，但你的HDFS处于Standby状态，或本地环境未正确配置Hadoop。解决方法：

• 若为本地运行Spark且无需HDFS，将checkpointLocation改为本地路径（需添加file:///前缀，比如file:///home/aiman/checkpoint/kafka_local），同时启动Spark时添加配置：--conf spark.hadoop.fs.defaultFS=file:///，避免Spark自动连接HDFS。

3. 代码优化建议 #

• 若需要从最早偏移量开始消费，直接设置startingOffsets='earliest'即可，无需手动指定具体偏移量{"TEST_1":{"0":3}}，除非有明确的偏移量定位需求。
• 确认TEST_1主题已创建，且推送的消息确实发送到了该主题的0分区。

修改后的关键配置示例 #

server.properties

max.poll.interval.ms=300000
session.timeout.ms=10000

PySpark配置（使用earliest偏移量）

kafka_config = { 
    'checkpointLocation': 'file:///home/aiman/checkpoint/kafka_local',
    'kafka.bootstrap.servers': 'localhost:9092',
    'subscribe': 'TEST_1',
    'startingOffsets': 'earliest'
}

内容的提问来源于stack exchange，提问作者aiman