Python KafkaConsumer无法读取Kafka消息问题求助

以下是针对你遇到的问题的具体排查步骤和解决方案：

1. 修正Kafka服务端监听配置 #

Kafka默认仅监听本地回环地址，导致外部Python客户端无法正常收发消息，需修改虚拟机中Kafka的server.properties配置文件：

• 将listeners设置为：PLAINTEXT://0.0.0.0:9092（允许所有网卡监听）
• 将advertised.listeners设置为：PLAINTEXT://{remote.azure.vm.ip}:9092（返回给客户端的公网访问地址）
• 修改完成后重启Kafka服务：bin/kafka-server-stop.sh && bin/kafka-server-start.sh config/server.properties -daemon

2. 验证网络端口连通性 #

• 在运行Python代码的机器上，执行telnet {remote.azure.vm.ip} 9092或nc -zv {remote.azure.vm.ip} 9092，确认9092端口能正常连通。
• 若不通，检查Azure VM的网络安全组（NSG），添加入站规则允许9092端口的TCP流量；同时确保虚拟机系统防火墙未拦截该端口。

3. 检查消费者组偏移量状态 #

你的消费者组ID为kjalkdjhgfofgsf，可在Kafka虚拟机中执行以下命令查看偏移量：

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group kjalkdjhgfofgsf

• 如果偏移量已处于Topic消息末尾，auto_offset_reset='earliest'不会生效（该参数仅在组无初始偏移量时触发）。解决方法：
  • 更换一个全新的消费者组ID；
  • 手动重置该组的偏移量到最早位置：

    kafka-consumer-groups.sh --bootstrap-server localhost:9092 --reset-offsets --to-earliest --group kjalkdjhgfofgsf --topic study1 --execute
    

4. 匹配Kafka客户端与服务端版本 #

你使用的Kafka服务端是3.4版本，需确保kafka-python客户端版本兼容。建议安装兼容版本：

pip install kafka-python==2.0.2

版本不匹配可能导致协议交互异常，引发无法收发消息的问题。

5. 同步解决Python生产者问题 #

既然Python能创建Topic但无法生产，核心原因同样是监听配置问题。可使用以下测试代码验证：

from kafka import KafkaProducer
import logging
logging.basicConfig(level=logging.DEBUG)

producer = KafkaProducer(
    bootstrap_servers=['{remote.azure.vm.ip}:9092'],
    value_serializer=lambda x: x.encode('utf-8')
)
producer.send('study1', b'test message from python')
producer.flush()

若生产失败，查看DEBUG日志是否有节点连接失败的报错，回到第一步确认advertised.listeners配置是否正确。

内容的提问来源于stack exchange，提问作者rahul kshirsagar