Docker容器中kafka-python Producer无法发送消息求助

我来帮你一步步排查这个问题，结合你用Docker部署在AWS Elastic Beanstalk的场景，大概率是网络、配置或者版本兼容性问题，咱们逐个击破：

这是最常见的问题，Docker容器的网络环境和EB实例本身可能有隔离，先在容器里测试能不能通Kafka的Broker：

• 执行telnet <kafka-broker-ip> 9092（把<kafka-broker-ip>换成你实际的Broker地址，端口如果改了就换对应端口）
• 或者用更简洁的nc -zv <kafka-broker-ip> 9092
  如果连接失败，说明网络有问题：
  • 检查EB实例的安全组，是否允许出站访问Kafka的端口（默认9092）
  • 检查Kafka集群的安全组，是否允许EB实例所在的IP段入站访问Kafka端口
  • 确认Kafka Broker的listeners配置，有没有绑定外部可访问的地址（比如PLAINTEXT://0.0.0.0:9092，而不是只绑定localhost）

Kafka 0.11是比较老的版本，kafka-python默认的自动版本探测可能失效，必须显式指定API版本：

• 确保你的生产者初始化代码里加上api_version=(0, 11, 0)参数，示例：

from kafka import KafkaProducer
import json

producer = KafkaProducer(
    bootstrap_servers=["kafka-broker-1:9092", "kafka-broker-2:9092"],  # 替换成实际Broker地址
    api_version=(0, 11, 0),  # 必须指定0.11版本的API
    acks="all",  # 确保消息被所有ISR副本确认
    retries=3,  # 发送失败重试3次
    value_serializer=lambda v: json.dumps(v).encode("utf-8")
)

• 注意不要用localhost作为bootstrap地址，容器里的localhost是容器自身，不是EB实例或者Kafka集群，必须用Kafka Broker的实际IP或域名

在容器里检查Flask应用的日志，或者开启kafka-python的调试日志来获取更多细节：

• 先看容器里的应用日志：执行docker logs <你的容器ID>，或者直接查看应用的日志文件（比如如果用Gunicorn部署，日志可能在/var/log里）
• 临时在Flask代码里添加调试日志，重启应用后观察：

import logging
logging.basicConfig(level=logging.DEBUG)  # 开启全局调试日志

然后找kafka.producer相关的日志，里面会明确显示连接失败、消息发送超时、认证错误等具体原因

用最简代码在容器里测试，排除Flask业务逻辑的干扰：
在容器里进入Python交互环境，执行：

from kafka import KafkaProducer
producer = KafkaProducer(bootstrap_servers=["<kafka-broker>:9092"], api_version=(0,11,0))
# 发送测试消息并等待结果，超时会抛出异常
result = producer.send("你的测试主题", b"test_message_from_container").get(timeout=10)
print(result)

如果执行失败，会直接抛出异常（比如KafkaTimeoutError、NoBrokersAvailable等），根据异常信息就能精准定位问题

Kafka 0.11默认开启了自动创建主题，但如果集群管理员修改了auto.create.topics.enable参数为false，就需要手动创建主题：
在容器里用AdminClient检查主题列表：

from kafka.admin import KafkaAdminClient
admin_client = KafkaAdminClient(bootstrap_servers=["<kafka-broker>:9092"], api_version=(0,11,0))
print("当前Kafka主题列表：", admin_client.list_topics())

如果你的目标主题不在列表里，要么手动创建主题，要么联系集群管理员开启自动创建

如果你用的是Dockerrun.aws.json或者自定义Dockerfile，确认网络模式是否正确：

• 默认的桥接模式是没问题的，但如果设置了network_mode: host，需要确保EB实例的网络能访问Kafka
• 检查EB的环境变量，有没有把Kafka的地址正确传递给容器（比如通过environment字段设置KAFKA_BOOTSTRAP_SERVERS）

内容的提问来源于stack exchange，提问作者Nik