Kafka消费者连接故障求助：Python客户端无法连接新Bootstrap服务器

核心排查方向（针对CLI能连但Python库失败的场景） #

1. 严格对齐Bootstrap服务器地址格式 #

确保Python配置中的bootstrap.servers（confluent-kafka）或bootstrap_servers（python-kafka）和CLI使用的地址完全一致，必须包含端口号（SASL_SSL默认端口为9093）。例如：

• 正确格式：'bootstrap.servers': 'kafka.example.com:9093'
• 错误格式：'bootstrap.servers': 'kafka.example.com'（缺少端口）

2. 匹配CLI的安全配置细节 #

查看你使用的Kafka CLI的consumer配置文件（通常是consumer.properties），对比以下参数是否和Python配置一致：

• 如果CLI配置了ssl.truststore.location，Python库需要添加CA证书路径：
  • confluent-kafka：添加'ssl.ca.location': '/path/to/ca-cert.pem'
  • python-kafka：添加ssl_cafile='/path/to/ca-cert.pem'
• 确认security.protocol和sasl.mechanism完全匹配（比如CLI用SASL_SSL就不能在Python里写成SSL）

3. 校验SASL凭证的转义问题 #

如果用户名/密码包含特殊字符（如$、\、空格），在Python字符串中需正确处理：

• 使用原始字符串包裹：sasl.password = r'your-pass-with-$'
• 避免因转义导致凭证失效

4. 调整超时与启用调试日志 #

confluent-kafka配置优化

添加调试参数获取更详细的错误信息，同时延长超时时间：

conf = {
    'bootstrap.servers': '<bootstrap server>:9093',
    'security.protocol': 'SASL_SSL',
    'sasl.mechanism': 'PLAIN',
    'group.id': 'mygroup',
    'sasl.username': '<USERNAME>',
    'sasl.password': '<PASSWORD>',
    'auto.offset.reset': 'earliest',
    'debug': 'security,broker',  # 输出安全和 broker 层面的调试日志
    'socket.timeout.ms': 60000,  # 延长连接超时到60秒
    'session.timeout.ms': 30000
}

python-kafka配置优化

强制指定API版本并延长超时：

from kafka import KafkaConsumer

consumer = KafkaConsumer(
    '<your-topic>',
    bootstrap_servers=['<bootstrap server>:9093'],
    security_protocol='SASL_SSL',
    sasl_mechanism='PLAIN',
    sasl_plain_username='<USERNAME>',
    sasl_plain_password='<PASSWORD>',
    group_id='mygroup',
    auto_offset_reset='earliest',
    api_version=(2,8,1),  # 替换为你的Kafka集群版本
    api_version_auto_timeout_ms=30000,
    request_timeout_ms=60000
)

5. 排查网络环境差异 #

• 确认Python脚本和CLI在同一网络环境运行（比如不要CLI在本地，Python在隔离容器中）
• 如果系统使用代理，需为Python配置代理：
  • confluent-kafka：添加'proxy.url': 'http://proxy:port'
  • python-kafka：运行脚本前设置环境变量export HTTPS_PROXY=http://proxy:port

内容的提问来源于stack exchange，提问作者Kevin