Docker容器中Kafka Producer无法连接Broker问题求助

我开发了一个向Kafka Topic发送消息的简易应用，本地运行完全正常，但部署到Docker容器后无法连接至Yandex Cloud的Broker。应用代码和Dockerfile如下：

应用代码 #

from kafka import KafkaProducer

producer = KafkaProducer(
    bootstrap_servers='xxxxxxxxxx.mdb.yandexcloud.net:9091',
    security_protocol="SASL_SSL",
    sasl_mechanism="SCRAM-SHA-512",
    sasl_plain_password='xxxxxxxxxx',
    sasl_plain_username='xxxxxxxxxx',
    ssl_cafile="YandexCA.crt",
    api_version=(0,11,5))

producer.send('test_topic', b'test message')
producer.flush()
producer.close()

Dockerfile #

# For more information, please refer to https://aka.ms/vscode-docker-python
FROM python:3.10

# Keeps Python from generating .pyc files in the container
ENV PYTHONDONTWRITEBYTECODE=1

# Turns off buffering for easier container logging
ENV PYTHONUNBUFFERED=1

# Install pip requirements
COPY requirements.txt .
RUN python -m pip install -r requirements.txt

WORKDIR /app
COPY . /app

# Creates a non-root user with an explicit UID and adds permission to access the /app folder
# For more info, please refer to https://aka.ms/vscode-docker-python-configure-containers
RUN adduser -u 5678 --disabled-password --gecos "" appuser && chown -R appuser /app
USER appuser

# During debugging, this entry point will be overridden. For more information, please refer to https://aka.ms/vscode-docker-python-debug
CMD ["python", "app.py"]

可能的原因及排查方案 #

• SSL证书路径或权限问题
  代码中指定ssl_cafile="YandexCA.crt"，需确认：

  • 构建镜像时，证书文件是否被正确复制到容器的/app目录（WORKDIR为/app，COPY . /app会复制上下文目录所有文件，需确保本地证书和app.py在同一目录）。
  • 容器内appuser是否有证书文件的读取权限，可进入容器执行ls -l /app/YandexCA.crt检查，若权限不足，在Dockerfile中添加RUN chmod +r /app/YandexCA.crt。
  • 建议代码中使用绝对路径/app/YandexCA.crt，避免相对路径导致的定位错误。

• 容器网络连接限制

  • 测试容器网络连通性：进入容器执行ping xxxxxxxxxx.mdb.yandexcloud.net或telnet xxxxxxxxxx.mdb.yandexcloud.net 9091，确认域名解析和端口可达。
  • 尝试用宿主机网络启动容器：docker run --network=host [镜像名]，排除bridge网络的隔离问题。
  • 检查Yandex Cloud安全组规则，确认允许容器所在IP段访问9091端口。

• 依赖版本兼容性问题

  • 本地与容器内的kafka-python版本可能不一致，查看本地版本pip show kafka-python，确保requirements.txt中指定相同版本，避免因版本不匹配导致的API兼容性问题（代码指定了api_version=(0,11,5)，版本差异可能引发连接失败）。

• SSL配置细节问题

  • 尝试临时添加ssl_check_hostname=False到KafkaProducer配置中（仅用于排查，生产环境禁用），验证是否为主机名验证失败。
  • 确认YandexCA.crt是有效且未过期的根证书，可在容器内用openssl s_client -connect xxxxxxxxxx.mdb.yandexcloud.net:9091 -CAfile /app/YandexCA.crt测试SSL连接。

内容的提问来源于stack exchange，提问作者Владимир Трифонов