如何在docker-compose中暴露Kafka Connect插件的自定义线程监听端口

一、docker-compose端口配置方案 #

你当前写的端口映射配置本身是正确的，只要补充两个配置即可正常访问：

• 自研连接器中监听端口的绑定地址必须设置为0.0.0.0，不能绑定127.0.0.1/localhost，否则只能在容器内部本地访问，端口映射无法生效
• 确认宿主机的防火墙/安全组规则开放了9090端口的入站访问权限

你当前的docker-compose对应片段已经满足端口映射要求，相关配置参考如下：

connect:
  image: confluentinc/cp-kafka-connect:6.2.0
  hostname: connect
  container_name: connect
  depends_on:
    - zookeeper
    - kafka
  ports:
    - 8083:8083
    - 9090:9090 # 该配置已经实现容器9090端口到宿主机9090端口的映射
  environment:
    CONNECT_BOOTSTRAP_SERVERS: "kafka:9092"
    CONNECT_REST_PORT: 8083
    CONNECT_REST_ADVERTISED_HOST_NAME: "connect"

二、方案合理性评估及优化方案 #

合理性说明 #

该方案仅适合本地测试、小流量非生产场景临时使用，生产环境不推荐，存在以下明显缺陷：

• Kafka Connect是分布式架构，连接器实例会在集群节点间重均衡，一旦连接器漂移到其他节点，原节点的9090端口就无法提供服务，多节点部署时还需要处理多端口管理、负载均衡的额外问题
• 自定义线程和连接器生命周期强绑定，连接器重启、更新、异常退出都会导致端口服务中断，可用性无法保障
• 额外暴露的端口需要单独做鉴权、限流、HTTPS配置，无法复用Kafka Connect自带的安全能力，增大攻击面和运维成本

更优实现方案 #

根据不同的使用场景可以选择对应的优化方案：

• 场景1：需要接收外部请求写入数据到Kafka
  将监听端口的逻辑拆分为独立的无状态服务单独部署，该服务收到请求后直接写入Kafka，完全和Kafka Connect解耦，支持水平扩容，可用性更高
• 场景2：需要暴露连接器的管控、状态查询接口
  直接复用Kafka Connect提供的REST扩展能力，将自定义接口注册为Connect原生8083端口的子路径，无需额外开启端口，还可以复用Connect自带的认证、HTTPS、访问日志能力，运维成本更低
• 场景3：仅内部低频次调试使用
  不需要固定暴露端口，需要调试时使用docker exec结合端口转发命令临时映射端口，调试完成后关闭，降低安全风险

内容的提问来源于stack exchange，提问作者Eric Broda