Docker Swarm部署Kafka Connect集群持续重平衡问题排查

问题现象 #

通过Docker Swarm部署4节点Kafka Connect集群时，**仅首次部署（环境无历史集群记录）**出现worker间无法正常通信、持续触发重平衡的问题。更换新的group.id重新部署可恢复正常，但会丢失连接器偏移量，威胁数据完整性，需定位根因避免后续重启复发。

关键日志分析 #

重复出现的核心日志片段：

[2023-07-19T10:53:34.399Z] INFO [Worker clientId=connect-1, groupId=connect-cluster] Rebalance started
[2023-07-19T10:53:34.400Z] INFO [Worker clientId=connect-1, groupId=connect-cluster] (Re-)joining group
[2023-07-19T10:53:34.400Z] INFO [Worker clientId=connect-1, groupId=connect-cluster] Successfully joined group with generation Generation{generationId=11, memberId='connect-1-a0bd7da2-7235-4fcc-a0f9-83921b3e5a0c', protocol='sessioned'}
[2023-07-19T10:53:34.400Z] INFO [Worker clientId=connect-1, groupId=connect-cluster] Successfully synced group in generation Generation{generationId=11, memberId='connect-1-a0bd7da2-7235-4fcc-a0f9-83921b3e5a0c', protocol='sessioned'}
[2023-07-19T10:53:34.400Z] INFO [Worker clientId=connect-1, groupId=connect-cluster] Joined group at generation 11 with protocol version 2 and got assignment: Assignment{error=0, leader='connect-1-1c92ee2f-e894-475f-b330-ec2215e4611b', leaderUrl='http://10.0.50.95:8083/', offset=819, connectorIds=[], taskIds=[], revokedConnectorIds=[], revokedTaskIds=[], delay=0} with rebalance delay: 0
[2023-07-19T10:53:34.401Z] WARN [Worker clientId=connect-1, groupId=connect-cluster] Catching up to assignment's config offset.
[2023-07-19T10:53:34.401Z] INFO [Worker clientId=connect-1, groupId=connect-cluster] Current config state offset -1 is behind group assignment 819, reading to end of config log
[2023-07-19T10:53:34.402Z] INFO [Worker clientId=connect-1, groupId=connect-cluster] Finished reading to end of log and updated config snapshot, new config log offset: -1
[2023-07-19T10:53:34.402Z] INFO [Worker clientId=connect-1, groupId=connect-cluster] Current config state offset -1 does not match group assignment 819. Forcing rebalance.

核心矛盾点：

• Worker读取_connect-configs主题后，本地记录的配置偏移量为-1（表示无数据）
• 集群分配的配置偏移量为819，两者不匹配触发强制重平衡

配置检查 #

Worker的Docker Compose核心配置片段：

kafka-connect-worker-1:
  networks:
    - monitoring
  image: <custom_kafka_connect_image>:<version>
  entrypoint: /etc/confluent/docker/entrypoint.sh
  hostname: "kafka-connect-worker-1"
  environment:
    CONNECT_BOOTSTRAP_SERVERS: <kafka_brokers_list>
    CONNECT_SECURITY_PROTOCOL: SSL
    CONNECT_REST_PORT: 8083
    CONNECT_GROUP_ID: connect-cluster
    CONNECT_CONFIG_STORAGE_TOPIC: _connect-configs
    CONNECT_CONFIG_STORAGE_REPLICATION_FACTOR: 2
    CONNECT_REST_ADVERTISED_HOST_NAME: "kafka-connect-worker-1"
  # 其余配置省略

已确认：

• _connect-configs主题为单分区（符合Kafka Connect要求）
• 所有worker配置一致，基于confluentinc/cp-kafka-connect:7.4.0定制镜像

根因推断 #

结合日志、配置和部署场景，可能的根因包括以下几点：

1. 多Worker同时启动引发的元数据同步延迟 #

首次部署时，4个Worker同时启动，会竞争创建_connect-configs、_connect-offsets、_connect-status系统主题。Kafka主题创建后，元数据需要同步到所有Broker，若部分Worker在元数据同步完成前尝试读取主题，会认为主题无数据（偏移量-1），但集群Leader已记录了主题初始化的偏移量（如819），导致偏移量不匹配，触发持续重平衡。

2. Worker间REST接口通信失败 #

配置中CONNECT_REST_ADVERTISED_HOST_NAME使用了容器独立hostname（如kafka-connect-worker-1），若Docker Swarm的Overlay网络中存在hostname解析异常，Worker之间无法通过该hostname访问彼此的REST接口，集群Leader无法将配置状态同步到所有节点，导致部分Worker始终无法获取正确的配置偏移量，反复触发重平衡。

3. 定制镜像的启动逻辑异常 #

定制镜像修改了entrypoint.sh，若环境变量导出、服务启动顺序或JVM参数配置存在问题，可能导致Worker启动时无法正确初始化配置存储的读取逻辑，无法正常读取_connect-configs主题的元数据。

验证与解决方案 #

验证方向 #

• 主题创建顺序验证：查看Kafka日志，确认_connect-configs主题的创建时间是否晚于部分Worker的启动时间。
• 网络连通性验证：在任意Worker容器内，执行curl http://kafka-connect-worker-2:8083/（替换为其他Worker的hostname），检查是否能正常返回REST接口响应。
• 镜像兼容性验证：使用官方confluentinc/cp-kafka-connect:7.4.0镜像首次部署，确认是否出现相同问题，排除定制镜像的影响。

解决方案 #

1. 调整首次部署顺序
   首次部署时，先启动1个Worker，等待其完全初始化（日志显示成功加入集群、系统主题创建完成），再逐个启动剩余3个Worker，避免多实例同时争抢主题创建和元数据同步。

2. 修正REST接口可达性配置

   • 若Docker Swarm网络中hostname解析不稳定，可将CONNECT_REST_ADVERTISED_HOST_NAME替换为容器所在节点的IP，或配置CONNECT_REST_ADVERTISED_LISTENERS明确指定可访问的地址：

     CONNECT_REST_ADVERTISED_LISTENERS: http://kafka-connect-worker-1:8083
     

   • 确保所有Worker的REST端口（8083）在Swarm网络中可正常访问。

3. 预创建系统主题
   在部署Worker前，手动创建Kafka Connect的系统主题，确保元数据完全同步：

   # 创建_configs主题（必须1分区）
   kafka-topics --create --topic _connect-configs --bootstrap-server <kafka_brokers_list> --partitions 1 --replication-factor 2 --config cleanup.policy=compact
   # 创建_offsets主题（建议25-50分区）
   kafka-topics --create --topic _connect-offsets --bootstrap-server <kafka_brokers_list> --partitions 25 --replication-factor 2 --config cleanup.policy=compact
   # 创建_status主题（建议10分区）
   kafka-topics --create --topic _connect-status --bootstrap-server <kafka_brokers_list> --partitions 10 --replication-factor 2 --config cleanup.policy=compact
   

4. 检查定制镜像的启动逻辑
   对比定制镜像与官方镜像的entrypoint.sh，确保没有覆盖或修改Kafka Connect的核心启动参数，环境变量导出逻辑正确，无延迟服务启动的操作。

后续预防措施 #

• 预创建系统主题，避免Worker自动创建时的元数据同步问题。
• 采用滚动部署策略：后续重启或升级时，逐个启动/更新Worker实例，避免多实例同时启动。
• 监控系统主题状态：定期检查_connect-configs、_connect-offsets的分区、复制因子和偏移量，确保无异常。

内容的提问来源于stack exchange，提问作者Alexandros Mavrommatis