如何在单Broker环境以单机模式运行Kafka Connect Sink？

你遇到的InvalidReplicationFactorException，核心原因是Kafka Connect默认会创建3个内部主题（connect-offsets、connect-configs、connect-status），这些主题的默认复制因子为3，但你的环境只有1个Broker，导致启动失败。要在单Broker环境下运行Connect，需强制将这些内部主题的复制因子设为1，具体操作如下：

方法一：修改Kafka Connect启动配置 #

在Docker Compose的Kafka Connect服务配置中，添加以下环境变量，直接指定内部主题的复制因子及同步副本数为1：

services:
  kafka-connect:
    ...
    environment:
      - CONNECT_OFFSET_STORAGE_REPLICATION_FACTOR=1
      - CONNECT_CONFIG_STORAGE_REPLICATION_FACTOR=1
      - CONNECT_STATUS_STORAGE_REPLICATION_FACTOR=1
      - CONNECT_OFFSET_STORAGE_MIN_INSYNC_REPLICAS=1
      - CONNECT_CONFIG_STORAGE_MIN_INSYNC_REPLICAS=1
      - CONNECT_STATUS_STORAGE_MIN_INSYNC_REPLICAS=1

这些参数会让Connect在创建内部主题时自动适配单Broker环境，无需手动干预主题创建。

方法二：手动创建内部主题（适用于已有残留主题的情况） #

如果之前Connect启动失败留下了未正确创建的主题残留，先删除这些无效主题，再进入Kafka容器手动创建复制因子为1的内部主题：

# 进入Kafka容器
docker exec -it <kafka-container-name> /bin/bash

# 创建offset主题
kafka-topics.sh --create --topic connect-offsets --bootstrap-server localhost:9092 --replication-factor 1 --partitions 25

# 创建config主题
kafka-topics.sh --create --topic connect-configs --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1

# 创建status主题
kafka-topics.sh --create --topic connect-status --bootstrap-server localhost:9092 --replication-factor 1 --partitions 5

创建完成后重启Kafka Connect，它会复用这些已配置好的主题。

额外注意事项 #

• 确保Kafka Broker配置中min.insync.replicas设为1，否则即使复制因子为1，也会因同步副本数要求过高报错。在Broker的环境变量中添加：KAFKA_MIN_INSYNC_REPLICAS=1
• 若Sink连接器涉及自定义业务主题，也要确保这些主题的复制因子为1，可通过kafka-topics.sh修改已存在主题的复制因子，或创建时指定--replication-factor 1

内容的提问来源于stack exchange，提问作者ETisREAL