Kafka问题：无Connector时消费者为何自动创建Topic？

核心原因：消费者触发的自动Topic创建 #

你遇到的现象是Kafka消费者默认配置导致的自动Topic创建行为，和Connector无关：

• Kafka集群默认开启auto.create.topics.enable参数（值为true），当消费者尝试订阅一个不存在的Topic时，Kafka会自动创建该Topic，这个逻辑是集群层面的原生行为，不需要依赖Connector或生产者。
• 你的服务启动后，消费者会立即执行订阅指定Topic的操作，此时该Topic已被删除，触发了Kafka的自动创建逻辑，所以Topic被重建，和Connector是否存在没有关联。

解决方法 #

针对你的脚本自动化需求，可以通过以下方式调整：

1. 关闭集群级别的自动Topic创建 #

修改Kafka集群的server.properties配置文件，设置：

auto.create.topics.enable=false

重启Kafka集群后，消费者订阅不存在的Topic时会抛出异常，不会自动创建Topic，此时你的脚本启动Connector创建Topic的逻辑就能正常生效。

2. 在消费者端单独禁用自动创建 #

如果无法修改集群配置，可以在消费者代码的配置中添加专属限制：

// Java消费者示例配置
props.put(ConsumerConfig.ALLOW_AUTO_CREATE_TOPICS_CONFIG, false);

该配置仅对当前消费者生效，不会影响其他消费者或集群的全局设置。

3. 调整脚本逻辑，增加Topic存在性检查 #

修改你的bash脚本，在触发Connector启动请求前，先验证目标Topic是否存在：

TOPIC_NAME="你的目标Topic名称"
KAFKA_BROKERS="kafka集群地址:端口"

# 检查Topic是否存在
kafka-topics.sh --list --bootstrap-server $KAFKA_BROKERS | grep -q $TOPIC_NAME

if [ $? -ne 0 ]; then
  # Topic不存在时，执行启动Connector的请求
  curl -X POST "你的Connector启动接口地址"
fi

这样即使集群自动创建配置未关闭，脚本也能根据实际情况决定是否启动Connector。

内容的提问来源于stack exchange，提问作者Furkan YIlmaZ