Kafka Connect分布式模式下如何为Debezium生成的SQL Server主题指定分区与副本数？

针对你遇到的Debezium自动创建主题的分区和副本数问题，我整理了两种实用的解决思路，既能提前配置也能事后修改，还支持不同主题的差异化设置：

Debezium和Kafka Connect本身就支持在配置中定义自动创建主题时的分区数、副本数，甚至可以给不同主题设置差异化规则：

1. 全局默认配置 #

如果大部分表对应的主题需要统一的参数，可以在Worker配置文件或者连接器配置中添加以下全局参数：

# 全局默认分区数
topic.creation.default.partitions=3
# 全局默认副本数（不能超过你的Broker数量，比如你有2个Broker就设2）
topic.creation.default.replication.factor=2

只要Kafka集群的auto.create.topics.enable参数保持默认的true，后续自动创建的主题都会沿用这个全局配置。

2. 特定主题的差异化配置 #

如果不同表需要不同的分区/副本数，可以通过主题分组规则来实现。比如你想让mydb.dbo.orders主题用4个分区、2个副本，而mydb.dbo.users用2个分区、2个副本，其他主题用全局默认，可以在连接器配置里添加：

# 定义第一个分组，匹配orders表的主题
topic.creation.groups.order-group.include=^mydb\\.dbo\\.orders$
topic.creation.groups.order-group.partitions=4
topic.creation.groups.order-group.replication.factor=2

# 定义第二个分组，匹配users表的主题
topic.creation.groups.user-group.include=^mydb\\.dbo\\.users$
topic.creation.groups.user-group.partitions=2
topic.creation.groups.user-group.replication.factor=2

这里的include字段用正则表达式匹配主题名（注意转义.），每个分组可以独立设置参数。配置完成后，重启连接器或者通过Kafka Connect的REST API更新配置即可生效。

如果主题已经被自动创建，你可以用Kafka自带的命令行工具修改参数：

1. 修改分区数（仅支持增加） #

分区数只能增加不能减少，执行以下命令：

kafka-topics.sh --bootstrap-server your-broker-ip1:9092,your-broker-ip2:9092 \
  --alter --topic your-server-name.dbo.your-table-name \
  --partitions 3

2. 修改副本数 #

修改副本数需要先定义副本分配规则，步骤如下：

1. 创建一个JSON文件（比如replication-config.json），内容示例：

{
  "version": 1,
  "partitions": [
    {
      "topic": "your-server-name.dbo.your-table-name",
      "partition": 0,
      "replicas": [0, 1]  // 这里的数字是Broker的ID，根据你的集群实际情况填写
    }
  ]
}

2. 执行副本重分配命令：

kafka-reassign-partitions.sh --bootstrap-server your-broker-ip1:9092,your-broker-ip2:9092 \
  --reassignment-json-file replication-config.json \
  --execute

3. 验证修改是否成功：

kafka-reassign-partitions.sh --bootstrap-server your-broker-ip1:9092,your-broker-ip2:9092 \
  --reassignment-json-file replication-config.json \
  --verify

• 副本数不能超过你的Broker节点数量，否则会执行失败；
• 修改分区数后，Kafka Connect会自动触发消费者组的重平衡，Debezium连接器能自动适配新的分区；
• 如果你的Kafka集群关闭了auto.create.topics.enable，那么预先配置的规则会失效，需要手动创建所有主题后再启动连接器。

内容的提问来源于stack exchange，提问作者Mujtaba Faizi