如何为Debezium Kafka Connector更新生产者配置？

你修改的/etc/kafka/config/producer.properties是Kafka客户端的全局默认配置，但Kafka Connect的生产者实例并不读取这个文件——Connect有自己独立的生产者配置体系，需要在以下位置修改才能生效：

1. 修改Kafka Connect Worker配置文件 #

Connect的worker配置（分布式模式对应connect-distributed.properties，单机模式对应connect-standalone.properties，通常在/etc/kafka/config/目录下）是控制所有连接器生产者行为的全局配置文件。在其中添加或修改以下带producer.前缀的参数：

producer.max.in.flight.requests.per.connection=1
producer.enable.idempotence=true
producer.acks=all

2. （可选）为单个Debezium连接器单独配置 #

如果只需要给特定的Debezium连接器应用这些配置，可以在连接器的JSON配置中添加对应参数（同样带producer.前缀），示例如下：

{
  "name": "mssql-connector",
  "config": {
    "connector.class": "io.debezium.connector.sqlserver.SqlServerConnector",
    // 其他连接器必填配置（如数据库地址、用户名等）
    "producer.max.in.flight.requests.per.connection": "1",
    "producer.enable.idempotence": "true",
    "producer.acks": "all"
  }
}

这种方式的优先级高于worker全局配置，适合单个连接器的特殊需求。

3. 重启Kafka Connect服务 #

修改配置后必须重启Connect服务才能让新配置生效，Ubuntu下的重启命令示例：

sudo systemctl restart kafka-connect

重启后查看Connect日志，即可确认生产者配置已更新为你设置的值。

内容的提问来源于stack exchange，提问作者Freddy