Kafka Connect分布式模式下Producer/ConsumerConfig配置修改咨询

• 你需要修改的是connect-distributed.properties文件，原因如下：

  • server.properties是Kafka Broker的配置文件，和Connect内部的客户端实例无关；
  • producer.properties、consumer.properties是给kafka-console-producer.sh、kafka-console-consumer.sh这类命令行工具用的，不会影响Connect Worker自身启动的Producer和Consumer。

• 正确的参数配置方式：
  在connect-distributed.properties中添加或修改以下两行（必须带上指定前缀）：

  producer.max.request.size=10485760
  consumer.max.partition.fetch.bytes=10485760
  

  Kafka Connect的Worker内部使用的Producer和Consumer，其配置参数需要分别加上producer.和consumer.前缀，Worker才会识别并将这些参数应用到内部的客户端实例上。

• 修改后的生效步骤：

  1. 先停止正在运行的Connect进程：

     # 查找Connect进程ID
     ps aux | grep connect-distributed
     # 杀死进程，替换<进程ID>为实际查到的ID
     sudo kill <进程ID>
     

  2. 重新启动Connect分布式服务：

     cd /opt/kafka_2.12-2.3.0
     sudo bash bin/connect-distributed.sh config/connect-distributed.properties & disown
     

  3. 查看启动日志，确认ProducerConfig和ConsumerConfig中的目标参数已更新为设置值。

内容的提问来源于stack exchange，提问作者Borgy Manotoy