Kafka连接器覆盖max.request.size参数无需重启broker设置问题咨询
问题本质
该报错和broker配置、是否重启broker都无关,触发原因是Kafka Connect集群的客户端参数覆盖策略默认禁止连接器自定义覆盖生产者相关参数。
max.request.size属于生产者客户端参数,本身就支持在连接器侧单独配置,不需要调整broker侧参数,也不需要重启broker,只需要调整Kafka Connect的Worker配置放开覆盖权限即可。
具体解决步骤
- 首先找到你的Kafka Connect集群的Worker配置文件,分布式部署对应
connect-distributed.properties,单机部署对应connect-standalone.properties - 调整参数覆盖策略:
如果允许所有连接器自由覆盖生产者、消费者、管理端参数,修改配置为:connector.client.config.override.policy = All
如果仅需要开放max.request.size这一个参数的覆盖权限,使用更安全的Principal策略,额外增加允许覆盖的参数列表:connector.client.config.override.policy = Principal allowed.connector.client.config.override.producer = max.request.size - 重启Kafka Connect的所有Worker节点(仅需要重启Connect集群,不需要重启Kafka Broker节点)
- 重启完成后,你原来配置的
'producer.override.max.request.size' = 2097152即可正常生效。
内容的提问来源于stack exchange,提问作者roman_
相关产品推荐
相关产品推荐

