Apache NiFi 2.1.0 PublishKafka无法发送超1MB消息的配置求助

问题分析 #

NiFi 2.1.0的PublishKafka组件已配置MAX REQUEST SIZE为10MB，但日志显示实际生效的max.request.size为1MB（1048576字节），导致大消息发送失败；而NiFi 1.28.1的PublishKafka_2_6组件可正常发送同大小消息，说明新版本组件的配置映射逻辑有变化，可视化配置项未正确覆盖Kafka生产者的默认参数。

解决方案 #

1. 手动指定Kafka生产者原生参数 #

新版本的PublishKafka组件需要通过自定义属性强制设置max.request.size，步骤如下：

• 打开PublishKafka组件的配置窗口，找到Kafka Producer Properties（自定义生产者属性）区域。
• 添加键值对：

  max.request.size=10485760
  

  （数值对应10MB，需与Kafka集群的message.max.bytes、socket.request.max.bytes保持一致）
• 保存配置并重启组件。

2. 同步检查组件其他相关配置 #

确保组件的Message Max Size（若存在）也设置为10MB以上，避免组件自身的消息大小限制覆盖生产者配置。

3. 验证配置生效 #

修改完成后，查看NiFi日志，确认ProducerConfig中的max.request.size已更新为10485760，再测试发送超过1MB的消息。

原因说明 #

NiFi 2.x推出的统一PublishKafka组件（替代旧版本的版本特定组件），部分可视化配置项的参数映射逻辑调整，默认情况下max.request.size可能沿用Kafka生产者的默认值（1MB），需要通过自定义属性强制覆盖。而旧版本的PublishKafka_2_6组件直接将可视化的MAX REQUEST SIZE映射到max.request.size，因此配置可直接生效。

内容的提问来源于stack exchange，提问作者wureka