求助：Apache NiFi 2.5.0 KafkaPublisher无法发送30MB以上消息

问题场景 #

已将KafkaPublisher的Max Request Size调整为50MB，同时Kafka主题的消息大小配置也设为50MB，但仍无法发送30MB以上的消息；尝试在KafkaPublisher属性中添加动态属性buffer.memory并设置值为67108864时，属性对话框出现异常。

一、解决动态属性buffer.memory配置异常 #

NiFi的KafkaPublisher组件对动态属性有命名规则要求，直接使用原生Kafka配置名会被判定无效。正确操作是：

• 添加动态属性时，键填写kafka.buffer.memory，值填写67108864（64MB）

原理：NiFi的Kafka组件会将以kafka.为前缀的动态属性，去掉前缀后传递给底层Kafka生产者客户端，原生配置名需要通过该前缀才能被组件识别。

二、大消息发送失败的完整配置检查 #

除已配置项外，需确认以下关键配置：

1. Kafka Broker端补充配置

   • 确保Broker的fetch.max.bytes（消费者拉取最大消息大小）设置为50MB以上，避免后续消费环节报错
   • 检查Broker全局配置max.message.bytes是否与主题级别的message.max.bytes保持一致（主题配置优先级更高）

2. NiFi KafkaPublisher属性优化

   • 将Batch Size（批量发送大小）设置为低于Max Request Size的80%，避免单批次消息总和超过请求上限
   • 若未开启Compression Type，需确保所有大小阈值覆盖消息原始大小；开启压缩可有效降低传输体积

3. 网络层面排查

   • 检查NiFi节点与Kafka Broker之间的网络MTU限制，若MTU过小可能导致大消息分片传输失败，建议调整为1500或更高（根据网络环境）

三、验证步骤 #

1. 配置完成后，重启KafkaPublisher组件
2. 发送35MB左右的测试消息，观察组件是否正常运行无报错
3. 查看Kafka Broker日志，确认无Message size too large类错误

内容的提问来源于stack exchange，提问作者wureka