Spring Boot集成Embedded Kafka测试报Invalid receive大小超出限制问题
问题根因
你当前修改的都是Kafka生产者、消费者的客户端侧参数,而报错是由Kafka Broker侧的默认消息大小限制触发的:Kafka Broker默认的socket.request.max.bytes参数值为104857600字节(即100MB),你本次要发送的消息大小为369296129字节(约352MB),超过了Broker的限制,所以直接被Broker拒绝,仅修改客户端参数无法解决该问题。
解决方案
你使用的是嵌入式Kafka,直接在@EmbeddedKafka注解的brokerProperties中添加Broker侧的相关配置即可,需要调整两个核心参数:
socket.request.max.bytes:Broker允许接收的单个请求的最大大小,需要大于你要发送的消息总大小message.max.bytes:Broker允许存储的单条消息的最大大小,需要和上面的参数匹配
修改后的@EmbeddedKafka配置示例如下:
@EmbeddedKafka( partitions = 5, controlledShutdown = true, brokerProperties = { "listeners=PLAINTEXT://localhost:9092", "port=9092", // 按需调整大小,示例值为600MB,大于你当前要发送的352MB即可 "socket.request.max.bytes=629145600", "message.max.bytes=629145600" })
注意事项
你之前配置的客户端参数无需调整:
- 生产者的
max.request.size=569296129小于Broker的message.max.bytes,符合要求 - 消费者的
max.partition.fetch.bytes=369296129大于你要消费的消息大小,符合要求
如果你的业务场景不是必须发送超大消息,建议优先拆分消息降低大小,避免Broker和客户端的内存占用过高。
内容的提问来源于stack exchange,提问作者user3368490
相关产品推荐
相关产品推荐

