You need to enable JavaScript to run this app. Spring Boot集成Embedded Kafka测试报Invalid receive大小超出限制问题
优惠活动
大模型
产品
解决方案
定价
更多

Spring Boot集成Embedded Kafka测试报Invalid receive大小超出限制问题

问题根因

你当前修改的都是Kafka生产者、消费者的客户端侧参数,而报错是由Kafka Broker侧的默认消息大小限制触发的:Kafka Broker默认的socket.request.max.bytes参数值为104857600字节(即100MB),你本次要发送的消息大小为369296129字节(约352MB),超过了Broker的限制,所以直接被Broker拒绝,仅修改客户端参数无法解决该问题。

解决方案

你使用的是嵌入式Kafka,直接在@EmbeddedKafka注解的brokerProperties中添加Broker侧的相关配置即可,需要调整两个核心参数:

  • socket.request.max.bytes:Broker允许接收的单个请求的最大大小,需要大于你要发送的消息总大小
  • message.max.bytes:Broker允许存储的单条消息的最大大小,需要和上面的参数匹配

修改后的@EmbeddedKafka配置示例如下:

@EmbeddedKafka(
        partitions = 5,
        controlledShutdown = true,
        brokerProperties = {
                "listeners=PLAINTEXT://localhost:9092",
                "port=9092",
                // 按需调整大小,示例值为600MB,大于你当前要发送的352MB即可
                "socket.request.max.bytes=629145600",
                "message.max.bytes=629145600"
        })

注意事项

你之前配置的客户端参数无需调整:

  • 生产者的max.request.size=569296129小于Broker的message.max.bytes,符合要求
  • 消费者的max.partition.fetch.bytes=369296129大于你要消费的消息大小,符合要求

如果你的业务场景不是必须发送超大消息,建议优先拆分消息降低大小,避免Broker和客户端的内存占用过高。

内容的提问来源于stack exchange,提问作者user3368490

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.16 18:54:01