Kafka Producer端消息压缩未生效，超1MB发送报错求助

问题核心原因 #

你遇到的错误是因为单条消息序列化后的原始大小（1.9MB）超过了Producer默认的max.request.size（1MB）——此时Producer还未执行压缩操作，就触发了大小校验失败，导致报错。压缩功能需要先让消息进入Producer的批次处理流程，才能生效。

需要调整的关键参数 #

1. Producer端配置 #

需要增大max.request.size，让序列化后的单条消息能通过Producer的大小校验，进而进入压缩环节。在你的Spring配置中补充以下内容：

spring:
    kafka:
        producer:
          # 设为大于序列化后单条消息的大小，示例为2MB（2*1024*1024）
          max-request-size: 2097152
          # 可选：配合压缩优化，攒够批次再发送提升压缩比
          batch-size: 16384
          linger-ms: 5

• max-request-size：限制Producer发送的单个请求的最大大小（包含压缩后的批次），必须大于序列化后单条消息的大小，否则无法进入压缩流程。
• batch-size和linger-ms：让Producer等待更多消息攒成批次后再压缩发送，能进一步提升压缩效率和压缩比。

2. Broker端配置 #

Broker默认的message.max.bytes也是1MB，需要同步调整，否则即使Producer发送了压缩后的消息，Broker也会拒绝接收：
在Broker的server.properties（或对应配置文件）中设置：

# 设为大于压缩后单条消息的大小，示例为2MB
message.max.bytes=2097152
# 集群环境需同步调整副本同步的大小限制
replica.fetch.max.bytes=2097152

• message.max.bytes：Broker允许接收的单条消息的最大大小（压缩后）。
• replica.fetch.max.bytes：副本节点从leader节点拉取消息的最大大小，需与message.max.bytes保持一致，避免副本同步失败。

3. Consumer端（可选） #

如果后续Consumer消费该消息时出现拉取失败，需补充调整Consumer参数：

spring:
    kafka:
        consumer:
          # 设为大于压缩后单条消息的大小
          fetch-max-bytes: 2097152
          max-partition-fetch-bytes: 2097152

验证逻辑 #

调整参数后，Producer会先序列化消息并加入批次，再对整个批次执行gzip压缩，最后将压缩后的批次发送给Broker。只要压缩后的批次大小不超过max.request.size和Broker的message.max.bytes，就能成功发送。

内容的提问来源于stack exchange，提问作者Lolly