Kafka max.request.size与compression.type交互问题及机制咨询

测试场景与问题 #

• 测试目标：验证压缩是否能减小Topic消息大小，避免触发消息过大限制
• 配置情况：
  • Topic配置：max.message.bytes=1024000（约1MB）
  • 生产者配置：max.request.size=1024000（与Topic限制一致）
• 初始测试：发送1573015字节（约1.5MB）的字符串，抛出预期错误：

org.apache.kafka.common.errors.RecordTooLargeException: The message is 1573015 bytes when
serialized which is larger than 1048576, which is the value of the max.request.size configuration.

• 压缩测试：将生产者端compression.type设为zstd（也试过gzip），同时测试仅生产者配置、仅Topic配置、两者同时配置三种情况，均仍抛出上述相同错误。但独立程序验证显示，该测试样本用gzip/zstd可压缩至小于1MB。
• 环境：Ubuntu WSL上的单节点Confluent Kafka Platform 8.0

核心疑问 #

是compression.type先压缩再发送，Broker解压后检查原始大小报错？还是生产者配置错误导致未触发压缩？

配置参考说明（原官方文档内容翻译） #

compression.type是生产者专属配置项，用于指定消息的压缩类型，可选值包括none（默认）、gzip、snappy、lz4、zstd。生产者会在发送前对消息进行压缩，Broker端存储压缩后的消息，消费者拉取后再完成解压操作。

内容的提问来源于stack exchange，提问作者vick_4444