Kafka指标compression-rate-avg含义及对应场景压缩配置咨询

compression-rate-avg 指标含义 #

该指标的计算逻辑为 压缩后消息批次总大小 / 压缩前消息批次总大小，数值越低代表压缩效果越好。
举个例子：如果指标值为0.2，说明压缩后的消息体积仅为未压缩体积的20%，压缩效果远优于指标值为0.8的情况。

你的场景专属压缩配置推荐 #

你的场景参数：gzip 压缩策略、Producer 缓冲内存32MB、单条未压缩消息大小0.5-1M，推荐按以下优先级调整配置：

• 调整批次大小配置 batch.size：默认值为16KB，远小于你的单条消息大小，建议调整到2~3MB，让更多同分区消息聚合到同一个批次中压缩，避免单条消息单独压缩产生的额外开销，有效提升压缩率。
• 调整等待时间配置 linger.ms：默认值为0，建议调整到5~10ms，给批次留出足够的凑满时间，毫秒级的延迟损耗可以换取更高的压缩率和吞吐，对你的场景性价比极高。
• 调整gzip压缩等级：默认gzip压缩等级为6（对应配置值-1），如果服务端CPU资源充足，可以将compression.gzip.level调整到7_{9，压缩率可再提升10%}15%；如果CPU资源紧张，调整到3~4即可，压缩速度提升明显，压缩率损失不会超过5%。
• 缓冲内存适配：当前32MB的缓冲内存如果观测到buffer-exhausted-rate指标大于0，可以向上调整到64MB，否则无需修改，当前大小足够支撑你的消息体量。
• 可选优化：如果你的Kafka Broker版本在2.1.0以上，建议将compression.type改为zstd，同等压缩率下zstd的压缩/解压速度比gzip快3倍以上，整体吞吐表现会好很多。

调优校验标准：调整完成后观测compression-rate-avg指标，如果数值降到0.3以下，说明压缩效果已经进入最优区间，无需继续调整压缩相关参数。

内容的提问来源于stack exchange，提问作者Julias