Apache Kafka 2.7.x单秒消息理论最大吞吐量技术咨询

针对你提供的RHEL 7.9、32核CPU、125G内存的物理服务器配置，结合Kafka性能基准测试的通用结论，Kafka 2.7.x的单秒理论最大吞吐量可按消息大小分维度参考：

不同消息尺寸的理论吞吐量 #

• 小消息（≤100字节）：单节点单分区可达15万-20万条/秒；若配置与CPU核数匹配的32个分区，单节点可突破300万-400万条/秒
• 中等消息（1KB-10KB）：单节点单分区约5万-10万条/秒；32分区配置下可达到150万-250万条/秒，对应字节吞吐量约1.5GB-2.5GB/秒
• 大消息（≥100KB）：单节点单分区约500-1500条/秒；32分区配置下可达到16万-48万条/秒，字节吞吐量可达16GB-48GB/秒

最大化吞吐量的关键配置建议 #

• 分区数与CPU核数匹配：设置32个分区，充分利用32核的并行处理能力
• 内存分配：分配24G作为Kafka堆内存，剩余内存留给操作系统页缓存（Kafka依赖页缓存大幅提升读写性能）
• 存储介质：必须使用高性能SSD，机械硬盘会成为IO瓶颈，限制吞吐量上限
• 参数调优：调整batch.size至16KB-64KB、linger.ms设为5-10ms，启用lz4或snappy压缩，进一步压榨性能

以上数据基于同类硬件环境的基准测试推导，实际吞吐量会受存储性能、网络带宽、消息压缩策略等实际因素影响

内容的提问来源于stack exchange，提问作者Judy