如何配置Kafka消费者按1KB或最多100条消息批量拉取？

要实现“拉取消息要么达到1KB上限，要么最多100条”的需求，你当前的配置问题出在对参数作用的理解偏差，以下是具体调整方案：

问题根源 #

你设置的max.partition.fetch.bytes=1024是控制单个分区每次拉取的总字节数（含消息元数据，比如offset、时间戳、键值长度等），而非纯消息内容大小。同时默认的fetch.min.bytes=1会让broker尽快返回数据，不会等待积累到1KB，导致即使总大小超1KB，仍会拉满100条。

正确配置组合 #

需要同时调整以下参数来实现预期逻辑：

• max.poll.records=100：保留现有设置，限制每次poll()调用返回的最大消息总数。
• max.partition.fetch.bytes=1024：严格限制单个分区拉取的总字节数（含元数据）。注意：如果单条消息的总大小（含元数据）超过1024，会触发RecordTooLargeException，需确保单条消息≤1024，否则调大此值。
• fetch.min.bytes=1024：要求broker积累至少1KB数据才返回；若未达到，等待fetch.max.wait.ms超时后返回现有数据。
• fetch.max.wait.ms=500：保持默认值即可，这是broker等待的最长超时时间，避免无限阻塞。

额外注意事项 #

• 若消费者订阅多个分区，max.poll.records是所有分区返回消息的总数上限，max.partition.fetch.bytes是单个分区的拉取字节上限。比如2个分区时，可能每个分区拉50条（总100条），或每个分区拉1KB（总2KB）。
• 确认配置正确加载：代码配置检查参数名拼写，配置文件确认路径和设置无误。

内容的提问来源于stack exchange，提问作者Santoshkumar Kalasa