使用Kafkacat指定-o beginning参数消费无消息问题咨询

执行以下kafkacat命令尝试从最早偏移量开始消费Kafka主题全量消息：

kafkacat -b *****:9093 -C -K\t -X security.protocol=SASL_SSL -X sasl.mechanisms=SCRAM-SHA-512 -X sasl.username=**** -X sasl.password=**** -t **** -o beginning

命令直接返回分区末尾提示，未拉取到任何消息：

% Reached end of topic **** [0] at offset 121507
% Reached end of topic **** [2] at offset 186701
% Reached end of topic **** [1] at offset 175697

按照优先级依次验证：

• 确认消息未被自动清理
  Kafka默认会根据保留时间、分区大小规则清理过期消息，已清理的消息无法被消费。执行以下命令查看目标主题配置：

  kafka-topics.sh --bootstrap-server <broker地址:端口> --describe --topic <目标主题名>
  

  重点查看retention.ms（消息保留时长，单位毫秒）、retention.bytes（单分区最大存储上限）参数，确认目标历史消息未超出保留规则。
• 确认日志压缩未清理目标消息
  如果主题的cleanup.policy配置为compact，Kafka会自动清理相同Key的旧版本消息，仅保留最新版本。如果所有历史消息都被压缩清理，也会出现直接到达分区末尾的现象。
• 检查权限与消息序列化配置
  • 部分权限管控严格的Kafka集群，账号无目标主题消费权限时不会返回权限报错，仅返回空结果，可通过ACL规则确认当前SASL账号的消费权限。
  • 如果消息是Avro、Protobuf等序列化格式，kafkacat默认无法解析会直接跳过，看起来就像没有消息，可添加-v参数打印详细消费日志确认是否存在解析失败的情况。
• 调整命令强制从最早偏移拉取
  增加--no-stored-offset参数，强制忽略所有已存储的消费偏移记录，完全按照-o beginning指定的位置开始消费，修改后的命令参考：

  kafkacat -b *****:9093 -C -K\t -X security.protocol=SASL_SSL -X sasl.mechanisms=SCRAM-SHA-512 -X sasl.username=**** -X sasl.password=**** -t **** -o beginning --no-stored-offset -v
  

内容的提问来源于stack exchange，提问作者Shizzle