如何通过kafka-python查询Kafka主题的High Watermark？

kafka-python的KafkaAdminClient确实没有直接提供查询高水位的API，但你可以通过KafkaConsumer实现这个需求，具体步骤如下：

• 初始化一个不带消费者组的KafkaConsumer（避免提交偏移量影响现有消费流程）
• 调用consumer.end_offsets()方法，传入目标分区列表，即可获取对应分区的高水位值

示例代码：

from kafka import KafkaConsumer, TopicPartition

# 初始化消费者，无需订阅主题或指定消费组
consumer = KafkaConsumer(bootstrap_servers='your_kafka_broker:9092')

# 指定要查询的主题与分区，例如主题"test_topic"的0、1、2分区
target_partitions = [TopicPartition('test_topic', p) for p in [0, 1, 2]]

# 获取各分区的高水位值
high_watermarks = consumer.end_offsets(target_partitions)

# 遍历打印结果
for partition, offset in high_watermarks.items():
    print(f"主题 {partition.topic} 分区 {partition.partition} 的高水位: {offset}")

补充说明：

• end_offsets()返回的是每个分区下一条待写入消息的偏移量，这就是我们所说的高水位值
• 如果需要查询主题的所有分区，可先用consumer.partitions_for_topic('your_topic')获取该主题的全部分区列表，再生成TopicPartition对象传入

内容的提问来源于stack exchange，提问作者Sandro Spadaro