如何查询Kafka服务器中向指定Topic发送数据的所有生产者？

Kafka本身并没有提供一个直接的命令来"一键列出所有向某个Topic发消息的生产者"，但我们可以通过几种间接的方式来获取这些信息，下面是具体的方法：

1. 查看Kafka Broker日志 #

Broker的日志会记录生产者与集群的交互细节，包括连接建立、消息发送的相关信息。你可以直接在Broker的日志文件中过滤目标Topic的相关条目：

• 首先找到Broker的日志目录（通常是/path/to/kafka/logs/，具体取决于你的配置），然后用grep过滤包含目标Topic和生产者标识的行：

  grep -i "your-target-topic" /path/to/kafka/logs/server.log | grep -i "producer"
  

  这条命令会帮你找到所有和目标Topic相关的生产者操作日志，里面会包含生产者的client-id、IP地址等关键信息。注意如果日志滚动了，可能需要查看历史日志文件（比如server.log.1、server.log.2这类）。

2. 使用kafka-dump-log.sh解析日志段 #

Kafka的日志段文件中存储了消息的元数据，包括生产者的ID和相关信息。你可以用自带的kafka-dump-log.sh工具来解析目标Topic的分区日志：

• 首先找到目标Topic的分区数据目录（通常在/path/to/kafka/data/your-target-topic-<partition-number>/），然后执行：

  ./kafka-dump-log.sh --files /path/to/kafka/data/your-target-topic-0/00000000000000000000.log --print-data-log | grep "producer"
  

  这个命令会输出日志段中包含生产者信息的条目，比如生产者的producer_id、producer_epoch等，能帮你识别具体的生产者实例。

3. 利用JMX监控指标 #

Kafka通过JMX暴露了大量监控指标，你可以通过这些指标关联到向目标Topic发消息的生产者：

• 首先确保Broker开启了JMX端口（默认是9999，可通过JMX_PORT环境变量配置），然后用工具连接查看：
  • 用jconsole图形化工具：连接到Broker的JMX端口，找到kafka.server下的BrokerTopicMetrics，查看MessagesInPerSec指标（指定目标Topic），同时查看kafka.producer下的producer-metrics，通过client-id关联发送消息的生产者。
  • 用命令行工具jmxterm查询：

    # 连接到Broker的JMX端口
    jmxterm -l localhost:9999
    # 查询目标Topic的消息流入指标
    beans kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec,topic=your-target-topic
    # 查询所有生产者的指标，筛选关联的client-id
    beans kafka.producer:type=producer-metrics,client-id=*
    

  如果生产者设置了唯一的client-id，这种方法能精准定位到具体的生产者实例。

4. 借助第三方管理/监控工具 #

如果你的集群配置了第三方工具，会更直观地获取生产者信息：

• Confluent Control Center：作为Confluent平台的管理工具，它会展示每个Topic的生产者详情，包括client-id、发送速率、消息量等。
• Prometheus + Grafana：如果配置了Kafka Exporter，你可以通过kafka_producer_metrics_messages_sent_total指标，按topic和client_id维度过滤，快速找到向目标Topic发消息的生产者。
• Kafka Manager：开源的Kafka管理工具，也支持查看每个Topic关联的生产者信息。

注意事项 #

• 如果生产者没有配置唯一的client-id，不同的生产者实例可能会共用默认的client-id，导致难以区分，建议在生产者配置中显式设置唯一的client-id。
• 日志文件有保留期限，如果生产者是临时运行的，可能日志已经被清理，需要提前调整日志保留配置。
• JMX监控需要Broker开启对应端口，并且确保网络可达。

内容的提问来源于stack exchange，提问作者VinayKumar