Storm/Kafka技术问题：无法获取Kafka的偏移量滞后值

嘿，我看你已经搭建好了AWS上的Storm+Kafka集群，Storm UI能正常提交拓扑，Kafka也有数据，但拓扑好像没拿到推文？我整理了几个最常见的排查点，你可以一步步来：

先明确你的环境（方便后续排查对照） #

• 4节点Ubuntu 14.04 LTS集群：Nimbus、Supervisor、Kafka专属Zookeeper、Storm专属Zookeeper
• Storm UI正常，可提交拓扑；Kafka有2个Broker，仅用broker.id=0，目标主题已有推文，Kafka服务运行正常
• 主题创建命令（补全常见参数）：bin/kafka-topics.sh --create --zookeeper localhost:2181/kafka --replication-factor 1 --partitions 1 --topic <你的推文主题名>

1. 先盯紧Storm Kafka Spout的配置，这是重灾区！ #

很多时候都是配置写错了：

• ZK连接串别搞混：你的Kafka用的是专属ZK节点，所以Spout里不能写Storm的ZK地址，也不能写localhost:2181/kafka（除非Supervisor和Kafka ZK在同一机器，但你的集群是分开的），得换成Kafka ZK节点的实际IP，比如10.0.0.5:2181/kafka
• 主题名要完全匹配：Kafka主题名大小写敏感，别打错字
• 起始偏移量选对：如果拓扑是刚提交的，而推文是之前就产生的，要把偏移量策略设为earliest，不然会从拓扑提交后的新消息开始消费，旧推文就看不到了
• 消费者组ID别冲突：如果有其他消费者（比如kafka-console-consumer）用了同一个组ID，可能会把偏移量拉走，导致Storm Spout拿不到数据

给你个参考的Spout配置片段（Java为例）：

Map<String, Object> kafkaConf = new HashMap<>();
// 这里填broker.id=0的节点IP，不是ZK！
kafkaConf.put(KafkaSpoutConfig.BOOTSTRAP_SERVERS, "10.0.0.6:9092");
kafkaConf.put(KafkaSpoutConfig.GROUP_ID, "storm-tweet-consumer-group-01");
kafkaConf.put(KafkaSpoutConfig.TOPIC, "your-tweet-topic");
kafkaConf.put(KafkaSpoutConfig.OFFSET_RESET_STRATEGY, "earliest");

KafkaSpout<String, String> tweetSpout = new KafkaSpout<>(new KafkaSpoutConfig<>(kafkaConf));

2. 先验证网络通不通！AWS安全组坑太多 #

Storm的Supervisor节点要能连上Kafka Broker，这一步必须先确认：

• 去AWS控制台检查安全组：Supervisor节点的安全组要允许出站访问Kafka Broker 0的9092端口；Kafka Broker的安全组要允许入站访问来自Supervisor节点的9092端口请求
• 在Supervisor节点上直接用Kafka自带的消费者工具测试：

  bin/kafka-console-consumer.sh --bootstrap-server <kafka-broker-0-ip>:9092 --topic <你的推文主题名> --from-beginning
  

  如果能看到推文，说明网络和Kafka主题都没问题，问题肯定在Storm拓扑这边；如果看不到，先解决Kafka的问题

3. 去Storm UI和日志里找线索 #

Storm UI里能看到很多关键信息：

• 打开拓扑详情，看Spout的Emitted和Transferred计数，如果都是0，说明Spout根本没从Kafka拉数据
• 看Errors标签页，有没有ZK连接失败、Kafka超时这类报错
• 去Supervisor节点的日志目录（默认/var/log/storm/）看supervisor.log和worker-<端口号>.log，搜索KafkaSpout、error、timeout这些关键词，基本能找到具体异常

4. 检查主题分区和Spout并行度的匹配 #

从你的主题创建命令看，分区数是1（--partitions 1），那Storm Spout的并行度不能超过1，不然多余的Spout实例会闲着想摸鱼，拿不到数据。提交拓扑时要这么设置：

// 第三个参数是并行度，设成1就好
topology.setSpout("tweet-spout", tweetSpout, 1);

5. 检查Kafka Broker的配置有没有坑 #

AWS环境下Kafka很容易因为监听地址配置错导致外部连不上：

• 打开broker.id=0节点的server.properties，看listeners是不是设成了PLAINTEXT://0.0.0.0:9092或者绑定了实例的私有IP，别只绑定localhost，不然其他节点连不上
• 还有advertised.listeners，AWS里要设成实例的私有IP（或者弹性IP，如果跨VPC的话），因为Kafka会把这个地址返回给消费者，消费者靠它来连接Broker

6. 确认Storm自身的ZK连接正常 #

虽然Storm UI能正常打开，但还是要确认Nimbus和Supervisor都能正常连接Storm专属ZK，不然拓扑任务分配会出问题。去Nimbus节点看nimbus.log，搜索zookeeper，有没有连接失败的报错。

内容的提问来源于stack exchange，提问作者user2816215