Apache Storm v1.2.2 Spout未向Bolt所有executor发射tuple问题咨询

• Kafka分区数量限制：你的Kafka topic仅12个partition，Storm 1.2.2版本的Kafka Spout默认按partition绑定消费任务，单条消息从固定partition拉取后发射，初始可分发的消息源最多绑定12个下游目标，你配置了30个Bolt-A executor，先天存在初始分发的数量上限，叠加分发策略的阈值限制就会出现大量空闲executor。
• 消息批量发射缓冲：Storm默认开启生产者端批量发射优化，topology.producer.batch.size默认值为16384字节，小体积的测试消息会先在发射端缓冲攒批，不会每条立刻分发到所有可用executor，导致你观测到仅少量消息先被发送到Bolt-A。
• Shuffle分组负载均衡延迟：Storm 1.2.x版本的shuffle/localOrShuffle分组默认有topology.shuffle.grouping.load.balancer.threshold配置，默认值为1000，只有当单个executor的待处理消息数超过该阈值时才会调整分发目标到空闲executor，你的测试仅发送20条消息远低于阈值，分发器会优先把消息发给已经建立连接的少量executor，不会主动分散到所有空闲实例。
• 单Spout并行度限制：topology.max.spout.pending是单Spout实例的未确认消息阈值，若你只部署了1个Spout executor，单次拉取的消息默认会优先分发到同worker的下游executor，进一步降低了分发均匀度。

配置调整（测试场景可直接使用，生产环境可根据吞吐量调整阈值） #

在拓扑提交代码中覆盖以下默认配置：

• 关闭小消息批量缓冲：设置topology.producer.batch.size: 1，强制每条消息立刻发射，不做攒批。
• 调低shuffle分组负载均衡阈值：设置topology.shuffle.grouping.load.balancer.threshold: 1，只要有消息就尽量分散到所有可用executor，无需等待队列积压。
• 调小executor接收队列大小：设置topology.executor.receive.buffer.size: 128，避免单个worker的接收队列囤积所有消息，强制消息分发到多worker的executor上。
• 调整Kafka Spout拉取配置：设置spout.max.poll.records: 15，保证Spout单次拉取就能拿到max pending对应的15条消息，不会分批拉取。

部署策略调整 #

• 匹配Kafka分区数设置下游并行度：如果Kafka topic固定为12个partition，Bolt-A的executor数设置为12的倍数（如24）可获得更好的初始分发均匀度，避免多余executor长期空闲。
• 调整Spout并行度：将Spout executor数设置为与Kafka partition数一致（12个），每个Spout实例负责1个partition的消费，分散消息发射源，提升分发均匀性。

内容的提问来源于stack exchange，提问作者Soman