Apache Storm同一Worker下两个Bolt无法并行运行引发延迟问题咨询

该现象是否属于正常情况？ #

你观察到的同Worker下两个Bolt串行执行、长达4秒的调度空白不属于Apache Storm的预期正常表现。
Storm的Worker进程中，每个Bolt/Spout的Executor都会对应独立的JVM线程，默认由操作系统按时间片策略调度并行执行，出现单线程长时间独占CPU、其他同Worker线程无调度机会的情况属于异常状态，通常由资源限制、配置不合理或业务逻辑问题导致。

可采用的解决方案 #

• 调整Worker CPU资源配额，或隔离部署两个Bolt
  若该Worker进程被分配的CPU核心数仅为1，且FragmentFilter Bolt的处理逻辑为CPU密集型、无主动IO阻塞，会占满单核心资源导致Prediction Bolt线程无法得到调度。
  可以通过以下方式解决：
  • 调大topology.worker.cpu.pcore.percent配置参数，为该Worker分配至少2个CPU核心的配额
  • 若集群资源不足，将两个Bolt调度到不同的Worker进程运行，通过组件资源标签配置强制隔离两个Bolt的部署
• 调大Executor消息缓存容量，优化流分组策略
  若Prediction Bolt的接收队列配置过小，或者两个Bolt之间的流分组存在数据倾斜，会导致Prediction Bolt长时间无新数据可处理，只能等待FragmentFilter Bolt处理完数据后才拿到新的Tuple。
  可以通过以下方式解决：
  • 适当调大topology.executor.receive.buffer.size和topology.transfer.buffer.size参数，增大Executor的消息缓存容量
  • 检查两个Bolt之间的流分组配置，若存在fields grouping数据倾斜可调整为shuffle grouping均衡数据分配
• 优化ShellBolt的逻辑与配置
  你使用的Prediction Bolt为ShellBolt，通过调用外部进程执行逻辑，若外部脚本存在全局锁、串行处理逻辑，或者和JVM进程之间的管道通信存在阻塞，也会导致线程暂停运行。
  可以通过以下方式解决：
  • 排查Prediction Bolt对应的外部脚本逻辑，修复全局资源竞争、单进程串行处理的问题
  • 调大topology.shellbolt.max.pending参数，允许ShellBolt缓存更多待处理消息，避免单批次处理等待时间过长
• 优化Worker内部消息队列配置
  Storm同Worker内的Executor之间通过Disruptor队列传输消息，若FragmentFilter Bolt发送速度过快占满了RingBuffer，会导致整个Worker的消息流转阻塞。
  可以通过以下方式解决：
  • 调大topology.worker.disruptor.buffer.size参数，增大Worker内部消息队列的容量
  • 将topology.worker.disruptor.wait.strategy调整为BlockingWaitStrategy，降低高吞吐场景下的队列阻塞概率

内容的提问来源于stack exchange，提问作者Omar