Storm Rebalance命令无法更新拓扑Worker数量求助

我来帮你梳理下Storm 1.1.1版本中调整Worker数量不生效的排查方向，特别是结合你提到的自定义调度的情况：

先排查自定义调度的影响（优先级最高） #

既然你实现了自定义调度，这大概率是导致Worker数量无法调整的核心原因，建议从这里入手：

• 检查自定义调度器的逻辑：Storm自定义调度器需要实现org.apache.storm.scheduler.IScheduler接口，你要确认调度器中是否强制固定了Worker的数量，或者在处理rebalance请求时直接忽略了传入的worker数量参数。比如有些自定义调度会基于自身规则分配资源，完全覆盖了storm rebalance命令传入的配置。
• 查看Nimbus日志中的调度细节：在Nimbus的日志文件（默认路径下的nimbus.log）里搜索rebalance、assign workers或者你的自定义调度器类名，看看有没有日志显示调度器拒绝了调整请求，或是使用了预设的worker数值而非你指定的数量。
• 验证是否正确处理rebalance事件：如果你的自定义调度器完全接管了资源分配，要检查代码中是否在处理rebalance事件时，正确读取了拓扑的新worker配置。很多自定义调度器会只处理初始提交的拓扑，忽略后续的rebalance更新请求。

排查命令与拓扑配置的正确性 #

• 确认命令格式是否正确：你提到的storm [topologyName] -n [number_of_worker]是不完整的，正确的rebalance命令应该是storm rebalance <topologyName> -n <number_of_worker>——是不是漏写了rebalance关键字？如果没写的话，命令本身是无效的，可能会提示“成功”但实际没执行任何操作。
• 检查拓扑代码的硬编码配置：查看拓扑提交时的代码，是否硬设置了Config.TOPOLOGY_WORKERS参数，并且有没有通过相关配置锁定该参数不可修改。有些拓扑会在代码中固定worker数量，导致rebalance命令无法覆盖。
• 确认Nimbus的调度器配置：检查nimbus.conf中的nimbus.scheduler配置项，确认是否正确指定了你的自定义调度器类名。如果配置错误，可能调度器没生效，但如果是默认调度器的话，就要转向默认调度的问题排查。

排查集群资源与状态问题 #

• 检查集群可用资源：如果集群中没有足够的空闲slots（CPU/内存）来支撑你调整后的worker数量，Storm会自动忽略调整请求。可以执行storm cluster命令查看集群资源使用情况，确认是否有足够的空闲资源。
• 查看拓扑运行状态：执行storm list命令，确认拓扑处于ACTIVE状态——只有活跃的拓扑才能执行rebalance操作。如果拓扑处于INACTIVE或REBALANCING状态，可能会出现命令执行成功但无实际效果的情况。
• 检查Nimbus与Supervisor的通信：如果Nimbus和Supervisor之间通信异常，rebalance指令可能无法被正确接收和执行。查看Supervisor的日志（supervisor.log），看看有没有worker启动/停止的异常信息，比如无法下载拓扑jar包、端口占用等问题。

其他补充排查点 #

• 尝试重启集群组件：Storm 1.1.1存在一些已知的调度相关bug，有时候重启Nimbus和Supervisor服务后，再执行rebalance命令就能解决问题。
• 查看拓扑事件日志：执行storm log <topologyName>查看拓扑的运行日志，搜索rebalance相关的事件记录，确认是否有worker数量修改的日志，或是异常抛出的信息。

内容的提问来源于stack exchange，提问作者user3514641