Pulsar新增broker/bookie节点处理机制相关问题咨询

Broker节点相关问题 #

• 新增Broker空闲状态问题：
  默认配置下，Pulsar的负载均衡采用阈值触发策略，仅当运行中的Broker负载超过设定阈值时才会触发bundle卸载迁移。如果集群整体平均负载较低，新增的Broker确实会长时间处于空闲状态，不会自动迁移现有低负载bundle到新节点。
  要实现扩容后自动均衡负载，你可以修改loadBalancerLoadSheddingStrategy配置为均匀负载类策略，也可以通过Pulsar Admin接口手动指定bundle迁移到新Broker，满足低负载场景下优化延迟的需求。
• 扩容惊群问题：
  集群过载时扩容新增Broker，默认策略下过载Broker只会卸载超出阈值的bundle，分配时优先选择当前负载最低的节点。如果仅新增1-2台Broker，确实会出现短时间内大量bundle集中分配到新节点的情况，可能导致新节点瞬间负载过高。你可以通过调整loadBalancerMaxMigratedBundlesPerInterval参数限制单次迁移的bundle数量，避免惊群问题。

Bookie节点相关问题 #

• 新增Bookie空闲状态问题：
  Bookie默认不会主动迁移存量Ledger数据到新节点，新增Bookie仅会参与新写入Ledger的副本分配，因此如果集群没有新写入流量，新Bookie会一直处于空闲状态。如果需要均衡存量数据，你可以手动触发Ledger重平衡操作。
• 扩容惊群问题：
  若开启了自动Ledger重平衡，新增Bookie后可能会触发大量存量Ledger的副本迁移，占满新Bookie的IO和带宽资源。你可以通过调整重平衡的速率阈值、每次迁移的Ledger数量限制来避免该问题。

提问渠道建议 #

这类咨询类问题适合在Stack Overflow发布，提问时打上apache-pulsar标签即可获得社区响应。Apache Pulsar的GitHub代码仓库的Issue更适合提交Bug反馈、功能需求类内容，咨询类问题也可以提交，但需要标上question标签，整体响应效率低于专门的用户问答渠道。

内容的提问来源于stack exchange，提问作者dashenswen