Solr 6.1.0搜索场景下LB与shards参数配置及高负载慢问题咨询
Solr 6.1.0 集群搜索请求中负载均衡与shards参数配置问题
生产环境现状
- 当前生产环境运行Solr 6.1.0版本
- 集群共包含2个分片(shard),每个分片仅部署1个副本(replica)
- 配套部署7个Zookeeper节点支撑集群元数据管理
- 日常集合搜索使用的Solr请求URL为:
http://solr2.xyz.com:8983/solr/actionscomments/select?q=+resource_id:(123)+and+entity_type:(4)++action_status:(0)++is_active:(true)+and+recipient_id:(5941841)&sort=action_date+desc,id+desc&start=0&rows=1000&fq=&fl=action_id&indent=off&shards.tolerant=true&shards=s3.xyz.com:8983/solr/actionscomments|s3r1.xyz.com:8983/solr/actionscomments,s4.xyz.com:8983/solr/actionscomments|s4r1.xyz.com:8983/solr/actionscomments
- 实际观测异常:高负载场景下,通过LB地址接入Solr会出现间歇性响应慢的问题;将请求地址替换为分片/副本直连IP后,该问题完全消失。
- 核心诉求:明确搜索请求中负载均衡、shards参数的正确配置规则,解决当前的异常问题。
待明确的具体疑问
- 当前基础请求接入的
solr2.xyz.com是LB地址,后端挂载了两个分片及其所有副本的IP,这种配置是否合理?还是直接使用分片直连IP的效率更高? - Solr请求中的
shards参数实际作用是什么?这个参数内应该填写LB地址,还是分片、副本的直连IP?
问题解答
关于基础请求入口的配置合理性
- 直接让客户端硬编码所有分片、副本的直连IP,本质是把负载均衡的逻辑挪到了客户端实现,长期维护成本很高:后续新增副本、节点上下线、节点故障切换时,所有客户端的请求配置都要同步修改,很容易出现配置遗漏。
- 高负载下出现的间歇性响应慢问题,并非LB架构本身不合理,大概率是LB配置存在缺陷:比如LB将所有请求无差别轮询到所有后端节点,没有区分协调节点和数据节点的负载差异,或者LB的健康检查阈值设置不合理,把请求转发到了已经处于高负载排队状态的节点,就会出现间歇性的响应延迟。
- 更高效的配置思路分两种:
- 保留外部网络LB层的话,只需要让LB后端挂载所有可承担协调节点角色的Solr实例,不要把请求轮询到所有数据节点做无效转发,同时调整LB的长连接超时、健康检查参数,匹配Solr的连接特性即可。
- 更推荐借助现有Zookeeper集群的能力:使用Solr内置的Cloud模式客户端(如SolrJ)直连Zookeeper集群,由客户端自动感知集群分片拓扑,在客户端层面完成节点负载均衡,完全不需要额外的外部LB层,也能减少网络转发的额外开销。
关于shards参数的作用与正确填写规则
- 首先明确参数作用:
shards是Solr分布式搜索的手动路由参数,当请求的发起节点不通过Zookeeper感知集群元数据时,可以通过该参数手动指定本次分布式查询需要拉取数据的目标节点列表,本质是覆盖了集群自动发现的分片路由逻辑。 - 这个参数内绝对不能填写LB地址:Solr拿到这个参数的配置后,会直接向配置里的地址发HTTP请求拉取对应分片的数据、做结果合并。如果填了LB地址,请求会被LB再次随机转发,很可能出现分片内部请求被轮询到非目标节点的情况,甚至形成循环转发,这也是换直连IP就解决慢问题的核心原因——原来的配置下,分片之间的内部查询多了一层无意义的LB转发,高负载下LB本身的连接排队就会直接拖慢整个查询的合并流程。
- 该参数的正确填写规则:
- 如果确实需要手动指定分片路由,直接填写每个分片对应副本的直连地址即可,格式为
节点IP:端口/solr/集合名;多个分片的地址之间用逗号分隔,同一个分片的多个副本地址用竖线分隔,Solr自身会在同一分片的多个副本间完成负载均衡。 - 既然已经部署了7个Zookeeper节点支撑集群管理,完全可以去掉手动写的
shards参数:只要客户端连接Zookeeper集群,Solr会自动从Zookeeper拉取最新的分片元数据,自动完成请求路由、副本负载均衡,从根上避免手写参数带来的配置错漏。
内容的提问来源于stack exchange,提问作者vishal patel
相关产品推荐
相关产品推荐

