Elasticsearch 6.x多并发搜索请求执行技术问询

嘿，我来帮你把这个Elasticsearch 6.x版本的多并发批量搜索操作的关键技术点理清楚，顺便纠正几个容易踩的坑：

你的批量查询内容（正确NDJSON格式） #

首先，你提供的查询内容需要调整为标准的**换行分隔JSON（NDJSON）**格式，这是Elasticsearch批量搜索接口（_msearch）要求的格式，每个子查询由两行组成：第一行指定索引（可选，也可以在URL中全局指定），第二行是具体的查询体。调整后的格式如下：

{"index" : "web"}
{"query": {"match": {"content": "school"}}}
{"index" : "web"}
{"query": {"match": {"content": "car"}}}
{"index" : "web"}
{"query": {"match": {"content": "cat"}}}

完整的Curl批量搜索命令 #

你用的curl命令需要指向Elasticsearch的_msearch端点，完整命令可以这样写（假设$url是你的ES节点地址，比如http://localhost:9200）：

curl -H "Content-Type: application/x-ndjson" -XGET "$url/_msearch" --data-binary @your_query_file.ndjson

如果不想单独存文件，也可以直接把内容写在命令里：

curl -H "Content-Type: application/x-ndjson" -XGET "$url/_msearch" -d '
{"index" : "web"}
{"query": {"match": {"content": "school"}}}
{"index" : "web"}
{"query": {"match": {"content": "car"}}}
{"index" : "web"}
{"query": {"match": {"content": "cat"}}}
'

重要纠错：max_concurrent_searches参数的正确用法 #

这里要提醒你：你在每个查询体里写的max_concurrent_searches参数是无效的！这个参数是Elasticsearch节点的全局配置项，用于控制整个节点上允许同时运行的搜索请求数量上限，而不是单个查询的参数。

如果需要调整这个值，你可以通过动态更新集群设置来修改（无需重启节点）：

curl -XPUT "$url/_cluster/settings" -H 'Content-Type: application/json' -d '{
  "persistent": {
    "search.max_concurrent_searches": 64
  }
}'

或者在elasticsearch.yml中添加配置（需要重启节点生效）：

search.max_concurrent_searches: 64

默认情况下，这个值是int((available_processors * 3) / 2) + 1，会根据节点的CPU核心数自动计算。

• 格式错误排查：NDJSON格式要求严格，每行必须是一个独立的合法JSON对象，不能有多余的逗号或换行。如果出现parse_exception错误，建议用jq工具逐个验证JSON的合法性。
• 批量大小控制：如果你的批量查询数量很多，建议每个_msearch请求中的子查询数量不要超过100个，避免单个请求过大导致内存占用过高，引发节点性能问题。
• 索引性能优化：确保你的web索引的分片数和副本数配置合理——分片数过少无法利用多核资源，过多则会增加并发调度的开销；副本数可以根据高可用需求调整，但也要考虑节点的存储和CPU资源。
• 结果处理：_msearch的返回结果是一个包含多个子结果的数组，每个元素对应一个子查询的结果，你可以用脚本（比如Python的json模块）批量解析这些结果。

内容的提问来源于stack exchange，提问作者sareem