Elasticsearch查询在操作系统层面如何执行？集群全处理流程是怎样的？

1. 客户端请求发起阶段 #

客户端首先和ES集群的协调节点建立网络连接，默认支持9200端口的HTTP协议或者9300端口的TCP内部传输协议。操作系统层面会先完成TCP三次握手，为连接分配socket缓冲区，请求报文经过网卡队列进入内核协议栈完成校验后，转发到ES进程监听端口对应的文件描述符。
ES底层基于Netty实现网络通信，Linux环境下内核会通过epoll事件通知机制唤醒Netty的IO线程，将请求数据从内核缓冲区直接拷贝到ES进程的用户空间缓冲区，完成请求接收。

2. 协调节点请求处理与路由阶段 #

• 协调节点首先解析请求的JSON结构，校验查询语法合法性，这一阶段操作系统会为查询上下文分配堆内存，如果请求体过大还会触发页缓存读写，若ES堆内存配置不足甚至会触发swap交换。
• 接下来计算查询需要命中的分片范围：默认按照文档ID哈希取模的路由规则定位目标分片，跨索引查询则会遍历所有目标索引的分片列表，再根据集群负载策略选择每个分片对应的响应节点（优先选择本地节点、负载更低的节点）。
• 协调节点封装内部传输报文，向选中的所有数据节点发送分片查询请求，报文通过TCP连接发送到对应数据节点。

3. 数据节点分片查询阶段 #

这是整个查询流程中操作系统层面操作最密集的阶段，默认采用query_then_fetch模式分两步执行：

3.1 Query 阶段 #

• 数据节点收到查询请求后，首先访问索引文件：ES的倒排索引、doc_values、正排索引等文件默认都会被缓存到操作系统页缓存（Page Cache） 中，命中缓存时无需读磁盘，直接从内核态拷贝数据到用户态；未命中缓存时则触发磁盘IO请求，经过IO调度队列从磁盘读取对应索引段内容到页缓存，再拷贝到用户空间。
• 接下来执行倒排索引匹配、过滤、评分计算，属于CPU密集型运算，操作系统会调度空闲CPU核心执行ES的运算线程，排序、聚合等操作依赖的doc_values同样优先从页缓存读取。
• 每个分片仅返回前N个匹配文档的ID、评分、排序字段值，无需返回完整文档内容，降低传输开销。

3.2 Fetch 阶段 #

• 协调节点收到所有分片返回的topN结果后，在内存中完成全局排序，得到全局的topN文档ID列表，再向对应数据节点发送fetch请求，拉取这些文档的完整内容。
• 数据节点收到fetch请求后，从_source对应的存储文件中读取文档内容，优先走页缓存，读取完成后返回给协调节点。

4. 结果返回阶段 #

协调节点拼装所有文档内容，生成符合ES查询规范的JSON响应后写入socket缓冲区，操作系统内核将缓冲区内容通过网卡发送给客户端，请求结束后可以选择断开TCP连接或者复用长连接处理后续请求。

常见操作系统层面性能瓶颈点 #

• 页缓存不足：索引总大小超过服务器可用内存，导致频繁触发磁盘随机IO，查询延迟飙升
• socket缓冲区配置过小：大体积的请求/响应被拆分为多次传输，额外增加网络延迟
• CPU资源抢占：ES进程的调度优先级低于其他进程，运算线程被抢占导致查询耗时变长
• swap开启：ES堆内存被交换到磁盘，会引发非常严重的性能波动，生产环境建议强制关闭swap

内容的提问来源于stack exchange，提问作者lateBloomer