接入15台网络设备的Elasticsearch服务器虚拟机应分配多少内存？

核心分配逻辑 #

Elasticsearch 进程的内存占用分为两个核心部分，虚拟机总内存需要覆盖所有部分的需求：

• JVM 堆内存：即你已掌握的官方分配规则（不超过31GB，避免指针压缩失效），主要用于节点协调、写入缓存、查询聚合、元数据存储
• 系统页缓存：Lucene 底层重度依赖操作系统页缓存加速日志的写入、查询效率，至少需要预留和堆内存相等的空间，优先保证页缓存足够
• 预留开销：包括操作系统自身运行占用、同机器部署的日志采集/解析组件（Filebeat、Logstash等）占用，最低预留2GB

15台网络设备场景的前置测算 #

你的场景下只有思科路由交换、飞塔防火墙共15台设备，先做基础日志量估算（符合绝大多数生产环境info级日志配置）：

• 单台设备日均日志量：500MB~2GB
• 15台总日均日志量：7.5GB~30GB
• 写入QPS峰值：不超过2000，属于极低写入压力场景

具体参考配置方案 #

单节点部署（无高可用要求） #

• 最低配（日志保留7天，仅部署ES）：总内存16GB，堆内存分配8GB，剩余7GB分配给页缓存和系统预留即可稳定运行
• 常规配（日志保留30天，同步部署Logstash做日志解析）：总内存32GB，堆内存分配16GB，8GB给页缓存，剩余8GB给Logstash和系统预留
• 高配（日志保留90天，需要频繁做长周期日志聚合查询）：总内存64GB，堆内存分配31GB，剩余33GB全部分配给页缓存，查询性能会有明显提升

3节点高可用集群部署 #

• 最低配（日志保留30天）：每个节点总内存8GB，堆内存分配4GB，3节点总内存24GB即可支撑
• 常规配（日志保留90天，多用户同时查询）：每个节点总内存16GB，堆内存分配8GB，3节点总内存48GB

注意事项 #

• 禁止将堆内存分配超过虚拟机总内存的60%，否则会挤占页缓存空间，反而导致读写性能大幅下降
• 如果开启了设备debug级日志，日志量会提升3_{10倍，对应总内存配置需要上浮1.5}2倍
• 不需要为了极低的写入压力配置过高的内存，上述配置已经预留了至少30%的冗余空间

内容的提问来源于stack exchange，提问作者Haitham Ismaill