ELK多服务器日志分析场景下Elasticsearch节点配置咨询

现有方案问题分析 #

方案一 #

• 配置中cluster.initial_master_nodes指定了3个主节点，但仅提供了master-node-1的配置，缺少另外两个主节点的实际部署，会导致集群初始化失败——初始化时必须能连接到所有声明的初始主节点。
• 所有节点（主节点、数据节点）都部署在IP5，属于单服务器伪集群，没有冗余能力，一旦IP5故障，整个集群完全不可用。

方案二 #

• discovery.seed_hosts包含IP1-4，但这四台是日志源服务器，未部署Elasticsearch节点，集群会持续尝试连接不存在的节点，引发发现错误，导致集群不稳定。
• cluster.initial_master_nodes填写的my-node-1与node.name的master-node-1名称不匹配，集群初始化会直接失败。

最优节点搭建方案 #

结合你的日志规模（单服务器日均10GB，四台共40GB/天），推荐角色分离的生产级集群架构，兼顾性能、高可用与可扩展性：

1. 节点角色规划 #

• 专用主节点（3台）：负责集群元数据管理、节点选举，不处理数据，避免业务操作影响集群稳定性。建议部署在独立服务器（或虚拟机），保证奇数数量（防止脑裂）。
• 专用数据节点（2-3台）：负责日志数据的存储与检索，需要充足的磁盘（推荐SSD）和内存。IP5可作为其中一台数据节点，额外添加1-2台节点应对未来日志增长。
• Kibana：单独部署在IP5，连接集群主节点或协调节点，提供可视化分析界面。
• Logstash：分散部署在IP1-4（或集中部署在IP5），负责日志收集、过滤后按规则写入对应索引。

2. 核心配置示例 #

主节点配置（所有主节点类似，仅node.name和network.host不同）

cluster.name: my-cluster
node.name: master-node-1
node.master: true
node.data: false
node.ingest: false
network.host: <主节点1IP>
discovery.seed_hosts: ["<主节点1IP>", "<主节点2IP>", "<主节点3IP>"]
cluster.initial_master_nodes: ["master-node-1", "master-node-2", "master-node-3"]

数据节点配置（IP5作为data-node-1）

cluster.name: my-cluster
node.name: data-node-1
node.master: false
node.data: true
node.ingest: false
network.host: IP5
discovery.seed_hosts: ["<主节点1IP>", "<主节点2IP>", "<主节点3IP>"]

Logstash索引路由配置

在Logstash配置中，根据日志来源IP将数据写入对应索引：

input {
  file {
    path => "/path/to/your/logs/*.log"
    start_position => "beginning"
  }
}

filter {
  # 按需添加日志解析规则（如grok、date等）
}

output {
  elasticsearch {
    hosts => ["<主节点1IP>:9200", "<主节点2IP>:9200"]
    index => "%{if [host] in ['IP1', 'IP2']}INDEX1%{else}INDEX2%{end}"
  }
}

3. 关键注意事项 #

• 主节点内存建议8G以上，数据节点内存建议16G以上（堆内存设置为物理内存的50%，最大不超过32G）。
• 开放节点间通信端口9300、HTTP端口9200，确保所有节点网络互通。
• 启用索引生命周期管理（ILM）：设置索引滚动策略（如按天滚动）、自动删除旧索引，避免磁盘耗尽。
• 用curl -XGET 'http://<主节点IP>:9200/_cluster/health?pretty'检查集群健康状态，确保为green。

实战学习资源 #

• Elastic官方文档：重点阅读「Elasticsearch集群部署」「Logstash数据路由」「索引生命周期管理」章节，包含权威配置步骤与最佳实践。
• 实战演练要点：
  • 先搭建最小集群（1主2数据）测试，验证日志收集、索引路由功能。
  • 模拟节点故障，验证集群自动容错能力。
  • 监控集群状态：通过Kibana监控模块查看节点负载、磁盘使用、查询性能。

内容的提问来源于stack exchange，提问作者Mustafa