Elasticsearch达95%磁盘水位线后仍写入数据致磁盘耗尽问题

问题现象 #

• 在Kubernetes上部署5节点Elasticsearch集群，每个节点配置200GB持久化存储卷，未修改默认磁盘水位线配置
• 预期磁盘使用率达到默认95%洪水阶段水位线时，ES会停止写入，但实际磁盘占比最终达到100%
• 节点日志出现报错：

  "stacktrace": ["org.apache.lucene.index.MergePolicy$MergeException: java.io.IOException: No space left on device"]
  

  随后节点脱离集群
• 日志显示已触发95%洪水阶段水位线警告，但剩余存储空间持续降低，确认ES仍在向标记为只读的索引写入数据，该问题可在不同集群复现

根因分析 #

默认配置下，ES触发95%洪水阶段水位线时，会将集群内索引设置为只读，但Lucene的后台段合并操作不受只读限制。合并过程需要生成新的段文件，会持续占用磁盘空间，即使索引已被标记只读，合并任务仍会消耗剩余的5%磁盘空间，最终导致磁盘耗尽、节点报错脱离集群。

解决方案 #

1. 调整磁盘水位线阈值
   提前触发只读保护，给Lucene合并操作预留足够空间，建议将洪水阶段水位线设置为85%-90%，同时配套调整低、高水位线：

   • 修改elasticsearch.yml配置文件：

     cluster.routing.allocation.disk.watermark.low: 80%
     cluster.routing.allocation.disk.watermark.high: 85%
     cluster.routing.allocation.disk.watermark.flood_stage: 90%
     

   • 或通过API动态更新集群配置：

     curl -XPUT "<es-cluster-endpoint>:9200/_cluster/settings" -H 'Content-Type: application/json' -d'
     {
       "persistent": {
         "cluster.routing.allocation.disk.watermark.low": "80%",
         "cluster.routing.allocation.disk.watermark.high": "85%",
         "cluster.routing.allocation.disk.watermark.flood_stage": "90%"
       }
     }
     '
     

2. 监控与预警优化
   配置磁盘使用率和Lucene合并任务的实时监控（如Prometheus+Grafana），在磁盘使用率接近高水位线时触发告警，提前清理旧索引或扩容存储。

3. 优化Lucene合并策略
   调整合并参数减少磁盘占用，比如设置更大的合并段上限，降低合并频率：

   index.merge.policy.max_merged_segment: 5gb
   

验证方法 #

修改配置后，模拟磁盘占用上升场景，确认触发洪水阶段水位线时，ES停止写入且Lucene合并操作能在剩余空间内完成，磁盘使用率不会达到100%。

内容的提问来源于stack exchange，提问作者Jasmine H