未发送批量数据时Elasticsearch返回429错误的原因咨询

Elasticsearch 返回429状态码的其他常见场景 #

除了批量写入数据量过大的限流场景外，以下情况也会触发429错误：

• 节点未完全就绪：嵌入式ES封装通常仅判断进程启动完成，不会校验ES内部的集群状态、HTTP服务是否完全可用，此时发起请求会被节点直接拒绝返回429，是测试场景下最常见的触发原因。
• 磁盘水位阈值触发：ES默认开启磁盘占用检查，当数据目录所在磁盘使用率超过95%的洪水水位线时，节点会自动进入只读保护状态，所有元数据操作、写入操作都会被拒绝返回429。嵌入式ES的临时数据目录默认在系统盘，很容易触发该阈值。
• JVM断路器触发：ES默认配置了多层内存断路器，当JVM堆内存占用持续超过95%时，会拒绝所有新入请求返回429。嵌入式ES默认的堆内存配额通常仅为256M，启动阶段模块加载时很容易出现内存占比过高的情况。
• 封装层异常：旧版本Elasticsearch-Inside存在封装逻辑缺陷，会把端口占用、节点启动失败等异常场景的返回值统一包装为429，错误码并非ES原生返回。

对应解决方案 #

• 新增节点就绪等待逻辑：不要在拿到节点地址后立即发起业务请求，增加循环重试逻辑，每隔500ms请求一次/_cluster/health接口，直到集群状态返回yellow/green、状态码为200后再执行后续测试逻辑，单次测试最多重试10次即可。
• 修改嵌入式ES配置：
  • 测试环境关闭磁盘阈值检查：新增配置cluster.routing.allocation.disk.threshold_enabled: false
  • 调大JVM堆内存：启动节点前设置环境变量ES_JAVA_OPTS=-Xms512m -Xmx512m
• 升级依赖包：将Elasticsearch-Inside升级到最新正式版，避免封装层的已知bug。
• 排查ES原生日志：配置Elasticsearch-Inside输出ES节点的原生日志文件，而非仅查看封装层的启动日志，可直接定位是否有磁盘告警、断路器触发等错误记录。

内容的提问来源于stack exchange，提问作者nvoigt