查询Elasticsearch时出现间歇性连接失败问题求助

我们有一个通过elasticsearch-rails gem查询Elasticsearch的Rails API。昨日上午约10:30起，频繁出现Faraday::ConnectionFailed错误，并非每次都触发，但发生频次较高。查看Elasticsearch控制台发现CPU、内存及磁盘使用率均处于健康范围（不超过50%），且近一周未进行代码或基础设施变更。

替换为elasticsearch-ruby客户端后，错误信息更详细：

[Faraday::ConnectionFailed] Failed to open TCP connection to [REDACTED].eastus2.azure.elastic-cloud.com:443 (execution expired) 
{:scheme=>"https", :user=>"elastic", :password=><REDACTED>, :host=>"[REDACTED].eastus2.azure.elastic-cloud.com", :port=>443, :protocol=>"https"}

[Faraday::ConnectionFailed] Attempt 1 connecting to 
{:scheme=>"https", :user=>"elastic", :password=><REDACTED>, :host=>"[REDACTED].eastus2.azure.elastic-cloud.com", :port=>443, :protocol=>"https"}

本地机器连接Elastic实例无此错误，仅GCP云容器查询时出现，需排查思路。

• 网络连通性验证

  • 在GCP容器内循环执行curl -w "%{http_code}\n" -v https://[REDACTED].eastus2.azure.elastic-cloud.com:443，统计失败次数和响应时间，确认是否是偶发的TCP握手超时
  • 检查GCP VPC防火墙出站规则，确保443端口未被限制；同时确认Azure ElasticCloud的IP白名单包含GCP容器的出口IP（注意GCP容器可能使用NAT IP，需确认是否有IP变更）
  • 测试DNS解析：在容器内多次执行dig [REDACTED].eastus2.azure.elastic-cloud.com，查看是否存在解析延迟或返回异常IP的情况

• 客户端参数优化

  • 调整连接超时参数，解决execution expired问题：

    client = Elasticsearch::Client.new(
      url: 'https://[REDACTED].eastus2.azure.elastic-cloud.com:443',
      user: 'elastic',
      password: '[REDACTED]',
      open_timeout: 15, # 延长TCP连接建立超时
      request_timeout: 45 # 延长整体请求超时
    )
    

  • 启用客户端重试机制，降低偶发失败的影响：

    client = Elasticsearch::Client.new(
      # 基础配置
      retry_on_failure: 3, # 重试3次
      retry_delay: 2, # 每次重试间隔2秒
      retry_on_status: [502, 503, 504] # 针对网关错误重试
    )
    

• GCP容器环境排查

  • 检查容器的CPU/内存限制，确认是否存在资源不足导致的网络请求阻塞（比如容器CPU使用率接近100%时，网络调用会被延迟）
  • 查看GCP节点的网络监控数据，检查是否存在节点级别的数据包丢失或网络拥堵
  • 确认容器的DNS配置是否正常，是否使用了GCP默认DNS服务器，避免自定义DNS导致的解析问题

• 跨云链路问题排查

  • 由于是GCP到Azure跨云连接，可能存在公网链路抖动：
    • 查看GCP和Azure的状态页面，确认对应时间段跨区域链路是否有故障报告
    • 考虑使用跨云专用连接（如GCP Cloud Interconnect到Azure ExpressRoute）替代公网连接，提升链路稳定性

内容的提问来源于stack exchange，提问作者Adam Zucker