Ruby升级后Elasticsearch大数据索引遇Faraday连接失败问题

问题背景 #

我在将1MB的同步数据导入Rails应用后执行Elasticsearch索引操作时，碰到了Faraday::ConnectionFailed: read function returned funny value错误。之前用Ruby 2.3.3 + Rails 4.2.7处理同样的大数据完全没问题，但升级到Ruby 2.5.1 + Rails 4.2.10后就出现了这个问题。

已尝试的排查动作 #

我已经试过不少调试步骤，但都没解决问题：

• 切换过多个版本的Elasticsearch相关gem：包括elasticsearch（6.1.0、2.0.2）、elasticsearch-api（6.1.0、2.0.2）、elasticsearch-model（6.0.0、2.0.1）等
• 更新过faraday和faraday_middleware版本：试过faraday（0.15.4、0.9.2）、faraday_middleware（0.12.2）
• 当前使用的Faraday适配器是gem 'patron', '~> 0.4.18'
• 参考方案配置了Elasticsearch客户端，增加了重试和超时设置：

  Elasticsearch::Model.client = Elasticsearch::Client.new(log: logging, adapter: :patron, url: ENV['ELASTICSEARCH_URL'], retry_on_failure: true, transport_options: {request: {timeout: 250}})
  

可能的解决方案 #

根据这个错误的根源（底层是Patron::Error: read function returned funny value），结合Ruby版本升级后的兼容性问题，给你几个可行的方向：

1. 更换Faraday适配器

Patron 0.4.18是比较老旧的版本，对Ruby 2.5的兼容性可能存在问题。建议换成官方维护更好的适配器：

• 换成Net::HTTP适配器：修改客户端配置，把adapter: :patron改成adapter: :net_http，这是Faraday的默认适配器，兼容性更好：

  Elasticsearch::Model.client = Elasticsearch::Client.new(
    log: logging,
    adapter: :net_http,
    url: ENV['ELASTICSEARCH_URL'],
    retry_on_failure: true,
    transport_options: { request: { timeout: 250 } }
  )
  

• 换成Typhoeus适配器：先在Gemfile里添加gem 'typhoeus'，然后修改客户端配置为adapter: :typhoeus，Typhoeus基于libcurl，稳定性也不错。

2. 升级Patron版本

如果不想换适配器，可以尝试升级Patron到支持Ruby 2.5的版本，比如试试gem 'patron', '~> 0.13.0'（注意要检查Gemfile.lock里的依赖冲突，比如faraday版本是否兼容）。

3. 调整SSL传输配置

因为你的Elasticsearch是HTTPS连接，可能是SSL握手或读取时的问题，可以在transport_options里增加SSL相关设置：

Elasticsearch::Model.client = Elasticsearch::Client.new(
  log: logging,
  adapter: :patron,
  url: ENV['ELASTICSEARCH_URL'],
  retry_on_failure: true,
  transport_options: {
    request: { timeout: 250 },
    ssl: { verify: false } # 仅测试用，生产环境建议配置正确的SSL证书验证
  }
)

4. 拆分大数据量的索引请求

1MB的单条数据可能超出了Patron或Elasticsearch的默认处理限制，可以尝试把数据拆分成更小的批次进行索引，比如每次索引几条数据而不是一次性处理全部。

内容的提问来源于stack exchange，提问作者Santosh Wakode