Rails查询百万级全量记录时替代all方法的方案咨询

1. 优先使用ActiveRecord内置批量查询API #

Rails原生提供了专门用来处理全表大数量遍历的方法，完全避免一次性加载全表到内存：

• find_each：适合需要逐条处理记录的场景，默认单次加载1000条，逐条迭代，自动按主键分页
  示例代码：

  # 可根据服务器配置自定义batch_size，建议范围1000~5000
  Job.find_each(batch_size: 2000) do |job|
    # 单条Job的Solr格式转换、同步逻辑
  end
  

• find_in_batches：适合支持批量提交的场景，能大幅减少Solr的请求次数，性能更高
  示例代码：

  Job.find_in_batches(batch_size: 5000) do |job_batch|
    # 批量转换为Solr要求的文档格式
    solr_docs = job_batch.map do |job|
      {
        id: job.id,
        title: job.title,
        description: job.description,
        # 其他需要同步的字段
      }
    end
    # 批量提交到Solr
    SolrClient.add(solr_docs)
    SolrClient.commit
  end
  

2. 自定义游标分页（复杂场景适配） #

如果你的查询有特殊过滤、排序规则，不适合用默认的主键排序逻辑，可以自行实现基于游标的批量查询，避免offset分页的性能损耗：

last_processed_id = 0
batch_size = 2000

loop do
  # 基于主键游标查询，走主键索引性能极高
  current_batch = Job.where("id > ?", last_processed_id)
                     .order(:id)
                     .limit(batch_size)
  break if current_batch.empty?

  # 执行当前批次的同步逻辑
  current_batch.each { |job| 处理单条记录 }

  last_processed_id = current_batch.last.id
end

3. 额外性能优化建议 #

针对千万级以上的超大数据量，可以叠加以下优化项进一步提升效率：

• 仅加载需要的字段：用select指定同步所需的字段，避免加载无用字段占用内存，示例：Job.select(:id, :title, :publish_time).find_each
• 预加载关联数据：如果同步需要关联表数据，提前用includes预加载，避免N+1查询，示例：Job.includes(:company, :tags).find_each
• 关闭不必要的日志：临时关闭ActiveRecord的SQL日志输出，减少IO开销，任务结束后再恢复即可
• Solr端优化：开启Solr软提交，无需每批次都执行硬提交，降低Solr端的IO压力
• 拆分同步任务：如果数据量过亿，可按ID范围拆分成多个子任务并行执行，进一步缩短同步时间

内容的提问来源于stack exchange，提问作者Hà Mai