Ruby on Rails高效更新10万条数据库记录的最优方案咨询

嘿，针对你要高效更新10万+订单记录的需求，我来给你几个优化思路——当前的实现虽然用了find_each分批次，但还是存在N+1查询和单条更新的性能瓶颈，下面的方案能让效率提升一大截：

方案一：直接用SQL批量更新（最推荐，效率最高） #

把关联查询和更新逻辑完全放在数据库层面处理，避免Ruby加载大量对象和N+1查询，一次SQL就能完成所有更新，速度会比Ruby循环快几个数量级：

namespace :order do
  desc "update confirmed at field for Payments::Order"
  task set_confirmed_at: :environment do
    puts "==> Updating confirmed_at for orders starts ...".blue

    # 构造批量更新的SQL语句
    update_sql = <<~SQL
      UPDATE payments_orders
      SET confirmed_at = (
        SELECT created_at
        FROM actions
        WHERE actions.actionable_id = payments_orders.id
          AND actions.actionable_type = 'Payments::Order'
          AND actions.sender LIKE '%ConfirmJob%'
        ORDER BY created_at DESC
        LIMIT 1
      )
      WHERE EXISTS (
        SELECT 1
        FROM actions
        WHERE actions.actionable_id = payments_orders.id
          AND actions.actionable_type = 'Payments::Order'
          AND actions.sender LIKE '%ConfirmJob%'
      )
    SQL

    ActiveRecord::Base.connection.execute(update_sql)

    puts "== completed ==".blue
  end
end

为什么高效？

• 全程在数据库内部完成关联查询和更新，没有Ruby对象的内存开销
• 避免了每条订单单独触发的SELECT和UPDATE语句，只执行2次核心SQL（子查询+更新）

方案二：基于Rails批量查询+批量更新（如果需要保留Ruby逻辑） #

如果不想直接写原生SQL，可以先批量获取所有需要更新的映射关系，再用CASE WHEN语法批量更新，减少SQL请求次数：

namespace :order do
  desc "update confirmed at field for Payments::Order"
  task set_confirmed_at: :environment do
    puts "==> Updating confirmed_at for orders starts ...".blue

    # 批量获取需要更新的订单ID与对应confirmed_at值（取最新的ConfirmJob记录）
    order_updates = Action.joins(:actionable)
                          .where(
                            actionable_type: 'Payments::Order',
                            sender: '%ConfirmJob%'
                          )
                          .select('actionable_id AS order_id', 'created_at')
                          .group_by(&:order_id)
                          .transform_values { |actions| actions.map(&:created_at).max }

    # 每1万条一批执行批量更新
    order_updates.each_slice(10000) do |batch|
      order_ids = batch.map { |id, _| id }
      # 构造CASE WHEN语句实现批量赋值
      case_statement = batch.map { |id, date| "WHEN id = #{id} THEN '#{date.to_s(:db)}'" }.join(' ')
      Payments::Order.where(id: order_ids).update_all("confirmed_at = CASE #{case_statement} END")
    end

    puts "== completed ==".blue
  end
end

额外优化建议 #

• 加索引提速查询：给actions表添加联合索引，让关联查询更快：

  # 可以在迁移文件中添加
  add_index :actions, [:actionable_type, :actionable_id, :sender], name: 'idx_actions_order_confirm'
  

• 备份数据：执行大批次更新前一定要备份相关表，避免出错无法回滚
• 避开业务高峰：选择低峰期执行更新，避免影响线上服务的正常运行

内容的提问来源于stack exchange，提问作者Ravindra Yadav