如何在ActiveRecord迁移中安全并行执行SQL语句？

为什么直接用Thread.new { execute '<query>' }不安全？ #

• ActiveRecord的数据库连接不是线程安全的：默认连接池的连接绑定到当前线程，手动开新线程直接调用execute可能复用同一连接，导致SQL语句交错、事务状态混乱，甚至触发死锁或数据损坏。
• 迁移的事务上下文冲突：Rails迁移默认包裹在事务中，多线程操作会打破事务原子性，出现部分成功部分失败的情况时无法回滚，造成数据不一致。
• 连接池耗尽风险：开启线程数超过连接池最大限制时，后续线程会等待连接，反而降低效率，甚至引发超时错误。

安全实现并行的可行方案 #

1. 为每个线程分配独立连接 #

在线程内部手动从连接池获取、使用并释放连接，避免连接冲突：

# 假设已生成好所有Update语句
update_queries = [
  "UPDATE table1 SET col = func(col)",
  "UPDATE table2 SET col = func(col)",
  # ... 数百条语句
]

threads = update_queries.map do |query|
  Thread.new do
    # 手动取出连接
    conn = ActiveRecord::Base.connection_pool.checkout
    begin
      conn.execute(query)
    ensure
      # 必须将连接放回池内
      ActiveRecord::Base.connection_pool.checkin(conn)
    end
  end
end

# 等待所有线程执行完成
threads.each(&:join)

2. 禁用迁移的事务包裹 #

Rails迁移默认将整个逻辑放在事务中，多线程操作无法在同一事务内正常工作，需在迁移类顶部添加：

disable_ddl_transaction!

你的操作都是数据更新（非DDL），禁用事务不影响安全性——每个Update语句本身是原子的，且业务逻辑允许独立执行。

3. 控制并发线程数 #

不要一次性开启数百个线程，根据数据库承载能力设置合理并发数（比如4-8个，取决于CPU核心数和连接池大小），避免压垮数据库：

max_concurrency = 4
update_queries.each_slice(max_concurrency) do |batch|
  threads = batch.map do |query|
    Thread.new do
      conn = ActiveRecord::Base.connection_pool.checkout
      begin
        conn.execute(query)
      ensure
        ActiveRecord::Base.connection_pool.checkin(conn)
      end
    end
  end
  threads.each(&:join)
end

4. 备选：使用数据库原生并行工具 #

若对Rails层面的并行有顾虑，可考虑：

• 将生成的Update语句导出为SQL文件，用MariaDB的mysql客户端配合parallel等命令行工具批量运行。
• 利用MariaDB的并行复制或异步更新特性，需结合业务场景评估可行性。

关键注意事项 #

• 全量备份：执行大规模数据更新前，务必完成数据库全量备份，或先在 staging 环境验证逻辑。
• 监控负载：并行执行期间密切关注数据库CPU、IO、锁等待情况，出现异常立即停止。
• 减少锁持有时间：确保Update语句不会长时间持有表锁（比如使用InnoDB的动态行格式），大表可拆分为按主键范围的小批量Update，进一步降低锁冲突风险。

内容的提问来源于stack exchange，提问作者slondr