Rails批量数据处理出现PG::ConnectionBad连接异常求助

这个PostgreSQL连接中断的问题我之前在处理大规模并行任务时也碰到过，咱们一步步拆解原因和解决办法：

问题根源分析 #

• 并行进程的数据库连接冲突：Parallel gem通过fork子进程实现并行，但子进程会继承父进程的ActiveRecord数据库连接。PostgreSQL的连接是进程专属的，当父进程和子进程同时使用同一个连接时，很容易出现连接状态混乱，最终导致服务器主动断开连接。
• 大事务与并行的不兼容：你在主进程的ActiveRecord::Base.transaction(requires_new: true)里包裹并行操作，这种嵌套事务+并行的组合本身就有问题——并行子进程的事务和主事务无法协同，而且处理2万条记录的大事务会持续占用连接，触发PostgreSQL的超时或资源限制。
• 连接池耗尽：如果Parallel开启的进程数超过了database.yml中配置的pool值，会导致连接池没有足够的连接分配给子进程，进而引发连接异常。

具体解决方案 #

1. 为每个并行任务独立管理数据库连接 #

不要让子进程继承父进程的连接，而是在每个任务块内单独获取和释放连接，最安全的方式是用connection_pool.with_connection：

Parallel.each(your_records, in_processes: 4) do |record|
  ActiveRecord::Base.connection_pool.with_connection do
    # 这里写你的单条记录处理逻辑
    record.update!(status: :processed)
  end
end

这个方法会自动从连接池获取可用连接，任务结束后自动归还，避免连接泄露或冲突。

2. 移除外层大事务，改用小事务包裹单任务 #

大事务不仅容易触发连接超时，还会导致锁表时间过长，影响其他业务。把事务移到每个并行任务内部，只包裹单条或小批量操作：

Parallel.each(your_records, in_processes: 4) do |record|
  ActiveRecord::Base.connection_pool.with_connection do
    ActiveRecord::Base.transaction do
      # 仅在事务内处理当前记录的修改
      record.update!(status: :processed)
      # 其他关联操作也放在这个小事务里
    end
  end
end

3. 调整连接池与并行进程数匹配 #

打开config/database.yml，确保pool的值大于等于Parallel设置的in_processes数，留1-2个余量给其他请求：

production:
  adapter: postgresql
  pool: 8 # 比如并行进程数设为6，pool设为8
  # 其他配置...

4. 拆分大批次为小批次处理 #

不要一次性处理25000条记录，用in_batches拆分成多个小批次，比如每次处理1000条，降低单批次的资源压力：

YourModel.where(needs_processing: true).in_batches(of: 1000) do |batch|
  Parallel.each(batch, in_processes: 4) do |record|
    ActiveRecord::Base.connection_pool.with_connection do
      ActiveRecord::Base.transaction do
        record.update!(needs_processing: false)
      end
    end
  end
end

5. 检查PostgreSQL服务器配置 #

• 调整idle_in_transaction_session_timeout：如果事务运行时间过长，PostgreSQL会主动断开连接，可以适当调大这个值（比如设为5分钟：idle_in_transaction_session_timeout = 300000）。
• 确认max_connections足够：确保服务器允许的最大连接数大于你的连接池+其他业务的连接需求。
• 优化WAL日志配置：大规模数据更新会生成大量WAL日志，调整wal_buffers和checkpoint_timeout可以避免因日志写满导致的服务异常。

总结 #

核心思路就是隔离并行进程的数据库连接、拆分大事务为小事务、控制批次大小，再配合数据库配置调整，就能解决这个连接中断的问题。

内容的提问来源于stack exchange，提问作者Ravi Patel