ROR中大量ActiveRecord数据转JSON致系统卡顿的解决方案

核心问题分析 #

直接调用UserMail.all会一次性将所有记录加载到内存，当数据集规模超大时，内存占用急剧飙升，导致to_json操作卡顿甚至系统死机。中等规模数据能正常运行，正是因为内存还能承载所有数据。

一、导出优化：分批处理+流式写入 #

1. 分批读取+逐段生成JSON #

避免一次性加载全量数据，用find_in_batches分批读取，逐段写入JSON文件，全程控制内存占用：

File.open("demo_data.json", "w") do |f|
  # 写入JSON对象开头
  f.write("{\"user_mails\":[")
  first_batch = true

  # 按批次读取，batch_size可根据内存调整（比如500/1000）
  UserMail.find_in_batches(batch_size: 1000) do |batch|
    # 非首批次前加逗号，保证JSON格式合法
    f.write(",") unless first_batch
    # 将当前批次转JSON并写入
    f.write(batch.to_json)
    first_batch = false
  end

  # 写入JSON对象结尾
  f.write("]}")
end

2. 精简导出字段 #

如果UserMail包含大量无需导出的字段（如大文本、二进制数据），用select指定必要字段，进一步减少单条记录的数据量：

# 仅导出业务需要的字段
UserMail.select(:id, :user_id, :subject, :content, :created_at).find_in_batches(batch_size: 1000) do |batch|
  # 后续写入逻辑同上
end

3. 可选：按行导出单条JSON（更适合流式导入） #

如果后续导入也需要流式处理，可以将每条记录单独写成一行JSON，避免解析大JSON数组的内存压力：

File.open("demo_data.json", "w") do |f|
  UserMail.find_in_batches(batch_size: 1000) do |batch|
    batch.each do |record|
      f.write(record.to_json + "\n")
    end
  end
end

二、导入优化：流式读取+批量操作 #

1. 流式读取逐行处理 #

针对按行导出的JSON文件，逐行解析并处理，避免一次性加载全量JSON到内存：

File.open("demo_data.json", "r") do |f|
  f.each_line do |line|
    next if line.strip.empty?
    data = JSON.parse(line)
    # 按需排除id（避免主键冲突），执行创建逻辑
    UserMail.where(data.except('id')).first_or_create!
  end
end

2. 批量插入提升效率 #

逐个first_or_create!会频繁触发数据库查询，改用批量检查+批量插入，大幅提升导入速度：

records_to_create = []
batch_size = 1000

File.open("demo_data.json", "r") do |f|
  f.each_line do |line|
    next if line.strip.empty?
    data = JSON.parse(line).except('id')
    
    # 先检查是否存在，不存在则加入待创建列表
    unless UserMail.exists?(data)
      records_to_create << data
    end

    # 达到批次大小则批量插入
    if records_to_create.size >= batch_size
      UserMail.insert_all!(records_to_create)
      records_to_create.clear
    end
  end
end

# 处理剩余的记录
UserMail.insert_all!(records_to_create) unless records_to_create.empty?

注意：insert_all!不会触发ActiveRecord的回调和验证，如果需要保留这些逻辑，可改用create!的批量方式，但效率会有所下降。

额外优化建议 #

• 导出/导入时关闭不必要的ActiveRecord回调和验证，减少额外开销；
• 针对关联数据，建议单独导出关联表，分开处理，避免因加载关联导致内存暴增；
• 根据服务器内存情况调整batch_size，内存较小则适当调小批次数量；
• 导出前可临时禁用查询缓存，避免缓存占用额外内存。

内容的提问来源于stack exchange，提问作者Prathviraj Shettigar