Rails：如何高效批量插入数组数据至Calculation模型

核心优化方向 #

绕开不必要的Model实例化，直接处理原始数据并分批次执行批量插入，同时适配复合主键约束，平衡性能与代码可维护性。

具体实现步骤 #

1. 预处理数据：跳过指定元素 #

假设API返回的二维数组为api_data，直接通过数组切片/索引提取有效字段，生成符合模型字段要求的哈希数组（无需创建Model实例）：

# 假设子数组第4个元素为索引3，按需调整字段映射关系
processed_data = api_data.map do |row|
  {
    primary_key_col1: row[0],
    primary_key_col2: row[1],
    col3: row[2],
    col5: row[4], # 跳过索引3的元素
    # 补充其他必填字段
  }
end

2. 分批次执行批量插入 #

百万级数据一次性处理会引发内存溢出，建议按1000-5000条/批次拆分（根据服务器内存调整）：

方案一：优化版insert_all（兼顾性能与可维护性）

利用Rails内置的insert_all直接插入哈希数组，指定复合主键处理冲突：

batch_size = 2000
processed_data.each_slice(batch_size) do |batch|
  Calculation.insert_all(
    batch,
    unique_by: [:primary_key_col1, :primary_key_col2], # 对应复合主键字段
    on_conflict: :do_nothing # 可选：重复主键时跳过插入
  )
end

方案二：直接拼接SQL（极致性能）

完全绕开ORM overhead，直接生成SQL语句执行，适合超大规模数据：

batch_size = 2000
columns = [:primary_key_col1, :primary_key_col2, :col3, :col5].join(", ")

processed_data.each_slice(batch_size) do |batch|
  values = batch.map do |hash|
    escaped_vals = hash.values.map { |v| ActiveRecord::Base.connection.quote(v) }
    "(#{escaped_vals.join(', ')})"
  end.join(", ")

  sql = <<~SQL
    INSERT INTO calculations (#{columns}) 
    VALUES #{values} 
    ON CONFLICT (primary_key_col1, primary_key_col2) DO NOTHING;
  SQL

  ActiveRecord::Base.connection.execute(sql)
end

3. 复合主键迁移校验 #

确保数据库层已正确配置复合主键约束：

# Rails 7+ 支持直接指定复合主键
class CreateCalculations < ActiveRecord::Migration[7.0]
  def change
    create_table :calculations, primary_key: [:primary_key_col1, :primary_key_col2] do |t|
      t.string :primary_key_col1, null: false
      t.string :primary_key_col2, null: false
      t.integer :col3
      t.float :col5
      # 其他字段定义
    end
  end
end

性能对比 #

• 原方案（生成Model实例后insert_all）：大量对象实例化会导致内存占用飙升，百万级数据易触发OOM，性能最差。
• 优化版insert_all：内存占用降低60%以上，性能提升显著，代码可维护性高。
• 直接SQL方案：性能最优，内存占用最少，适合超大规模数据，但需手动处理字段映射与值转义，维护成本稍高。

额外优化建议 #

• 批量操作前开启事务：减少事务提交开销，示例：

  ActiveRecord::Base.connection.begin_db_transaction
  # 批量插入代码
  ActiveRecord::Base.connection.commit_db_transaction
  

• 临时关闭查询日志：避免大量插入日志拖慢执行速度：

  ActiveRecord::Base.logger.silence do
    # 批量插入代码
  end
  

• 流式处理API数据：若API返回超大数据集，采用流式读取+边读边插入的方式，避免一次性加载全量数据到内存。

内容的提问来源于stack exchange，提问作者A. Vreeswijk