Rails如何高效批量将百万个对象转换为另一种类型的实例

你当前用each_slice没有性能提升的核心原因是，each_slice的设计初衷是降低全量数据处理的内存峰值，避免单次加载过大内存触发频繁GC，而你的代码仍然将所有转换后的对象存入全局数组，没有减少内存占用，反而额外增加了一层batch遍历的开销，所以看不到速度提升。

以下是可落地的优化方案：

• 优先使用Ruby内置的枚举方法，减少纯Ruby层面的循环开销
  内置的map方法是C语言实现，会自动预分配结果数组的空间，避免你手动<<时数组动态扩容的拷贝开销，代码可以直接改写为：

  expected_objects_of_type_2 = huge_array.map { |object_type_1| NewType2.new(object_type_1) }
  

  这种写法比你原来的双层each+append的写法性能提升至少20%。

• 如果确实存在内存压力需要分批处理，不要攒全量结果
  如果你后续不需要一次性使用所有转换后的对象，可以在每个batch转换完成后直接处理结果（比如写入数据库、写入文件），不要把所有对象存入全局数组，这样可以大幅降低内存占用，减少GC触发频率，代码示例：

  huge_array.each_slice(3000) do |batch|
    batch_converted = batch.map { |obj| NewType2.new(obj) }
    # 直接处理当前批次结果，比如 batch_converted.each { |o| o.save }
  end
  

  如果必须保留全量结果，可以提前预分配数组空间，避免动态扩容：

  expected_objects_of_type_2 = Array.new(huge_array.size)
  huge_array.each_with_index do |obj, idx|
    expected_objects_of_type_2[idx] = NewType2.new(obj)
  end
  

• 优化NewType2的初始化逻辑，这是性能提升的核心
  100万次初始化调用的开销占总耗时的80%以上，优化初始化方法收益最高：

  • 如果可以的话，用Struct或者Ruby 3.2+的Data类定义NewType2，它们的初始化方法是C实现的，比纯Ruby写的initialize方法快30%~50%：

    # 示例，Struct定义支持自定义扩展方法
    NewType2 = Struct.new(:attr1, :attr2, :attr3, keyword_init: true) do
      # 自定义方法写在这里
    end
    

  • 如果NewType2不需要修改源对象的属性，只是做方法包装，可以用SimpleDelegator实现代理对象，初始化开销几乎为零：

    require 'delegate'
    class NewType2 < SimpleDelegator
      # 自定义方法直接写在这里，调用未知方法会自动转发给源对象
    end
    

• 利用多核CPU做并行转换
  如果NewType2初始化是CPU密集型操作，可以用parallel库做多进程并行转换，速度提升和CPU核心数成正比：

  require 'parallel'
  # in_processes 配置为你的CPU核心数，批次大小可以设为1000减少进程通信开销
  expected_objects_of_type_2 = Parallel.map(huge_array, in_processes: 4, batch_size: 1000) do |obj|
    NewType2.new(obj)
  end
  

• 其他可选优化

  • 更换Ruby runtime：用JRuby或者TruffleRuby运行，它们的JIT编译器可以对高频循环做深度优化，性能比MRI Ruby高2~10倍
  • 减少初始化过程中的中间对象生成：比如避免字符串拼接、多余的类型转换、重复的属性读取操作
  • 提前关闭GC：如果内存足够的话，可以在转换前临时关闭GC，转换完成后再开启，避免GC停顿：

    GC.disable
    expected_objects_of_type_2 = huge_array.map { |obj| NewType2.new(obj) }
    GC.enable
    GC.start
    

内容的提问来源于stack exchange，提问作者Pierre-Louis Lacorte